CN116955092A - 基于数据分析的多媒体系统监控方法及系统 - Google Patents
基于数据分析的多媒体系统监控方法及系统 Download PDFInfo
- Publication number
- CN116955092A CN116955092A CN202311212635.3A CN202311212635A CN116955092A CN 116955092 A CN116955092 A CN 116955092A CN 202311212635 A CN202311212635 A CN 202311212635A CN 116955092 A CN116955092 A CN 116955092A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- monitoring
- abnormal
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000007405 data analysis Methods 0.000 title claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims abstract description 69
- 230000005856 abnormality Effects 0.000 claims abstract description 57
- 230000004044 response Effects 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000004140 cleaning Methods 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims description 19
- 230000009471 action Effects 0.000 claims description 15
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000005311 autocorrelation function Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 238000012731 temporal analysis Methods 0.000 claims description 4
- 238000000700 time series analysis Methods 0.000 claims description 4
- 238000012300 Sequence Analysis Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000013468 resource allocation Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3086—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves the use of self describing data formats, i.e. metadata, markup languages, human readable formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及多媒体系统监控技术领域，具体涉及基于数据分析的多媒体系统监控方法及系统，包括以下步骤，S1：动态数据采集，动态调整数据采集频率和深度；S2：数据预处理，对收集到的数据进行清洗；S3：建立基线模型，建立一个代表系统无异常时的行为的基线模型；S4：实时异常检测，利用数据分析技术，将实时数据与基线模型进行比较，以实时识别异常问题；S5：自适应调整，动态调整数据分析模型的参数和权重；S6：生成监控报告，根据分析结果生成详细的监控报告；S7：自动响应机制，当检测到紧急异常时，将自动采取预设的响应措施。本发明，提高了异常检测率、加速响应时效，并确保了监控报告的准确性和系统的自适应调整能力。
Description
技术领域
本发明涉及多媒体系统监控技术领域，尤其涉及基于数据分析的多媒体系统监控方法及系统。
背景技术
多媒体系统，由于其多样化的组件和模块，以及复杂的数据流和用户交互，容易出现各种运行异常，传统的多媒体系统监控方法主要依赖于人工检查或固定频率的系统日志审查，这些方法既费时又不够准确，尤其在大型、复杂或高并发的多媒体环境中，为了解决这些问题，有必要引入更为智能和自适应的系统监控方法。
在过去的监控策略中，数据的采集通常是静态和固定的，这很容易导致数据过载或监控盲点，此外，对于收集到的数据，通常使用简单的统计分析，这使得难以捕捉到数据中隐藏的复杂模式或趋势。
随着大数据和数据分析技术的快速发展，利用数据分析进行系统监控逐渐受到关注，通过对实时数据进行深入的、自适应的分析，可以更有效地识别异常模式、优化系统性能并提高用户体验，然而，尽管数据分析为多媒体系统监控提供了新的机会，但如何将这些先进的技术与多媒体系统有效地结合，以及如何确保系统在面对异常时能够迅速并自动地响应，仍然是一个待解决的挑战。
此外，随着云计算和物联网技术的发展，多媒体系统也日益分布化和异构化，这意味着系统监控不仅需要考虑到单一系统的运行状态，还需要关注整个分布式环境中的各个节点和组件，因此，一个综合性、智能化的多媒体系统监控方法和系统显得尤为重要。
发明内容
基于上述目的，本发明提供了基于数据分析的多媒体系统监控方法及系统。
基于数据分析的多媒体系统监控方法，包括以下步骤：
S1：动态数据采集，根据多媒体系统的不同组件或模块，动态调整数据采集频率和深度；
S2：数据预处理，对收集到的数据进行清洗、特征提取和时间序列分析以识别数据中的周期性模式或趋势；
S3：建立基线模型，使用正常运行数据，建立一个代表系统无异常时的行为的基线模型；
S4：实时异常检测，利用数据分析技术，将实时数据与基线模型进行比较，以实时识别异常问题；
S5：自适应调整，根据系统的实时反馈和用户反馈，动态调整数据分析模型的参数和权重；
S6：生成监控报告，根据分析结果生成详细的监控报告，该监控报告包括异常事件、风险点以及针对性的优化建议；
S7：自动响应机制，当检测到紧急异常时，将自动采取预设的响应措施。
进一步的，所述S1中动态数据采集具体包括：
S11：评估组件的关键性，为多媒体系统的每个组件或模块分配一个关键性评分，其中/>是基于该组件对系统整体性能和稳定性的影响进行评估的，具体公式表示为：
，其中，/>表示组件的性能指标；/>表示组件的故障历史记录；和/>是权重因子；
S12：确定数据采集频率，根据关键性评分，确定数据采集频率/>，具体公式表示为：/>，其中，/>和/>分别是数据采集的最小和最大频率；是最大关键性评分；
S13：确定数据采集深度，根据关键性评分，选择数据的采集深度/>，具体的，对于关键性高的组件，不仅采集运行状态数据，还采集内部日志和错误报告；对于关键性较低的组件，仅采集基本的运行状态数据。
进一步的，所述S2具体包括：
S21：数据清洗：先对于收集的原始数据中的缺失值进行插值或使用统计方法进行填充；接着，使用z-score方法识别并移除数据中的异常值；最后，将数据转化为一个公共的尺度；
S22：特征提取，计算数据的基本统计值包括平均值、中位数、标准差、峰度和偏度；通过傅里叶变换或小波变换，提取数据的频域特征和时域特征；
S23：时间序列分析，将时间序列数据分解为趋势、季节性和残差三部分；利用自相关函数(ACF)和偏自相关函数(PACF)来检测数据中的周期性，最后使用滑动平均或指数平滑方法来识别数据的长期趋势。
进一步的，所述S3中建立基线模型具体包括：
S31：数据标签化，利用正常运行数据，为每个数据点分配“正常”标签，当存在已知异常的数据集，为该部分数据点分配“异常”标签；
S32：特征选择，根据S22步骤中提取的特征，使用递归特征消除方法确定前N个最具代表性的特征，从而减少计算复杂度并增强模型的解释性；
S33：模型构建，使用支持向量机作为机器学习算法，其决策函数公式为：，其中，/>是训练样本的数量；/>是拉格朗日乘子；/>是训练样本的标签；/>是核函数；/>是训练样本；而/>是输入样本；/>是偏置项；
S34：模型验证，使用折交叉验证方法对基线模型进行验证，确保其具有良好的泛化能力，模型的性能使用准确率、召回率和F1分数进行评估；
S35：阈值设置，为支持向量机模型设置一个决策边界阈值，当决策函数/>的输出大于或等于阈值/>时，数据点被认为是正常的，否则被认为是异常的。
进一步的，所述S4具体包括：
S41：模型预测，将S2步骤中预处理后数据点输入到S33步骤中所述支持向量机的模型中，计算决策函数的输出：，其中，各变量和参数与S33中定义的相同；
S42：异常判定，利用所述阈值对决策函数/>的输出进行判定，具体为，当/>，则实时数据点是正常的；当/>，则实时数据点存在异常。
进一步的，所述S5具体包括：
S51：收集反馈数据，获取系统的实时反馈和用户反馈；
S52：评估模型误差，计算模型预测与实际结果之间的误差，具体公式为：，其中，/>是反馈数据的数量；/>是模型对第/>个数据点的预测输出；/>是该数据点的真实标签；
S53：参数调整，使用梯度下降法来最小化误差，更新支持向量机模型的参数，具体公式为：/> ，其中，/>是学习率；
S54：权重调整，根据用户反馈，对模型中的特征权重进行动态调整，当用户经常报告某个特定特征与异常有强关联，将提高该特征的权重；
S55：模型验证，通过S34中模型验证来重新验证模型的性能。
进一步的，所述S6具体包括：
S61：异常事件整理，对所有被模型识别为异常的数据点进行归纳和整理；
S62：风险点分析，从整理的异常事件中提取和归纳潜在的风险点；
S63：优化建议制定，根据异常事件和风险点的分析，制定具体的优化建议，具体的，当某一组件频繁出现性能下降的异常，建议对该组件进行代码优化或提升其资源分配；当发现数据传输异常，建议检查并优化网络连接；
S64：报告格式化，将S61-S63的内容进行格式化处理并形成结构化的监控报告，该监控报告包括报告摘要、异常事件概览、风险点分析和优化建议。
进一步的，所述S7具体包括：
S71：异常级别分类，根据异常的性质和影响程度，将其分类为低、中、高和紧急四个级别；
S72：预设响应动作，为每个异常级别设定自动响应措施；
S73：异常级别判定，实时评估识别到的异常，并按照预定的标准判定其级别；
S74：执行预设措施，基于判定的异常级别，自动执行相应的预设响应动作；
S75：反馈记录，将其所有的响应措施记录，提供给管理员一个实时的状态更新。
进一步的，所述S74中自动执行具体包括：
S741：动态监测，持续监测异常判定结果，确保对任何判定为异常的输出进行实时捕获；
S742：响应动作映射，建立一个异常级别与响应动作的映射表，该映射表表明确指定每个异常级别对应的自动执行措施；
S743：自动触发器设置，为每一种预设响应动作设置自动触发器，一旦接收到相应级别的异常信号，相应的措施即被自动激活并执行。
基于数据分析的多媒体系统的监控系统，包括数据采集模块、数据处理模块、基线建模模块、异常检测模块、参数调整模块、报告生成模块、自动响应模块以及通知与日志模块，具体的，
数据采集模块：配置为根据多媒体系统的不同组件或模块，动态调整数据采集频率和深度；
数据处理模块：负责对收集到的数据进行清洗、特征提取和时间序列分析，以识别数据中的周期性模式或趋势；
基线建模模块：利用正常运行数据，建立一个代表系统无异常时的行为的基线模型；
异常检测模块：利用数据分析技术，将实时数据与基线模型进行比较，实时识别异常问题；
参数调整模块：根据系统的实时反馈和用户反馈，动态调整数据分析模型的参数和权重；
报告生成模块：根据分析结果自动生成详细的监控报告，包括异常事件、风险点以及针对性的优化建议；
自动响应模块：当检测到严重或紧急的异常时，能够自动采取一系列预定的响应措施；
通知与日志模块：负责将所有自动响应措施记录下来，并提供给管理员一个实时的状态更新，同时向相关人员发送通知。
本发明的有益效果：
本发明，通过采用基于数据分析的方法，可以实时地、准确地识别多媒体系统中的各种异常，通过动态调整数据采集频率和深度，结合时间序列分析以及特征提取技术，本系统能够捕获到那些传统方法可能忽略的细微或复杂模式的异常，这不仅大大提高了系统的监控效率，还确保了更高的异常检测准确率。
本发明，具备自我学习和自适应调整的能力，当系统或用户反馈调整数据分析模型时，该系统能够动态地调整其分析参数和权重，确保其分析结果始终与实际运行环境保持一致，此外，当检测到严重或紧急的异常时，监控系统能够自动执行预定的响应措施，无需人工干预，从而实现快速且有效的异常处理。
本发明，为管理员提供了一个综合性的观测和管理视角，无论是单一系统的运行状态，还是分布式环境中的各个节点和组件，监控系统都能够提供详尽的实时报告，包括异常事件、风险点以及针对性的优化建议，这使得系统维护人员可以更为全面和深入地了解多媒体系统的运行状况，从而做出更加明智的决策。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的多媒体系统监控方法示意图；
图2为本发明实施例的多媒体系统的监控系统示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。
需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图1-2所示，基于数据分析的多媒体系统监控方法，包括以下步骤：
S1：动态数据采集，根据多媒体系统的不同组件或模块，动态调整数据采集频率和深度；
S2：数据预处理，对收集到的数据进行清洗、特征提取和时间序列分析以识别数据中的周期性模式或趋势；
S3：建立基线模型，使用正常运行数据，建立一个代表系统无异常时的行为的基线模型；
S4：实时异常检测，利用数据分析技术，将实时数据与基线模型进行比较，以实时识别异常问题；
S5：自适应调整，根据系统的实时反馈和用户反馈，动态调整数据分析模型的参数和权重；
S6：生成监控报告，根据分析结果生成详细的监控报告，该监控报告包括异常事件、风险点以及针对性的优化建议；
S7：自动响应机制，当检测到紧急异常时，将自动采取预设的响应措施。
S1中动态数据采集具体包括：
S11：评估组件的关键性，为多媒体系统的每个组件或模块分配一个关键性评分，其中/>是基于该组件对系统整体性能和稳定性的影响进行评估的，具体公式表示为：，其中，/>表示组件的性能指标，如处理速度或负载；/>表示组件的故障历史记录，即过去一段时间内组件出现故障的频率；/>和/>是权重因子，反映了性能指标和故障历史在评估关键性中的相对重要性；
S12：确定数据采集频率，根据关键性评分，确定数据采集频率/>，具体公式表示为：/>，其中，/>和/>分别是数据采集的最小和最大频率；是最大关键性评分；
S13：确定数据采集深度，根据关键性评分，选择数据的采集深度/>，具体的，对于关键性高的组件，不仅采集运行状态数据，还采集内部日志和错误报告；对于关键性较低的组件，仅采集基本的运行状态数据；
通过上述具体步骤，能够确保关键组件的数据被优先和频繁地收集，从而更有效地监控多媒体系统的运行状态。
S2具体包括：
S21：数据清洗：先对于收集的原始数据中的缺失值进行插值或使用统计方法（如中位数、平均值）进行填充；接着，使用z-score方法识别并移除数据中的异常值；最后，将数据转化为一个公共的尺度，如0到1之间或标准正态分布；
S22：特征提取，计算数据的基本统计值包括平均值、中位数、标准差、峰度和偏度；通过傅里叶变换或小波变换，提取数据的频域特征和时域特征，如数据的斜率、波峰和波谷等；
S23：时间序列分析，将时间序列数据分解为趋势、季节性和残差三部分，例如使用STL（Seasonal-Trend decomposition using LOESS）方法；利用自相关函数(ACF)和偏自相关函数(PACF)来检测数据中的周期性，最后使用滑动平均或指数平滑方法来识别数据的长期趋势。
S3中建立基线模型具体包括：
S31：数据标签化，利用正常运行数据，为每个数据点分配“正常”标签，当存在已知异常的数据集，为该部分数据点分配“异常”标签；
S32：特征选择，根据S22步骤中提取的特征，使用递归特征消除方法确定前N个最具代表性的特征，从而减少计算复杂度并增强模型的解释性；
S33：模型构建，使用支持向量机（SVM）作为机器学习算法，其决策函数公式为：，其中，/>是训练样本的数量；/>是拉格朗日乘子；/>是训练样本的标签；/>是核函数(例如高斯核)；/>是训练样本；而/>是输入样本；/>是偏置项；
S34：模型验证，使用折交叉验证方法(例如/>)对基线模型进行验证，确保其具有良好的泛化能力，模型的性能使用准确率、召回率和F1分数进行评估；
S35：阈值设置，为支持向量机模型设置一个决策边界阈值，当决策函数/>的输出大于或等于阈值/>时，数据点被认为是正常的，否则被认为是异常的；
通过上述步骤，基于正常运行数据，确切地建立了一个用于区分正常和异常行为的基线模型，为后续的异常检测提供了准确的依据。
S4具体包括：
S41：模型预测，将S2步骤中预处理后数据点输入到S33步骤中支持向量机的模型中，计算决策函数的输出：，其中，各变量和参数与S33中定义的相同；
S42：异常判定，利用阈值对决策函数的输出进行判定，具体为，当，则实时数据点是正常的；当/>，则实时数据点存在异常。
S5具体包括：
S51：收集反馈数据，获取系统的实时反馈（如系统日志、性能指标）和用户反馈（如用户提交的问题报告或评分）；
S52：评估模型误差，计算模型预测与实际结果之间的误差，具体公式为：，其中，/>是反馈数据的数量；/>是模型对第/>个数据点的预测输出；/>是该数据点的真实标签；
S53：参数调整，使用梯度下降法来最小化误差，更新支持向量机模型的参数，具体公式为：/> ，其中，/>是学习率，是一个预先设定的小正数，用于控制参数更新的幅度；
S54：权重调整，根据用户反馈，对模型中的特征权重进行动态调整，当用户经常报告某个特定特征与异常有强关联，将提高该特征的权重；
S55：模型验证，通过S34中模型验证来重新验证模型的性能，确保参数和权重的调整带来了性能的提升。
S6具体包括：
S61：异常事件整理，对所有被模型识别为异常的数据点进行归纳和整理，记录发生的时间、所涉及的多媒体组件或模块、异常的性质和可能的原因；
S62：风险点分析，从整理的异常事件中提取和归纳潜在的风险点，例如，如果某一组件或模块频繁出现异常，该组件或模块可能存在潜在的稳定性或兼容性问题；
S63：优化建议制定，根据异常事件和风险点的分析，制定具体的优化建议，具体的，当某一组件频繁出现性能下降的异常，建议对该组件进行代码优化或提升其资源分配；当发现数据传输异常，建议检查并优化网络连接；
S64：报告格式化，将S61-S63的内容进行格式化处理并形成结构化的监控报告，该监控报告包括报告摘要、异常事件概览、风险点分析和优化建议。
S7具体包括：
S71：异常级别分类，根据异常的性质和影响程度，将其分类为低、中、高和紧急四个级别；
S72：预设响应动作，为每个异常级别设定自动响应措施，如低级别仅记录异常，紧急级别则立即停止所有服务并进入维护模式；
S73：异常级别判定，实时评估识别到的异常，并按照预定的标准判定其级别；
S74：执行预设措施，基于判定的异常级别，自动执行相应的预设响应动作；
S75：反馈记录，将其所有的响应措施记录，提供给管理员一个实时的状态更新。
S74中自动执行具体包括：
S741：动态监测，持续监测异常判定结果，确保对任何判定为异常的输出进行实时捕获；
S742：响应动作映射，建立一个异常级别与响应动作的映射表，该映射表指定每个异常级别对应的自动执行措施；
S743：自动触发器设置，为每一种预设响应动作设置自动触发器，一旦接收到相应级别的异常信号，相应的措施即被自动激活并执行。
基于数据分析的多媒体系统的监控系统，包括数据采集模块、数据处理模块、基线建模模块、异常检测模块、参数调整模块、报告生成模块、自动响应模块以及通知与日志模块，具体的，
数据采集模块：配置为根据多媒体系统的不同组件或模块，动态调整数据采集频率和深度；
数据处理模块：负责对收集到的数据进行清洗、特征提取和时间序列分析，以识别数据中的周期性模式或趋势；
基线建模模块：利用正常运行数据，建立一个代表系统无异常时的行为的基线模型；
异常检测模块：利用数据分析技术，将实时数据与基线模型进行比较，实时识别异常问题；
参数调整模块：根据系统的实时反馈和用户反馈，动态调整数据分析模型的参数和权重；
报告生成模块：根据分析结果自动生成详细的监控报告，包括异常事件、风险点以及针对性的优化建议；
自动响应模块：当检测到严重或紧急的异常时，能够自动采取一系列预定的响应措施；
通知与日志模块：负责将所有自动响应措施记录下来，并提供给管理员一个实时的状态更新，同时向相关人员发送通知。
在本实施例中，为了验证基于数据分析的多媒体系统监控方法的效果，我们在一个模拟的多媒体环境中进行了详细的实验设计和测试，具体如下：
1.实验环境：
系统结构：一个包含音频、视频、图片和文本数据流的多媒体系统；
硬件配置：三个服务器节点，每个节点配备8核CPU，32GB内存；
软件配置：各种传感器和模块模拟器；
2.数据集：
正常数据：10天的正常运行数据，总计5TB；
异常数据：在正常数据基础上注入了5%的异常事件，如网络延迟、模块故障、数据丢失等，总计5.25TB；
3.实验流程：
a.基线模型建立：
使用正常数据建立基线模型；
平均处理时间：2.5小时；
b.异常模拟：
在异常数据中随机选择一天的数据进行模拟；
平均每天异常事件数：475；
c.实时监控：
监控模型处理数据速度：1TB/h；
总处理时间：5.25小时；
d.自动响应：
平均响应时间：2.8秒；
4.实验数据：
异常检测率：
基于数据分析的监控方法：98.5%(468/475)；
传统方法（作为对照组）：78%(371/475)；
响应时效：
基于数据分析的监控方法平均响应时间：2.8秒；
传统方法平均响应时间：45秒；
自适应性评估：
模型参数调整频率：每30分钟一次；
模型平均调整时间：7秒；
报告准确性：
基于数据分析的监控方法与实际异常事件匹配度：97.9%；
传统方法与实际异常事件匹配度：72.3%；
表1实验数据对比
| 评价指标 | 基于数据分析的监控方法 | 传统方法 |
| 异常检测率 | 98.5% (468/475) | 78% (371/475) |
| 平均响应时间 | 2.8秒 | 45秒 |
| 自适应性评估 | 每30分钟调整一次 | 不具备自适应调整能力 |
| 报告匹配度 | 97.90% | 72.30% |
根据表1可以看出，该方法不仅在异常检测率上有了近20%的提高，平均响应时间也缩短了近15倍，此外，它还具备出色的自适应性，能够每30分钟自动调整一次，而传统方法则不具备此功能，最后，基于数据分析的方法在报告匹配度上也远超传统方法，确保了准确性和及时性。
本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于数据分析的多媒体系统监控方法，其特征在于，包括以下步骤：
S1：动态数据采集，根据多媒体系统的不同组件或模块，动态调整数据采集频率和深度；
S2：数据预处理，对收集到的数据进行清洗、特征提取和时间序列分析以识别数据中的周期性模式或趋势；
S3：建立基线模型，使用正常运行数据，建立一个代表系统无异常时的行为的基线模型；
S4：实时异常检测，利用数据分析技术，将实时数据与基线模型进行比较，以实时识别异常问题；
S5：自适应调整，根据系统的实时反馈和用户反馈，动态调整数据分析模型的参数和权重；
S6：生成监控报告，根据分析结果生成详细的监控报告，该监控报告包括异常事件、风险点以及针对性的优化建议；
S7：自动响应机制，当检测到紧急异常时，将自动采取预设的响应措施。
2.根据权利要求1所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S1中动态数据采集具体包括：
S11：评估组件的关键性，为多媒体系统的每个组件或模块分配一个关键性评分，其中/>是基于该组件对系统整体性能和稳定性的影响进行评估的，具体公式表示为：
其中，
表示组件的性能指标；
表示组件的故障历史记录；
和/>是权重因子；
S12：确定数据采集频率，根据关键性评分，确定数据采集频率/>，具体公式表示为：
其中，
和/>分别是数据采集的最小和最大频率；
是最大关键性评分；
S13：确定数据采集深度，根据关键性评分，选择数据的采集深度/>，具体的，对于关键性高的组件，不仅采集运行状态数据，还采集内部日志和错误报告；对于关键性较低的组件，仅采集基本的运行状态数据。
3.根据权利要求1所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S2具体包括：
S21：数据清洗：先对于收集的原始数据中的缺失值进行插值或使用统计方法进行填充；接着，使用z-score方法识别并移除数据中的异常值；最后，将数据转化为一个公共的尺度；
S22：特征提取，计算数据的基本统计值包括平均值、中位数、标准差、峰度和偏度；通过傅里叶变换或小波变换，提取数据的频域特征和时域特征；
S23：时间序列分析，将时间序列数据分解为趋势、季节性和残差三部分；利用自相关函数(ACF)和偏自相关函数(PACF)来检测数据中的周期性，最后使用滑动平均或指数平滑方法来识别数据的长期趋势。
4.根据权利要求3所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S3中建立基线模型具体包括：
S31：数据标签化，利用正常运行数据，为每个数据点分配“正常”标签，当存在已知异常的数据集，为该部分数据点分配“异常”标签；
S32：特征选择，根据S22步骤中提取的特征，使用递归特征消除方法确定前N个最具代表性的特征，从而减少计算复杂度并增强模型的解释性；
S33：模型构建，使用支持向量机作为机器学习算法，其决策函数公式为：
其中，
是训练样本的数量；
是拉格朗日乘子；
是训练样本的标签；
是核函数；
是训练样本；
而是输入样本；
是偏置项；
S34：模型验证，使用折交叉验证方法对基线模型进行验证，确保其具有良好的泛化能力，模型的性能使用准确率、召回率和F1分数进行评估；
S35：阈值设置，为支持向量机模型设置一个决策边界阈值，当决策函数/>的输出大于或等于阈值/>时，数据点被认为是正常的，否则被认为是异常的。
5.根据权利要求4所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S4具体包括：
S41：模型预测，将S2步骤中预处理后数据点输入到S33步骤中所述支持向量机的模型中，计算决策函数的输出：
其中，各变量和参数与权利要求4中定义的相同；
S42：异常判定，利用所述阈值对决策函数/>的输出进行判定，具体为，当，则实时数据点是正常的；当/>，则实时数据点存在异常。
6.根据权利要求5所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S5具体包括：
S51：收集反馈数据，获取系统的实时反馈和用户反馈；
S52：评估模型误差，计算模型预测与实际结果之间的误差，具体公式为：
其中，
是反馈数据的数量；
是模型对第/>个数据点的预测输出；
是该数据点的真实标签；
S53：参数调整，使用梯度下降法来最小化误差，更新支持向量机模型的参数，具体公式为：
其中，是学习率；
S54：权重调整，根据用户反馈，对模型中的特征权重进行动态调整，当用户经常报告某个特定特征与异常有强关联，将提高该特征的权重；
S55：模型验证，通过S34中模型验证来重新验证模型的性能。
7.根据权利要求1所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S6具体包括：
S61：异常事件整理，对所有被模型识别为异常的数据点进行归纳和整理；
S62：风险点分析，从整理的异常事件中提取和归纳潜在的风险点；
S63：优化建议制定，根据异常事件和风险点的分析，制定具体的优化建议，具体的，当某一组件频繁出现性能下降的异常，建议对该组件进行代码优化或提升其资源分配；当发现数据传输异常，建议检查并优化网络连接；
S64：报告格式化，将S61-S63的内容进行格式化处理并形成结构化的监控报告，该监控报告包括报告摘要、异常事件概览、风险点分析和优化建议。
8.根据权利要求1所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S7具体包括：
S71：异常级别分类，根据异常的性质和影响程度，将其分类为低、中、高和紧急四个级别；
S72：预设响应动作，为每个异常级别设定自动响应措施；
S73：异常级别判定，实时评估识别到的异常，并按照预定的标准判定其级别；
S74：执行预设措施，基于判定的异常级别，自动执行相应的预设响应动作；
S75：反馈记录，将其所有的响应措施记录，提供给管理员一个实时的状态更新。
9.根据权利要求8所述的基于数据分析的多媒体系统监控方法，其特征在于，所述S74中自动执行具体包括：
S741：动态监测，持续监测异常判定结果，确保对任何判定为异常的输出进行实时捕获；
S742：响应动作映射，建立一个异常级别与响应动作的映射表，该映射表指定每个异常级别对应的自动执行措施；
S743：自动触发器设置，为每一种预设响应动作设置自动触发器，一旦接收到相应级别的异常信号，相应的措施即被自动激活并执行。
10.根据权利要求1-9任一项所述的基于数据分析的多媒体系统的监控系统，其特征在于，包括数据采集模块、数据处理模块、基线建模模块、异常检测模块、参数调整模块、报告生成模块、自动响应模块以及通知与日志模块，具体的，
数据采集模块：配置为根据多媒体系统的不同组件或模块，动态调整数据采集频率和深度；
数据处理模块：负责对收集到的数据进行清洗、特征提取和时间序列分析，以识别数据中的周期性模式或趋势；
基线建模模块：利用正常运行数据，建立一个代表系统无异常时的行为的基线模型；
异常检测模块：利用数据分析技术，将实时数据与基线模型进行比较，实时识别异常问题；
参数调整模块：根据系统的实时反馈和用户反馈，动态调整数据分析模型的参数和权重；
报告生成模块：根据分析结果自动生成详细的监控报告，包括异常事件、风险点以及针对性的优化建议；
自动响应模块：当检测到严重或紧急的异常时，能够自动采取一系列预定的响应措施；
通知与日志模块：负责将所有自动响应措施记录下来，并提供给管理员一个实时的状态更新，同时向相关人员发送通知。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311212635.3A CN116955092B (zh) | 2023-09-20 | 2023-09-20 | 基于数据分析的多媒体系统监控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311212635.3A CN116955092B (zh) | 2023-09-20 | 2023-09-20 | 基于数据分析的多媒体系统监控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116955092A true CN116955092A (zh) | 2023-10-27 |
| CN116955092B CN116955092B (zh) | 2024-01-30 |
Family
ID=88462481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311212635.3A Active CN116955092B (zh) | 2023-09-20 | 2023-09-20 | 基于数据分析的多媒体系统监控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116955092B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117149584A (zh) * | 2023-10-31 | 2023-12-01 | 国合通用(青岛)测试评价有限公司 | 基于大数据的多试样标距标记设备的运行监管系统 |
| CN117540372A (zh) * | 2023-11-22 | 2024-02-09 | 西藏朗杰信息科技有限公司 | 智能学习的数据库入侵检测与响应系统 |
| CN117710832A (zh) * | 2024-01-04 | 2024-03-15 | 广州智寻科技有限公司 | 一种电网卫星、无人机、视频监控图像智能识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217022A1 (en) * | 2015-01-23 | 2016-07-28 | Opsclarity, Inc. | Anomaly detection using circumstance-specific detectors |
| CN108665119A (zh) * | 2018-08-03 | 2018-10-16 | 清华大学 | 一种供水管网异常工况预警方法 |
| CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
| CN111178456A (zh) * | 2020-01-15 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 异常指标检测方法、装置、计算机设备和存储介质 |
| CN112749035A (zh) * | 2019-10-31 | 2021-05-04 | 阿里巴巴集团控股有限公司 | 异常检测方法、装置及计算机可读介质 |
| CN114676956A (zh) * | 2022-01-04 | 2022-06-28 | 哈尔滨工业大学（威海） | 基于多维数据融合的老人跌倒风险预警系统 |
| US20220284994A1 (en) * | 2021-03-05 | 2022-09-08 | Koneksa Health Inc. | Health monitoring system with configurable data collection and processing |
| CN116680704A (zh) * | 2023-07-28 | 2023-09-01 | 深圳迅销科技股份有限公司 | 一种用于客户端的数据安全防护方法及系统 |
-
2023
- 2023-09-20 CN CN202311212635.3A patent/CN116955092B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160217022A1 (en) * | 2015-01-23 | 2016-07-28 | Opsclarity, Inc. | Anomaly detection using circumstance-specific detectors |
| CN108665119A (zh) * | 2018-08-03 | 2018-10-16 | 清华大学 | 一种供水管网异常工况预警方法 |
| CN110428522A (zh) * | 2019-07-24 | 2019-11-08 | 青岛联合创智科技有限公司 | 一种智慧新城的智能安防系统 |
| CN112749035A (zh) * | 2019-10-31 | 2021-05-04 | 阿里巴巴集团控股有限公司 | 异常检测方法、装置及计算机可读介质 |
| CN111178456A (zh) * | 2020-01-15 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 异常指标检测方法、装置、计算机设备和存储介质 |
| US20220284994A1 (en) * | 2021-03-05 | 2022-09-08 | Koneksa Health Inc. | Health monitoring system with configurable data collection and processing |
| CN114676956A (zh) * | 2022-01-04 | 2022-06-28 | 哈尔滨工业大学（威海） | 基于多维数据融合的老人跌倒风险预警系统 |
| CN116680704A (zh) * | 2023-07-28 | 2023-09-01 | 深圳迅销科技股份有限公司 | 一种用于客户端的数据安全防护方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 吴舸等: "面向企业客户的大型云网监控系统灵敏度优化", 计算机系统应用, vol. 31, no. 6, pages 93 - 99 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117149584A (zh) * | 2023-10-31 | 2023-12-01 | 国合通用(青岛)测试评价有限公司 | 基于大数据的多试样标距标记设备的运行监管系统 |
| CN117540372A (zh) * | 2023-11-22 | 2024-02-09 | 西藏朗杰信息科技有限公司 | 智能学习的数据库入侵检测与响应系统 |
| CN117540372B (zh) * | 2023-11-22 | 2024-05-14 | 西藏朗杰信息科技有限公司 | 智能学习的数据库入侵检测与响应系统 |
| CN117710832A (zh) * | 2024-01-04 | 2024-03-15 | 广州智寻科技有限公司 | 一种电网卫星、无人机、视频监控图像智能识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116955092B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116955092B (zh) | 基于数据分析的多媒体系统监控方法及系统 | |
| US20190228296A1 (en) | Significant events identifier for outlier root cause investigation | |
| CN110865929A (zh) | 异常检测预警方法及系统 | |
| CN111459778A (zh) | 运维系统异常指标检测模型优化方法、装置及存储介质 | |
| US20180107528A1 (en) | Aggregation based event identification | |
| CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
| CN110097037A (zh) | 智能监测方法、装置、存储介质及电子设备 | |
| CN110381079B (zh) | 结合gru和svdd进行网络日志异常检测方法 | |
| KR102399787B1 (ko) | 온라인 서비스의 거동 변화의 인식 기법 | |
| CN111539493B (zh) | 一种告警预测方法、装置、电子设备及存储介质 | |
| Chouliaras et al. | Real-time anomaly detection of NoSQL systems based on resource usage monitoring | |
| CN111045902A (zh) | 服务器的压力测试方法及装置 | |
| WO2023115856A1 (zh) | 一种任务异常告警方法及装置 | |
| CN115952081A (zh) | 一种软件测试方法、装置、存储介质及设备 | |
| CN114647558A (zh) | 一种日志异常检测的方法和装置 | |
| CN112699048B (zh) | 基于人工智能的程序故障处理方法、装置、设备及存储介质 | |
| CN116720084A (zh) | 数据识别方法、装置、电子设备及计算机可读存储介质 | |
| CN116132103A (zh) | 一种网络安全态势监测方法、装置、电子设备和存储介质 | |
| Zhang et al. | Sampling program quality | |
| US20230244754A1 (en) | Automatic anomaly thresholding for machine learning | |
| CN113656452A (zh) | 调用链指标异常的检测方法、装置、电子设备及存储介质 | |
| CN113691552A (zh) | 威胁情报有效性评估方法、装置、系统及计算机存储介质 | |
| CN114860563A (zh) | 应用程序测试方法、装置、计算机可读存储介质及设备 | |
| KR20200071646A (ko) | 이상 로그 탐지를 위한 탐지 장치 및 이의 동작 방법과 트레이닝 장치 및 이의 동작 방법 | |
| Teggi et al. | AIOPS Prediction for Server Stability Based on ARIMA Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |