CN117608990A - 基于文件大小判断数据异常的方法、系统、设备及介质 - Google Patents
基于文件大小判断数据异常的方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117608990A CN117608990A CN202311564364.8A CN202311564364A CN117608990A CN 117608990 A CN117608990 A CN 117608990A CN 202311564364 A CN202311564364 A CN 202311564364A CN 117608990 A CN117608990 A CN 117608990A
- Authority
- CN
- China
- Prior art keywords
- data
- file size
- trend
- preset
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000005856 abnormality Effects 0.000 title claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 64
- 230000008859 change Effects 0.000 claims abstract description 38
- 230000004044 response Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000012731 temporal analysis Methods 0.000 claims description 3
- 238000000700 time series analysis Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000013024 troubleshooting Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及数据处理的领域，提出了基于文件大小判断数据异常的方法、系统、设备及介质，方法包括：响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；响应于监测数据超过预设文件大小阈值，产生告警信号并返回；通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。本发明通过根据数据文件大小判断数据异常，保证了数据安全，减少了工作人员排查故障的难度，方便工作人员能够快速有效地判断数据异常并采取相应的处理措施，增强了系统的稳定性。
Description
技术领域
本发明涉及数据处理的领域，尤其涉及基于文件大小判断数据异常的方法、系统、设备及介质。
背景技术
在大数据时代，数据库的应用越来越广泛，数据的存储和处理成为了关键的技术之一。在数据库的使用过程中，可能会出现数据异常的情况，如数据文件大小超过预设阈值等。传统的处理方法通常需要人工检查和判断，效率低下，难以满足实际需求。因此，如何快速有效地判断数据异常并采取相应的处理措施成为了亟待解决的问题。
数据库数据文件的大小通常会随着时间和数据量的变化而变化。以下是可能影响数据库数据文件大小的几个因素：
1、数据增长：随着时间的推移，数据量可能会增加，从而导致数据文件的大小增加。
2、索引增长：如果数据库中使用了索引，索引的大小也会随着时间的推移而增加，从而增加数据文件的大小。
3、事务处理：频繁的事务处理可能导致数据文件的频繁更新，从而增加数据文件的大小。
4、备份和恢复：备份和恢复操作可能会导致数据文件的频繁更改，从而增加数据文件的大小。
5、并发访问：如果数据库系统同时被多个用户或进程访问，可能会导致数据文件的频繁更改，从而增加数据文件的大小。
总之，数据库数据文件的大小会受到多种因素的影响，包括数据增长、索引增长、事务处理、备份和恢复以及并发访问等。因此，数据库管理员需要定期监控数据文件的大小，并根据需要采取适当的措施来维护数据库的稳定性和性能。
发明内容
有鉴于此，本发明提出了基于文件大小判断数据异常的方法、系统、设备及介质，可以有效地判断数据库数据文件大小是否异常，避免数据异常导致的系统故障，提高了异常处理的效率，提高系统的稳定性。
基于上述目的，本发明实施例的一方面提供了基于文件大小判断数据异常的方法，具体包括如下步骤：
响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；
响应于监测数据超过预设文件大小阈值，产生告警信号并返回；
通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；
对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。
在一些实施例中，所述对数据库中的数据文件大小进行监测，得到监测数据的步骤包括：
使用非侵入方式定时采集数据库数据文件大小，作为监测数据。
在一些实施例中，所述通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端的步骤包括：
对同一文件的监测数据和同一时段的监测数据进行分析，得到当前的变化趋势；
将所述变化趋势返回到客户端；
根据接收到来自客户端的查询指令，对变化趋势进行展示。
在一些实施例中，所述对监测数据使用预设的预测算法进行建模的步骤包括：
对监测数据进行清洗等预处理操作，得到预处理数据；
对预处理数据基于ARIMA时间序列分析方法进行建模。
在一些实施例中，所述建模过程如下：
对监测数据进行预处理，剔除异常值和缺失值，进行重采样，得到处理后的数据序列；
对数据序列进行平滑处理，使用差分法和平滑法对数据序列进行平稳性操作；
通过ADF检验判断数据序列是否平稳，利用白噪声检验判断序列是否为随机性序列；
对数据序列进行定阶，得到预测模型。
在一些实施例中，所述响应于性能趋势超过预设偏离阈值，产生告警信号并返回的步骤包括：
响应于性能趋势超过预设警戒线，产生告警信号并返回；
响应于性能趋势中预测出现问题，产生告警信号并返回。
在一些实施例中，方法还包括：
根据监测数据进行对比，通过对比结果计算得到数量变化，根据数量变化的程度选择不同的提示信息并返回。
本发明提出了基于文件大小判断数据异常的系统，包括：
采集模块，配置为响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；
判断模块，配置为响应于监测数据超过预设文件大小阈值，产生告警信号并返回；
处理模块，配置为通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；
预测模块，配置为对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。
本发明提出了一种计算机设备，包括：
至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行所述基于文件大小判断数据异常的方法的步骤。
本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行所述基于文件大小判断数据异常的方法的步骤。
本发明至少具有以下有益技术效果：
本发明提出了基于文件大小判断数据异常的方法、系统、设备及介质，方法包括：响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；响应于监测数据超过预设文件大小阈值，产生告警信号并返回；通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。
本发明通过根据数据文件大小判断数据异常，保证了数据安全，减少了工作人员排查故障的难度，方便工作人员能够快速有效地判断数据异常并采取相应的处理措施，增强了系统的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的基于文件大小判断数据异常的方法流程图；
图2为本发明提供的基于文件大小判断数据异常的系统模块图；
图3为本发明提供的基于文件大小判断数据异常的一实施例的建模流程图；
图4为本发明提供的基于文件大小判断数据异常的一实施例的示例效果图；
图5为本发明提供的计算机设备的一实施例的结构示意图；
图6为本发明提供的计算机可读存储介质的一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
本发明实施例的一方面提供了基于文件大小判断数据异常的方法，请参阅图1，具体包括如下步骤：
S1：响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；
S2：响应于监测数据超过预设文件大小阈值，产生告警信号并返回；
S3：通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；
S4：对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。
本发明通过获取数据库中的数据文件，判断数据文件的大小是否超过预设阈值，判断文件变化趋势，分析系统当前性能、运行情况并预测未来新能变化趋势。
本发明可以部署运行在计算机环境，可以定时获取数据库数据文件大小，用户可以预设文件大小阈值，查看变化趋势，对比每次数量变化，预制提示信息，查看数据库压力情况、性能情况，告警异常。
在一些实施例中，请参阅图1，所述对数据库中的数据文件大小进行监测，得到监测数据的步骤包括：
使用非侵入方式定时采集数据库数据文件大小，作为监测数据。
获取到数据库数据文件大小，通过大小变化，观测系统情况，量化文件大小变化。
在一些实施例中，请参阅图1，所述通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端的步骤包括：
对同一文件的监测数据和同一时段的监测数据进行分析，得到当前的变化趋势；
将所述变化趋势返回到客户端；
根据接收到来自客户端的查询指令，对变化趋势进行展示。
可以从多个维度分析系统情况，量化监测数据，用户可以预制文件大小阈值，预制提示信息，及时了解系统情况。
在一些实施例中，请参阅图1和图3，所述对监测数据使用预设的预测算法进行建模的步骤包括：
对监测数据进行清洗等预处理操作，得到预处理数据；
对预处理数据基于ARIMA时间序列分析方法进行建模。
适用于数据库系统运行情况监测。
基于ARIMA时间序列分析方法进行设计建模，先通过对前期采集到的数据进行清洗等预处理操作，使用预处理后的数据进行建模，可以预测数据的趋势，并可以通过设置偏离阈值，进行性能问题的异常检测。
ARIMA全称为自回归(autoregressive)、综合移动平均(integrated)、滑动平均(moving average)模型(ARIMA Model)，ARIMA模型被广泛应用于时间序列数据的预测和建模。它可以通过对时间序列的历史数据进行分析和拟合，来预测未来的趋势和变化。在将非平稳时间序列转化为平稳时间序列的过程中，将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。在进行建模之前，对历史数据进行预处理，处理掉数据中的异常值和缺失值，并进行数据重采样。
ARIMA模型简单，只需要内生变量而不需要借助其他外生变量，可以处理非线性、非平稳时间序列，能够考虑历史数据的影响，对未来的预测具有较高的准确性，可以进行参数调整，提高模型的预测精度。
在一些实施例中，请参阅图1和图3，所述建模过程如下：
对监测数据进行预处理，剔除异常值和缺失值，进行重采样，得到处理后的数据序列；
对数据序列进行平滑处理，使用差分法和平滑法对数据序列进行平稳性操作；
通过ADF检验判断数据序列是否平稳，利用白噪声检验判断序列是否为随机性序列；
对数据序列进行定阶，得到预测模型。
处理完历史数据后，对数据序列进行平滑处理，由于ARIMA需要时间序列满足平稳性和非白噪声的要求，用差分法和平滑法(滚动平均和滚动标准差)来实现序列的平稳性操作，并通过利用ADF检验判断序列是否平稳，利用白噪声检验判断序列是否为随机性序列。
ARIMA(p、d、q)中需要三个参数，其中d是需要对数据进行差分的阶数。在进行平滑后需要确定AR(p)和MA(q)中p和q的值。
通过AR自回归模型描述当前值与历史值之间的关系，用变量自身的历史时间数据对自身进行预测，自回归模型需要确定一个阶数p，表示用几期的历史值来预测当前值。
一般的P阶自回归模型：
Xt＝α1Xt-1+α2Xt-2+…+αpXt-p+ut；
如果随机扰动项是一个白噪声(ut＝εt)，则称为一个纯AR(p)过程，记为：
Xt＝α1Xt-1+α2Xt-2+…+αpXt-p+εt；
AR模型是基于移动平均进行处理，如果ut不是一个白噪声，通常认为它是一个q阶的移动平均。即
ut＝εt+β2εt-1+…+βpεt-q；
其中表示εt白噪声序列。当Xt＝ut，即时间序列当前值与历史值没有关系，而只依赖于历史白噪声的线性组合，就得到MA模型。将AR与MA结合得到：
Xt＝α1Xt-1+α2Xt-2+…+αpXt-p+εt+εt+β2εt-1+…+βpεt-q；
一个随机时间序列可以通过一个自回归移动平均模型来表示，即该序列可以由其自身的过去或滞后值以及随机扰动项来解释。
如果该序列是平稳的，即它的行为并不会随着时间的推移而变化，那么我们就可以通过该序列过去的行为来预测未来。
对平稳时间序列分别求得其自相关系数(ACF)和偏自相关系数(PACF)，通过对自相关图和偏自相关图的分析，得到最佳的阶数p、q。
确定完ARIMA模型三个参数p、d、q后，可以输入数据进行预测及验证，当实际数据与预测数据差值过大时，则有可能发生了异常。
在一些实施例中，请参阅图1，所述响应于性能趋势超过预设偏离阈值，产生告警信号并返回的步骤包括：
响应于性能趋势超过预设警戒线，产生告警信号并返回；
响应于性能趋势中预测出现问题，产生告警信号并返回。
独立于其他的硬件设置，可以根据实际情况维护数据库中的数据，并且通过性能趋势的变化来跟踪数据的变化，可以设置不同的告警条件进行灵活告警，具有可靠性和有效性。
在一些实施例中，请参阅图1，方法还包括：
根据监测数据进行对比，通过对比结果计算得到数量变化，根据数量变化的程度选择不同的提示信息并返回。
通过将异常情况分类分级产生不同的提示信息来帮助工作人员能够更快速、更准确地发现和解决问题，提高应用程序的稳定性和可靠性。
本发明提出了基于文件大小判断数据异常的系统，请参阅图2，包括：
采集模块100，配置为响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；
判断模块200，配置为响应于监测数据超过预设文件大小阈值，产生告警信号并返回；
处理模块300，配置为通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；
预测模块400，配置为对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。
采集模块主要用于对于数据进行取样采集。采集模块主要采用非侵入方式来采集数据库中的原始数据。数据的采集频率通过配置界面进行配置实现。
判断模块，用于判断数据文件的大小是否超过预设阈值；
处理模块，用于若数据文件的大小超过预设阈值，则表示数据异常，执行异常处理操作。
预测模块：该模块为该装置的核心部分，该过程基于数据采集模块得到的数据进行分析，通过一系列算法，分析某个时刻、某个时段的是否存在性能问题；并通过数据分析来预测未来性能变化的趋势。分析数据的即时展示，用来展示当前性能趋势和未来性能趋势；并可以支持时段数据的选择、钻取，并支持时段数据的对比，用以分析性能来源。
可以有效地判断数据库数据文件大小是否异常，避免数据异常导致的系统故障，提高了异常处理的效率，提高系统的稳定性。
本发明通过根据数据文件大小判断数据异常，保证了数据安全，减少了工作人员排查故障的难度，方便工作人员能够快速有效地判断数据异常并采取相应的处理措施，增强了系统的稳定性。
在一个实施例中，请参阅图4，以下将通过一个场景展开描述，使以上说明书所示的实现方式更清晰、易懂。
初始时，建议定期采集数据大小。
对原始数据进行分析、处理。
根据分析数据，生成变化趋势图，示例效果如图4所示。
模型分析超过警戒线时发出警告信息。
性能预测功能，根据现有数据和预测算法，对现有的性能趋势进行预测，测算到未来可能出现问题变化时提前告警。
基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机设备30，在该计算机设备30中包括处理器310以及存储器320，存储器320存储有可在处理器上运行的计算机程序321，处理器310执行程序时执行如上的方法的步骤。
基于同一发明构思，根据本发明的另一个方面，如图6所示，本发明的实施例还提供了一种计算机可读存储介质40，计算机可读存储介质40存储有被处理器执行时执行如上方法的计算机程序410。
本发明实施例还可以包括相应的计算机设备。计算机设备包括存储器、至少一个处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述任意一种方法。
其中，存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行装置的各种功能应用以及数据处理，即实现上述方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.基于文件大小判断数据异常的方法，其特征在于，包括，
响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；
响应于监测数据超过预设文件大小阈值，产生告警信号并返回；
通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；
对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。
2.根据权利要求1所述的基于文件大小判断数据异常的方法，其特征在于，所述对数据库中的数据文件大小进行监测，得到监测数据的步骤包括：
使用非侵入方式定时采集数据库数据文件大小，作为监测数据。
3.根据权利要求1所述的基于文件大小判断数据异常的方法，其特征在于，所述通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端的步骤包括：
对同一文件的监测数据和同一时段的监测数据进行分析，得到当前的变化趋势；
将所述变化趋势返回到客户端；
根据接收到来自客户端的查询指令，对变化趋势进行展示。
4.根据权利要求1所述的基于文件大小判断数据异常的方法，其特征在于，所述对监测数据使用预设的预测算法进行建模的步骤包括：
对监测数据进行清洗等预处理操作，得到预处理数据；
对预处理数据基于ARIMA时间序列分析方法进行建模。
5.根据权利要求4所述的基于文件大小判断数据异常的方法，其特征在于，所述建模过程如下：
对监测数据进行预处理，剔除异常值和缺失值，进行重采样，得到处理后的数据序列；
对数据序列进行平滑处理，使用差分法和平滑法对数据序列进行平稳性操作；
通过ADF检验判断数据序列是否平稳，利用白噪声检验判断序列是否为随机性序列；
对数据序列进行定阶，得到预测模型。
6.根据权利要求1所述的基于文件大小判断数据异常的方法，其特征在于，所述响应于性能趋势超过预设偏离阈值，产生告警信号并返回的步骤包括：
响应于性能趋势超过预设警戒线，产生告警信号并返回；
响应于性能趋势中预测出现问题，产生告警信号并返回。
7.根据权利要求1所述的基于文件大小判断数据异常的方法，其特征在于，方法还包括：
根据监测数据进行对比，通过对比结果计算得到数量变化，根据数量变化的程度选择不同的提示信息并返回。
8.基于文件大小判断数据异常的系统，其特征在于，包括：
采集模块，配置为响应于接收到预设文件大小阈值，对数据库中的数据文件大小进行监测，得到监测数据；
判断模块，配置为响应于监测数据超过预设文件大小阈值，产生告警信号并返回；
处理模块，配置为通过记录并汇总监测数据来得到变化趋势，将所述变化趋势返回到客户端；
预测模块，配置为对监测数据使用预设的预测算法进行建模，并基于构建的模型预测后续监测数据的性能趋势，响应于性能趋势超过预设偏离阈值，产生告警信号并返回。
9.一种计算机设备，包括：
至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1至7任一项所述基于文件大小判断数据异常的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1至7任一项所述基于文件大小判断数据异常的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311564364.8A CN117608990A (zh) | 2023-11-22 | 2023-11-22 | 基于文件大小判断数据异常的方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311564364.8A CN117608990A (zh) | 2023-11-22 | 2023-11-22 | 基于文件大小判断数据异常的方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117608990A true CN117608990A (zh) | 2024-02-27 |
Family
ID=89957306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311564364.8A Pending CN117608990A (zh) | 2023-11-22 | 2023-11-22 | 基于文件大小判断数据异常的方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117608990A (zh) |
-
2023
- 2023-11-22 CN CN202311564364.8A patent/CN117608990A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108073497B (zh) | 一种基于数据中心数据采集平台的多指标异动分析方法 | |
| CN113077172A (zh) | 一种设备状态趋势分析及故障诊断方法 | |
| CN108763729B (zh) | 基于网络结构熵的流程工业机电系统耦合状态评估方法 | |
| CN111262750B (zh) | 一种用于评估基线模型的方法及系统 | |
| Zhang et al. | Health state assessment of bearing with feature enhancement and prediction error compensation strategy | |
| CN113305645B (zh) | 一种基于混合神经模型的数控机床刀具剩余寿命预测方法 | |
| CN113518011A (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
| CN112629585A (zh) | 基于多维参数估计的设备在线监测方法及装置 | |
| CN111045894A (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
| CN112148561B (zh) | 业务系统的运行状态预测方法、装置及服务器 | |
| CN116224137A (zh) | 一种ups设备故障预警方法及系统 | |
| CN115794532A (zh) | 多指标智能动态阈值监控方法及系统 | |
| CN115617606A (zh) | 设备监测方法和系统、电子设备、存储介质 | |
| CN117076258A (zh) | 一种基于互联网云端的远程监控方法及系统 | |
| Jin et al. | An optimal maintenance strategy for multi-state deterioration systems based on a semi-Markov decision process coupled with simulation technique | |
| CN117114454B (zh) | 一种基于Apriori算法的直流套管状态评估方法及系统 | |
| CN112664410B (zh) | 一种基于大数据的机组在线监测系统建模方法 | |
| KR20220132824A (ko) | 배전설비 상태 이상 개소 감시 시스템 및 방법 | |
| CN117435908A (zh) | 一种用于旋转机械的多种故障特征提取方法 | |
| KR102108975B1 (ko) | 함정설비의 상태기반 정비 지원 장치 및 방법 | |
| CN117331790A (zh) | 一种用于数据中心的机房故障检测方法及装置 | |
| CN117608990A (zh) | 基于文件大小判断数据异常的方法、系统、设备及介质 | |
| CN115169650B (zh) | 一种大数据分析的装备健康预测方法 | |
| CN115118580B (zh) | 告警分析方法以及装置 | |
| CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |