CN114338458A - 数据安全检测方法及装置 - Google Patents
数据安全检测方法及装置 Download PDFInfo
- Publication number
- CN114338458A CN114338458A CN202111605259.5A CN202111605259A CN114338458A CN 114338458 A CN114338458 A CN 114338458A CN 202111605259 A CN202111605259 A CN 202111605259A CN 114338458 A CN114338458 A CN 114338458A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- determining
- training data
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 105
- 238000010586 diagram Methods 0.000 claims description 48
- 230000036541 health Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 22
- 230000003442 weekly effect Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000037211 monthly cycles Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000007689 inspection Methods 0.000 description 83
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003862 health status Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据安全检测方法及装置。其中,该方法包括:根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;通过预测模型对动态数列进行预测,得到预测数列;根据预测数列和预设的容忍值得到目标阈值;接收目标设备当前的运行参数;在运行参数超过目标阈值的情况下,确定目标设备异常。本发明解决了相关技术中通过人工检测数据设备的参数,来监控数据设备的安全状态,存在效率低,操作繁琐的技术问题。
Description
技术领域
本发明涉及数据监测领域,具体而言,涉及一种数据安全检测方法及装置。
背景技术
互联网发展日新月异,给人们的日常生活提供了很多的便利,网络安全也就成了伴随互联网发展的热点话题。防火墙等安全设备是保障网络环境安全的重要网络设备。在很多典型的网络环境中,比如公司内部网络,学校内部网络,都需要部署一台或者多台安全设备来保证网络安全。
防火墙等安全设备是保证网络安全的重要网络设备,其健康状态就关系到整个网络环境是否健康。网络管理员需要经常关注网络环境中的安全设备是否处于健康状态,只有安全设备处于健康状态时,才能更好的保证网络环境的安全。
传统的检查安全设备健康状态的方式通常是通过访问设备的页面,查看设备的重要指标数据,比如CPU利用率、内存利用率等。也可以通过访问设备的命令行,获取设备的重要指标参数。但是上述传统的检查设备健康状态的方式都比较繁琐,特别是当设备数量较多时,工作量会剧增。
相关技术通过手动执行命令行并分析返回结果的方式查看安全设备的健康状态。该技术主要是通过用户手动执行命令行,根据返回结果主观分析判断安全设备的健康状态,比如通过命令行获取cpu利用率,根据返回结果判断当前安全设备负荷是否过重;通过命令行获取风扇运行情况,根据返回结果判断当前安全设备的硬件运行环境是否正常。通过人工手动判断设备健康状态,当设备数量较多,且设备的运行场景差别较大时,难以针对每一台设备的健康状态逐一判别。首先设备较多时,对每台设备手动检查健康状态,工作量较大;其次,当设备使用场景不同时,设备各个检查项的判别阈值不同;另外,不同性能的设备,其各个检查项的判别阈值也有一定的差异。针对上述问题,如果采用手动的方式检查设备的健康状态,容易出现错乱,并且工作量也相当大。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据安全检测方法及装置,以至少解决相关技术中通过人工检测数据设备的参数,来监控数据设备的安全状态,存在效率低,操作繁琐的技术问题。
根据本发明实施例的一个方面,提供了一种数据安全检测方法,包括:根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;通过预测模型对所述动态数列进行预测,得到预测数列;根据所述预测数列和预设的容忍值得到目标阈值;接收所述目标设备当前的运行参数;在所述运行参数超过所述目标阈值的情况下,确定所述目标设备异常。
可选的,根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列包括:获取所述目标设备在满足所述预设时间条件的时间段内的多个时间点的历史正常数据,其中,所述预设时间条件为当前时刻之前预定时间段,所述历史正常数据包括所述目标设备的多个参数;将所述多个历史正常数据按照时间先后顺序,针对相同的参数进行排列,得到所述参数的动态数列。
可选的,通过预测模型对所述动态数列进行预测,得到预测数列之前,所述方法还包括:确定所述预测模型对应的数据周期,其中,所述数据周期包括下列至少之一:日周期,周周期,月周期;以所述数据周期为单位,在所述目标设备的历史正常数据中选取多组训练数据,其中,每组训练数据的时间与所述数据周期对应,所述训练数据为所述目标设备的历史正常数据;根据所述历史正常数据对预测模型进行训练,其中,所述预测模型为时间序列预测模型。
可选的,获取训练数据之后,所述方法还包括:根据所述训练数据的时序图和相关图,确定所述训练数据是否平稳;在所述训练数据非平稳的情况下,对所述训练数据进行差分处理,直至所述训练数据平稳或者差分处理次数达到预设次数。
可选的,根据所述训练数据的时序图和相关图,确定所述训练数据是否平稳包括:确定所述训练数据的时序图,其中,所述时序图为所述训练数据按照时间变化的数值曲线;根据所述时序图中相邻时间点的数据的第一方差,确定所述训练数据是否平稳,其中,在所述第一方差达到第一方差阈值的情况下,确定所述训练数据非平稳,在所述第一方差小于所述第一方差阈值的情况下,确定所述训练数据平稳;在所述训练数据平稳的情况下,选取与所述训练数据时间最接近的训练数据,生成相关图,其中,所述相关图为所述训练数据与所述时间最接近的训练数据的数据差的变化曲线;通过所述相关图中相邻时间点的数据差的第二方差,确定所述训练数据是否平稳,其中,在所述第二方差达到第二方差阈值的情况下,确定所述训练数据非平稳,在所述第二方差小于所述第二方差阈值的情况下,确定所述训练数据平稳。
可选的,根据所述历史正常数据对预测模型进行训练之前,所述方法还包括:选取与所述数据周期对应的预测算法;通过贝叶斯信息准则法,确定所述预测算法的阶数;通过参数估计算法,确定所述预测算法的模型参数;根据所述阶数,所述模型参数和所述预测算法确定所述预测模型。
可选的,根据所述历史正常数据对预测模型进行训练包括:将所述训练数据输入所述预测模型,由所述预测模型输出预测数据;根据所述预测数据的时序图和相关图,对所述预测数据是否平稳进行验证;在所述预测数据平稳的情况下,确定所述预测模型训练完成;在所述预测数据非平稳的情况下,选取的新的训练数据对所述预测模型继续训练,直至所述预测模型输出的预测数据平稳。
可选的,接收所述目标设备当前的运行参数包括:获取所述目标设备的预设参数项的当前值,其中,所述预设参数项包括下列至少之一:中央处理器参数,内存参数,会话参数,特征库参数,运行环境参数;在所述运行参数超过所述目标阈值的情况下,确定所述目标设备异常包括:根据各个所述预设参数项对应的判定条件,以及所述预设参数项的当前值是否满足对应的目标阈值,确定所述目标设备所处的异常等级,其中,所述异常等级包括故障等级,风险等级,关注等级,健康等级。
可选的,根据各个所述预设参数项对应的判定条件,以及所述预设参数项的当前值是否满足对应的目标阈值,确定所述目标设备所处的异常等级包括:在所述运行环境参数超过第一目标阈值的情况下,确定所述目标设备处于故障等级;在所述运行环境参数不超过所述第一目标阈值,所述中央处理器参数,内存参数,会话参数中有一项或多项超过对应的第二目标阈值的情况下,确定所述目标设备处于风险等级;在只有所述特征库参数超过第三目标阈值的情况下,确定所述目标设备处于关注等级;在所有的预设参数项的当前值均满足对应的目标阈值的情况下,确定所述目标设备为健康等级;其中,所述目标阈值包括所述运行环境参数对应的第一目标阈值,所述中央处理器参数,内存参数,会话参数对应的第二目标阈值,以及所述特征库参数对应的第三目标阈值,所述第二目标阈值包括所述中央处理器参数对应的第一子目标阈值,所述内存参数对应的第二子目标阈值,所述会话参数对应的第三子目标阈值。
根据本发明实施例的另一方面,还提供了一种数据安全检测装置,包括:获取模块,用于根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;预测模块,用于通过预测模型对所述动态数列进行预测,得到预测数列;确定模块,用于根据所述预测数列和预设的容忍值得到目标阈值;接收模块,用于接收所述目标设备当前的运行参数;检测模块,用于在所述运行参数超过所述目标阈值的情况下,确定所述目标设备异常。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的数据安全检测方法。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的数据安全检测方法。
在本发明实施例中,采用根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;通过预测模型对动态数列进行预测,得到预测数列;根据预测数列和预设的容忍值得到目标阈值;接收目标设备当前的运行参数;在运行参数超过目标阈值的情况下,确定目标设备异常的方式,根据目标设备的历史正常数据的动态数列,确定预测数列,根据预测数列确定目标阈值,对目标设备当前的运行参数进行检测,实现对目标设备的运行参数进行实时自动检测的目的,从而实现了提高了目标设备的检测效率,简化目标设备的检测操作步骤的技术效果,进而解决了相关技术中通过人工检测数据设备的参数,来监控数据设备的安全状态,存在效率低,操作繁琐的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种数据安全检测方法的示意图;
图2是根据本发明实施方式的云巡检系统的示意图;
图3是根据本发明实施方式的运行曲线的示意图;
图4是根据本发明实施例的一种数据安全检测装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据安全检测方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种数据安全检测方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;
步骤S102,通过预测模型对动态数列进行预测,得到预测数列;
步骤S103,根据预测数列和预设的容忍值得到目标阈值;
步骤S104,接收目标设备当前的运行参数;
步骤S105,在运行参数超过目标阈值的情况下,确定目标设备异常。
上述步骤的执行主体可以为云服务器,通过上述步骤,采用根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;通过预测模型对动态数列进行预测,得到预测数列;根据预测数列和预设的容忍值得到目标阈值;接收目标设备当前的运行参数;在运行参数超过目标阈值的情况下,确定目标设备异常的方式,根据目标设备的历史正常数据的动态数列,确定预测数列,根据预测数列确定目标阈值,对目标设备当前的运行参数进行检测,实现对目标设备的运行参数进行实时自动检测的目的,从而实现了提高了目标设备的检测效率,简化目标设备的检测操作步骤的技术效果,进而解决了相关技术中通过人工检测数据设备的参数,来监控数据设备的安全状态,存在效率低,操作繁琐的技术问题。
上述云服务器可以存储上述目标设备的历史数据,包括历史正常数据和历史异常数据。上述历史正常数据也即是上述目标设备处于正常工作状态下的历史数据。可以直接通过云服务器中存储的历史数据进行获取。上述历史数据的时间越早,对当前的目标设备的运行参数影响越小,考虑到目标设备的工作稳定性和使用寿命,以及为了保证当前目标设备可能存在的运行参数的预测准确性,上述预设时间条件可以为当前之间之前的预设时间段的时间,可以保证历史数据的有效性。
上述动态数列也即是目标设备的某个运行参数的多个历史正常数据按照时间顺序排列的数列,其动态数列是预测模型进行预测所需的数据。可选的,根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列包括:获取目标设备在满足预设时间条件的时间段内的多个时间点的历史正常数据,其中,预设时间条件为当前时刻之前预定时间段,历史正常数据包括目标设备的多个参数;将多个历史正常数据按照时间先后顺序,针对相同的参数进行排列,得到参数的动态数列。
通过预测模型根据动态数列进行预测,得到预测数列,也即是当前或者后续一定时间段内该动态数列的参数的变化趋势和具体的时间对应的数值。根据预测数列和容忍值,确定目标阈值,该容忍值也即是目标设备的运行参数在正常状态下允许的参数的偏移。
接收目标设备当前的运行参数,若运行参数处于所述目标阈值,确定目标设备运行正常,若运行参数超过目标阈值的范围,确定目标设备运行异常,需要进行故障确认和进一步的维护。
从而根据目标设备的历史正常数据的动态数列,确定预测数列,根据预测数列确定目标阈值,对目标设备当前的运行参数进行检测,实现对目标设备的运行参数进行实时自动检测的目的,从而实现了提高了目标设备的检测效率,简化目标设备的检测操作步骤的技术效果,进而解决了相关技术中通过人工检测数据设备的参数,来监控数据设备的安全状态,存在效率低,操作繁琐的技术问题。
可选的,通过预测模型对动态数列进行预测,得到预测数列之前,方法还包括:确定预测模型对应的数据周期,其中,数据周期包括下列至少之一:日周期,周周期,月周期;以数据周期为单位,在目标设备的历史正常数据中选取多组训练数据,其中,每组训练数据的时间与数据周期对应,训练数据为目标设备的历史正常数据;根据历史正常数据对预测模型进行训练,其中,预测模型为时间序列预测模型。
上述预测模型可以为时间序列预测模型,例如,ARIMA模型,也即是差分整合移动平均自回归模型。ARIMA模型根据不同的预测周期,可以分为日预测模型,周预测模型,月预测模型,分别预测对应时间周期的数据变化,当然,由于只是针对的预测周期不同,也可以互相通用,但是其准确率会降低。在另一些实施例中也可以包括其他时间周期的ARIMA模型,例如,小时周期,多个小时周期,年周期等。从而根据需要预测的时间周期的需求,来选择合适的预测模型,提高预测的准确率。
可选的,获取训练数据之后,方法还包括:根据训练数据的时序图和相关图,确定训练数据是否平稳;在训练数据非平稳的情况下,对训练数据进行差分处理,直至训练数据平稳或者差分处理次数达到预设次数。
上述时序图也即是具体参数值随着时间变化的曲线,特点是直观简单但是误差较大,上述相关图可以是训练数据与上一历史时刻的训练数据的差随时间变化的曲线,也即是自相关和偏自相关函数图,相对复杂但是结果更加准确。本实施例为了保证效率的同事提高准确率,采用时序图和相关图结合的方式,来确定训练数据是否平稳,可选的,根据训练数据的时序图和相关图,确定训练数据是否平稳包括:确定训练数据的时序图,其中,时序图为训练数据按照时间变化的数值曲线;根据时序图中相邻时间点的数据的第一方差,确定训练数据是否平稳,其中,在第一方差达到第一方差阈值的情况下,确定训练数据非平稳,在第一方差小于第一方差阈值的情况下,确定训练数据平稳;在训练数据平稳的情况下,选取与训练数据时间最接近的训练数据,生成相关图,其中,相关图为训练数据与时间最接近的训练数据的数据差的变化曲线;通过相关图中相邻时间点的数据差的第二方差,确定训练数据是否平稳,其中,在第二方差达到第二方差阈值的情况下,确定训练数据非平稳,在第二方差小于第二方差阈值的情况下,确定训练数据平稳。
在训练数据非平稳的情况下,对训练数据进行差分处理,直至训练数据平稳或者差分处理次数达到预设次数。对于非平稳时间序列中若存在增长或下降趋势,则需要进行差分处理然后进行平稳性检验直至平稳为止。其中,差分的次数就是模型ARIMA的阶数,理论上说,差分的次数越多,对时序信息的非平稳确定性信息的提取越充分,但是从理论上说,差分的次数并非越多越好,每一次差分运算,都会造成信息的损失,所以应当避免过分的差分,一般在应用中,差分的阶数不超过2,也即是上述预设次数可以为2。从而对非平稳的训练数据进行处理,使其平稳,更有利于后续的预测,提高预测的准确率。
目标设备在部署到网络节点之后,正常情况下其运行状态在一个时间周期内应该相对稳定,比如在一个周的时间周期内工作日的设备负载会比周末的设备负载高一些;在一天的时间周期内,工作时间的设备负载比下班时间的设备负载高一些。通过该特点还可以对上述动态数列进行检验,是否满足上述特征,若不满足重新选取历史正常数据,生成动态数列,进而提高历史数据的有效性和准确性,进而提高预测的准确性。
可选的,根据历史正常数据对预测模型进行训练之前,方法还包括:选取与数据周期对应的预测算法;通过贝叶斯信息准则法,确定预测算法的阶数;通过参数估计算法,确定预测算法的模型参数;根据阶数,模型参数和预测算法确定预测模型。
在确定了模型的类型之后,还需要知道模型的阶数,可使用贝叶斯信息BIC准则法进行定阶;对模型的参数进行估计的方法通常有相关矩估计法、最小二乘估计以及极大似然估计等。上述模型的参数可以为网络层数,网络权重,处理系数等参数。
可选的,根据历史正常数据对预测模型进行训练包括:将训练数据输入预测模型,由预测模型输出预测数据;根据预测数据的时序图和相关图,对预测数据是否平稳进行验证;在预测数据平稳的情况下,确定预测模型训练完成;在预测数据非平稳的情况下,选取的新的训练数据对预测模型继续训练,直至预测模型输出的预测数据平稳。
在对预测模型进行训练时,可以通过对预测结果与动态数列是否平稳,来确定预测数列的准确性,在预测数据平稳的情况下,确定预测模型训练完成;在预测数据非平稳的情况下,选取的新的训练数据对预测模型继续训练,直至预测模型输出的预测数据平稳。
可选的,接收目标设备当前的运行参数包括:获取目标设备的预设参数项的当前值,其中,预设参数项包括下列至少之一:中央处理器参数,内存参数,会话参数,特征库参数,运行环境参数;在运行参数超过目标阈值的情况下,确定目标设备异常包括:根据各个预设参数项对应的判定条件,以及预设参数项的当前值是否满足对应的目标阈值,确定目标设备所处的异常等级,其中,异常等级包括故障等级,风险等级,关注等级,健康等级。
可选的,根据各个预设参数项对应的判定条件,以及预设参数项的当前值是否满足对应的目标阈值,确定目标设备所处的异常等级包括:在运行环境参数超过第一目标阈值的情况下,确定目标设备处于故障等级;在运行环境参数不超过第一目标阈值,中央处理器参数,内存参数,会话参数中有一项或多项超过对应的第二目标阈值的情况下,确定目标设备处于风险等级;在只有特征库参数超过第三目标阈值的情况下,确定目标设备处于关注等级;在所有的预设参数项的当前值均满足对应的目标阈值的情况下,确定目标设备为健康等级;其中,目标阈值包括运行环境参数对应的第一目标阈值,中央处理器参数,内存参数,会话参数对应的第二目标阈值,以及特征库参数对应的第三目标阈值,第二目标阈值包括中央处理器参数对应的第一子目标阈值,内存参数对应的第二子目标阈值,会话参数对应的第三子目标阈值。
预设参数项也即是巡检项,分别为CPU、内存、会话、特征库和运行环境。设备检查结果分为健康、关注、风险和故障四类。云巡检服务通过对设备五个巡检项中各个关键参数的检查,对设备的最终健康状态给出相应的结果。其中各个巡检项与检查结果对应关系如下:
当运行环境异常时,判定结果为故障;当运行环境正常,但是CPU、内存、会话中有一项或者多项异常时,判定结果为风险;当特征库异常,其它检测项正常时,判定结果为关注;当所有巡检项均正常时,判定结果为健康。
需要说明的是,本申请实施例还提供了一种可选的实施方式,下面对该实施方式进行详细说明。
本实施方式提供了一种基于机器学习的安全设备云巡检方法,为安全设备提供自动化健康状态检查,以及提供基于机器学习的自动化健康状态检查。本实施方式将实现远程设备健康状态检查,避免人工操作,并且根据机器学习算法,在设备异常时,自动触发设备健康状态检查,及时发现设备运行问题。
图2是根据本发明实施方式的云巡检系统的示意图,如图2所示,云巡检服务是部署在云端的服务,安全设备可以注册到云巡检服务上,并与云巡检服务进行信息交互。云巡检服务定制合理的巡检逻辑与数据指标,判定设备的健康状态。当安全设备注册到云巡检服务上之后,可以直接通过云巡检服务器对安全设备进行健康状态检查,包括手动触发、定时触发、智能触发等多种触发方式。并最终在云巡检服务上生成一份巡检报告,详细描述设备的各项检查结果。上述安全设备也即是上述目标设备,可以理解为需要保证数据安全的目标设备。
安全设备在注册到云巡检服务后,会将设备的一些运行数据上送给云巡检服务,云巡检服务将其保存下来,作为判定设备健康状态的依据。
安全设备在部署到网络节点之后,正常情况下其运行状态在一个时间周期内应该相对稳定,比如在一个周的时间周期内工作日的设备负载会比周末的设备负载高一些;在一天的时间周期内,工作时间的设备负载比下班时间的设备负载高一些。
基于上述事实,云巡检在接收到设备的日常运行数据后,会对其进行周期性分析,并根据用户设定的容忍值,得到设备关键数据的运行曲线,如图3所示,图3是根据本发明实施方式的运行曲线的示意图。
当设备当前运行时的关键数据值不在预测运行曲线范围之内时,则认为设备的运行状态出现异常,会自动触发智能巡检,检查设备的健康状态,及时发现设备运行过程中的问题。避免设备出现问题以后不能及时察觉,导致关键信息丢失,无法定位问题原因。
云巡检为一个云端服务,提供注册接口供安全设备注册到云巡检服务上,安全设备可以与云巡检完成数据交互。云巡检总结出一套安全设备健康检查的巡检逻辑,当设备需要进行健康检查时,云巡检服务就按照巡检逻辑对设备的各项关键参数进行检查,最终判定设备的健康状态,并生成巡检报告,描述安全设备巡检的详细结果。
云巡检包括五个巡检项,分别为CPU、内存、会话、特征库和运行环境。设备检查结果分为健康、关注、风险和故障四类。云巡检服务通过对设备五个巡检项中各个关键参数的检查,对设备的最终健康状态给出相应的结果。其中各个巡检项与检查结果对应关系如下:
(1)当运行环境异常时,判定结果为故障;
(2)当运行环境正常,但是CPU、内存、会话中有一项或者多项异常时,判定结果为风险;
(3)当特征库异常,其它检测项正常时,判定结果为关注;
(4)当所有巡检项均正常时,判定结果为健康。
安全设备在部署到网络节点之后,正常情况下其运行状态在一个时间周期内应该相对稳定,比如在一个周的时间周期内工作日的设备负载会比周末的设备负载高一些;在一天的时间周期内,工作时间的设备负载比下班时间的设备负载高一些。
时间序列(或动态数列)是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列。时间序列预测法其实是一种回归预测方法,属于定量预测,其基本原理是:一方面承认事物发展的延续性,运用过去时间序列的数据进行统计分析,推测出事物的发展趋势;另一方面充分考虑到偶然因素影响而产生的随机性,为了消除随机波动的影响,利用历史数据进行统计分析,并对数据进行适当处理,进行趋势预测。
本实施方式中采用的时间序列预测算法为ARIMA模型(差分整合移动平均自回归模型),ARIMA模型又称为整合移动平均自回归模型,是时间序列预测分析方法之一。
建立ARIMA模型的方法步骤如下:
1、时间序列获取:设备上送数据到云巡检服务后,云巡检服务会将数据保存下来,保存在数据库中的数据作为时间序列数据源;
2、时间序列的预处理:时间序列的预处理包括两个方面的检验,平稳性检验和白噪声检验。能够适用ARIMA模型进行分析预测的时间序列必须满足的条件是平稳非白噪声序列。对数据的平稳性进行检验是时间序列分析的重要步骤,一般通过时序图和相关图来检验时间序列的平稳性。时序图的特点是直观简单但是误差较大,自相关图即自相关和偏自相关函数图相对复杂但是结果更加准确。本实施方式先用时序图进行直观的判断再利用相关图进行更进一步的检验。对于非平稳时间序列中若存在增长或下降趋势,则需要进行差分处理然后进行平稳性检验直至平稳为止。其中,差分的次数就是模型ARIMA(p,d,q)的阶数,理论上说,差分的次数越多,对时序信息的非平稳确定性信息的提取越充分,但是从理论上说,差分的次数并非越多越好,每一次差分运算,都会造成信息的损失,所以应当避免过分的差分,一般在应用中,差分的阶数不超过2;
3、模型识别:模型识别即从已知的模型中选择一个与给出的时间序列过程相吻合的模型;
4、模型定阶:在确定了模型的类型之后,还需要知道模型的阶数,可使用贝叶斯信息BIC准则法进行定阶;
5、参数估计:对模型的参数进行估计的方法通常有相关矩估计法、最小二乘估计以及极大似然估计等;
6、模型验证:模型的验证主要是验证模型的拟合效果,如果模型完全或者基本解释了系统数掘的相关性,那么模型的噪声序列为白噪声序列,那么模型的验证也就是噪声序列的独立性检验。如果求得的模型通不过检验,那么应该重新拟合模型,直至模型能通过自噪声检验。
基于上述算法模型,本实施方式实现了基于机器学习的安全设备云巡检方案。设备在注册到云巡检服务后,会定时将一系列关键信息上送至云巡检服务,包括CPU利用率、内存利用率、会话数等。云巡检服务将这些信息保存下来,并按照天、周、月三种时间周期进行时间序列预测,并配置相应的容忍值,就可以得到两条预测曲线,分别表示最大值和最小值。如果当前设备的某种关键数据超过预测区间,则认为该参数出现异常,则启动云巡检,及时检查设备的健康状态。
云巡检也向用户提供定时巡检配置,满足用户定期对安全设备进行健康检查的需求。
以某大型电商公司网络中部署了大量安全设备对网络进行防护为例,为保证网络环境安全稳定,需要定期检查安全设备的健康状态,需求如下:
1.需要至少每月定期对所有安全设备进行一次巡检,以保证安全设备能正常对网络环境进行有效防护;
2.在网络购物节之前对所有设备进行一次巡检,以保证所有安全设备均处于健康状态,且无任何安全隐患;
3.定期对巡检报告进行对比分析,检查现有安全设备的安全防护能力;
对于上述需求,本发明将提供以下解决方案:
1.需求1,可以为所有设备配置定时巡检任务,定为每月中的某一天定时启动巡检;
2.需求2,可以在购物节来临之前手动触发批量设备的巡检,检查设备的健康状态;
3.需求3,每次巡检之后都会生成完整详细的巡检报告,并保存在云端,用户可以随时查看和下载,便于用户后期查看和分析;
综上所述,本实施方式的方案完全满足上述应用场景的需求。
防火墙等安全设备是网络环境中重要的设备,是保障网络环境安全的重要屏障。网络环境的安全依赖于安全设备的健康运行。本实施方式提供的一种快速检查安全设备健康状态的方法,能带来以下有益效果:用户可以对设备进行远程巡检并查看巡检结果;云巡检完成后会生成并保存巡检报告,为用户全方位展示巡检结果;云巡检为用户提供了手动巡检、定时巡检和智能巡检三种巡检触发方式,满足用户的多种巡检需求;通过时间序列预测模型优化智能巡检的触发时机,能更及时发现设备存在的问题。
另外,本实施方式支持通过配置阈值,自动的对安全设备进行手动巡检、定时巡检和智能巡检;通过时间序列模型预测设备资源利用率的参考区间,实现智能巡检的动态阈值策略。
图4是根据本发明实施例的一种数据安全检测装置的示意图,如图4所示,根据本发明实施例的另一方面,还提供了一种数据安全检测装置,包括:获取模块41,预测模块42,确定模块43,接收模块44和检测模块45,下面对该装置进行详细说明。
获取模块41,用于根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;预测模块42,与上述获取模块41相连,用于通过预测模型对动态数列进行预测,得到预测数列;确定模块43,与上述预测模块42相连,用于根据预测数列和预设的容忍值得到目标阈值;接收模块44,与上述确定模块43相连,用于接收目标设备当前的运行参数;检测模块45,与上述接收模块44相连,用于在运行参数超过目标阈值的情况下,确定目标设备异常。
通过上述装置,采用根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;通过预测模型对动态数列进行预测,得到预测数列;根据预测数列和预设的容忍值得到目标阈值;接收目标设备当前的运行参数;在运行参数超过目标阈值的情况下,确定目标设备异常的方式,根据目标设备的历史正常数据的动态数列,确定预测数列,根据预测数列确定目标阈值,对目标设备当前的运行参数进行检测,实现对目标设备的运行参数进行实时自动检测的目的,从而实现了提高了目标设备的检测效率,简化目标设备的检测操作步骤的技术效果,进而解决了相关技术中通过人工检测数据设备的参数,来监控数据设备的安全状态,存在效率低,操作繁琐的技术问题。
根据本发明实施例的另一方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的数据安全检测方法。
根据本发明实施例的另一方面,还提供了一种计算机存储介质,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的数据安全检测方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种数据安全检测方法,其特征在于,包括:
根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;
通过预测模型对所述动态数列进行预测,得到预测数列;
根据所述预测数列和预设的容忍值得到目标阈值;
接收所述目标设备当前的运行参数;
在所述运行参数超过所述目标阈值的情况下,确定所述目标设备异常。
2.根据权利要求1所述的方法,其特征在于,根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列包括:
获取所述目标设备在满足所述预设时间条件的时间段内的多个时间点的历史正常数据,其中,所述预设时间条件为当前时刻之前预定时间段,所述历史正常数据包括所述目标设备的多个参数;
将所述多个历史正常数据按照时间先后顺序,针对相同的参数进行排列,得到所述参数的动态数列。
3.根据权利要求2所述的方法,其特征在于,通过预测模型对所述动态数列进行预测,得到预测数列之前,所述方法还包括:
确定所述预测模型对应的数据周期,其中,所述数据周期包括下列至少之一:日周期,周周期,月周期;
以所述数据周期为单位,在所述目标设备的历史正常数据中选取多组训练数据,其中,每组训练数据的时间与所述数据周期对应,所述训练数据为所述目标设备的历史正常数据;
根据所述历史正常数据对预测模型进行训练,其中,所述预测模型为时间序列预测模型。
4.根据权利要求3所述的方法,其特征在于,获取训练数据之后,所述方法还包括:
根据所述训练数据的时序图和相关图,确定所述训练数据是否平稳;
在所述训练数据非平稳的情况下,对所述训练数据进行差分处理,直至所述训练数据平稳或者差分处理次数达到预设次数。
5.根据权利要求4所述的方法,其特征在于,根据所述训练数据的时序图和相关图,确定所述训练数据是否平稳包括:
确定所述训练数据的时序图,其中,所述时序图为所述训练数据按照时间变化的数值曲线;
根据所述时序图中相邻时间点的数据的第一方差,确定所述训练数据是否平稳,其中,在所述第一方差达到第一方差阈值的情况下,确定所述训练数据非平稳,在所述第一方差小于所述第一方差阈值的情况下,确定所述训练数据平稳;
在所述训练数据平稳的情况下,选取与所述训练数据时间最接近的训练数据,生成相关图,其中,所述相关图为所述训练数据与所述时间最接近的训练数据的数据差的变化曲线;
通过所述相关图中相邻时间点的数据差的第二方差,确定所述训练数据是否平稳,其中,在所述第二方差达到第二方差阈值的情况下,确定所述训练数据非平稳,在所述第二方差小于所述第二方差阈值的情况下,确定所述训练数据平稳。
6.根据权利要求3所述的方法,其特征在于,根据所述历史正常数据对预测模型进行训练之前,所述方法还包括:
选取与所述数据周期对应的预测算法;
通过贝叶斯信息准则法,确定所述预测算法的阶数;
通过参数估计算法,确定所述预测算法的模型参数;
根据所述阶数,所述模型参数和所述预测算法确定所述预测模型。
7.根据权利要求6所述的方法,其特征在于,根据所述历史正常数据对预测模型进行训练包括:
将所述训练数据输入所述预测模型,由所述预测模型输出预测数据;
根据所述预测数据的时序图和相关图,对所述预测数据是否平稳进行验证;
在所述预测数据平稳的情况下,确定所述预测模型训练完成;
在所述预测数据非平稳的情况下,选取的新的训练数据对所述预测模型继续训练,直至所述预测模型输出的预测数据平稳。
8.根据权利要求1至7中任一项所述的方法,其特征在于,接收所述目标设备当前的运行参数包括:
获取所述目标设备的预设参数项的当前值,其中,所述预设参数项包括下列至少之一:中央处理器参数,内存参数,会话参数,特征库参数,运行环境参数;
在所述运行参数超过所述目标阈值的情况下,确定所述目标设备异常包括:
根据各个所述预设参数项对应的判定条件,以及所述预设参数项的当前值是否满足对应的目标阈值,确定所述目标设备所处的异常等级,其中,所述异常等级包括故障等级,风险等级,关注等级,健康等级。
9.根据权利要求8所述的方法,其特征在于,根据各个所述预设参数项对应的判定条件,以及所述预设参数项的当前值是否满足对应的目标阈值,确定所述目标设备所处的异常等级包括:
在所述运行环境参数超过第一目标阈值的情况下,确定所述目标设备处于故障等级;
在所述运行环境参数不超过所述第一目标阈值,所述中央处理器参数,内存参数,会话参数中有一项或多项超过对应的第二目标阈值的情况下,确定所述目标设备处于风险等级;
在只有所述特征库参数超过第三目标阈值的情况下,确定所述目标设备处于关注等级;
在所有的预设参数项的当前值均满足对应的目标阈值的情况下,确定所述目标设备为健康等级;
其中,所述目标阈值包括所述运行环境参数对应的第一目标阈值,所述中央处理器参数,内存参数,会话参数对应的第二目标阈值,以及所述特征库参数对应的第三目标阈值,所述第二目标阈值包括所述中央处理器参数对应的第一子目标阈值,所述内存参数对应的第二子目标阈值,所述会话参数对应的第三子目标阈值。
10.一种数据安全检测装置,其特征在于,包括:
获取模块,用于根据目标设备的满足预设时间条件的多个历史正常数据,确定动态数列;
预测模块,用于通过预测模型对所述动态数列进行预测,得到预测数列;
确定模块,用于根据所述预测数列和预设的容忍值得到目标阈值;
接收模块,用于接收所述目标设备当前的运行参数;
检测模块,用于在所述运行参数超过所述目标阈值的情况下,确定所述目标设备异常。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至9中任意一项所述的数据安全检测方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至9中任意一项所述的数据安全检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111605259.5A CN114338458A (zh) | 2021-12-24 | 2021-12-24 | 数据安全检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111605259.5A CN114338458A (zh) | 2021-12-24 | 2021-12-24 | 数据安全检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114338458A true CN114338458A (zh) | 2022-04-12 |
Family
ID=81012507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111605259.5A Pending CN114338458A (zh) | 2021-12-24 | 2021-12-24 | 数据安全检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114338458A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115348234A (zh) * | 2022-08-10 | 2022-11-15 | 山石网科通信技术股份有限公司 | 服务器检测方法、装置及电子设备 |
CN118070047A (zh) * | 2024-04-17 | 2024-05-24 | 青岛中软同衡工业科技有限公司 | 一种工控机数据安全鉴别方法、系统、存储介质及服务器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109524139A (zh) * | 2018-10-23 | 2019-03-26 | 中核核电运行管理有限公司 | 一种基于设备工况变化的实时设备性能监测方法 |
CN111679952A (zh) * | 2020-06-08 | 2020-09-18 | 中国银行股份有限公司 | 告警阈值生成方法及装置 |
WO2021051945A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技(深圳)有限公司 | 服务器性能监控方法、装置、计算机设备及存储介质 |
CN112862012A (zh) * | 2021-03-31 | 2021-05-28 | 中国工商银行股份有限公司 | 一种基于lstm模型的运维系统异常预警方法、装置及设备 |
CN113435725A (zh) * | 2021-06-21 | 2021-09-24 | 国网宁夏电力有限公司信息通信公司 | 基于farima-lstm预测的电网主机动态阈值设定方法 |
-
2021
- 2021-12-24 CN CN202111605259.5A patent/CN114338458A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109524139A (zh) * | 2018-10-23 | 2019-03-26 | 中核核电运行管理有限公司 | 一种基于设备工况变化的实时设备性能监测方法 |
WO2021051945A1 (zh) * | 2019-09-18 | 2021-03-25 | 平安科技(深圳)有限公司 | 服务器性能监控方法、装置、计算机设备及存储介质 |
CN111679952A (zh) * | 2020-06-08 | 2020-09-18 | 中国银行股份有限公司 | 告警阈值生成方法及装置 |
CN112862012A (zh) * | 2021-03-31 | 2021-05-28 | 中国工商银行股份有限公司 | 一种基于lstm模型的运维系统异常预警方法、装置及设备 |
CN113435725A (zh) * | 2021-06-21 | 2021-09-24 | 国网宁夏电力有限公司信息通信公司 | 基于farima-lstm预测的电网主机动态阈值设定方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115348234A (zh) * | 2022-08-10 | 2022-11-15 | 山石网科通信技术股份有限公司 | 服务器检测方法、装置及电子设备 |
CN115348234B (zh) * | 2022-08-10 | 2023-11-03 | 山石网科通信技术股份有限公司 | 服务器检测方法、装置及电子设备 |
CN118070047A (zh) * | 2024-04-17 | 2024-05-24 | 青岛中软同衡工业科技有限公司 | 一种工控机数据安全鉴别方法、系统、存储介质及服务器 |
CN118070047B (zh) * | 2024-04-17 | 2024-07-02 | 青岛中软同衡工业科技有限公司 | 一种工控机数据安全鉴别方法、系统、存储介质及服务器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3557819B1 (en) | Server failure detection method and system | |
KR102118670B1 (ko) | Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법 | |
US6973415B1 (en) | System and method for monitoring and modeling system performance | |
CN102257520B (zh) | 应用的性能分析 | |
US20150346066A1 (en) | Asset Condition Monitoring | |
CN114338458A (zh) | 数据安全检测方法及装置 | |
Powers et al. | Short term performance forecasting in enterprise systems | |
CN109886475B (zh) | 基于ai的计量自动化系统的信息安全态势感知系统 | |
CN107481090A (zh) | 一种用户异常行为检测方法、装置和系统 | |
US20170161963A1 (en) | Method of identifying anomalies | |
CN111459700A (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
CN106104496A (zh) | 用于任意时序的不受监督的异常检测 | |
CN109800995A (zh) | 一种电网设备故障识别方法及系统 | |
US10861610B2 (en) | Abnormality diagnosis system | |
US7369967B1 (en) | System and method for monitoring and modeling system performance | |
KR101953558B1 (ko) | 스마트 기기 결함 관리 장치 및 방법 | |
CN115794532A (zh) | 多指标智能动态阈值监控方法及系统 | |
CN111984442A (zh) | 计算机集群系统的异常检测方法及装置、存储介质 | |
CN115642706A (zh) | 一种电网内配电负荷监控系统 | |
CN111767193A (zh) | 一种服务器数据异常检测方法、装置、存储介质及设备 | |
CN117767235A (zh) | 一种交直流混合配电网保护方法及相关装置 | |
CN116714469A (zh) | 充电桩健康监测方法、装置、终端及存储介质 | |
Jang et al. | A proactive alarm reduction method and its human factors validation test for a main control room for SMART | |
Denaro et al. | P revent: An Unsupervised Approach to Predict Software Failures in Production | |
CN111367781A (zh) | 一种实例处理方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |