CN102339288B - 数据仓库异常数据的检测方法及装置 - Google Patents
数据仓库异常数据的检测方法及装置 Download PDFInfo
- Publication number
- CN102339288B CN102339288B CN 201010235550 CN201010235550A CN102339288B CN 102339288 B CN102339288 B CN 102339288B CN 201010235550 CN201010235550 CN 201010235550 CN 201010235550 A CN201010235550 A CN 201010235550A CN 102339288 B CN102339288 B CN 102339288B
- Authority
- CN
- China
- Prior art keywords
- time series
- series data
- data
- index parameter
- unusual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明提供了一种数据仓库异常数据的检测方法及装置,其中,该检测方法包括:根据指标参数的历史时序数据确定检测阈值,并根据检测阈值确定指标参数的当前时序数据中的初始异常时序数据;根据指标参数的历史时序数据中的异常时序数据,确定异常时序数据的周期;根据周期对初始异常时序数据进行剔重处理,得到当前异常时序数据。本发明克服了凭经验设定阈值不能准确发现数据波动异常的缺点,同时实现得到真正异常的当前异常时序数据,提高检测的准确率。
Description
技术领域
本发明涉及管理信息系统及业务支撑领域,具体涉及一种数据仓库异常数据的检测方法及装置。
背景技术
数据仓库对海量数据进行抽取、转换、清洗和加载,从中挖据有分析价值的数据,并通过不断聚集展示分析结果,为市场精准化营销水平和深度运营能力提供了有力支撑。由此,数据质量监控或检测成为数据仓库建设的重中之重,现有检测方法一般包括如下步骤:维护人员通过终端登陆前台系统,并访问经分后台数据库;维护人员通过前台系统的分析结果,如趋势分析图及双条对比分析线等,对系统生成的指标进行检查;分析当日数据与前日数据波动范围比例(或者计算年同期比,月同期环比),分析历史数据并设定波动阀值,在数据波动范围超过阀值时进行数据异常告警;以及,根据检查结果初步分析波动原因,并通过后台数据库表,检查明细,如果指标不正常,则处理故障。
现有数据仓库异常数据的检测技术有如下不足:
(1)凭对历史数据的经验观察设定用于检测异常数据的波动阈值,不能及时、准确地发现系统生成指标的变化异常,同时现有人工监控不能及时在众多的系统生成指标中发现异常数据,数据监控效率低;
(2)数据仓库中大部分数据都具有时序特征,而现有检测方法没有针对数据的时序性进行监控,对具有周期性的数据监控易出现错误告警;
(3)无法监控渐进性异常数据;
(4)不能及时发现系统生成多指标的数据联动异常波动。
发明内容
本发明的第一目的是提出一种准确高的数据仓库异常数据的检测方法。
本发明的第二目的是提出一种准确高的数据仓库异常数据的检测装置。
为实现上述第一目的,本发明提供了一种数据仓库异常数据的检测方法包括:根据指标参数的历史时序数据确定检测阈值,并根据检测阈值确定指标参数的当前时序数据中的初始异常时序数据;根据指标参数的历史时序数据中的异常时序数据,确定异常时序数据的周期;根据周期对初始异常时序数据进行剔重处理,得到当前异常时序数据。
为实现上述第二目的,本发明提供了一种数据仓库异常数据的检测装置,包括:阈值确定模块,用于根据指标参数的历史时序数据确定检测阈值,以及根据指标参数的历史时序数据中的异常时序数据,确定异常时序数据的周期;检测模块,用于根据检测阈值,确定指标参数的当前时序数据中的初始异常时序数据;剔重模块,用于根据周期对初始异常时序数据进行剔重处理,得到当前异常时序数据。
本发明各个实施例通过根据历史时序数据信息确定检测阈值,进而根据该检测阈值确定异常时序数据,克服了凭经验设定阈值不能准确发现数据波动异常的缺点,同时根据历史时序数据的时序信息对根据检测阈值确定的初始异常数据进行周期性异常数据的剔重处理,得到真正异常的当前异常时序数据,提高检测的准确率。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一并用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明的数据仓库异常数据的检测方法的实施例一流程图;
图2为本发明的数据仓库异常数据的检测方法的实施例二流程图;
图3为本发明的数据仓库异常数据的检测装置的实施例结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
方法实施例
图1为本发明的数据仓库异常数据的检测方法的实施例一流程图。如图1所示,本实施例包括:
步骤102:根据指标参数的历史时序数据确定检测阈值,并根据检测阈值确定指标参数的当前时序数据中的初始异常时序数据;详见图2的解释说明;
步骤104:根据指标参数的历史时序数据中的异常时序数据,确定异常时序数据的周期;详见图2的解释说明;
步骤106:根据周期对初始异常时序数据进行剔重处理,得到当前异常时序数据;详见图2的解释说明。
本实施例通过根据历史时序数据信息确定检测阈值,进而根据该检测阈值确定异常时序数据,克服了凭经验设定阈值不能准确发现数据波动异常的缺点,同时根据历史时序数据的时序信息对根据检测阈值确定的初始异常数据进行周期性异常数据的剔重处理,得到真正异常的当前异常时序数据,提高检测的准确率。
图2为本发明的数据仓库异常数据的检测方法的实施例二流程图。如图2所示,本实施例包括:
步骤201:将指标参数的历史时序数据及当前时序数据进行预处理以符合正态分布;具体操作时,可以包括:
首先,提取每个指标(即指标参数)的历史数据(如最近200天的历史数据),分别计算每个指标是否属于正态分布;如,具体操作时,可以计算四分位Qs和标准差s,进而计算比值Qs/S,若指标的比值Qs/S在[1.28,1.32]之间则符合正态分布,否则不符合正态分布;
其次,在指标不符合正态分布时进行数据转换,如进行指数变换以保证满足正态分布;
最后,将时间特征与历史数据一一对应,得到历史时序数据,如,具体操作时可以将历史数据与其产生的月,日,星期等信息关联;
步骤202:根据指标参数的历史时序数据确定检测阈值,并根据检测阈值确定指标参数的当前时序数据中的初始异常时序数据;
具体操作时,可以将指标参数的历史时序数据的平均值确定为检测阈值,分别计算指标参数的当前时序数据与该平均值间的差值,将差值的绝对值大于预设值的当前时序数据确定为初始异常时序数据;还可以判断指标参数的标准差与历史时序数据平均值的差异,如果差异大于预设值,如±2.5,说明数据异常的概率已经达到90%以上;另外也可以利用聚类计算方法,如将数据分为15个组,每个类里面有K个元素,取 为异常指标组中的元素;
步骤203,根据指标参数的历史时序数据中的异常时序数据,确定异常时序数据的周期;具体操作时,可以包括:
首先,根据指标参数的历史时序数据的标准差,确定异常历史时序数据;如,利用每个指标参数的历史数据计算出对应的标准差,并计算每个指标参数的历史数据与标准差之间的值θ,筛选值θ超过±2的Xi计为异常历史时序数据X′i(如产生了N个X′i);
其次,根据异常历史时序数据的时序信息确定备选周期,并统计异常历史时序数据基于每一备选周期的发生概率,并将概率最大的备选周期作为周期;如,具体操作时,可以以X′i产生的月Ai,日Bi,星期Ci作为备选周期,还可以按照X′i产生的时间排序计算每相邻的两个Xi产生时间天数Di,计算平均天数为计算X′i与其产生的月Ai,日Bi,星期Ci,周期D四个信息产生的概率,将概率P最大所对应的备选周期作为异常时序数据产生的周期,其中,各备选周期对应的概率计算方法如下,P(异常数据产生|产生的月Ai),P(异常数据产生|产生的日Bi),P(异常数据产生|产生的星期Ci),P(异常数据产生|产生的周期D);如:当一个指标只有在每个月的1号异常,出现6次,并且1号的数据总共出现6次那么P(异常数据产生|产生的月Ai)解释为当1号的数据产生时异常数据产生的概率为100%;
步骤204:根据周期对初始异常时序数据进行剔重处理,得到当前异常时序数据;也就是说经过步骤202确定的初始异常时序数据不直接作为最后确定的异常时序数据,还要考虑步骤203所确定的异常时序数据的周期信息,看其是否属于重复异常信息,即分析初始异常时序数据产生的月,日,星期,周期A0,B0,C0,D是否产生在步骤203所确定的异常时序数据的周期上,若不是,则判定数据异常;若是,则判定数据不异常;
步骤205:选择与预设百分位对应的指标参数的历史时序数据,并根据该预设百分位对应的历史时序数据及异常时序数据的周期确定当前时序数据是否存在渐近性异常(包括逐渐增高及逐渐降低),即判断是否在数据轴上下分布异常;具体操作时,可以包括:
首先,在时间变量与数据变量之间有明确的关系时,则可以以时间轴为1至180(对应于200天的历史数据,该时间轴长度的选择可以根据实际需要而自由设定)、数据轴为X1........................X180计算出信息量解释最大的直线L(如方差线),计算X1.....................X180与L之间的差值Y1.........................Y180,对Y1.....................Y180分布进行巡检分析,具体计算步骤可以如下:
aaa.计算Yi连续大于等于0的天数y′i及Yi连续小于0的天数yi,同时计算max(y′i),max(yi),留取max(max(y′i),max(yi),20)个历史时序数据;
bbb.联合留取的历史数据与当前时序数据以分析分布是否异常,判断最近历史时序数据和当前时序数据X0连续大于0或者小于0的天数Y0,结合周期A0,B0,C0,D(剔重处理),计算出y′i,yi的分位数以y′i,yi,根据95%分位数Y为判断依据如果Y0大于Y说明数据出现异常的概率超过90%;
其次,在时间变量与数据变量之间没有明确的关系,也可以按照上述步骤进行计算,如可以计算直线L为前180天的平均值,计算X1.......................X180与L之间的差值Y1........................Y180,对Y1.......................Y180分布进行巡检分析,计算步骤如下:y′i为Yi连续大于等于0的天数,yi为Yi连续小于0的天数,同时计算max(y′i),max(yi),留取max(max(y′i),max(yi),20)个数据加上当期数据分析分布是否异常,判断最近和X0连续大于0或者小于0的天数Y0,结合周期A0,B0,C0,D,计算出y′i,yi的分位数以y′i,yi,根据95%分位数Y为判断依据如果Y0大于Y说明数据出现异常的概率超过90%;
步骤206:根据指标参数的历史时序数据中的正常历史时序数据以及另一指标参数的历史时序数据中的正常历史时序数据,确定指标参数与另一指标参数的联动关系;以及在指标参数的当前时序数据与另一指标参数的当前时序数据不满足联动关系时,判定指标参数的当前时序数据与另一指标参数的当前时序数据异常;
可以利用每个指标的最近200天历史数据计算每两个指标的联动系数;联动系数用于描述两个具有内在联系之间的变量之间的关系,比如人的身高和体重两个指标存在内在联系,如果这种联系存在异常就需要通过联动系数及联动计算方法来判断是否异常,将计算的联动系数指标镞作为判断当前指标是否异常的依据;将指标参数1,指标参数2在步骤204中确定的当前异常数据剔除,计算经过当前异常数据剔除处理后的指标参数1与指标参数2是否存在同时增减的关系,具体操作时,可以应用以下方法:
11)计算指标参数1与指标参数2同时增长或同时降低的概率,则1=P1(指标1,指标2同时增减)+P2(指标2不增,指标1增加)+P3(指标1不增,指标2增加),该指标参数1与指标参数2的一组联动概率P1、P2、P3取min(P1,P2,P3)<=0.1计为一个异常的联动系数,判断异常的联动系数是否存在,如:指标参数1与指标参数2的当前异常数据满足异常的联动系数小于min(P1,P2,P3)条件则判断为联动异常;
22)可以利用数据的相关系数进行计算,如指标参数1与指标参数2相关系数为ρ,检验值计为T,如果根据前200天的数据计算出的T<0.1,说明指标参数1和指标参数2存在稳定的联动系数,将这个系数计为ρ(指标1,指标2),将指标参数的相关系数计为ρ(1,2),因为由于ρ对异常数据较为敏感,如果指标参数1,指标参数2的当前时序数据异常,则先计算T值,如T值变化大于等于0.1说明当期指异常,如果ρ(1,2)/ρ(指标1,指标2)波动超出10%可以判断数据异常;
33)可以利用指标参数1为数据值,f(指标2,指标3,指标4...指标n)进行拟和训练模拟,这种方式也可以进行计算。
本实施例通过根据历史时序数据信息确定检测阈值,进而根据该检测阈值确定异常时序数据,克服了凭经验设定阈值不能准确发现数据波动异常的缺点,同时根据历史时序数据的时序信息对根据检测阈值确定的初始异常数据进行周期性异常数据的剔重处理,得到真正异常的当前异常时序数据,提高检测的准确率,实现时序数据的波动异常的自动化监控,并可以自动判断数据是否属于周期性波动异常;通过提取数据在时间轴分布的关系,根据提取的特征系数判断数据连续低于或者高于历史平均值的天数是否异常,进而判断在时间轴的分布是否异常,即数据是否存在渐进型降低或者渐进型增长异常;自动进行多维数据检查,利用指标之间的关联关系监控计算一定时期内的数据是否属于正常数据,发现潜在的业务异常数据与质量异常数据,提升了异常数据监控能力。
装置实施例
图3为本发明的数据仓库异常数据的检测装置的实施例结构图。图1及2所示的各方法实施例均可适用于本实施例。本实施例包括:阈值确定模块31,用于根据指标参数的历史时序数据确定检测阈值,以及根据指标参数的历史时序数据中的异常时序数据,确定异常时序数据的周期;检测模块32,用于根据检测阈值,确定指标参数的当前时序数据中的初始异常时序数据;剔重模块33,用于根据周期对初始异常时序数据进行剔重处理,得到当前异常时序数据。
具体操作时,该装置还可以包括:
预处理模块30,用于将指标参数的历史时序数据及当前时序数据进行符合正态分布的预处理;
分布异常检测模块34,用于选择与预设百分位对应的指标参数的历史时序数据;根据预设百分位对应的历史时序数据及异常时序数据的周期判断指标参数的当前时序数据是否存在渐近性异常;
联动异常检测模块35,用于根据指标参数的历史时序数据中的正常历史时序数据以及另一指标参数的历史时序数据中的正常历史时序数据,确定指标参数与另一指标参数的联动系数;在指标参数的当前时序数据与另一指标参数的当前时序数据不满足联动系数时,判定指标参数的当前时序数据与另一指标参数的当前时序数据异常。
本领域技术人员应当可以理解:阈值确定模块31、检测模块32及剔重模块33即可实现本发明的发明目的,其他模块为优选模块。
本实施例通过阈值确定模块31根据历史时序数据信息确定检测阈值,进而检测模块32根据该检测阈值确定异常时序数据,克服了凭经验设定阈值不能准确发现数据波动异常的缺点,同时剔重模块33根据历史时序数据的时序信息对根据检测阈值确定的初始异常数据进行周期性异常数据的剔重处理,得到真正异常的当前异常时序数据,提高检测的准确率,实现时序数据的波动异常的自动化监控,并可以自动判断数据是否属于周期性波动异常;分布异常检测模块34通过提取数据在时间轴分布的关系,根据提取的特征系数判断数据连续低于或者高于历史平均值的天数是否异常,进而判断在时间轴的分布是否异常,即数据是否存在渐进型降低或者渐进型增长异常;联动异常检测模块35自动进行多维数据检查,利用指标之间的关联关系监控计算一定时期内的数据是否属于正常数据,发现潜在的业务异常数据与质量异常数据,提升了异常数据监控能力。
最后应说明的是:以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据仓库异常数据的检测方法,其特征在于,包括:
根据指标参数的历史时序数据确定检测阈值,并根据所述检测阈值确定所述指标参数的当前时序数据中的初始异常时序数据;
根据所述指标参数的历史时序数据的标准差确定异常历史时序数据,根据异常历史时序数据的时序信息确定备选周期,并统计异常历史时序数据基于每一备选周期的发生概率,并将最大的备选周期作为异常时序数据的周期;
分析初始异常时序数据产生的周期是否在异常时序数据的周期上,若不是,则判定数据异常,得到当前异常时序数据。
2.根据权利要求1所述的数据仓库异常数据的检测方法,其特征在于,还包括:
选择与预设百分位对应的所述指标参数的历史时序数据;
根据所述预设百分位对应的历史时序数据及所述异常时序数据的周期判断所述指标参数的当前时序数据是否存在渐近性异常。
3.根据权利要求1所述的数据仓库异常数据的检测方法,其特征在于,还包括:
根据所述指标参数的历史时序数据中的正常历史时序数据以及另一指标参数的历史时序数据中的正常历史时序数据,确定所述指标参数与另一指标参数的联动系数;
在所述指标参数的当前时序数据与所述另一指标参数的当前时序数据不满足所述联动系数时,判定所述指标参数的当前时序数据与所述另一指标参数的当前时序数据异常。
4.根据上述权利要求1-3中任一项所述的数据仓库异常数据的检测方法,其特征在于,在所述根据指标参数的历史时序数据确定检测阈值的步骤之前包括:
将所述指标参数的历史时序数据及当前时序数据进行符合正态分布的预处理。
5.根据权利要求4所述的数据仓库异常数据的检测方法,其特征在于,所述根据指标参数的历史时序数据确定检测阈值,并根据所述检测阈值确定所述指标参数的当前时序数据中的初始异常时序数据的步骤包括:
将所述指标参数的历史时序数据的平均值确定为所述检测阈值;
分别计算所述指标参数的当前时序数据与所述检测阈值间差值,将差值的绝对值大于预设值的当前时序数据确定为所述初始异常时序数据。
6.根据权利要求5所述的数据仓库异常数据的检测方法,其特征在于,所述根据所述指标参数的历史时序数据中的异常时序数据,确定所述异常时序数据的周期的步骤包括:
根据所述指标参数的历史时序数据的标准差,确定所述异常历史时序数据;
根据所述异常历史时序数据的时序信息确定备选周期,并统计所述异常历史时序数据基于每一备选周期的发生概率,并将概率最大的备选周期作为所述异常时序数据的周期。
7.一种数据仓库异常数据的检测装置,其特征在于,包括:
阈值确定模块,用于根据指标参数的历史时序数据确定检测阈值,以及根据所述指标参数的历史时序数据的标准差确定异常历史时序数据,根据异常历史时序数据的时序信息确定备选周期,并统计异常历史时序数据基于每一备选周期的发生概率,并将最大的备选周期作为异常时序数据的周期;
检测模块,用于根据所述检测阈值,确定所述指标参数的当前时序数据中的初始异常时序数据;
剔重模块,用于分析初始异常时序数据产生的周期是否在异常时序数据的周期上,若不是,则判定数据异常,得到当前异常时序数据。
8.根据权利要求7所述的数据仓库异常数据的检测装置,其特征在于,还包括:
分布异常检测模块,用于选择与预设百分位对应的所述指标参数的历史时序数据;根据所述预设百分位对应的历史时序数据及所述异常时序数据的周期判断所述指标参数的当前时序数据是否存在渐近性异常。
9.根据权利要求7所述的数据仓库异常数据的检测装置,其特征在于,还包括:
联动异常检测模块,用于根据所述指标参数的历史时序数据中的正常历史时序数据以及另一指标参数的历史时序数据中的正常历史时序数据,确定所述指标参数与另一指标参数的联动系数;在所述指标参数的当前时序数据与所述另一指标参数的当前时序数据不满足所述联动系数时,判定所述指标参数的当前时序数据与所述另一指标参数的当前时序数据异常。
10.根据上述权利要求7-9中任一项所述的数据仓库异常数据的检测装置,其特征在于,还包括:
预处理模块,用于将所述指标参数的历史时序数据及当前时序数据进行符合正态分布的预处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010235550 CN102339288B (zh) | 2010-07-21 | 2010-07-21 | 数据仓库异常数据的检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010235550 CN102339288B (zh) | 2010-07-21 | 2010-07-21 | 数据仓库异常数据的检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102339288A CN102339288A (zh) | 2012-02-01 |
CN102339288B true CN102339288B (zh) | 2013-09-25 |
Family
ID=45515025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010235550 Active CN102339288B (zh) | 2010-07-21 | 2010-07-21 | 数据仓库异常数据的检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102339288B (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8948996B2 (en) * | 2012-12-20 | 2015-02-03 | Fleetmetrica Inc. | Metrics-based transport vehicle fleet safety |
CN104933080B (zh) * | 2014-03-21 | 2018-06-26 | 中国移动通信集团湖北有限公司 | 一种确定异常数据的方法及装置 |
CN104866619A (zh) * | 2015-06-09 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 数据仓库的数据监控方法和系统 |
CN104899327B (zh) * | 2015-06-24 | 2018-03-30 | 哈尔滨工业大学 | 一种无类别标签的时间序列异常检测方法 |
CN105160181B (zh) * | 2015-09-02 | 2018-02-23 | 华中科技大学 | 一种数控系统指令域序列异常数据检测方法 |
CN106528565B (zh) * | 2015-09-11 | 2019-08-06 | 北京邮电大学 | 监测系统的数据处理方法和装置 |
CN106815452A (zh) * | 2015-11-27 | 2017-06-09 | 苏宁云商集团股份有限公司 | 一种作弊检测方法及装置 |
CN106649579A (zh) * | 2016-11-17 | 2017-05-10 | 苏州航天系统工程有限公司 | 一种用于管网建模的时序数据清洗方法 |
CN107247871B (zh) * | 2017-05-24 | 2018-05-15 | 重庆金域医学检验所有限公司 | 项目检测时间核查预警方法及装置 |
CN108536777B (zh) * | 2018-03-28 | 2022-03-25 | 联想(北京)有限公司 | 一种数据处理方法、服务器集群及数据处理装置 |
CN110597703A (zh) * | 2018-06-13 | 2019-12-20 | 中国移动通信集团浙江有限公司 | 一种回归测试方法及装置 |
CN109116243B (zh) * | 2018-06-29 | 2021-03-02 | 上海科列新能源技术有限公司 | 一种动力电池的异常检测方法和装置 |
CN108803545A (zh) * | 2018-08-10 | 2018-11-13 | 北京天安智慧信息技术有限公司 | 多参数联合分析报警方法及系统 |
CN109241043B (zh) * | 2018-08-13 | 2022-10-14 | 蜜小蜂智慧(北京)科技有限公司 | 一种数据质量检测方法及装置 |
CN109587001B (zh) * | 2018-11-15 | 2020-11-27 | 新华三信息安全技术有限公司 | 一种性能指标异常检测方法及装置 |
CN109308589B (zh) * | 2018-11-20 | 2021-09-21 | 国网山西省电力公司 | 电网自动化数据质量监测方法、存储介质、终端设备和系统 |
CN111382919A (zh) * | 2018-12-28 | 2020-07-07 | 顺丰科技有限公司 | 运营指标自动监控方法和装置 |
CN110032495B (zh) * | 2019-03-28 | 2023-08-25 | 创新先进技术有限公司 | 数据异常检测方法和装置 |
CN110751371B (zh) * | 2019-09-20 | 2022-06-07 | 苏宁云计算有限公司 | 基于统计四分位距的商品库存风险预警方法、系统及计算机可读存储介质 |
CN111189488B (zh) * | 2019-12-13 | 2020-12-04 | 精英数智科技股份有限公司 | 一种传感器数值异常识别方法、装置、设备及存储介质 |
CN111061615A (zh) * | 2019-12-25 | 2020-04-24 | 北京每日优鲜电子商务有限公司 | 数据仓库的数据监控方法、装置、服务器和存储介质 |
CN111324639B (zh) * | 2020-02-11 | 2023-11-03 | 京东科技控股股份有限公司 | 数据监测方法、装置及计算机可读存储介质 |
CN111325472A (zh) * | 2020-02-28 | 2020-06-23 | 北京思特奇信息技术股份有限公司 | 一种异常数据检测方法和系统 |
CN111707782A (zh) * | 2020-03-30 | 2020-09-25 | 江苏方天电力技术有限公司 | 基于氧量的火电机组二氧化碳排放浓度异常检测方法 |
CN111460005B (zh) * | 2020-04-22 | 2021-08-13 | 北京工业大学 | 一种基于jsd的时序数据的离群点检测方法 |
CN111597088A (zh) * | 2020-05-15 | 2020-08-28 | 广州探途网络技术有限公司 | 一种数据仓库数据监控方法、仓库系统和电子设备 |
CN112017409A (zh) * | 2020-08-25 | 2020-12-01 | 西安因联信息科技有限公司 | 一种机械设备振动短时增长幅度的趋势预警方法 |
CN112465073B (zh) * | 2020-12-23 | 2023-08-08 | 上海观安信息技术股份有限公司 | 一种基于距离的数值分布异常检测方法及检测系统 |
CN113010805B (zh) * | 2021-02-23 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 指标数据的处理方法、装置、设备及存储介质 |
CN113343176B (zh) * | 2021-08-05 | 2022-06-10 | 北京磁浮有限公司 | 基于模糊综合评价的电梯设备故障预警方法 |
CN116701383B (zh) * | 2023-08-03 | 2023-10-27 | 中航信移动科技有限公司 | 一种数据实时质量监测方法、电子设备及存储介质 |
CN117077899B (zh) * | 2023-10-16 | 2023-12-22 | 四川邕合科技有限公司 | 一种智慧园区耗能异常监测分析方法、系统、终端及介质 |
CN117609928B (zh) * | 2024-01-23 | 2024-04-05 | 华北电力科学研究院有限责任公司 | 基于电力数据的污染物排放量异常识别方法与装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101105793A (zh) * | 2006-07-11 | 2008-01-16 | 阿里巴巴公司 | 数据仓库中的数据处理方法及系统 |
CN101189895A (zh) * | 2005-06-02 | 2008-05-28 | 日本电气株式会社 | 异常检测方法和系统以及维护方法和系统 |
CN101718864A (zh) * | 2009-11-13 | 2010-06-02 | 航天东方红卫星有限公司 | 一种卫星遥测参数异常变化实时监测系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4413915B2 (ja) * | 2006-12-13 | 2010-02-10 | 株式会社東芝 | 異常兆候検出装置および方法 |
-
2010
- 2010-07-21 CN CN 201010235550 patent/CN102339288B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101189895A (zh) * | 2005-06-02 | 2008-05-28 | 日本电气株式会社 | 异常检测方法和系统以及维护方法和系统 |
CN101105793A (zh) * | 2006-07-11 | 2008-01-16 | 阿里巴巴公司 | 数据仓库中的数据处理方法及系统 |
CN101718864A (zh) * | 2009-11-13 | 2010-06-02 | 航天东方红卫星有限公司 | 一种卫星遥测参数异常变化实时监测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN102339288A (zh) | 2012-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102339288B (zh) | 数据仓库异常数据的检测方法及装置 | |
CN103337043B (zh) | 电力通信设备运行状态的预警方法和系统 | |
US20190369570A1 (en) | System and method for automatically detecting anomalies in a power-usage data set | |
CN108256752B (zh) | 一种燃气用户用气行为的分析方法 | |
CN106095639A (zh) | 一种集群亚健康预警方法及系统 | |
CN100356729C (zh) | 监控网络业务性能的方法及系统 | |
CN109343344A (zh) | 卷烟设备操控参数寻优方法 | |
CN108206747A (zh) | 告警生成方法和系统 | |
CN108347352B (zh) | 一种电力系统中信息系统及设备性能的诊断方法 | |
CN104102875A (zh) | 基于加权朴素贝叶斯分类器的软件服务质量监控方法及系统 | |
CN108809760A (zh) | 数据采样系统中采样周期的控制方法和装置 | |
CN102880637A (zh) | 一种基于用户诚实度的动态的Web服务信任评估方法 | |
CN108443088A (zh) | 一种基于累计概率分布的风电机组状态判定方法 | |
CN109308589B (zh) | 电网自动化数据质量监测方法、存储介质、终端设备和系统 | |
CN107654342A (zh) | 一种考虑湍流的风电机组功率异常的检测方法 | |
CN105577402A (zh) | 基于历史数据的业务异常监控方法及设备 | |
CN103902798B (zh) | 数据预处理方法 | |
CN109002026A (zh) | 一种水电机组全工况综合参数退化趋势分析方法 | |
CN109931254B (zh) | 一种连续变工况的压裂泵保养规则设定系统 | |
CN109582555A (zh) | 数据异常检测方法、装置、检测系统及存储介质 | |
CN110738327B (zh) | 一种快充桩设备风险评估方法及系统 | |
CN106357445B (zh) | 一种用户体验监控方法及监控服务器 | |
CN116305741B (zh) | 一种用于电力设备数字孪生模型的更新方法及装置 | |
CN117130851A (zh) | 一种高性能计算集群运行效率评价方法及系统 | |
CN109299863B (zh) | Btm设备评价系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |