CN112464169A - 基于统计分布的大数据单参数阈值挖掘与修正方法及系统 - Google Patents
基于统计分布的大数据单参数阈值挖掘与修正方法及系统 Download PDFInfo
- Publication number
- CN112464169A CN112464169A CN202011394606.XA CN202011394606A CN112464169A CN 112464169 A CN112464169 A CN 112464169A CN 202011394606 A CN202011394606 A CN 202011394606A CN 112464169 A CN112464169 A CN 112464169A
- Authority
- CN
- China
- Prior art keywords
- distribution
- parameter
- telemetering
- statistical distribution
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005065 mining Methods 0.000 title claims abstract description 30
- 238000005315 distribution function Methods 0.000 claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000010276 construction Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000007689 inspection Methods 0.000 claims abstract description 10
- 238000012360 testing method Methods 0.000 claims description 18
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了一种基于统计分布的大数据单参数阈值挖掘与修正方法及系统，包括：步骤M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；步骤M2：基于多种统计分布函数对预处理后的遥测参数进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；步骤M3：基于历史数据对构建的阈值上限和下限进行修正。本发明参数阈值构建与修正方法取代了基于专家知识进行的单参数阈值挖掘，减少了对专家知识的依赖，为大批量遥测参数阈值监测提供了可能。
Description
技术领域
本发明涉及卫星在轨运行期间遥测参数的实时监测技术领域，具体地，涉及基于统计分布的大数据单参数阈值挖掘与修正方法及系统；更为具体地，涉及大数据条件下基于统计分布的单参数阈值挖掘与修正方法及系统
背景技术
卫星的在轨运行状态实时监测与异常报警技术是卫星执行任务过程中的重要环节，及时发现卫星在轨运行过程中出现的各类异常状况是延长卫星使用寿命以及保证卫星安全运行的关键。
专利文献CN101718864A(申请号：200910237621.0)公开了一种卫星遥测参数异常变化实时监测系统,包括数据接收模块、数据预处理模块、参数变化检测模块、越范围异常判定模块、幅度变化异常判定模块、长周期性变化异常判定模块、报警过滤模块和数据记录模块。本发明可以检测遥测参数趋势性的异常变化,包括短期趋势异常变化和长期趋势异常变化,对卫星遥测参数周期性变化可持续不断、周而复始进行监视,实现了对卫星遥测变化的多种异常情况进行精细化的监视报警,为分析人员提供丰富的现场测试信息,该系统解决了大量遥测参数的实时监视、判定、报警等问题,具有较高的灵敏度和实时性,从而降低了测试人员的工作强度、提高了测试效率。
专利文献CN103646167A(申请号：201310596516.2)公开了公开了一种基于遥测数据的卫星异常状态检测系统，包括遥测数据预处理单元、相关度计算单元、极值点提取单元、异常状态提取单元、遥测参数原始数据库、相关度阈值数据库、极值点阈值数据库。本发明提供的基于遥测数据的卫星异常状态检测系统，充分利用历史遥测参数样本，结合卫星遥测参数数据特点和数据变化规律，将一段时间的遥测数据与其历史样本数据的相关度比较以及极值点误差的比较，实现不需要设计知识，仅需少量历史数据的卫星异常状态检测和提取，克服了现有的异常状态检测方法对专家经验知识的依赖性问题和现有检测方法无法解决遥测参数未超出正常范围的异常变化问题，为卫星管理人员分析卫星状态变化提供有效、直观的方法和工具。
上述方法对日趋复杂的卫星结构、日益复杂多变的在轨运行环境、日益庞大的卫星实时运行数据不再适用。方法的主要不足体现在：一、基于专家知识进行遥测参数阈值区间、长短期变化范围以及极值点阈值区间的确定，工作量大、时效性低；二、卫星的实际运行环境和运行状态复杂多变，仅基于各类固定的阈值区间进行遥测参数的异常判定，对于时变参数的适应性和有效性较差。
为此本发明提出了一种大数据条件下基于统计分布的单参数阈值挖掘与修正方法，弥补上述不足。该方法通过对遥测参数进行野值剔除预处理，并基于完成预处理的参数进行各类常用分布函数的拟合，通过拟合优度检验选取最佳的拟合分布，确定遥测参数的阈值上限和下限，并提供阈值修正接口，允许基于历史数据和专家经验等知识对阈值进行修正。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于统计分布的大数据单参数阈值挖掘与修正方法及系统。
根据本发明提供的一种基于统计分布的大数据单参数阈值挖掘与修正方法，包括：
步骤M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
步骤M2：基于多种统计分布函数对预处理后的遥测参数分别进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
步骤M3：基于历史数据和专家经验对构建的阈值上限和下限进行修正。
优选地，所述步骤M1包括：单个遥测参数为一个序列，遥测参数序列包括按照时间顺序排列的多个数据点；判断获取的每个遥测参数数据点是否在均值上下预设倍数标准差的区间范围内，当获取的遥测参数数据点不在均值上下预设倍数标准差的区间范围内时，则将当前遥测参数数据点之前满足条件的遥测参数数据点代替当前遥测参数数据点，实现满足预设条件的遥测参数数据点野值剔除，完成遥参的预处理。
优选地，所述步骤M2包括：
步骤M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
步骤M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
步骤M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
优选地，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
优选地，所述步骤M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
根据本发明提供的一种基于统计分布的大数据单参数阈值挖掘与修正系统，包括：
模块M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
模块M2：基于多种统计分布函数对预处理后的遥测参数分别进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
模块M3：基于历史数据和专家经验对构建的阈值上限和下限进行修正。
优选地，所述模块M1包括：单个遥测参数为一个序列，遥测参数序列包括按照时间顺序排列的多个数据点；判断获取的每个遥测参数数据点是否在均值上下预设倍数标准差的区间范围内，当获取的遥测参数数据点不在均值上下预设倍数标准差的区间范围内时，则将当前遥测参数数据点之前满足条件的遥测参数数据点代替当前遥测参数数据点，实现满足预设条件的遥测参数数据点野值剔除，完成遥参的预处理。
优选地，所述模块M2包括：
模块M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
模块M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
模块M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
优选地，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
优选地，所述模块M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
与现有技术相比，本发明具有如下的有益效果：
1、针对卫星在轨运行异常检测中存在的人工阈值设定困难、高度依赖专家知识、虚警与漏报等问题，基于统计理论，从海量卫星在轨运行正常数据中自适应挖掘特征，构建最优统计分布，并结合置信度需求生成自适应阈值，实现了卫星海量参数遥测数据自动分析、自主挖掘，阈值自适应构建的有益效果；
2、本发明的大数据条件下基于统计分布的单参数阈值挖掘与修正方法，可以克服传统基于专家知识的阈值确定方法处理大批量数据工作量大、时效性差等问题，使得大批量遥测参数的实时监测与报警成为可能。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为单参数阈值构建与修正流程图
图2为实施例中的母线电压正态分布拟合图；
图3为实施例构建的母线电压阈值区间及原始遥测值分布图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种基于统计分布的大数据单参数阈值挖掘与修正方法，包括：
步骤M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
步骤M2：基于多种统计分布函数对预处理后的遥测参数分别进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
步骤M3：基于历史数据和专家经验对构建的阈值上限和下限进行修正。
所述单个遥测参数为一个序列，其包括按照时间顺序排列的多个数据点。
具体地，所述步骤M1包括：判断获取的遥测参数是否在均值上下三倍数标准差的区间范围内，当获取的遥测参数不在均值上下预三倍标准差的区间范围内时，则将当前遥测参数之前满足条件的遥测参数代替当前遥测参数，实现基于3σ原则遥测参数野值剔除，完成遥参的预处理。
具体地，所述步骤M2包括：
步骤M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
步骤M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
步骤M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
具体地，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
具体地，所述步骤M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
根据本发明提供的一种基于统计分布的大数据单参数阈值挖掘与修正系统，包括：
模块M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
模块M2：基于多种统计分布函数对预处理后的遥测参数分别进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
模块M3：基于历史数据和专家经验对构建的阈值上限和下限进行修正。
所述单个遥测参数为一个序列，其包括按照时间顺序排列的多个数据点。
具体地，所述模块M1包括：判断获取的遥测参数是否在均值上下三倍数标准差的区间范围内，当获取的遥测参数不在均值上下预三倍标准差的区间范围内时，则将当前遥测参数之前满足条件的遥测参数代替当前遥测参数，实现基于三倍标准差原则遥测参数野值剔除，完成遥参的预处理。
具体地，所述模块M2包括：
模块M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
模块M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
模块M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
具体地，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
具体地，所述模块M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
实施例2
实施例2是实施例1的变化例
为了解决卫星在轨运行期间大量遥测参数的实时监控与异常报警，基于专家知识确定监测阈值效率低下等问题，本发明提出了一种大数据条件下基于统计分布的单参数阈值挖掘与修正方法。
一种大数据条件下基于统计分布的单参数阈值挖掘与修正方法是基于统计理论，从海量卫星在轨运行正常数据中自适应挖掘特征，构建最优统计分布，并结合置信度需求生成自适应阈值；此外也可结合专家知识对生成的阈值进行进一步修正。
为了达到上述发明目的，本发明为解决其技术问题所采用的方案是提出了一种大数据条件下基于统计分布的单参数阈值挖掘与修正方法，包括：
遥测参数获取：根据配置中指定的遥测参数名称及遥测参数波道号，在遥测参数数据库中进行检索和查询；并根据配置中指定的阈值构建时间范围，在数据库中抽取出指定遥测参数满足阈值构建时间范围的遥测参数值。记遥测参数序列为X
X＝(x1,x2,…,xn) (1)
其中，n代表遥测参数X的遥测参数数据点个数。
遥测数据预处理：计算遥测参数序列的标准差，如下式
其中，
代表遥测参数序列的均值，即
分别针对每个遥测参数数据点判断是否满足
若满足上述条件，则保留该遥测参数点原值，若不满足上述条件，即遥测参数值超过了均值上下三倍标准差的区间范围，则用该点之前一个满足条件的遥测参数值代替该点的遥测参数值。
对所有遥测参数点实施上述操作后，完成野值剔除的遥测参数预处理操作。
统计分布拟合：选取常用统计分布，包括但不限于正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布、Gamma分布，对预处理之后的遥测参数序列进行分布拟合，对统计分布函数中的参数进行估计，获得具体的统计分布模型表达式。其中，
正态分布密度函数：
其中，σ表示标准差，μ表示均值，x表示自变量，e表示自然常数。
对数正态分布密度函数：
其中，σ表示对数标准差，μ表示对数均值，x表示自变量，e表示自然常数。
t分布密度函数：
其中，Γ表示伽马函数，v表示自由度，t表示自变量。
指数分布密度函数：
其中，x表示自变量，λ表示率参数。
威布尔分布密度函数：
其中，k表示形状参数，λ表示尺度参数，x表示自变量。
极值分布密度函数：
其中，x表示自变量，μ表示位置参数，实际上是分布的众数，不是均值；σ表示尺度参数，与分布的离散性有关，不是标准差。
Logistic分布密度函数：
其中，γ表示尺度参数，μ表示位置参数。
Gamma分布密度函数：
其中，α表示形状参数，λ表示逆尺度参数，Γ表示伽马函数。
完成分布拟合之后，密度函数中的参数得以确定。
拟合优度分析与统计分布选择：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性与准确性。
拟合优度检验流程如下：
(1)将观测值分为k组；
(2)计算n次观测值中每组的观测频数，记为Oi；
(3)根据变量的分布规律或概率运算法则，计算每组的理论频率为Pi；
(4)计算每组的理论频数Ti；
(5)检验Oi与Ti的差异显著性，判断两者之间的不符合度
a、零假设：H0：O-T＝0；备择假设：O-T≠0(这里检验的不是参数，而是判断观测数是否符合理论分布)
b、检验统计量：这里要求n充分的大，当n≥50时(最好≥100)，所定义的检验统计量近似服从卡方分布，Ti＝nPi不得小于5，若小于5，将尾区相邻的组合并，直到合并后的组的Ti≥5，合并后再计算卡方值。
c、建立拒绝域。
d、作出统计学结论。
阈值构建：记拟合优度检验通过且拟合优度最佳的统计分布为M，概率分布函数为FM(x)，则对于该分布的α分位点记为zα，含义如下
FM(zα)＝α
即对应于概率α的随机变量值。
在配置过程中，人工选定置信度为p。
分别取
和
为遥测参数的阈值下限和阈值上限，作为构建的单遥测参数统计阈值区间，保证满足M分布的遥测参数在正常范围内有占比为p的数据落在阈值区间之内，超出阈值区间的值可认为是异常值。
阈值修正：通过统计分布拟合和分位点的方法确定的单遥测参数阈值区间可能不能够很好地满足单参数监测的要求，因此提供阈值修正接口，可以根据历史数据情况、专家经验等知识，对构建的阈值区间上下限进行手动调整，实现阈值区间的修正。
实施例3
实施例3是实施例1和/或实施例2的变化例
本申请的大数据条件下基于统计分布的单参数阈值挖掘与修正方法，该方法实施流程如附图1所示，主要包括以下步骤：
首先根据遥测参数名称——母线电压及其波道号，在遥测参数数据库中进行检索和查询；并根据指定的阈值构建时间范围，在数据库中抽取出满足阈值构建时间范围的母线电压值。记获取到的包含n个数据点的母线电压序列为X，X＝(x1,x2,…,xn)。然后计算上述序列的标准差和均值，判断每个母线电压值是否在其上下三倍标准差的区间内，如果不在则用该点之前一个满足该范围条件的母线电压值代替该点的值，从而实现基于野值剔除的遥测参数预处理。
接下来选用常用的统计分布拟合，对预处理后的母线电压序列进行分布拟合，对统计分布函数中的参数进行估计，获得具体的统计分布模型表达式。以正态分布为例，表征原始母线电压序列的分布情况，如附图2所示。
最后基于概率分布函数FM(x)和人工选定的置信度p，计算相应的分布点值
和
即为母线电压这一遥测参数的阈值下限和阈值上限，遥参原始序列和阈值分布情况如附图3所示。
经检验，本次构建的阈值上下限对于原始母线电压参数合理，能够及时监测异常值，故不需要进行阈值修正。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，包括：
步骤M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
步骤M2：基于多种统计分布函数对预处理后的遥测参数进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
步骤M3：基于历史数据对构建的阈值上限和下限进行修正。
2.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述步骤M1包括：单个遥测参数为一个序列，遥测参数序列包括按照时间顺序排列的多个数据点；判断获取的每个遥测参数数据点是否在均值上下预设倍数标准差的区间范围内，当获取的遥测参数数据点不在均值上下预设倍数标准差的区间范围内时，则将当前遥测参数数据点之前满足条件的遥测参数数据点代替当前遥测参数数据点，实现满足预设条件的遥测参数数据点野值剔除，完成遥参的预处理。
3.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述步骤M2包括：
步骤M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
步骤M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
步骤M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
4.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
5.根据权利要求1所述的基于统计分布的大数据单参数阈值挖掘与修正方法，其特征在于，所述步骤M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
6.一种基于统计分布的大数据单参数阈值挖掘与修正系统，其特征在于，包括：
模块M1：获取遥测参数，并对遥测参数进行预处理，得到预处理后的遥测参数；
模块M2：基于多种统计分布函数对预处理后的遥测参数分别进行分布拟合以及拟合优度检验，选取拟合优度最佳的统计分布，实现阈值上限与下限的构建；
模块M3：基于历史数据和专家经验对构建的阈值上限和下限进行修正。
7.根据权利要求6所述的基于统计分布的大数据单参数阈值挖掘与修正系统，其特征在于，所述模块M1包括：单个遥测参数为一个序列，遥测参数序列包括按照时间顺序排列的多个数据点；判断获取的每个遥测参数数据点是否在均值上下预设倍数标准差的区间范围内，当获取的遥测参数数据点不在均值上下预设倍数标准差的区间范围内时，则将当前遥测参数数据点之前满足条件的遥测参数数据点代替当前遥测参数数据点，实现满足预设条件的遥测参数数据点野值剔除，完成遥参的预处理。
8.根据权利要求6所述的基于统计分布的大数据单参数阈值挖掘与修正系统，其特征在于，所述模块M2包括：
模块M2.1：分别基于多种统计分布函数对预处理后的遥测参数进行分布拟合，对统计分布函数中的参数进行估计，获得多种统计分布模型表达式；
模块M2.2：分别针对每种分布类型拟合结果进行拟合优度检验，分析不同统计分布模型对遥测参数分布形式描述的合理性和准确性；
模块M2.3：基于拟合优度检验选取拟合优度最佳的统计分布，得到单遥测参数的统计阈值区间。
9.根据权利要求6所述的基于统计分布的大数据单参数阈值挖掘与修正系统，其特征在于，所述多种统计分布函数包括正态分布、对数正态分布、t分布、指数分布、威布尔分布、极值分布、Logistic分布和/或Gamma分布。
10.根据权利要求6所述的基于统计分布的大数据单参数阈值挖掘与修正系统，其特征在于，所述模块M3包括：基于阈值满足单参数监测要求的程度，根据历史数据和专家经验对参数阈值区间的上下限进行相应调整，实现阈值区间的修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011394606.XA CN112464169A (zh) | 2020-12-03 | 2020-12-03 | 基于统计分布的大数据单参数阈值挖掘与修正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011394606.XA CN112464169A (zh) | 2020-12-03 | 2020-12-03 | 基于统计分布的大数据单参数阈值挖掘与修正方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112464169A true CN112464169A (zh) | 2021-03-09 |
Family
ID=74805737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011394606.XA Pending CN112464169A (zh) | 2020-12-03 | 2020-12-03 | 基于统计分布的大数据单参数阈值挖掘与修正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112464169A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592308A (zh) * | 2021-08-02 | 2021-11-02 | 浙江大学 | 一种基于常态模型的监测数据告警阈值提取方法 |
| CN113673056A (zh) * | 2021-08-17 | 2021-11-19 | 安徽江淮汽车集团股份有限公司 | 一种发动机冷试参数限值确定方法 |
| CN116028833A (zh) * | 2023-02-07 | 2023-04-28 | 斯润天朗(合肥)科技有限公司 | 一种借助统计推断的霍尔电流传感器突发故障预测方法 |
| CN117762078A (zh) * | 2024-02-22 | 2024-03-26 | 连云港银丰食用菌科技有限公司 | 一种食用菌菇房环境智能控制方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100114526A1 (en) * | 2008-10-31 | 2010-05-06 | International Business Machines Corporation | Frequency estimation of rare events by adaptive thresholding |
| CN103024761A (zh) * | 2011-09-26 | 2013-04-03 | 艾默生网络能源有限公司 | 基站能耗模型建立方法、能耗预测方法及装置 |
| CN103606931A (zh) * | 2013-12-10 | 2014-02-26 | 广州供电局有限公司 | 一种基于概率统计特征的avc系统定值调整方法 |
| CN103646167A (zh) * | 2013-11-22 | 2014-03-19 | 北京空间飞行器总体设计部 | 一种基于遥测数据的卫星异常状态检测系统 |
| CN104599302A (zh) * | 2015-01-13 | 2015-05-06 | 上海联影医疗科技有限公司 | 获取pet晶体能量峰值及设定能量鉴频器的方法 |
| CN107368922A (zh) * | 2017-07-20 | 2017-11-21 | 华中师范大学 | 基于夜间灯光强度的城市住宅平均房价预估方法 |
| CN107621532A (zh) * | 2017-09-22 | 2018-01-23 | 河海大学 | 基于突变分析确定浅水湖泊底泥起悬临界切应力的方法 |
| CN108920655A (zh) * | 2018-07-03 | 2018-11-30 | 山东大学 | 一种道路天气信息系统时空覆盖范围量化方法及装置 |
| CN108988987A (zh) * | 2018-06-14 | 2018-12-11 | 金陵科技学院 | 基于极值似然比的复杂调制信号处理结果可信性校验方法 |
| CN109063892A (zh) * | 2018-06-25 | 2018-12-21 | 华北电力大学 | 基于bp-lssvm组合优选模型的工业电量预测方法 |
| CN110991001A (zh) * | 2019-11-01 | 2020-04-10 | 北京航空航天大学 | 一种基于单调回归理论的卷簧寿命评估方法 |
| CN111292006A (zh) * | 2020-02-25 | 2020-06-16 | 武汉轻工大学 | 基于黄酒制品品质范围获取原料品质范围的方法及装置 |
-
2020
- 2020-12-03 CN CN202011394606.XA patent/CN112464169A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100114526A1 (en) * | 2008-10-31 | 2010-05-06 | International Business Machines Corporation | Frequency estimation of rare events by adaptive thresholding |
| CN103024761A (zh) * | 2011-09-26 | 2013-04-03 | 艾默生网络能源有限公司 | 基站能耗模型建立方法、能耗预测方法及装置 |
| CN103646167A (zh) * | 2013-11-22 | 2014-03-19 | 北京空间飞行器总体设计部 | 一种基于遥测数据的卫星异常状态检测系统 |
| CN103606931A (zh) * | 2013-12-10 | 2014-02-26 | 广州供电局有限公司 | 一种基于概率统计特征的avc系统定值调整方法 |
| CN104599302A (zh) * | 2015-01-13 | 2015-05-06 | 上海联影医疗科技有限公司 | 获取pet晶体能量峰值及设定能量鉴频器的方法 |
| CN107368922A (zh) * | 2017-07-20 | 2017-11-21 | 华中师范大学 | 基于夜间灯光强度的城市住宅平均房价预估方法 |
| CN107621532A (zh) * | 2017-09-22 | 2018-01-23 | 河海大学 | 基于突变分析确定浅水湖泊底泥起悬临界切应力的方法 |
| CN108988987A (zh) * | 2018-06-14 | 2018-12-11 | 金陵科技学院 | 基于极值似然比的复杂调制信号处理结果可信性校验方法 |
| CN109063892A (zh) * | 2018-06-25 | 2018-12-21 | 华北电力大学 | 基于bp-lssvm组合优选模型的工业电量预测方法 |
| CN108920655A (zh) * | 2018-07-03 | 2018-11-30 | 山东大学 | 一种道路天气信息系统时空覆盖范围量化方法及装置 |
| CN110991001A (zh) * | 2019-11-01 | 2020-04-10 | 北京航空航天大学 | 一种基于单调回归理论的卷簧寿命评估方法 |
| CN111292006A (zh) * | 2020-02-25 | 2020-06-16 | 武汉轻工大学 | 基于黄酒制品品质范围获取原料品质范围的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 战雪丽: "《多金融资产的定价与风险测度——基于copula理论的研究》", 31 January 2013 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113592308A (zh) * | 2021-08-02 | 2021-11-02 | 浙江大学 | 一种基于常态模型的监测数据告警阈值提取方法 |
| CN113673056A (zh) * | 2021-08-17 | 2021-11-19 | 安徽江淮汽车集团股份有限公司 | 一种发动机冷试参数限值确定方法 |
| CN113673056B (zh) * | 2021-08-17 | 2024-03-12 | 安徽江淮汽车集团股份有限公司 | 一种发动机冷试参数限值确定方法 |
| CN116028833A (zh) * | 2023-02-07 | 2023-04-28 | 斯润天朗(合肥)科技有限公司 | 一种借助统计推断的霍尔电流传感器突发故障预测方法 |
| CN117762078A (zh) * | 2024-02-22 | 2024-03-26 | 连云港银丰食用菌科技有限公司 | 一种食用菌菇房环境智能控制方法 |
| CN117762078B (zh) * | 2024-02-22 | 2024-06-11 | 连云港银丰食用菌科技有限公司 | 一种食用菌菇房环境智能控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112464169A (zh) | 基于统计分布的大数据单参数阈值挖掘与修正方法及系统 | |
| CN111459700B (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
| CN111563606A (zh) | 一种设备预测性维护方法及装置 | |
| CN106708738B (zh) | 一种软件测试缺陷预测方法及系统 | |
| CN112414694B (zh) | 基于多元状态估计技术的设备多级异常状态识别方法及装置 | |
| CN112083244A (zh) | 综合化航空电子设备故障智能诊断系统 | |
| CN115122155A (zh) | 基于工业互联网大数据的机床远程诊断方法及系统 | |
| CN111680407B (zh) | 一种基于高斯混合模型的卫星健康评估方法 | |
| CN109523030B (zh) | 一种基于机器学习的遥测参数异常监测系统 | |
| CN107506832B (zh) | 对监控巡视进行辅助的隐患挖掘方法 | |
| CN112215307B (zh) | 一种应用机器学习自动检测地震仪器信号异常的方法 | |
| CN114020715A (zh) | 一种日志数据的处理方法、装置、介质及设备 | |
| CN116628869A (zh) | 一种基于传递熵理论的数控机床故障传播机理分析方法 | |
| Narayan et al. | Mining time for timed regular specifications | |
| CN116108376A (zh) | 一种反窃电的监测系统、方法、电子设备及介质 | |
| CN113590663B (zh) | 一种环境检测方法及系统 | |
| CN112114578B (zh) | 一种多工序多变量过程在线监控和异常源诊断的稳健方法 | |
| CN112183983A (zh) | 企业双重预防机制管理系统 | |
| CN110008245B (zh) | 一个适用于设备故障预警模型时间段查找的方法 | |
| CN113361730A (zh) | 一种检修计划的风险预警方法、装置、设备和介质 | |
| CN113515560A (zh) | 车辆故障的分析方法、装置、电子设备及存储介质 | |
| CN113760879A (zh) | 数据库异常监测方法、系统、电子设备及介质 | |
| CN111724048A (zh) | 基于特征工程对成品库调度系统性能数据的特征抽取方法 | |
| US20240185189A1 (en) | Method for ordering the vehicles of a fleet of vehicles according to a maintenance need; associated computer program and computer system | |
| CN113158552B (zh) | 基于时间序列的生物反应器运行状况分级预测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210309 |