CN116429220B - 一种水利工程异常检测方法 - Google Patents
一种水利工程异常检测方法 Download PDFInfo
- Publication number
- CN116429220B CN116429220B CN202310699326.7A CN202310699326A CN116429220B CN 116429220 B CN116429220 B CN 116429220B CN 202310699326 A CN202310699326 A CN 202310699326A CN 116429220 B CN116429220 B CN 116429220B
- Authority
- CN
- China
- Prior art keywords
- data
- water level
- data point
- value
- data points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 145
- 230000002159 abnormal effect Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 230000005856 abnormality Effects 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009699 differential effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
- G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
- G01F25/00—Testing or calibration of apparatus for measuring volume, volume flow or liquid level or for metering by volume
- G01F25/20—Testing or calibration of apparatus for measuring volume, volume flow or liquid level or for metering by volume of apparatus for measuring liquid level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fluid Mechanics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本申请涉及数据处理领域，提供一种水利工程异常检测方法，包括：利用水位传感器对水位信息进行实时监控，得到历史水位高度时间序列数据，以及利用温度传感器进行温度检测，得到每一时间对应的温度信息；历史水位高度时间序列数据包括多个数据点，每一数据点表征每一时间对应的水位高度；基于每个数据点得到初始k值，基于温度信息、水位波动性指标对初始k值进行修正，得到实时k值；基于实时k值采用LOF异常检测算法对数据进行检测，确定当前时间对应的水位高度是否异常。该方法能够准确检测水利工程的异常状态。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种水利工程异常检测方法。
背景技术
随着全球经济的发展，人们对水资源的利用变得越来越重视，水利工程项目已经在我国很多地区发挥了巨大的作用。在工程建设过程中，人们追求一种自动化管理模式，希望出现异常情况时水利工程项目能够自动检测异常状态，并能解决一些简单的问题，或者将待解决问题放在异常任务队列中，等待技术人员进行处理。
在水利工程中，如果出现特大洪水灾害，若不及时发现并采取一定的措施，极有可能会导致大量的人力、物力的浪费，甚至会付出生命的代价。因此，本发明采用水位传感器来监测水流量的实时数据，提出一种水利工程异常检测方法，通过数据分析技术来检测水利工程的异常状态。
发明内容
本发明提供一种水利工程异常检测方法，该方法能够准确检测水利工程的异常状态。
第一方面，本申请提供一种水利工程异常检测方法，包括：利用水位传感器对水位信息进行实时监控，得到历史水位高度时间序列数据，以及利用温度传感器进行温度检测，得到每一时间对应的温度信息；所述历史水位高度时间序列数据包括多个数据点，每一数据点表征每一时间对应的水位高度；基于每个所述数据点得到初始k值，基于所述温度信息、水位波动性指标对所述初始k值进行修正，得到实时k值；基于所述实时k值采用LOF异常检测算法对数据进行检测，确定当前时间对应的水位高度是否异常。
在一可选实施例中，基于每个所述数据点得到初始k值，包括：
基于当前数据点和当前数据点相邻的数据点之间水位高度差确定当前数据点对应的区域数据点集合；
基于所述区域数据点集合内数据点所在窗口的对角线的大小以及所述数据点的数量确定平均窗口大小；
基于所述平均窗口大小确定每一所述数据点对应的窗口宽度，所述窗口宽度为所述初始k值。
在一可选实施例中，所述基于当前数据点和当前数据点相邻的数据点之间水位高度差确定当前数据点对应的区域数据点集合，包括：
如果当前数据点和当前数据点相邻的数据点之间水位高度差的绝对值处于第一预设范围，则将所述当前数据点相邻的数据点加入数据集合中，进而得到所述区域数据点集合。
在一可选实施例中，所述第一预设范围为（，/>），/>表示第/>个数据点/>所在区域数据点集合的平均值，/>表示第/>个数据点/>所在区域数据点集合中的最小值的数据点高度，/>表示第/>个数据点/>所在区域数据点集合中的最大值的数据点高度。
在一可选实施例中，基于所述温度信息、水位波动性指标对所述初始k值进行修正，得到实时k值，包括：
计算每个数据点在所述平均窗口大小的范围内，温度信息与水位高度的皮尔森相关系数，所述皮尔森相关系数表征温度信息对水位高度的温差影响程度；
基于所述温差影响程度修正每个数据点对应的所述水位高度，得到修正后的去温差高度；
基于历史水位高度时间序列数据得到斜率函数；
基于所述斜率函数确定每一数据点的波动性指标；
基于所述波动性指标以及所述去温差高度计算修正系数，利用所述修正系数对所述初始k值进行修正，得到实时k值。
在一可选实施例中，计算每个数据点在所述平均窗口大小的范围内，温度信息与水位高度的皮尔森相关系数，包括：
；
其中，表示第/>个数据点/>的温度信息对水位高度的温差影响程度，/>表示第/>个数据点/>的窗口包含的数据点数量。/>表示数据点/>的窗口范围内的第/>个数据点处的水位高度。/>表示数据点/>的窗口范围内的第/>个数据点处的温度信息，/>表示/>个数据点的平均水位高度，/>表示/>个数据点的平均温度。
在一可选实施例中，基于历史水位高度时间序列数据得到斜率函数，包括：
对历史水位高度时间序列进行拟合得到拟合函数；
对拟合函数进行一阶求导，得到所述斜率函数。
在一可选实施例中，基于所述斜率函数确定每一数据点的波动性指标，包括：
；
；
其中，表示第/>个数据点窗口范围内的数据点数量，/>表示第/>个数据点在窗口范围内第/>个数据点斜率，/>表示第/>个数据点在其窗口范围内所有数据点斜率绝对值的平均值，/>表示第/>个数据点的斜率，/>表示第/>个数据点/>处的斜率绝对值与平均值之比，如果/>越大，则表示该数据点处的波动性较大；如果/>越小，则表示该数据点处的波动性较小。
在一可选实施例中，基于所述波动性指标以及所述去温差高度计算修正系数，利用所述修正系数对所述初始k值进行修正，得到实时k值，包括：
表示将值归一化，/>、/>为映射系数，/>为初始k值，/>为去温差高度。
在一可选实施例中，基于所述实时k值采用LOF异常检测算法对数据进行检测，确定当前时间对应的水位高度是否异常，包括：
基于所述实时k值采用LOF异常检测算法对数据点进行检测，得到离群因子得分；
如果离群因子得分远大于1就判断数据点为异常点，则当前时间对应的水位高度异常。
本申请的有益效果，区别于现有技术，本申请的水利工程异常检测方法，包括：利用水位传感器对水位信息进行实时监控，得到历史水位高度时间序列数据，以及利用温度传感器进行温度检测，得到每一时间对应的温度信息；所述历史水位高度时间序列数据包括多个数据点，每一数据点表征每一时间对应的水位高度；基于每个所述数据点得到初始k值，基于所述温度信息、水位波动性指标对所述初始k值进行修正，得到实时k值；基于所述实时k值采用LOF异常检测算法对数据进行检测，确定当前时间对应的水位高度是否异常。该方法能够准确检测水利工程的异常状态。
附图说明
图1是本申请水利工程异常检测方法的一实施例的流程示意图；
图2是图1中步骤S12的一实施例的流程示意图；
图3是根据窗口大小取得基础/>值的示意图；
图4是图1中步骤S13的一实施例的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图和实施例对本申请进行详细的说明。
请参见图1，为本发明水利工程异常检测方法的一实施例的流程示意图，具体包括：
步骤S11：利用水位传感器对水位信息进行实时监控，得到历史水位高度时间序列数据，以及利用温度传感器进行温度检测，得到每一时间对应的温度信息；所述历史水位高度时间序列数据包括多个数据点，每一数据点表征每一时间对应的水位高度。
具体的，在大坝两边的左右两个角分别安装一个水位传感器，用来检测水位的数据变化情况。同时安装温度传感器来检测实时温度信息。这些数据信息会实时传输到后台，目的是为了对正确的水位数据信息做进一步的异常数据检测分析。
具体的，利用水位传感器对水位信息进行实时监控，得到历史水位高度时间序列数据，所述历史水位高度时间序列数据包括多个数据点，每一数据点表征每一时间对应的水位高度。利用温度传感器进行温度检测，得到每一时间对应的温度信息。
步骤S12：基于每个所述数据点得到初始k值。
本发明利用水位传感器传输的数据对水利工程中的水位信息进行实时监控，通过及时将数据信息进行分析和判断，对异常数据进行检测，在将数据信息发送给工作人员的同时也将通过异常检测分析得到的异常结果发送给工作人员，完成异常检测的双保险。
对于水位传感器获取到的水位数据信息，如果当前水位高于或低于经验阈值，那么就立即发出警报，提醒工作人员进行处理。但是，如果在发生洪水灾害到来之前，水位就会发生异常变化，但是这个变化通过简单的阈值还不足以判断出危险情况，这时就需要对水位传感器获得的水位高度时间序列数据信息进行异常分析，从这时间序列中分析出现的异常数据的情况，这里采用异常检测算法LOF来对数据的密度进行分析，LOF同时考虑了数据集的局部和全局属性，能得到量化后的每个数据点的异常程度。
LOF异常检测算法会用到第距离的数据点，这里的/>值如何进行选取会对异常检测的最终结果产生影响。如果/>值选择过大，则会让数据样本变大，有些异常点的异常得分会偏离正常分值往下；如果/>值选择过小，则会让数据样本变小，导致一些正常点的异常得分会偏大，被错误地区分为异常点。
本发明首先对历史水位高度时间序列数据的每个数据点进行分析，通过扩大每个数据点的区域得到一个平均窗口大小，再根据这个平均窗口取得横坐标的宽度即为基础值；再通过对温度和斜率的相关性和曲线局部波动程度这两个指标，对基础/>值修正得到实时/>值，这个实时/>值即为每个数据点进行异常数据评分的第/>距离。
对历史水位高度时间序列数据中的每个数据点进行分析，分别对每个数据点进行区域扩大，直到扩大到待加入数据点与区域内的数据点之间差别较大时，就停止加入。最后对所有数据点区域内最左边和最右边数据点的横纵坐标之间的距离计算其欧式距离，这里将欧氏距离定义为窗口对角线长度，即窗口大小。对所有的数据点的窗口大小求其均值，即为窗口的大小，这个窗口大小/>用来确定每个数据点的基础/>值即初始k值。这个窗口大小如果太小，就会影响基础/>值使得其整体取值偏小，会使得正常数据点的异常得分偏高；如果/>太大，就会影响基础/>值使得其整体取值偏大，会使得异常数据点的异常得分偏低。所以确定窗口大小/>值对于异常检测算法LOF具有重要作用。
具体的，请参见图2，步骤S12具体包括：
步骤S21：基于当前数据点和当前数据点相邻的数据点之间水位高度差确定当前数据点对应的区域数据点集合。
对于历史水位高度时间序列数据上所有的数据点，对其中任意一个数据点进行操作。假设一共有/>个数据点，数据点/>对应的纵坐标的水位高度为/>。设置区域数据点集合作为数据点/>的区域，这个区域用来表征每个数据点/>的最佳窗口范围，在区域数据点集合/>中的数据点在时间序列上是连续的，其最左边数据点和最右边数据点的横坐标和纵坐标的欧氏距离即为最佳窗口大小，这个窗口大小即为窗口的对角线距离。区域数据点集合的初始数据点有数据点/>，分别为当前数据点、当前数据点的上一个数据点和当前数据点的下一个数据点，选择与之相邻的两个值是为了方便计算初始方差。用/>表示第/>个数据点的集合/>中的数据点个数，即/>。分别将/>左右两侧的像素点依次根据判断条件决定是否加入区域数据点集合/>。具体的，如果当前数据点和当前数据点相邻的数据点之间水位高度差的绝对值处于第一预设范围，则将所述当前数据点相邻的数据点加入数据集合中，进而得到所述区域数据点集合。所述第一预设范围为（/>，），/>表示第/>个数据点/>所在区域数据点集合的平均值，/>表示第/>个数据点/>所在区域数据点集合中的最小值的数据点高度，/>表示第/>个数据点/>所在区域数据点集合中的最大值的数据点高度。
在一具体实施例中，判断是否将数据点加入区域数据点集合的判断条件为：
；
其中，表示第/>个数据点/>所在区域数据点集合，/>表示第/>个数据点/>所在区域数据点集合的平均值，/>表示在第/>个区域数据点集合内的第/>个数据点，/>表示第/>个数据点/>所在区域数据点集合中的最小值的数据点高度，/>表示第/>个数据点/>所在区域数据点集合中的最大值的数据点高度，/>表示数据点/>左右两侧相邻的待加入数据的数据点的水位高度。这个公式表示的含义是：待加入数据的数据点/>与区域数据点集合的均值之差必须在区域数据点定义的动态范围内，这个动态范围必须大于区域均值与区域最小值之差，小于区域最大值与区域均值之差。经过这个判断条件，加入区域的一定是与已经在区域集合里面的数据点的差距不大的数据点，这样就能得到一个合理的窗口大小，用来控制基础/>值即初始k值的选取。
步骤S22：基于所述区域数据点集合内数据点所在窗口的对角线的大小以及所述数据点的数量确定平均窗口大小。
具体的，用表示第/>个区域数据点集合/>内的数据点所在的窗口对角线的大小，将所有数据点的窗口大小求其均值，确定平均窗口大小D：
其中，表示历史水位高度时间序列数据的个数，/>表示平均窗口大小，根据窗口大小来确定每个数据点处窗口的宽度即初始/>值的大小。这样就使得每个数据点可以在较为合理的范围内进行评判每个数据点的异常分数，从而防止固定的/>值不灵活或任取的/>值不合理。
步骤S23：基于所述平均窗口大小确定每一所述数据点对应的窗口宽度，所述窗口宽度为所述初始k值。
具体的，表示平均窗口大小，根据窗口大小来确定每个数据点处窗口的宽度即初始/>值的大小。
步骤S13：基于所述温度信息、水位波动性指标对所述初始k值进行修正，得到实时k值。
具体的，由于对夏季的水位数据信息的包容性更大，所以采用更大的值来计算其密度；对冬季的水位数据信息采用较小的/>值。因此，对于窗口大小/>这个取值也需要对历史数据中的每个季度进行计算，得到每个季度的一个窗口/>值。
对于求得的窗口大小D用来确定每个数据点的基础值，具体如图3所示。
已经考虑到在夏季和冬季的降水量以及水流量的变化程度并不相同，其实昼夜温差也会对水位数据信息造成一定的影响。这里通过安装温度传感器来监测实时温度信息。
在温度较高的情况下，水分子运动剧烈，会导致水位高度出现波动性变化。但是这种因为温度上升而产生的水位数据信息的变化并不能作为水利工程异常情况，所以，为了减弱这种影响，根据实时温度函数来适当减弱温度对数据变化程度的影响。
在一实施例中，请参见图4，步骤S13具体包括：
步骤S31：计算每个数据点在所述平均窗口大小的范围内，温度信息与水位高度的皮尔森相关系数，所述皮尔森相关系数表征温度信息对水位高度的温差影响程度。
在一实施例中，对于温度对水位高度时间序列数据产生的影响程度，这里通过计算每个数据点在窗口大小为D的范围内，温度数据与水位高度数据/>的皮尔森相关系数，这个系数用来表征这温度对水位高度的温差影响程度。皮尔森相关系数/>计算公式为：
其中，表示第/>个数据点/>的温度信息对水位高度的温差影响程度，取值范围为(0,1)。/>表示第/>个数据点/>的窗口包含的数据点数量。/>表示数据点/>的窗口范围内的第个数据点处的水位高度。/>表示数据点/>的窗口范围内的第/>个数据点处的温度信息，/>表示/>个数据点的平均水位高度，/>表示/>个数据点的平均温度。上述公式中，分子表示协方差，用来反应两组数据相关程度的指标，分母为两组数据的标准差乘积，用来消除量纲的影响。
步骤S32：基于所述温差影响程度修正每个数据点对应的所述水位高度，得到修正后的去温差高度。
皮尔森相关系数表征温度信息对水位高度的温差影响程度。利用温差影响程度修正每个数据点对应的水位高度/>，得到修正后的去温差高度/>。
具体的，利用温差影响程度修正每个数据点对应的水位高度/>得到修正后的去温差高度/>方式为：
这个对水位高度进行修正后得到的/>表示去温差高度。如果温差影响程度/>越大，则表示温度和水位高度之间相关性较大，需要在原来水位高度数据的基础上减弱温度对水位高度产生的影响，即将/>缩小至原来的/>倍，这样得到的去温差高度/>就会对基础/>的取值进行较大的缩减；如果温差影响程度/>越小，说明温度几乎对水位高度没有影响，所以用/>对/>进行相乘后水位高度基本不变，这样得到的去温差高度就会对基础/>的取值进行较小的缩减。最终得到的这个水位高度/>作为判别修正基础值的一个指标。
步骤S33：基于历史水位高度时间序列数据得到斜率函数。
考虑到如果突发洪水，水位上升的速度一定比平时正常的水流量上升的快，所以需要对数据集的斜率进行分析。如果水位上升速度较快，那么曲线的斜率一定也同样是很大的。因此基于历史水位高度时间序列数据得到斜率函数。在一实施例中，对历史水位高度时间序列进行拟合得到拟合函数；对拟合函数进行一阶求导，得到所述斜率函数。
具体的，这里将历史水位高度时间序列数据进行拟合得到函数/>，使得离散的数据连续化。对水位高度函数/>，并对此函数求其一阶导，得到的一阶导函数/>即为斜率函数。函数/>可以反应数据变化程度，这个数据变化程度表示水位高度数据在每个时刻的变化快慢，作为异常数据点的判断标准。
步骤S34：基于所述斜率函数确定每一数据点的波动性指标。
对于水位数据曲线，其波动性会实时反应异常情况。所以对曲线的波动性分析是检测水利工程异常的重要步骤。对于曲线来说，每个数据点的曲线波动变化程度可以用表示。由于曲线波动变化程度/>是基于每个数据点的离散型指标，只需要在斜率函数/>上取得离散数据点的斜率数据/>，就可以用来计算曲线波动的指标。
在一实施例中，基于所述斜率函数确定每一数据点的波动性指标，具体方式为：
；
；
其中，表示第/>个数据点窗口范围内的数据点数量，/>表示第/>个数据点在窗口范围内第/>个数据点斜率，/>表示第/>个数据点在其窗口范围内所有数据点斜率绝对值的平均值，/>表示第/>个数据点的斜率，/>表示第/>个数据点/>处的斜率绝对值与平均值之比，如果/>越大，则表示该数据点处的波动性较大；如果/>越小，则表示该数据点处的波动性较小。具体的，如果/>越大，则表示该数据点处的波动性较大，所以对于基础/>值需要缩小，以此来降低对于异常数据点评分的误差；如果/>越小，则表示该数据点处的波动性较小，数据越平坦，所以可以适当扩大基础/>的取值，在更大的范围内进行评判每个数据点的异常分数。
步骤S35：基于所述波动性指标以及所述去温差高度计算修正系数，利用所述修正系数对所述初始k值进行修正，得到实时k值。
异常检测算法LOF确定的值，用来计算每个数据点的第/>距离的数据密度，异常的数据点会在第/>距离左右出现，通过离群因子LOF的大小进行判别。根据前面所提到的基础值的基础上，针对去温差高度指标/>和曲线波动变化程度指标/>，对基础的/>值进行一定的放大和缩小，目的是为了针对曲线变化特点取得实时的/>值。
具体的，基于所述波动性指标以及所述去温差高度计算修正系数，利用所述修正系数对所述初始k值进行修正，得到实时k值，包括：
表示将值归一化，/>、/>为映射系数，/>为初始k值，/>为去温差高度。
其中，表示第/>个数据点/>处的波动变化程度，/>越大，表示曲线波动变化程度较大，极有可能出现异常情况，需要将基础/>值进行缩小，以此来更加准确地评估异常数据点的分数；反之则放大/>。而/>就可以对基础/>值进行相应的修正。
表示在第/>个数据点/>处的水位高度，/>越大，表示去温差高度值较大，说明此刻水位线较高，将基础/>值进行缩小，以此来更加准确地评估异常数据点的分数；反之则放大/>。而/>就可以对基础/>值进行相应的修正。
由于这个修正过程主要针对突发灾害对水位数据曲线的检测，所以，需要对曲线波动变化程度设置较高的映射系数，这样就可以在这两个指标的基础上优先判断波动性，使用水位高度辅助判断异常情况。这里设置映射系数为1.1，/>为0.9，这样对于/>值的放大范围控制在两倍以内。当/>这个修正系数值小于0.5时，则按照0.5来缩小/>值。
步骤S14：基于所述实时k值采用LOF异常检测算法对数据进行检测，确定当前时间对应的水位高度是否异常。
具体的，通过上述步骤对基础值进行修正后，得到的每个数据点的实时/>值，可以对其使用LOF异常检测算法计算离群因子得分。具体的，基于所述实时k值采用LOF异常检测算法对数据点进行检测，得到离群因子得分；如果离群因子得分远大于1就判断数据点为异常点，则当前时间对应的水位高度异常。
具体的，判断离群因子是否接近1，如果接近1则判断该点为正常点，如果该点远大于1就判断该点为异常点，这里取经验值3，如果离群因子的值大于3，则将该数据点判定为异常点，以此来评估异常数据点。
本申请的方案中，水位传感器能够将实时的水位高度时间序列数据传输给工作人员，这些数据包括水位大小和水位上升或下降的稳定性。当后台获取到这些数据信息时，如果工作人员没有处理及时，就会对一些突发的情况错失最佳干预时间，导致灾难的发生。本发明使用异常检测算法LOF来对从水位传感器获取到的实时的水位高度时间序列数据进行分析，通过计算平均窗口大小来确定每个数据点的基础/>，并根据温度和斜率的相关性、曲线波动变化程度和水位高度实时修正/>值，判断每个数据点的异常程度。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (7)
1.一种水利工程异常检测方法，其特征在于，包括：
利用水位传感器对水位信息进行实时监控，得到历史水位高度时间序列数据，以及利用温度传感器进行温度检测，得到每一时间对应的温度信息；所述历史水位高度时间序列数据包括多个数据点，每一数据点表征每一时间对应的水位高度；
基于每个所述数据点得到初始k值；
基于所述温度信息、水位波动性指标对所述初始k值进行修正，得到实时k值；
基于所述实时k值采用LOF异常检测算法对数据进行检测，确定当前时间对应的水位高度是否异常；
其中，基于每个所述数据点得到初始k值，包括：
基于当前数据点和当前数据点相邻的数据点之间水位高度差确定当前数据点对应的区域数据点集合；
基于所述区域数据点集合内数据点所在窗口的对角线的大小以及所述数据点的数量确定平均窗口大小；
基于所述平均窗口大小确定每一所述数据点对应的窗口宽度，所述窗口宽度为所述初始k值；
其中，基于所述温度信息、水位波动性指标对所述初始k值进行修正，得到实时k值，包括：
计算每个数据点在所述平均窗口大小的范围内，温度信息与水位高度的皮尔森相关系数，所述皮尔森相关系数表征温度信息对水位高度的温差影响程度；
基于所述温差影响程度修正每个数据点对应的所述水位高度，得到修正后的去温差高度；
基于历史水位高度时间序列数据得到斜率函数；
基于所述斜率函数确定每一数据点的波动性指标；
基于所述波动性指标以及所述去温差高度计算修正系数，利用所述修正系数对所述初始k值进行修正，得到实时k值；
其中，基于所述实时k值采用LOF异常检测算法对数据进行检测，确定当前时间对应的水位高度是否异常，包括：
基于所述实时k值采用LOF异常检测算法对数据点进行检测，得到离群因子得分；
如果离群因子得分远大于1就判断数据点为异常点，则当前时间对应的水位高度异常。
2.根据权利要求1所述的方法，其特征在于，所述基于当前数据点和当前数据点相邻的数据点之间水位高度差确定当前数据点对应的区域数据点集合，包括：
如果当前数据点和当前数据点相邻的数据点之间水位高度差的绝对值处于第一预设范围，则将所述当前数据点相邻的数据点加入数据集合中，进而得到所述区域数据点集合。
3.根据权利要求2所述的方法，其特征在于，所述第一预设范围为（，），/>表示第/>个数据点/>所在区域数据点集合的平均值，/>表示第/>个数据点所在区域数据点集合中的最小值的数据点高度，/>表示第/>个数据点/>所在区域数据点集合中的最大值的数据点高度。
4.根据权利要求1所述的方法，其特征在于，计算每个数据点在所述平均窗口大小的范围内，温度信息与水位高度的皮尔森相关系数，包括：
；
其中，表示第/>个数据点/>的温度信息对水位高度的温差影响程度，/>表示第/>个数据点/>的窗口包含的数据点数量/>表示数据点/>的窗口范围内的第/>个数据点处的水位高度；/>表示数据点/>的窗口范围内的第/>个数据点处的温度信息，/>表示/>个数据点的平均水位高度，/>表示/>个数据点的平均温度。
5.根据权利要求1所述的方法，其特征在于，基于历史水位高度时间序列数据得到斜率函数，包括：
对历史水位高度时间序列进行拟合得到拟合函数；
对拟合函数进行一阶求导，得到所述斜率函数。
6.根据权利要求1所述的方法，其特征在于，基于所述斜率函数确定每一数据点的波动性指标，包括：
；
；
其中，表示第/>个数据点窗口范围内的数据点数量，/>表示第/>个数据点在窗口范围内第/>个数据点斜率，/>表示第/>个数据点在其窗口范围内所有数据点斜率绝对值的平均值，表示第/>个数据点的斜率，/>表示第/>个数据点/>处的斜率绝对值与平均值之比，如果/>越大，则表示该数据点处的波动性较大；如果/>越小，则表示该数据点处的波动性较小。
7.根据权利要求6所述的方法，其特征在于，基于所述波动性指标以及所述去温差高度计算修正系数，利用所述修正系数对所述初始k值进行修正，得到实时k值，包括：
表示将值归一化，/>、/>为映射系数，/>为初始k值，/>为去温差高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310699326.7A CN116429220B (zh) | 2023-06-14 | 2023-06-14 | 一种水利工程异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310699326.7A CN116429220B (zh) | 2023-06-14 | 2023-06-14 | 一种水利工程异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116429220A CN116429220A (zh) | 2023-07-14 |
| CN116429220B true CN116429220B (zh) | 2023-09-26 |
Family
ID=87089436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310699326.7A Active CN116429220B (zh) | 2023-06-14 | 2023-06-14 | 一种水利工程异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116429220B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116660667B (zh) * | 2023-07-26 | 2023-10-24 | 山东金科电气股份有限公司 | 一种变压器异常监控方法及系统 |
| CN116680524B (zh) * | 2023-08-01 | 2023-10-20 | 查维斯机械制造(北京)有限公司 | 一种用于灼烫式手持打码器的温度数据监测方法 |
| CN116805065B (zh) * | 2023-08-25 | 2023-11-14 | 山东荣信集团有限公司 | 一种煤粉加热炉燃烧器监测数据智能管理方法 |
| CN117009910B (zh) * | 2023-10-08 | 2023-12-15 | 湖南工程学院 | 一种环境温度异常变化智能监测方法 |
| CN117113263B (zh) * | 2023-10-23 | 2024-01-26 | 鹏远建设有限公司 | 一种桥梁顶推结构实时监控方法 |
| CN117129790B (zh) * | 2023-10-26 | 2024-01-23 | 山西思极科技有限公司 | 一种电力系统故障诊断系统 |
| CN117171604B (zh) * | 2023-11-03 | 2024-01-19 | 城资泰诺(山东)新材料科技有限公司 | 基于传感器的保温板生产线异常监测系统 |
| CN117435874B (zh) * | 2023-12-21 | 2024-03-12 | 河北雄安睿天科技有限公司 | 一种供排水设备异常数据检测方法及系统 |
| CN117591986B (zh) * | 2024-01-18 | 2024-04-05 | 天津市职业大学 | 基于人工智能的汽车数据实时处理方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569890A (zh) * | 2019-08-23 | 2019-12-13 | 河海大学 | 一种基于相似性度量的水文数据异常模式检测方法 |
| US10509847B1 (en) * | 2019-02-11 | 2019-12-17 | Sas Institute Inc. | Local outlier factor hyperparameter tuning for data outlier detection |
| CN111984930A (zh) * | 2020-08-19 | 2020-11-24 | 河海大学 | 一种地下水水位监测数据异常值识别方法及系统 |
| CN113108764A (zh) * | 2021-04-15 | 2021-07-13 | 中国水利水电科学研究院 | 一种溃坝过程安全监测、预警与影响评估方法 |
| CN113962320A (zh) * | 2021-10-29 | 2022-01-21 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 地下水监测数据处理方法及装置 |
| CN114742128A (zh) * | 2022-03-10 | 2022-07-12 | 交通运输部水运科学研究所 | 一种船舶异常行为的识别方法、装置、终端和存储介质 |
| KR102473709B1 (ko) * | 2021-11-19 | 2022-12-02 | (주)해양정보기술 | 수위 관측 데이터 기반 지진해일 검출 방법 및 시스템 |
-
2023
- 2023-06-14 CN CN202310699326.7A patent/CN116429220B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10509847B1 (en) * | 2019-02-11 | 2019-12-17 | Sas Institute Inc. | Local outlier factor hyperparameter tuning for data outlier detection |
| CN110569890A (zh) * | 2019-08-23 | 2019-12-13 | 河海大学 | 一种基于相似性度量的水文数据异常模式检测方法 |
| CN111984930A (zh) * | 2020-08-19 | 2020-11-24 | 河海大学 | 一种地下水水位监测数据异常值识别方法及系统 |
| CN113108764A (zh) * | 2021-04-15 | 2021-07-13 | 中国水利水电科学研究院 | 一种溃坝过程安全监测、预警与影响评估方法 |
| CN113962320A (zh) * | 2021-10-29 | 2022-01-21 | 中国地质环境监测院(自然资源部地质灾害技术指导中心) | 地下水监测数据处理方法及装置 |
| KR102473709B1 (ko) * | 2021-11-19 | 2022-12-02 | (주)해양정보기술 | 수위 관측 데이터 기반 지진해일 검출 방법 및 시스템 |
| CN114742128A (zh) * | 2022-03-10 | 2022-07-12 | 交通运输部水运科学研究所 | 一种船舶异常行为的识别方法、装置、终端和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| A novel GPR-Based prediction model for strip crown in hot rolling by using the improved local outlier factor;Yan WU;IEEE Access;全文 * |
| 基于密度分簇的长周期监测数据异常识别方法;李明超;水力发电学报;第40卷(第3期);2 算法原理与改进 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116429220A (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116429220B (zh) | 一种水利工程异常检测方法 | |
| EP2519895B1 (en) | Method and apparatus for monitoring performance and anticipate failures of plant instrumentation | |
| JP6141235B2 (ja) | 時系列データにおける異常を検出する方法 | |
| CN111610407B (zh) | 基于朴素贝叶斯的电缆老化状态评估方法和装置 | |
| CN112348237B (zh) | 一种动态钻井数据异常趋势检测方法 | |
| CN107067100B (zh) | 风电功率异常数据辨识方法及辨识装置 | |
| WO2016208315A1 (ja) | プラント診断装置及びプラント診断方法 | |
| Yang et al. | A hybrid model-based fault detection strategy for air handling unit sensors | |
| CN114429308A (zh) | 一种基于大数据的企业安全风险评估方法及系统 | |
| CN116105802A (zh) | 一种基于物联网的地下设施安全监测预警方法 | |
| JP6948197B2 (ja) | プロセス監視装置 | |
| CN117290802B (zh) | 一种基于数据处理的主机电源运行监测方法 | |
| Chesterman et al. | Condition monitoring of wind turbines and extraction of healthy training data using an ensemble of advanced statistical anomaly detection models | |
| CN116764261B (zh) | 一种用于蒸馏流程的执行安全监管系统 | |
| CN116448263B (zh) | 一种勃姆石生产设备运行状态检测方法 | |
| CN116681307B (zh) | 基于多端融合反馈的河道四乱监管追溯显示方法及系统 | |
| CN103995985A (zh) | 基于Daubechies小波变换和弹性网的故障检测方法 | |
| CN115713312A (zh) | 一种水利水电工程环境量不利工况组合识别方法及装置 | |
| CN113325824A (zh) | 一种基于阈值监测的调节阀异常识别方法及系统 | |
| CN112116014A (zh) | 一种配电自动化设备测试数据离群值检测方法 | |
| JP2021076597A (ja) | 過渡速度動作中の振動傾向を決定することによるロータ異常の検出 | |
| CN117874687B (zh) | 一种工业平板电脑的数据交互方法 | |
| CN114997759B (zh) | 一种供热管道支吊架稳定性预警方法及系统 | |
| CN115240428B (zh) | 隧道运营异常的检测方法、装置、电子设备与存储介质 | |
| CN117874687A (zh) | 一种工业平板电脑的数据交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |