CN117453763A - 一种大坝安全监测的数据处理方法、记录媒体及系统 - Google Patents
一种大坝安全监测的数据处理方法、记录媒体及系统 Download PDFInfo
- Publication number
- CN117453763A CN117453763A CN202311307142.8A CN202311307142A CN117453763A CN 117453763 A CN117453763 A CN 117453763A CN 202311307142 A CN202311307142 A CN 202311307142A CN 117453763 A CN117453763 A CN 117453763A
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- safety monitoring
- dam safety
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000002955 isolation Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 230000001932 seasonal effect Effects 0.000 abstract description 2
- 230000001052 transient effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明属于安全监测技术领域，特别涉及一种大坝安全监测的数据处理方法，通过初步筛查监测数据系列的离群大数和细节复选局部超差数据，准确、便捷地识别大坝的安全监测数据的粗差加以剔除，获得可靠的监测数据。尤其适用于季节性变化较大的大坝自动监控场合。本发明还提供一种存储有该方法程序的非暂态可读记录媒体及包含该媒体的系统，通过处理电路可以调用程序，执行上述方法。
Description
技术领域
本发明属于机电工程技术领域，公开了一种大坝安全监测的数据处理方法、记录媒体及系统。
背景技术
大坝安全监测过程中存在传感器采集、传输、存储故障等偶然因素产生的粗差，为了保障大坝安全，必须去除粗差，以获得可信的监测数据。大坝安全监测数据具有时间跨度大、变化范围大、数据量大以及季节周期性波动等特点，如果使用常规统计方法会导致以下问题：
由于全年大坝监测数据较多，形成粗差的数量较大且某些离群大数存在较大的偏离，这就使得监测数据的平均值都有可能存在较大的失真，再通过平均值为参照计算离差来识别粗差直接就导致结果不准。
由于季节因素的影响，比如汛期造成的大坝张力数据本来就高于均值，用传统方法可能会将正常数据当做粗差剔除掉。
只注重了数据的整体收敛，短促的时间段内不定出现的局部粗差往往会被忽略掉，而这种未经剔除的局部粗差数据往往误导我们的安全工作。
因此，怎样既考虑整体，又考虑局部，筛查过程中既没有疏漏，又兼顾效率，从而准确、便捷地识别大坝的安全监测数据的粗差加以剔除，获得可靠的监测数据是本领域技术人员需要考虑解决的技术问题。
发明内容
针对上述问题，本发明提供一种大坝安全监测的数据处理方法，具体方案包括如下步骤：
S1.取当前大坝安全监测的上一周期的数据作为原始数据序列，利用大数据归类工具筛选出离群大数，作为初步识别出的粗差剔除，形成新的数据序列；
S2.将新的数据序列按时间顺序均分为多段子序列，前后两段子序列均存在数据重叠；
S3.依时间顺序对每段子序列按数据分布将超出预设置信区间的数据作为复选粗差剔除，重叠部分的数据以前段子序列剔除复选粗差后的数据为准；
S4.重复S2-S3步骤，直至找不到复选粗差为止；
S5.未被剔除的数据组成的序列做平滑处理后形成监测值的时序曲线，将该曲线对应各时间点的监测值作为当前大坝安全监测的基础数据。
优选的，所述利用大数据归类工具筛选出离群大数的方法系采用孤立森林算法在原始数据序列中构造隔离树，根据隔离树的路径长度，查询出离群大数。
优选的，S2步骤中前段子序列的时段中点作为后一段子序列的时段起点。
优选的，所述预设置信区间为子序列中绝对偏差在3倍该子序列标准差σ以内的数据集合。
本发明的另一方案在于提供一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，当执行指令时，将致使处理电路执行上述的一种大坝安全监测的数据处理方法。
本发明的又一方案在于提供一种大坝安全监测的数据处理系统，包括处理电路及与其电性耦接的存储器，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行上述一种大坝安全监测的数据处理方法。
相对于现有技术，本发明产生以下有益效果：
1)本发明提出的粗差识别方法可通过传感器和与之通信连接的中央控制器自动实现，特别适合大坝安全监测自动化系统进行实时数据处理，成本低，效率高。
2)准确度高。无论是异常数据占比较少、还是异常数据占比较多的情况，本发明提出的方法均可以准确的识别离群大数以及局部粗差，经过算法识别后的数据序列较为平滑，能清晰、准确地揭示监测数据的变化规律。
附图说明
图1为本发明安全监测数据粗差快速识别方法流程图；
图2为本发明实施例中引张线测变形量原始序列图；
图3为监测变形量仅通过孤立森林法判别粗差示意图；
图4为监测变形量仅通过拉依达法判别粗差示意图；
图5为通过本发明实施例中技术方案快速判别粗差示意图；
图6为剔除粗差、平滑过渡并细节放大后的变形量序列图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创新劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明提供的一种大坝安全监测的数据处理方法的实施例如下：
某大坝引张线测变形量原始序列图参见图2，如仅通过孤立森林法判别粗差则会出现图3的结果，局部的明显粗差没有识别；如仅通过拉依达法判别粗差，则会出现图4的结果，多个离群大数的存在导致数据序列整体出现偏差，系统会将粗差数据误认为是正常数据。
步骤一：采用孤立森林算法识别离群大数；
在长度为N的原始数据序列X＝[x1,x2,...,xN]中采用孤立森林算法构造t棵隔离树，t＝N/m，m代表采样条数，一般取256；在隔离树中搜索各个数据的深度D，当深度D满足下式时，说明该数为离群大数；
式中，代表log2m向上取整。
步骤二：计算滑动窗口长度；
将步骤一中识别出来的离群大数标记为粗差，剩下的数据序列构成新的序列X'＝[x1,x2,...,xM]，其序列长度为M，根据序列时间间隔，计算滑动窗口长度，具体计算公式如下：
式中，M代表数据序列长度，ΔT代表时间间隔，L代表滑动窗口长度；步骤三：采用拉依达准则识别滑动窗口内的粗差；
第n个滑动窗口内的子序列为Xn'＝[x1+l,x2+l,...,xL+l]，其中计算子序列Xn′的平均值/>和标准差σ，根据拉依达准则判定子序列中各个数据是否为粗差，具体判定公式如下：
步骤四：标记子序列Xn′中的粗差；将滑动窗口向后移动L/2的距离，将滑动窗口内已识别的粗差剔除后，得到新的子序列Xn+1′；
步骤五：重复步骤三-步骤四，直到滑动窗口到达序列X'终点。
图5为通过上述步骤快速识别出粗差数据的结果，将其纵轴放大、平滑过渡后得到图6-经过处理后的引张线测变形量序列图。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机、可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
将上述方法步骤汇编成程序再存储于硬盘或其他非暂态存储介质就构成了本发明的“一种非暂态可读记录媒体”技术方案；而将该存储介质与计算机处理器电连接，通过数据处理能完成大坝安全监测数据粗差剔除，则构成本发明的“一种大坝安全监测的数据处理系统”技术方案。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种大坝安全监测的数据处理方法，其特征在于包括以下步骤：
S1.取当前大坝安全监测的上一周期的数据作为原始数据序列，利用大数据归类工具筛选出离群大数，作为初步识别出的粗差剔除，形成新的数据序列；
S2.将新的数据序列按时间顺序均分为多段子序列，前后两段子序列均存在数据重叠；
S3.依时间顺序对每段子序列按数据分布将超出预设置信区间的数据作为复选粗差剔除，重叠部分的数据以前段子序列剔除复选粗差后的数据为准；
S4.重复S2-S3步骤，直至找不到复选粗差为止；
S5.未被剔除的数据组成的序列做平滑处理后形成监测值的时序曲线，将该曲线对应各时间点的监测值作为当前大坝安全监测的基础数据。
2.根据权利要求1所述的一种大坝安全监测的数据处理方法，其特征在于，所述利用大数据归类工具筛选出离群大数的方法系采用孤立森林算法在原始数据序列中构造隔离树，根据隔离树的路径长度，查询出离群大数。
3.根据权利要求2所述的一种大坝安全监测的数据处理方法，其特征在于，S2步骤中前段子序列的时段中点作为后一段子序列的时段起点。
4.根据权利要求3所述的一种大坝安全监测的数据处理方法，其特征在于，所述预设置信区间为子序列中绝对偏差在3倍该子序列标准差σ以内的数据集合。
5.一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，其特征在于，当执行指令时，将致使处理电路执行权利要求1-4中任一项所述的一种大坝安全监测的数据处理方法。
6.一种大坝安全监测的数据处理系统，包括处理电路及与其电性耦接的存储器，其特征在于，所述存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行权利要求1-4中任一项所述的一种大坝安全监测的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311307142.8A CN117453763A (zh) | 2023-10-10 | 2023-10-10 | 一种大坝安全监测的数据处理方法、记录媒体及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311307142.8A CN117453763A (zh) | 2023-10-10 | 2023-10-10 | 一种大坝安全监测的数据处理方法、记录媒体及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117453763A true CN117453763A (zh) | 2024-01-26 |
Family
ID=89590100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311307142.8A Pending CN117453763A (zh) | 2023-10-10 | 2023-10-10 | 一种大坝安全监测的数据处理方法、记录媒体及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117453763A (zh) |
-
2023
- 2023-10-10 CN CN202311307142.8A patent/CN117453763A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111931868B (zh) | 时间序列数据异常检测方法和装置 | |
| CN109905269B (zh) | 确定网络故障的方法和装置 | |
| CN111158977A (zh) | 一种异常事件根因定位方法及装置 | |
| CN109684374B (zh) | 一种时间序列数据的键值对的提取方法及装置 | |
| CN117238058B (zh) | 基于数据分析的汽车用起动机监测方法 | |
| CN113225209B (zh) | 一种基于时间序列相似检索的网络监控实时预警方法 | |
| CN112162977B (zh) | 一种面向mes的海量数据去冗余方法和系统 | |
| CN111027615A (zh) | 基于机器学习的中间件故障预警方法和系统 | |
| US20100004898A1 (en) | Method and system for pre-processing data using the Mahalanobis Distance (MD) | |
| CN105302123A (zh) | 在线测量数据的监控方法 | |
| CN116113942A (zh) | 依据工艺踪迹预测装备故障模式 | |
| CN116010485A (zh) | 一种动态周期时序的无监督异常检测方法 | |
| CN111371647A (zh) | 数据中心监控数据预处理方法及装置 | |
| CN117312879B (zh) | 一种注塑机生产数据监督预警方法、系统及介质 | |
| CN108537249B (zh) | 一种密度峰值聚类的工业过程数据聚类方法 | |
| CN112181792A (zh) | 一种时序数据异常标注的方法、系统及相关组件 | |
| CN117453763A (zh) | 一种大坝安全监测的数据处理方法、记录媒体及系统 | |
| CN117473350A (zh) | 基于数据处理的焊管焊接生产过程监测方法 | |
| CN116365519B (zh) | 一种电力负荷预测方法、系统、存储介质及设备 | |
| CN113554079B (zh) | 一种基于二次检测法的电力负荷异常数据检测方法及系统 | |
| CN111538755A (zh) | 一种基于归一化互相关与单位根检验的设备运行状态异常检测方法 | |
| CN115168154B (zh) | 一种基于动态基线的异常日志检测方法、装置及设备 | |
| CN110502731B (zh) | 一种基于精化单元格聚类的电子表格缺陷检测方法 | |
| CN117591983B (zh) | 一种多指标异常检测方法、装置、电子设备和存储介质 | |
| CN116861204B (zh) | 基于数字孪生的智能制造设备数据管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |