CN118114185B - 一种水工程安全监测数据处理方法、系统、设备及介质 - Google Patents
一种水工程安全监测数据处理方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN118114185B CN118114185B CN202410516563.XA CN202410516563A CN118114185B CN 118114185 B CN118114185 B CN 118114185B CN 202410516563 A CN202410516563 A CN 202410516563A CN 118114185 B CN118114185 B CN 118114185B
- Authority
- CN
- China
- Prior art keywords
- result data
- data
- value
- early warning
- larger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 119
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 77
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 238000013461 design Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 25
- 230000007613 environmental effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
一种水工程安全监测数据处理方法，首先将单次成果数据与该次采集时的环境量数据、测点基本属性整编到一起，构建原始的安全监测数据库，实现了监测数据入库的标准化；然后对多次采集的成果数据组成的序列进行粗差识别，自动识别粗差并进行剔除，减少了人工判断工作量，提高了数据处理准确性，实现了数据审核的精确化；再根据测点特性选择合适的评价方法进行预警计算，可视化标记出需要预警的数据，避免了单一评价方法可靠性不够的问题，保证了预警准确性、可靠性，最后对标注后的安全监测数据库进行自动化的数据报送。该设计实现了监测数据入库标准化、审核精确化和报送自动化，且保证了预警准确性、可靠性。
Description
技术领域
本发明属于水工程安全监测技术领域，具体涉及一种水工程安全监测数据处理方法、系统、设备及介质。
背景技术
水库大坝工程安全监测作为大坝安全运行的基础，在运行管理过程中扮演着极其重要的角色，是工程运行安全评价的重要依据。安全监测的有效性往往取决于监测数据的准确性和及时性，但目前国内多数已建水利工程安全监测领域暴露出数据获取能力弱、数据管理不规范、数据共享程度低、智能化应用不足等问题。
为了提升大坝安全监测信息的入库和报送及时性，确保监测数据的及时、准确和完整，迫切需要研究建立一套系统的水工程监测数据入库、审核及报送体系。这包括建立适用于现场管理和实际操作的自动化数据处理方法，实现监测数据入库的标准化、审核的精确化和报送的自动化。因此，研究和建立水工程监测数据入库、审核及报送方法在工程应用中显得尤为重要。
发明内容
本发明的目的是针对现有技术存在的上述问题，提供一种能够实现监测数据入库标准化、审核精确化和报送自动化的水工程安全监测数据处理方法、系统、设备及介质。
为实现以上目的，本发明的技术方案如下：
第一方面，本发明提供了一种水工程安全监测数据处理方法，所述安全监测数据处理方法包括以下步骤：
S1、周期性采集测点的原始监测数据，基于原始监测数据计算成果数据，将单次成果数据与该次采集时的环境量数据、测点基本属性整编到一起，进行标准化入库，构建原始的安全监测数据库；
S2、基于多次采集获得的成果数据形成安全监测数据序列D1，对安全监测数据序列D1进行粗差识别计算，剔除粗差；
S3、根据测点特性在设计指标评价方法、历史指标评价方法、时空分布评价方法中选择一种方法对步骤S2剔除粗差得到的序列进行预警计算，得到需预警的成果数据，在安全监测数据库中对需预警的成果数据进行可视化标注；
S4、对标注后的安全监测数据库进行数据报送。
步骤S3中，对于具有警戒值的这类测点，优先选择设计指标评价方法进行预警计算，对于其余测点，则在历史指标评价方法、时空分布评价方法中任意选择一种进行预警计算；其中，
所述设计指标评价方法为：
若本次成果数据达到P1*一级警戒值且小于P2*二级警戒值，则标记为蓝色预警；
若本次成果数据达到P2*二级警戒值且小于P3*二级警戒值，则标记为黄色预警；
若本次成果数据达到P3*二级警戒值且小于P4*二级警戒值，则标记为橙色预警；
若本次成果数据达到P4*二级警戒值及以上，则标记为红色预警；
其中，所述二级警戒值大于一级警戒值；P1至P4均为预设的百分比比例；
所述历史指标评价方法为：
若本次成果数据大于P5*历史最大值，则标记为蓝色预警；
若同时满足本次成果数据大于P6*历史最大值、本次变幅大于P7*历史最大变幅、本次变化速率大于P8*历史最大变化速率，则标记为黄色预警；
若本次成果数据大于P9*历史最大值且满足本次变幅大于P10*历史最大变幅、本次变化速率大于P11*历史最大变化速率中任意一种，则标记为橙色预警；
若同时满足本次成果数据大于P12*历史最大值、本次变幅大于P13*历史最大变幅、本次变化速率大于P14*历史最大变化速率，则标记为红色预警；
其中，所述变幅是指相邻两次采集获得的成果数据之间的差值，所述变化速率是指两次采集的成果数据之间的差值/采集间隔时间；P5至P14均为预设的百分比比例；
所述时空分布评价方法包括异常值识别、预警值识别，所述异常值识别为：若本次成果数据与前一次具有与本测点相同环境量的成果数据之间的差值大于，则标记为异常值；
所述预警值识别为：
若满足以下任意一种条件，则标记为红色预警：
本次成果数据大于具有与本测点相同环境量的历史最大值且差值大于；
本次成果数据小于环境量基本相同的历史最小值且差值大于；
其中，所述表示用于采集原始监测数据的仪器的中误差。
步骤S2中，所述粗差识别计算包括以下步骤：
A1、对安全监测数据序列D1做差形成新序列D2，计算新序列D2的平均值、标准偏差σ，将新序列D2中满足大于5σ的数据标记为粗差并剔除；
A2、对步骤A1得到的序列做差形成新序列D3，设置滑动窗口的大小，在新序列D3上生成滑动窗口，计算滑动窗口内子序列的平均值、标准偏差σ，根据拉依达准则剔除该滑动窗口内子序列中的粗差，将滑动窗口向后移动一个数据的距离，继续根据拉依达准则剔除该滑动窗口内子序列中的粗差，直至达到新序列D3的终点，结束计算。
所述测点基本属性包括测点编号、所用仪器类型、观测方式、监测周期、考证信息，所述测点的原始监测数据为人工采集或自动化设备采集。
第二方面，本发明提供了一种水工程安全监测数据处理系统，所述安全监测数据处理系统基于工作流引擎运行，包括数据入库模块、数据审核模块、数据预警模块、数据报送模块，所述数据预警模块包括方法选择模块、设计指标评价方法模块、历史指标评价方法模块、时空分布评价方法模块；
所述数据入库模块，用于根据原始监测数据计算成果数据，将单次成果数据与该次采集时的环境量数据、测点基本属性整编到一起，构建原始的安全监测数据库；
所述数据审核模块，用于基于多次采集获得的成果数据形成安全监测数据序列D1，对安全监测数据序列D1进行粗差识别计算，剔除粗差；
所述方法选择模块，用于选择利用设计指标评价方法模块、历史指标评价方法模块还是时空分布评价方法模块对剔除粗差后的序列进行预警计算；
所述设计指标评价方法模块，用于根据设计指标评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；
所述历史指标评价方法模块，用于根据历史指标评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；
所述时空分布评价方法模块，用于根据时空分布评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；
所述数据报送模块，用于对标注后的安全监测数据库进行数据报送。
所述设计指标评价方法为：
若本次成果数据达到P1*一级警戒值且小于P2*二级警戒值，则标记为蓝色预警；
若本次成果数据达到P2*二级警戒值且小于P3*二级警戒值，则标记为黄色预警；
若本次成果数据达到P3*二级警戒值且小于P4*二级警戒值，则标记为橙色预警；
若本次成果数据达到P4*二级警戒值及以上，则标记为红色预警；
其中，所述二级警戒值大于一级警戒值；P1至P4均为预设的百分比比例；
所述历史指标评价方法为：
若本次成果数据大于P5*历史最大值，则标记为蓝色预警；
若同时满足本次成果数据大于P6*历史最大值、本次变幅大于P7*历史最大变幅、本次变化速率大于P8*历史最大变化速率，则标记为黄色预警；
若本次成果数据大于P9*历史最大值且满足本次变幅大于P10*历史最大变幅、本次变化速率大于P11*历史最大变化速率中任意一种，则标记为橙色预警；
若同时满足本次成果数据大于P12*历史最大值、本次变幅大于P13*历史最大变幅、本次变化速率大于P14*历史最大变化速率，则标记为红色预警；
其中，所述变幅是指相邻两次采集获得的成果数据之间的差值，所述变化速率是指两次采集的成果数据之间的差值/采集间隔时间；P5至P14均为预设的百分比比例；
所述时空分布评价方法包括异常值识别、预警值识别，所述异常值识别为：若本次成果数据与前一次具有与本测点相同环境量的成果数据之间的差值大于，则标记为异常值；
所述预警值识别为：
若满足以下任意一种条件，则标记为红色预警：
本次成果数据大于具有与本测点相同环境量的历史最大值且差值大于；
本次成果数据小于环境量基本相同的历史最小值且差值大于；
其中，所述表示用于采集原始监测数据的仪器的中误差。
所述数据审核模块根据以下步骤进行粗差识别计算：
A1、对安全监测数据序列D1做差形成新序列D2，计算新序列D2的平均值、标准偏差σ，将新序列D2中满足大于5σ的数据标记为粗差并剔除；
A2、对步骤A1得到的序列做差形成新序列D3，设置滑动窗口的大小，在新序列D3上生成滑动窗口，计算滑动窗口内子序列的平均值、标准偏差σ，根据拉依达准则剔除该滑动窗口内子序列中的粗差，将滑动窗口向后移动一个数据的距离，继续根据拉依达准则剔除该滑动窗口内子序列中的粗差，直至达到新序列D3的终点，结束计算，输出最终得到的序列。
所述测点基本属性包括测点编号、所用仪器类型、观测方式、监测周期、考证信息，所述测点的原始监测数据为人工采集或自动化设备采集。
第三方面，本发明提供了一种水工程安全监测数据处理设备，所述联合优化设备包括存储器和处理器；
所述存储器，用于存储计算机程序代码，并将所述计算机程序代码传输给所述处理器；
所述处理器，用于根据所述计算机程序代码中的指令执行前述的方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的方法。
与现有技术相比，本发明的有益效果为：
1、本发明一种水工程安全监测数据处理方法，首先将单次成果数据与该次采集时的环境量数据、测点基本属性整编到一起，构建原始的安全监测数据库，实现了监测数据入库的标准化，便于后续数据审核与预警时调用数据，然后对多次采集的成果数据组成的序列进行粗差识别，自动识别粗差并进行剔除，减少了人工判断工作量，提高了数据处理准确性，实现了数据审核的精确化，再进行预警计算，可视化标记出需要预警的数据，由于是根据测点的特性选择合适的评价方法进行预警计算，避免了单一数据评价方法可靠性不够的问题，保证了预警准确性、可靠性，最后对标注后的安全监测数据库进行自动化的数据报送。因此，本发明实现了监测数据入库标准化、审核精确化和报送自动化，且保证了预警准确性、可靠性。
2、本发明一种水工程安全监测数据处理系统，基于工作流引擎实现水工程监测数据报送信息化，利用行业领先的工作流引擎与安全监测工作融合，提高了数据入库、审核、预警和报送的自动化、智能化水平，流程节点、流程走向、流程执行者可以进行个性化定制，有效保障了监测数据共享的时效性。因此，本发明基于工作流引擎实现了水工程监测数据报送信息化，保障了监测数据共享的时效性。
附图说明
图1为本发明所述方法的流程图。
图2为本发明所述方法中粗差识别的流程图。
图3为本发明所述系统的结构示意图。
图4为本发明所述设备的结构示意图。
具体实施方式
下面结合具体实施方式以及附图对本发明作进一步详细的说明。
实施例1：
参见图1，一种水工程安全监测数据处理方法，具体按照以下步骤进行：
1、周期性的通过人工或者自动化设备采集测点的原始监测数据，例如，对于施工期需要人工采集、运行期尚未实现自动采集以及无法实现自动采集的测点，通过人工操作仪器进行采集，对于其他实现了自动化采集的测点，则通过自动化设备操作仪器采集；
2、将原始监测数据输入到系统由系统计算出成果数据，不同仪器类型对应不同的计算方法，仪器成果数据计算方法为现有方法，此处不再赘述；将单次成果数据与该次采集时的环境量数据、测点基本属性输入到系统，以在线表格的形式整编到一起，进行标准化入库，构建原始的安全监测数据库；所述测点基本属性包括测点编号、所用仪器类型、观测方式、监测周期、考证信息；
3、基于多次采集获得的成果数据形成安全监测数据序列D1，对安全监测数据序列D1进行粗差识别计算，剔除粗差；参见图2，所述粗差识别的计算步骤为：
A1、对安全监测数据序列D1：X1、X2、…、Xn做差形成新序列D2：X1、X2-X1、…、Xn-Xn-1，计算新序列D2的平均值、标准偏差σ，将新序列D2中满足大于5σ的数据标记为粗差并剔除；
A2、对步骤A1得到的序列做差形成新序列D3，设置滑动窗口的大小，在新序列D3上生成滑动窗口，计算滑动窗口内子序列的平均值、标准偏差σ，根据拉依达准则剔除该滑动窗口内子序列中的粗差，将滑动窗口向后移动一个数据的距离，继续根据拉依达准则剔除该滑动窗口内子序列中的粗差，直至达到新序列D3的终点，结束计算；
4、根据测点特性在设计指标评价方法、历史指标评价方法、时空分布评价方法中选择一种方法用于预警计算，具体为，对于具有警戒值的这类测点，例如测点编号为HO2CF26 的水位（仪器为测压管）、测点编号为R5CZ32的应力（仪器为钢筋计）、测点编号为R1CZ31处应力（仪器为锚杆应力计）、测点编号为P4CZ32的压力（仪器为渗压计）、测点编号为PLO1SCZA-3的X变化量（仪器为正倒垂线）等等，可以优先选择设计指标评价方法进行预警计算；由于大部分测点没有确定过警戒值，对于这些没有警戒值的测点不再适用设计指标评价方法，例如测点编号为H04XBK04的水位（仪器为测压管）、测点编号为R01XBK01的应力（仪器为锚杆应力计）、测点编号为PL03XBK01的X变化量（仪器为正倒垂线）等等，则在历史指标评价方法、时空分布评价方法中任意选择一种进行预警计算；
5、利用所选择的方法对剔除粗差得到的序列进行预警计算，筛选出需预警的成果数据，在安全监测数据库中对需预警的成果数据进行可视化标注；
所述设计指标评价方法提供4级预警功能，以快速判断大坝工作状态是正常、异常或险情；分级如下：
若本次成果数据达到P1*一级警戒值且小于P2*二级警戒值，则标记为蓝色预警；
若本次成果数据达到P2*二级警戒值且小于P3*二级警戒值，则标记为黄色预警；
若本次成果数据达到P3*二级警戒值且小于P4*二级警戒值，则标记为橙色预警；
若本次成果数据达到P4*二级警戒值及以上，则标记为红色预警；
其中，所述二级警戒值大于一级警戒值，二级警戒值、一级警戒值可以由大坝设计单位给定，也可以是由现有的警戒值确定方法给出；P2＜P3＜P4，P1至P4均为预设的百分比比例，具体比例值可根据不同工程、不同部位、不同测点以及不同工况调整配置，本实施例对此不做限定；
例如，对于HO2XBK26测点，若本次成果数据达到95%*一级警戒值（85.67m）且小于100%*二级警戒值（105.22m），则标记为蓝色预警；若本次成果数据达到100%*二级警戒值且小于105%*二级警戒值，则标记为黄色预警；若本次成果数据达到105%*二级警戒值且小于110%*二级警戒值，则标记为橙色预警；若本次成果数据达到110%*二级警戒值及以上，则标记为红色预警；
所述历史指标评价方法提供4级预警功能，以快速判断大坝工作状态是正常、异常或险情；分级如下：
若本次成果数据大于P5*历史最大值，则标记为蓝色预警；
若同时满足本次成果数据大于P6*历史最大值、本次变幅大于P7*历史最大变幅、本次变化速率大于P8*历史最大变化速率，则标记为黄色预警；
若本次成果数据大于P9*历史最大值且满足本次变幅大于P10*历史最大变幅、本次变化速率大于P11*历史最大变化速率中任意一种，则标记为橙色预警；
若同时满足本次成果数据大于P12*历史最大值、本次变幅大于P13*历史最大变幅、本次变化速率大于P14*历史最大变化速率，则标记为红色预警；
其中，所述变幅是指相邻两次采集获得的成果数据之间的差值，所述变化速率是指相邻两次采集的成果数据之间的差值/相邻两次采集的间隔时间；P5至P14均为预设的百分比比例；
例如，对于H04XBK04测点，若本次成果数据大于10%*历史最大值，则标记为蓝色预警；若同时满足本次成果数据大于20%*历史最大值、本次变幅大于10%*历史最大变幅、本次变化速率大于10%*历史最大变化速率，则标记为黄色预警；若本次成果数据大于30%*历史最大值且满足本次变幅大于10%*历史最大变幅、本次变化速率大于10%*历史最大变化速率中任意一种，则标记为橙色预警；若同时满足本次成果数据大于30%*历史最大值、本次变幅大于10%*历史最大变幅、本次变化速率大于10%*历史最大变化速率，则标记为红色预警；
所述时空分布评价方法用于及时发现在时间和空间分布上的异常值、预警值，时空分布评价方法包括异常值识别、预警值识别，所述异常值识别为：若本次成果数据与前一次具有与本测点相同环境量的成果数据之间的差值大于，则标记为异常值；
所述预警值识别为，若满足以下任意一种条件，则标记为红色预警：
本次成果数据大于具有与本测点相同环境量的历史最大值且差值大于；
本次成果数据小于环境量基本相同的历史最小值且差值大于；
其中，所述表示采集原始监测数据的仪器的中误差，不同仪器的中误差分类存储于系统表中，供自动读取。
6、对标注后的安全监测数据库进行数据报送。
实施例2：
参见图3，一种水工程安全监测数据处理系统，包括数据入库模块、数据审核模块、数据预警模块、数据报送模块，所述数据预警模块包括方法选择模块、设计指标评价方法模块、历史指标评价方法模块、时空分布评价方法模块；所述数据入库模块用于根据输入系统的原始监测数据计算成果数据，将单次成果数据与该次采集时的环境量数据、测点基本属性整编到一起，构建原始的安全监测数据库，所述测点基本属性包括测点编号、所用仪器类型、观测方式、监测周期、考证信息，所述原始监测数据可以为人工采集或自动化设备采集；所述数据审核模块用于基于多次采集获得的成果数据形成安全监测数据序列D1，对安全监测数据序列D1进行粗差识别计算，剔除粗差；
进一步的，所述数据审核模块根据以下步骤进行粗差识别计算：
A1、对安全监测数据序列D1做差形成新序列D2，计算新序列D2的平均值、标准偏差σ，将新序列D2中满足大于5σ的数据标记为粗差并剔除；
A2、对步骤A1得到的序列做差形成新序列D3，设置滑动窗口的大小，在新序列D3上生成滑动窗口，计算滑动窗口内子序列的平均值、标准偏差σ，根据拉依达准则剔除该滑动窗口内子序列中的粗差，将滑动窗口向后移动一个数据的距离，继续根据拉依达准则剔除该滑动窗口内子序列中的粗差，直至达到新序列D3的终点，结束计算，输出最终得到的序列；
所述方法选择模块，用于选择利用设计指标评价方法模块、历史指标评价方法模块还是时空分布评价方法模块对剔除粗差后的序列进行预警计算；所述设计指标评价方法模块，用于根据设计指标评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；进一步的，所述设计指标评价方法为：
若本次成果数据达到P1*一级警戒值且小于P2*二级警戒值，则标记为蓝色预警；
若本次成果数据达到P2*二级警戒值且小于P3*二级警戒值，则标记为黄色预警；
若本次成果数据达到P3*二级警戒值且小于P4*二级警戒值，则标记为橙色预警；
若本次成果数据达到P4*二级警戒值及以上，则标记为红色预警；
其中，所述二级警戒值大于一级警戒值；P1至P4均为预设的百分比比例；
所述历史指标评价方法模块，用于根据历史指标评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；进一步的，所述历史指标评价方法为：
若本次成果数据大于P5*历史最大值，则标记为蓝色预警；
若同时满足本次成果数据大于P6*历史最大值、本次变幅大于P7*历史最大变幅、本次变化速率大于P8*历史最大变化速率，则标记为黄色预警；
若本次成果数据大于P9*历史最大值且满足本次变幅大于P10*历史最大变幅、本次变化速率大于P11*历史最大变化速率中任意一种，则标记为橙色预警；
若同时满足本次成果数据大于P12*历史最大值、本次变幅大于P13*历史最大变幅、本次变化速率大于P14*历史最大变化速率，则标记为红色预警；
其中，所述变幅是指相邻两次采集获得的成果数据之间的差值，所述变化速率是指两次采集的成果数据之间的差值/采集间隔时间；P5至P14均为预设的百分比比例；
所述时空分布评价方法模块，用于根据时空分布评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；进一步的，所述时空分布评价方法包括异常值识别、预警值识别，所述异常值识别为：若本次成果数据与前一次具有与本测点相同环境量的成果数据之间的差值大于，则标记为异常值；
所述预警值识别为：
若满足以下任意一种条件，则标记为红色预警：
本次成果数据大于具有与本测点相同环境量的历史最大值且差值大于；
本次成果数据小于环境量基本相同的历史最小值且差值大于；
其中，所述表示用于采集原始监测数据的仪器的中误差；
所述数据报送模块用于对标注后的安全监测数据库进行数据报送。
上述安全监测数据处理系统基于工作流引擎运行，所述工作流引擎采用“表单建模引擎+流程引擎+WebService接口+Javascript脚本”技术，实现安全监测数据入库、审核和报送流程的运行，包含流程的发起、待办流程的处理、已办流程的查询等功能，流程节点、流程走向、流程执行者等内容可个性化定制，可自动发起监测数据审核流程，以流程驱动数据流转；针对流程节点内容表现方式，通过业务流引擎提供的表单建模引擎来完成文字、图表、文件、签名等多种表现形式，并通过内嵌脚本的方式完成对表单中各项内容的有效性和合法性验证。
实施例3：
参见图4，一种水工程安全监测数据处理设备，包括存储器和处理器；所述存储器用于存储计算机程序代码，并将所述计算机程序代码传输给所述处理器；所述处理器用于根据所述计算机程序代码中的指令执行如实施例1所述的方法。
实施例4：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的方法。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种水工程安全监测数据处理方法，其特征在于：
所述安全监测数据处理方法包括以下步骤：
S1、周期性采集测点的原始监测数据，基于原始监测数据计算成果数据，将单次成果数据与该次采集时的环境量数据、测点基本属性整编到一起，进行标准化入库，构建原始的安全监测数据库；
S2、基于多次采集获得的成果数据形成安全监测数据序列D1，对安全监测数据序列D1进行粗差识别计算，剔除粗差；
S3、根据测点特性在设计指标评价方法、历史指标评价方法、时空分布评价方法中选择一种方法对步骤S2剔除粗差得到的序列进行预警计算，得到需预警的成果数据，在安全监测数据库中对需预警的成果数据进行可视化标注；
S4、对标注后的安全监测数据库进行数据报送；
步骤S3中，对于具有警戒值的这类测点，优先选择设计指标评价方法进行预警计算，对于没有警戒值的其余测点，则在历史指标评价方法、时空分布评价方法中任意选择一种进行预警计算；其中，
所述设计指标评价方法为：
若本次成果数据达到P1*一级警戒值且小于P2*二级警戒值，则标记为蓝色预警；
若本次成果数据达到P2*二级警戒值且小于P3*二级警戒值，则标记为黄色预警；
若本次成果数据达到P3*二级警戒值且小于P4*二级警戒值，则标记为橙色预警；
若本次成果数据达到P4*二级警戒值及以上，则标记为红色预警；
其中，所述二级警戒值大于一级警戒值；P1至P4均为预设的百分比比例；
所述历史指标评价方法为：
若本次成果数据大于P5*历史最大值，则标记为蓝色预警；
若同时满足本次成果数据大于P6*历史最大值、本次变幅大于P7*历史最大变幅、本次变化速率大于P8*历史最大变化速率，则标记为黄色预警；
若本次成果数据大于P9*历史最大值且满足本次变幅大于P10*历史最大变幅、本次变化速率大于P11*历史最大变化速率中任意一种，则标记为橙色预警；
若同时满足本次成果数据大于P12*历史最大值、本次变幅大于P13*历史最大变幅、本次变化速率大于P14*历史最大变化速率，则标记为红色预警；
其中，所述变幅是指相邻两次采集获得的成果数据之间的差值，所述变化速率是指两次采集的成果数据之间的差值/采集间隔时间；P5至P14均为预设的百分比比例；
所述时空分布评价方法包括异常值识别、预警值识别，所述异常值识别为：若本次成果数据与前一次具有与本测点相同环境量的成果数据之间的差值大于则标记为异常值；
所述预警值识别为：
若满足以下任意一种条件，则标记为红色预警：
本次成果数据大于具有与本测点相同环境量的历史最大值且差值大于
本次成果数据小于环境量基本相同的历史最小值且差值大于
其中，所述表示用于采集原始监测数据的仪器的中误差。
2.根据权利要求1所述的一种水工程安全监测数据处理方法，其特征在于：
步骤S2中，所述粗差识别计算包括以下步骤：
A1、对安全监测数据序列D1做差形成新序列D2，计算新序列D2的平均值标准偏差σ，将新序列D2中满足大于5σ的数据标记为粗差并剔除；
A2、对步骤A1得到的序列做差形成新序列D3，设置滑动窗口的大小，在新序列D3上生成滑动窗口，计算滑动窗口内子序列的平均值标准偏差σ，根据拉依达准则剔除该滑动窗口内子序列中的粗差，将滑动窗口向后移动一个数据的距离，继续根据拉依达准则剔除该滑动窗口内子序列中的粗差，直至达到新序列D3的终点，结束计算。
3.根据权利要求1所述的一种水工程安全监测数据处理方法，其特征在于：所述测点基本属性包括测点编号、所用仪器类型、观测方式、监测周期、考证信息，所述测点的原始监测数据为人工采集或自动化设备采集。
4.一种水工程安全监测数据处理系统，其特征在于：
所述安全监测数据处理系统基于工作流引擎运行，包括数据入库模块、数据审核模块、数据预警模块、数据报送模块，所述数据预警模块包括方法选择模块、设计指标评价方法模块、历史指标评价方法模块、时空分布评价方法模块；
所述数据入库模块，用于根据原始监测数据计算成果数据，将单次成果数据与该次采集时的环境量数据、测点基本属性整编到一起，构建原始的安全监测数据库；
所述数据审核模块，用于基于多次采集获得的成果数据形成安全监测数据序列D1，对安全监测数据序列D1进行粗差识别计算，剔除粗差；
所述方法选择模块，用于选择利用设计指标评价方法模块、历史指标评价方法模块还是时空分布评价方法模块对剔除粗差后的序列进行预警计算；
所述设计指标评价方法模块，用于根据设计指标评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；
所述历史指标评价方法模块，用于根据历史指标评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；
所述时空分布评价方法模块，用于根据时空分布评价方法进行预警计算并在安全监测数据库中对需预警的成果数据进行可视化标注；
所述数据报送模块，用于对标注后的安全监测数据库进行数据报送；
所述设计指标评价方法为：
若本次成果数据达到P1*一级警戒值且小于P2*二级警戒值，则标记为蓝色预警；
若本次成果数据达到P2*二级警戒值且小于P3*二级警戒值，则标记为黄色预警；
若本次成果数据达到P3*二级警戒值且小于P4*二级警戒值，则标记为橙色预警；
若本次成果数据达到P4*二级警戒值及以上，则标记为红色预警；
其中，所述二级警戒值大于一级警戒值；P1至P4均为预设的百分比比例；
所述历史指标评价方法为：
若本次成果数据大于P5*历史最大值，则标记为蓝色预警；
若同时满足本次成果数据大于P6*历史最大值、本次变幅大于P7*历史最大变幅、本次变化速率大于P8*历史最大变化速率，则标记为黄色预警；
若本次成果数据大于P9*历史最大值且满足本次变幅大于P10*历史最大变幅、本次变化速率大于P11*历史最大变化速率中任意一种，则标记为橙色预警；
若同时满足本次成果数据大于P12*历史最大值、本次变幅大于P13*历史最大变幅、本次变化速率大于P14*历史最大变化速率，则标记为红色预警；
其中，所述变幅是指相邻两次采集获得的成果数据之间的差值，所述变化速率是指两次采集的成果数据之间的差值/采集间隔时间；P5至P14均为预设的百分比比例；
所述时空分布评价方法包括异常值识别、预警值识别，所述异常值识别为：若本次成果数据与前一次具有与本测点相同环境量的成果数据之间的差值大于则标记为异常值；
所述预警值识别为：
若满足以下任意一种条件，则标记为红色预警：
本次成果数据大于具有与本测点相同环境量的历史最大值且差值大于
本次成果数据小于环境量基本相同的历史最小值且差值大于
其中，所述表示用于采集原始监测数据的仪器的中误差。
5.根据权利要求4所述的一种水工程安全监测数据处理系统，其特征在于：
所述数据审核模块根据以下步骤进行粗差识别计算：
A1、对安全监测数据序列D1做差形成新序列D2，计算新序列D2的平均值标准偏差σ，将新序列D2中满足大于5σ的数据标记为粗差并剔除；
A2、对步骤A1得到的序列做差形成新序列D3，设置滑动窗口的大小，在新序列D3上生成滑动窗口，计算滑动窗口内子序列的平均值标准偏差σ，根据拉依达准则剔除该滑动窗口内子序列中的粗差，将滑动窗口向后移动一个数据的距离，继续根据拉依达准则剔除该滑动窗口内子序列中的粗差，直至达到新序列D3的终点，结束计算，输出最终得到的序列。
6.根据权利要求4所述的一种水工程安全监测数据处理系统，其特征在于：
所述测点基本属性包括测点编号、所用仪器类型、观测方式、监测周期、考证信息，所述测点的原始监测数据为人工采集或自动化设备采集。
7.一种水工程安全监测数据处理设备，其特征在于：
所述安全监测数据处理设备包括存储器和处理器；
所述存储器，用于存储计算机程序代码，并将所述计算机程序代码传输给所述处理器；
所述处理器，用于根据所述计算机程序代码中的指令执行如权利要求1至3任一项所述的方法。
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410516563.XA CN118114185B (zh) | 2024-04-28 | 2024-04-28 | 一种水工程安全监测数据处理方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410516563.XA CN118114185B (zh) | 2024-04-28 | 2024-04-28 | 一种水工程安全监测数据处理方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118114185A CN118114185A (zh) | 2024-05-31 |
| CN118114185B true CN118114185B (zh) | 2024-07-16 |
Family
ID=91220961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410516563.XA Active CN118114185B (zh) | 2024-04-28 | 2024-04-28 | 一种水工程安全监测数据处理方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118114185B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101824662B1 (ko) * | 2016-05-10 | 2018-02-02 | 주식회사 알엔에이솔루션 | 하천 진단을 통한 하천시설물 관리 방법 |
| CN107038258B (zh) * | 2017-05-18 | 2018-02-23 | 中国地质环境监测院 | 地下水监测数据采集发布管理系统 |
| WO2023014394A1 (en) * | 2021-08-04 | 2023-02-09 | Motive Drilling Technologies, Inc. | Systems and methods for oilfield drilling operations using computer vision |
| US11610466B2 (en) * | 2021-08-16 | 2023-03-21 | Amrita Vishwa Vidyapeetham | Multilevel rapid warning system for landslide detection |
| CN115759378A (zh) * | 2022-11-11 | 2023-03-07 | 黄河万家寨水利枢纽有限公司 | 一种基于数字孪生的大坝安全分析预警系统及方法 |
| CN116385689B (zh) * | 2023-06-02 | 2023-08-04 | 北京建工环境修复股份有限公司 | 一种场地污染数据的可视化信息管理方法、系统及介质 |
| CN117453763A (zh) * | 2023-10-10 | 2024-01-26 | 长江空间信息技术工程有限公司(武汉) | 一种大坝安全监测的数据处理方法、记录媒体及系统 |
| CN117809438A (zh) * | 2024-02-20 | 2024-04-02 | 矿冶科技集团有限公司 | 一种边坡联合预警方法、系统、设备及存储介质 |
-
2024
- 2024-04-28 CN CN202410516563.XA patent/CN118114185B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 龙江水电站枢纽工程大坝预警系统建立及指标拟定;毕朝达;杨仕燕;徐海峰;李铮;杨阳;王沙宁;毛笠;;水利信息化;20170225(01);第20-24页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118114185A (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103559551A (zh) | 一种面向生产企业的安全隐患风险定量评估及预警系统 | |
| CN106250288A (zh) | 一种基于数据挖掘的根告警分析识别方法 | |
| CN117453962B (zh) | 测量仪的数据存储方法及系统 | |
| CN113361958A (zh) | 一种缺陷预警方法及系统 | |
| CN115660513B (zh) | 一种基于水利工程渡槽变形的监测方法及系统 | |
| CN117556366A (zh) | 基于数据筛选的数据异常检测系统及方法 | |
| CN111414955A (zh) | 石油钻井井漏溢流智能检测方法、装置以及电子设备 | |
| CN118114185B (zh) | 一种水工程安全监测数据处理方法、系统、设备及介质 | |
| CN112686773B (zh) | 一种基于融合业务拓扑的电力计量全链路关键业务异常定位模型构建方法 | |
| KR101993366B1 (ko) | 건설현장의 온실가스 발생추이 예측/경고시스템 및 그 방법 | |
| CN116166655B (zh) | 大数据清洗系统 | |
| CN117350542A (zh) | 一种数字化交付数据可视化系统及其应用方法 | |
| CN117010549A (zh) | 基于大数据管理体系的信息溯源方法及终端 | |
| CN108182642B (zh) | 瓦斯突出参数在线管理系统及方法 | |
| CN114510994A (zh) | 城市地下燃气泄漏识别模型的训练方法及装置 | |
| CN114662977A (zh) | 海上钻井平台运动状态的异常检测方法、系统和电子设备 | |
| RU2622857C1 (ru) | Система преобразования, анализа и оценки информационных признаков объекта | |
| CN117273670B (zh) | 一种具有学习功能的工程资料管理系统 | |
| CN111737247A (zh) | 用于数据质量管控的实现方法 | |
| CN118445640B (zh) | 一种基于人工智能的流量检测系统及方法 | |
| CN116451885B (zh) | 一种供水管网健康度预测方法、装置及计算设备 | |
| CN118246775B (zh) | 煤矿指标管理配置方法及系统 | |
| CN111222716B (zh) | 一种工程安全预测预警装置 | |
| CN114580133B (zh) | 含硫天然气站场承压类静设备腐蚀及失效监测系统 | |
| CN113159605B (zh) | 基于逻辑回归的化工装置智能化报警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |