CN117520752B - 基于大数据的水利工程信息管理方法 - Google Patents
基于大数据的水利工程信息管理方法 Download PDFInfo
- Publication number
- CN117520752B CN117520752B CN202410014286.2A CN202410014286A CN117520752B CN 117520752 B CN117520752 B CN 117520752B CN 202410014286 A CN202410014286 A CN 202410014286A CN 117520752 B CN117520752 B CN 117520752B
- Authority
- CN
- China
- Prior art keywords
- water level
- region
- wavelet
- layer number
- frequency water
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 20
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 371
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 description 12
- 239000006185 dispersion Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 239000013049 sediment Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001363 water suppression through gradient tailored excitation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
- G06F2218/16—Classification; Matching by matching signal segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及数据处理技术领域，具体涉及一种基于大数据的水利工程信息管理方法，包括：基于初始水位数据对应的水位变化量，将水位数据折线图进行区域划分，确认高频水位区域与低频水位区域，再根据高频水位区域与低频水位区域对应的小波层数得分因子，计算高频水位区域与低频水位区域中每个区域对应的小波分解层数，最后基于小波分解层数与预设去噪算法，分别对高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据。通过将对水位数据折线图进行区域划分，并根据每个区域的小波分解层数分别对每个区域的初始水位数据进行去噪，相对传统对的去噪方式，提高了去噪的准确性，进而降低去噪成本。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于大数据的水利工程信息管理方法。
背景技术
水位数据，是指自由水面相对于某一基面的高程，水面离河底的距离称水深。计算水位所用基面可以是以某处特征海平面高程作为零点水准基面，称为绝对基面，常用的是黄海基面；也可以用特定点高程作为参证计算水位的零点，称测站基面。水位是反映水体水情最直观的因素，它的变化主要由于水体水量的增减变化引起的。水位过程线（水位数据折线图）是某处水位随时间变化的曲线，横座标为时间，纵座标为水位。
泥沙河流的水位数据是水利工程管理和决策的重要依据，泥沙河流的水位数据可以用于确定水利工程建设和维护的需要，包括修建、改建或加固堤坝、水库、水闸等工程，以适应不同的水文气候情况，确保工程设施的安全稳定性。但是泥沙河流的水位数据通常会受到多个因素的干扰，如气象、波浪、底部扰动等。并且在数据储存和传输的过程中，由于各种原因也可能导致数据出现噪声干扰。这些干扰因素将导致数据的不稳定和波动，影响数据的准确性和可靠性，因此需要对采集到的水位数据进行去噪处理，以降低数据的噪声干扰，提高数据的准确性和可靠性。
传统的泥沙河流的水位数据去噪，是通过传统常用的去噪算法，对整个水位数据统一进行相同程度的方式进行数据去噪，从而导致去噪算法的去噪准确性较低，进而提高了水位数据的去噪成本。
发明内容
鉴于以上内容，有必要提供一种基于大数据的水利工程信息管理方法，可以提高去噪的准确性，进而降低去噪成本。
本申请第一方面提供一种基于大数据的水利工程信息管理方法，应用于水利工程信息的水位数据处理领域，所述方法包括：根据初始水位数据，建立水位数据折线图；基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域；根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数；基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据。
在其中一种实施例中，所述基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域，具体包括：基于所述水位变化量与预设变化量阈值，确认临界变化量；根据所述水位变化量与临界变化量的比对结果，确认低频水位数据与高频水位数据；将相邻时刻同为所述低频水位数据或者高频水位数据对应的区域，划分为子区域；将所述低频水位数据数量大于或等于预设数量阈值的子区域，确认为低频水位区域，并将除了所述高频水位区域以外且相邻的子区域进行合并，以将合并后的子区域或者单独子区域确认为高频水位区域。
在其中一种实施例中，所述根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数，具体包括：基于所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度，计算每个区域对应的小波层数影响因子；将所述每个区域对应的小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子；根据所述每个区域对应的小波层数得分因子，计算每个区域对应的小波分解层数。
在其中一种实施例中，所述基于所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度，计算每个区域对应的小波层数影响因子，具体包括：将所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度分别做归一化处理，获取每个区域对应的归一化后的离散程度与波动程度；每个区域对应的归一化后的离散程度与波动程度作乘积计算，确认每个区域对应的小波层数影响因子。
在其中一种实施例中，所述将每个区域水位数据对应的归一化后的离散程度与波动程度作乘积计算，确认每个区域对应的小波层数影响因子，具体包括：
；
其中，为第/>个区域对应的小波层数影响因子，/>为第/>个区域对应的离散程度，为第/>个区域对应的归一化后的离散程度/>，/>为第/>个区域对应的离散程度，/>为第/>个区域对应的归一化后的波动程度/>。
在其中一种实施例中，所述将所述每个区域对应的小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子，具体包括：基于所述高频水位区域与低频水位区域的分类类型，确认每个区域对应的区分常数；将所述每个区域对应的区分常数与小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子。
在其中一种实施例中，所述将所述每个区域对应的区分常数与小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子，具体包括：
；
其中，为第/>个区域对应的小波层数得分因子，/>为第/>个区域对应的小波层数影响因子，/>为小波层数影响因子中的最小值，/>为指小波层数影响因子中的最大值，为第/>个区域对应的区分常数。
在其中一种实施例中，所述根据所述每个区域对应的小波层数得分因子，计算每个区域对应的小波分解层数，具体包括：预设所述小波分解层数的选择范围，以确定所述选择范围中所述小波分解层数的最大值与最小值；将所述小波分解层数的最大值与最小值以及所述每个区域对应的小波层数得分因子，输入第二计算公式，计算每个区域对应的小波分解层数。
在其中一种实施例中，所述将所述小波分解层数的最大值与最小值以及所述每个区域对应的小波层数得分因子，输入第二计算公式，计算每个区域对应的小波分解层数，具体包括：
；
其中，为第/>个区域对应的小波分解层数，/>为选择范围中小波分解层数的最小值，/>为选择范围中小波分解层数的最大值，/>为小波层数得分因子中的最大值，为小波层数得分因子中的最小值，/>是指对数值的向下取整。
在其中一种实施例中，所述预设去噪算法为小波阈值去噪算法，对应的，所述基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据，具体包括：基于所述小波阈值去噪算法，以及每个区域对应的小波分解层数，分别对每个区域的水位数据进行去噪，以确认去噪后的最终水位数据。
本申请实施例通过先根据初始水位数据，建立水位数据折线图，然后基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域，再根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数，最后基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据。通过将对所述水位数据折线图进行区域划分，并根据每个区域的小波分解层数分别对每个区域的初始水位数据进行去噪，相对传统对整个水位数据统一进行相同程度的方式进行数据去噪方式，提高了去噪的准确性，进而降低去噪成本。
附图说明
图1是本申请实施例的基于大数据的水利工程信息管理方法的流程示意图。
图2是本申请实施例的基于大数据的水利工程信息管理方法的第一子流程示意图。
图3是本申请实施例的基于大数据的水利工程信息管理方法的第二子流程示意图。
图4是本申请实施例的基于大数据的水利工程信息管理方法的第三子流程示意图。
图5是本申请实施例的基于大数据的水利工程信息管理方法的第四子流程示意图。
图6是本申请实施例的基于大数据的水利工程信息管理方法的第五子流程示意图。
图7是本申请实施例的基于大数据的水利工程信息管理方法水位数据折线图的示意图。
具体实施方式
在本申请实施例的描述中，“示例性”、“或者”、“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性”、“或者”、“例如”等词旨在以具体方式呈现相关概念。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请中的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。应理解，本申请中除非另有说明，“/”表示或的意思。例如，A/B可以表示A或B。本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B三种情况。“至少一个”是指一个或者多个。“多个”是指两个或多于两个。例如，a、b或c中的至少一个，可以表示：a，b，c，a和b，a和c，b和c，a、b和c七种情况。
另外需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”是用于部别类似的对象，而不是用于描述特定的顺序或先后次序。本申请实施例中公开的方法或流程图所示出的方法，包括用于实现方法的一个或多个步骤，在不脱离权利要求的范围的情况下，多个步骤的执行顺序可以彼此互换，其中某些步骤也可以被删除。
本申请实施例首先提出一种基于大数据的水利工程信息管理方法。请参阅图1，一种基于大数据的水利工程信息管理方法，应用于水利工程信息的水位数据处理领域，所述方法包括：
S101、根据初始水位数据，建立水位数据折线图。
需要说明的是，所述初始水位数据是指泥沙河流的水位数据，而所述泥沙河流的水位数据的获取，通常是利用水位传感器采集泥沙河流某一河段位置的水位数据，设置数据的采集周期与每个周期的数据采集量，具体可根据实际需求自行设置，本案不作进一步限定。
其中，所述水位数据折线图是指以初始水位数据中的每个数据点的水位值为纵坐标的值，以该数据点对应的时刻为横坐标/>来构建水位-时间分折线图（参照附图7）。
S102、基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域。
其中，所述水位变化量是指相邻两个时刻的水位数据值的变化差值，所述水位变化量代表了一定的水位波动程度。举个例子，第一个时刻的水位数据值为3米，第二个时刻的水位数据值为4米，则对应的水位变化量为4-3=1米。
需要说明的是，由于泥沙河流的水位数据的噪声通常是由水位变化的低频部分和高频部分的干扰噪声混合而成的，并且在泥沙河流的水位数据中，变化相对稳定的部分通常是低频部分，变化相对较大的部分通常是高频部分，因此可通过所述初始水位数据对应的水位变化量，根据预设的划分规则，对所述水位数据折线图进行区域划分，划分为高频水位区域与低频水位区域。
具体的，所述水位数据折线图中可以存在多个高频水位区域与多个低频水位区域，举个例子，所述水位数据折线图被划为由三个高频水位区域与两个低频水位区域组成。
S103、根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数。
其中，所述小波层数得分因子是指根据水位的离散程度与波动程度进一步生成的，是对所述水位数据变动程度进行量化的一个参数，所述高频水位区域与低频水位区域中的每个区域均对应一个小波层数得分因子。小波分解层数是指在小波分析中，将信号进行分解时所进行的分解次数。通过不断地对信号进行小波分解，可以得到不同频率范围内的信号分量，从而更准确地分析和处理信号。在小波分解时，通常会设置一个分解层数，即对信号进行几次小波变换。一般而言，小波分解层数越高，得到的信号分量越多，分析结果也更加精细。但是，随着小波分解层数的增加，计算量也会增加，同时也容易出现过拟合等问题，因此需要根据具体情况进行选择。在实际应用中，小波分解层数的选择需要考虑信号的特性、采样频率、噪声等因素。一般而言，当信号频率较高时，应适当增加小波分解层数，当信号噪声较多时，应减少小波分解层数，以避免过拟合。总之，小波分解层数是小波分析中一个重要的参数，合理设置可以得到更精细、准确的分析结果。
需要解释的是，由于泥沙河流的水位数据具有瞬时特性和随机性，使得水位数据呈现出非平稳信号的特征，因而采用传统的中值滤波、傅里叶变换、指数平滑法等方法来对泥沙河流的水位数据进行去噪，会造成数据的重要特征和信息的缺失，因此本发明采用小波阈值去噪算法来对水位数据进行去噪。
S104、基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据。
其中，所述预设去噪算法为小波阈值去噪算法，对应的，所述基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据，具体包括：
基于所述小波阈值去噪算法，以及每个区域对应的小波分解层数，分别对每个区域的水位数据进行去噪，以确认去噪后的最终水位数据。
具体的，所述小波分解层数即为小波阈值去噪算法的一个重要的参数。所述小波阈值去噪的基本原理是将信号通过小波变换Q(采用Mallat算法)后，信号产生的小波系数含有信号的重要信息，将信号经小波分解后小波系数较大，噪声的小波系数较小，并目噪声的小波系数要小干信号的小波系数，通过选取一个合话的阈值，大干阈值的小波系数被认为是有信号产生的，应予以保留，小干阈值的则认为是噪声产生的，置为露从而达到去噪的目的。其实质为抑制信号中无用的部分、增强有用部分。其基本步骤为:
(1)分解:选定一种层数为N的小波对信号进行小波分解；
(2)阈值处理过程:分解后通过选取一合适的阈值，用阈值函数对各层系数进行量化；
(3)重构:用处理后的系数重构信号。
本申请实施例通过先根据初始水位数据，建立水位数据折线图，然后基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域，再根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数，最后基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据。通过将对所述水位数据折线图进行区域划分，并根据每个区域的小波分解层数分别对每个区域的初始水位数据进行去噪，相对传统对整个水位数据统一进行相同程度的方式进行数据去噪方式，提高了去噪的准确性，进而降低去噪成本。
在本申请的一种实施例中，并参阅图2，所述步骤S102：所述基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域，具体包括：
S201、基于所述水位变化量与预设变化量阈值，确认临界变化量。
其中，所述预设变化量阈值，用于对所述水位数据进行高频与低频的划分。预设所述水位变化量为，水位变化量/>的计算方法如下所示：
其中，表示水位数据折线图中第/>个时刻的数据点的水位变化量，/>表示该时刻的数据点对应的水位/>的值，/>表示下个时刻的数据点对应的水位/>的值。在获取到所述水位变化量之后进行从小到大的排序，获得一个所述水位变化量的序列。而由于整个水位数据中的低频数据的占比比较大，且通常水位数据中低频数据的比例在0.6以上，则可以以通常水位数据中低频数据的最低比例0.6为界限，在所述水位变化量的序列找出排序在0.6的水位变化量值，则该所述水位变化量值即为临界变化量。
S202、根据所述水位变化量与临界变化量的比对结果，确认低频水位数据与高频水位数据。
其中，在获取到所述临界变化量之后，将所述水位变化量与临界变化量进行比对，将小于所述临界变化量的所述水位变化量对应的水位数据，记为低频水位数据，将所述大于或等于所述临界变化量的所述水位变化量对应的水位数据，记为高频水位数据。
S20 3、将相邻时刻同为所述低频水位数据或者高频水位数据对应的区域，划分为子区域。
其中，在获取都所述低频水位数据与高频水位数据，根据预设划分规则，即将相邻时刻同为所述低频水位数据或者高频水位数据对应的区域，对所述水位数据折线图进行划分，划分为子区域。进一步的，所述根据预设划分规则，即将相邻时刻同为所述低频水位数据或者高频水位数据对应的区域，可为区域生长算法，当然也可为其他算法，本案不作进一步限定。
具体的，以水位数据折线图中左边第一个时刻的数据点为初始种子点，以相邻时刻的数据点与种子点同时属于低频数据点或者高频数据点为生长准则，直到水位数据折线图中所有的数据点都有归属时生长结束，以将所述水位数据折线图划分成多个子区域。
S204、将所述低频水位数据数量大于预设数量阈值的子区域，确认为低频水位区域，并将除了所述高频水位区域以外且相邻的子区域进行合并，以将合并后的子区域或者单独子区域确认为高频水位区域。
其中，在获取到所有子区域之后，对所述子区域进行预设规则的划分，具体可为，先设定一个数量阈值，统计所有子区域中低频水位数据数量大于或等于预设数量阈值的子区域，并将该子区域标记为低频水位区域。除了被标记为所述低频水位区域之外的子区域，若相邻的则进行合并，将合并后的被标记为所述低频水位区域之外的子区域标记为高频水位区域，若无相邻的，则单独将被标记为所述低频水位区域之外的子区域标记为高频水位区域。参照附图7所示的优选实施例的水位数据折线图，-/>均为低频水位区域，其余区域均为高频水位区域。
在本实施例中，将所述水位数据折线图根据预设算法进行高频水位区域与低频水位区域的划分，之后再根据高频水位区域与低频水位区域的具体情况，分区域的进行水位数据的去噪，能够提高去噪的准确性。
在本申请的一种实施例中，并参阅图3，S103：所述根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数，具体包括：
S301、基于所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度，计算每个区域对应的小波层数影响因子。
其中，离散程度是指观测变量各个取值之间的差异程度，是用以衡量风险大小的指标。测度离散程度的指标主要包括以下几种:1、极差，指观测变量的最大取值与最小取值之间的离差，即观测变量的最大观测值与最小观测值之间的区间跨度。2、平均差，是各单位标志对其算术平均数的离差绝对值的算术平均数，综合反映总体各单位标志值的变动程度。3、标准差，是随机变量各个取值偏差平方的平均数的算术平方根，是最常用的反映随机变量分布离散程度的指标。波动程度是指各个水位数据在相邻时刻内的波动幅度。
其中，在获取到所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度之后，根据预设的计算方法，计算每个区域对应的小波层数影响因子，所述小波层数影响因子是指用于表示所述水位数据离散与波动程度的综合参数。
S302、将所述每个区域对应的小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子。
其中，小波层数得分因子是指基于所述小波层数影响因子，进一步增加其他影响所述水位数据离散与波动程度的参数之后得到的一个更深层次的综合参数。在获取到所述每个区域对应的小波层数影响因子之后，将所述每个区域对应的小波层数影响因子输入到第一计算公式，从而得到每个区域对应的小波层数得分因子。
S303、根据所述每个区域对应的小波层数得分因子，计算每个区域对应的小波分解层数。
其中，在获取到每个区域对应的小波层数得分因子之后，将所述每个区域对应的小波层数得分因子作为计算每个区域对应的小波分解层数的一个重要输入参数，进一步获取每个区域对应的小波分解层数。
在本申请的一种实施例中，并参阅图4，所述步骤S301：所述基于所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度，计算每个区域对应的小波层数影响因子，具体包括：
S401、将所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度分别做归一化处理，获取每个区域对应的归一化后的离散程度与波动程度；
其中，根据所述水位数据折线图，可以计算所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度分别做归一化处理，具体的计算方式可为：
；
；
其中，是指第/>个区域的水位离散程度，/>是指第/>个区域的水位波动程度；/>是指第/>个区域内数据点的水位/>的值的标准差，/>是指第/>个区域内数据点的水位/>的值的均值，/>的大小反应了第/>个区域内水位数据的离散程度；/>表示第/>个区域内数据点的水位/>的值中的最大值/>和最小值/>的差，/>的大小反应了该区域内水位数据的波动程度,差值越大表示波动程度越大。
进一步的，对每个区域的水位离散程度和水位波动程度/>分别进行归一化，具体计算方法为：
上式中，表示对第/>个区域的离散程度/>进行归一化后的结果，/>表示第/>个区域的离散程度，/>表示低频水位区域的离散程度的不同取值的个数，/>表示高频水位区域的离散程度的不同取值的个数，/>表示低频水位区域的离散程度的不同取值中的第/>个取值，/>表示高频水位区域的离散程度的不同取值中的第/>个取值。
表示对第/>个区域的波动程度/>进行归一化后的结果，/>表示第/>个区域的波动程度，/>表示低频水位区域的波动程度的不同取值的个数，/>表示高频水位区域的波动程度的不同取值的个数，/>表示低频水位区域的波动程度的不同取值中的第/>个取值，/>表示高频水位区域的波动程度的不同取值中的第/>个取值。
S402、每个区域对应的归一化后的离散程度与波动程度作乘积计算，确认每个区域对应的小波层数影响因子。
其中，所述将每个区域水位数据对应的归一化后的离散程度与波动程度作乘积计算，确认每个区域对应的小波层数影响因子，具体包括：
；
其中，为第/>个区域对应的小波层数影响因子，/>为第/>个区域对应的离散程度，为第/>个区域对应的归一化后的离散程度/>，/>为第/>个区域对应的离散程度，/>为第/>个区域对应的归一化后的波动程度/>。需要说明的是，第/>个区域内数据点水位的离散程度越大表示该区域受到噪声的影响越大，水位的波动程度越大也表示该区域受到噪声的影响越大，而数据受到噪声的影响越大，小波分解层数应越大，即区域的小波层数影响因子/>的值应越大。
在本申请的一种实施例中，并参阅图5，所述步骤S302：所述将所述每个区域对应的小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子，具体包括：
S501、基于所述高频水位区域与低频水位区域的分类类型，确认每个区域对应的区分常数；
S502、将所述每个区域对应的区分常数与小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子。
其中，所述第一计算公式可为：
；
其中，为第/>个区域对应的小波层数得分因子，/>为第/>个区域对应的小波层数影响因子，/>为小波层数影响因子中的最小值，/>为指小波层数影响因子中的最大值，为第/>个区域对应的区分常数。
需要说明的是，所述第个区域对应的区分常数/>的取值，根据第/>个区域的分类类型而确定，当所述第/>个区域为高频水位区域时，所述区分常数/>，当所述第/>个区域为低频水位区域时，所述区分常数/>0。另外，所述小波层数得分因子的取值范围为/>。能够理解的是，第/>个区域的小波层数影响因子/>的值越大，表示该区域的小波分解层数越大，即/>的值越大，并且高频水位区域的小波分解层数均大于低频水位区域的小波分解层数。
具体的，并参阅图6，所述步骤S103、所述根据所述每个区域对应的小波层数得分因子，计算每个区域对应的小波分解层数，具体包括：
S601、预设所述小波分解层数的选择范围，以确定所述选择范围中所述小波分解层数的最大值与最小值。
S602、将所述小波分解层数的最大值与最小值以及所述每个区域对应的小波层数得分因子，输入第二计算公式，计算每个区域对应的小波分解层数。
其中，所述第二计算公式为：
；
其中，为第/>个区域对应的小波分解层数，/>为选择范围中小波分解层数的最小值，/>为选择范围中小波分解层数的最大值，/>为小波层数得分因子中的最大值，为小波层数得分因子中的最小值，/>是指对数值的向下取整。
需要说明的是，所述小波分解层数的选择范围，是根据不同的小波阈值去噪算法而定。举个例子，选定本案优选的小波阈值去噪算法为Daubechies-4小波函数，对应的分解层数一般选择为2-7层，则所述小波分解层数的选择范围为。且能够理解的是，第/>个区域的小波层数得分因子/>的值越大，其小波分解层数/>的值越大。
进一步的，在获取到每个区域对应的小波分解层数之后，通过所述小波阈值去噪算法对每个区域进行水位数据的分区域去噪处理，相对于传统的小波阈值去噪算法，采用同一个分解层数对数据整体进行去噪处理的，而泥沙河流的水位数据具有不稳定的波动形态以及数据量大的特点，使得直接使用小波阈值去噪算法会出现常见问题：分解层数过大会造成数据运算量庞大导致耗时较长，并且含噪声较少的数据段会因分解层数过大而导致降噪过度，使得数据丢失必要的信息，造成数据的失真，以及含噪声较多的数据段会因分解层数过少而导致无法正确将噪音和信号分离。因此本发明分区域去噪处理且根据每个区域的离散与波动程度确定去噪程度，即采用分段自适应的选取小波分解层数，来提高小波阈值去噪算法对泥沙河流的水位数据的去噪准确性以及降低去噪处理的时间成本。
在一些优选实施例中，上述基于大数据的水利工程信息管理方法的所有运算方法，可结合大数据平台进行实现，可同时将对应的运算过程在大数据的平台上进行搭建，且将对应的数据上传至大数据的平台进行对应运算，具体可为：
将上述提到的小波阈值去噪算法对每个区域进行水位数据的分区域去噪处理过程在大数据平台进行搭建，同时安装在各处河流之中的水位传感器获取水位数据上传至大数据平台以进行上述的一系列数据处理过程。所述大数据平台可为spark，在所述spark中能够对水位传感器上传的水位数据进行图形转换与换算，以构建所述水位数据折线图进行进一步分析与运算。
进一步的，通过spark中的MLlib(机器学习)，还可将水位数据折线图中，不同区域的折线图对应什么样的小波分解层数进行深度学习，例如，A类型的折线图的小波分解层数为2，B类型的折线图的小波分解层数为4等，进一步的提高小波分解层数的获取效率，以增加去噪的效率。
进一步的，在所述spark中进行基于大数据的水利工程信息管理方法的所有运算方法后，在数据足够支撑的情况下，还可将不同地区的河流对去噪程度的影响（比如南北河流采用不同的去噪程度）、不同季节对去噪程度的影响（比如雨季与平常时间段采取不同的去噪程度）以及综合其他客观因素对去噪程度影响等因素，加入至所述spark平台进行综合考量，实现更精准去噪，进一步的提升工作效率。
需要说明的是，上述实施例的实现方式，可通过spark中GraphX(图形计算)、MLlib(机器学习)、Spark SQL等模块进行实现，具体实现步骤可参照现有技术执行，本案不作进一步限定。
本申请实施例通过先根据初始水位数据，建立水位数据折线图，然后基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域，再根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数，最后基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据。通过将对所述水位数据折线图进行区域划分，并根据每个区域的小波分解层数分别对每个区域的初始水位数据进行去噪，相对传统对整个水位数据统一进行相同程度的方式进行数据去噪方式，提高了去噪的准确性，进而降低去噪成本。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将本申请上述的实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。
Claims (4)
1.一种基于大数据的水利工程信息管理方法，应用于水利工程信息的水位数据处理领域，其特征在于，所述方法包括：
根据初始水位数据，建立水位数据折线图；
基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域；
根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数；
基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据；
所述基于所述初始水位数据对应的水位变化量，将所述水位数据折线图进行区域划分，确认高频水位区域与低频水位区域，具体包括：
基于所述水位变化量与预设变化量阈值，确认临界变化量；
根据所述水位变化量与临界变化量的比对结果，确认低频水位数据与高频水位数据；
将相邻时刻同为所述低频水位数据或者高频水位数据对应的区域，划分为子区域；
将所述低频水位数据数量大于或等于预设数量阈值的子区域，确认为低频水位区域，并将除了所述高频水位区域以外且相邻的子区域进行合并，以将合并后的子区域或者单独子区域确认为高频水位区域；
所述根据所述高频水位区域与低频水位区域对应的小波层数得分因子，计算所述高频水位区域与低频水位区域中每个区域对应的小波分解层数，具体包括：
基于所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度，计算每个区域对应的小波层数影响因子；
将所述每个区域对应的小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子；
根据所述每个区域对应的小波层数得分因子，计算每个区域对应的小波分解层数；
所述基于所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度，计算每个区域对应的小波层数影响因子，具体包括：
将所述高频水位区域与低频水位区域中每个区域对应的离散程度与波动程度分别做归一化处理，获取每个区域对应的归一化后的离散程度与波动程度；
将每个区域水位数据对应的归一化后的离散程度与波动程度作乘积计算，确认每个区域对应的小波层数影响因子；
所述将每个区域水位数据对应的归一化后的离散程度与波动程度作乘积计算，确认每个区域对应的小波层数影响因子，具体包括：
；
其中，为第/>个区域对应的小波层数影响因子，/>为第/>个区域对应的离散程度，/>为第个区域对应的归一化后的离散程度/>，/>为第/>个区域对应的离散程度，/>为第/>个区域对应的归一化后的波动程度/>；
所述将所述每个区域对应的小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子，具体包括：
基于所述高频水位区域与低频水位区域的分类类型，确认每个区域对应的区分常数；
将所述每个区域对应的区分常数与小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子；
所述将所述每个区域对应的区分常数与小波层数影响因子输入第一计算公式，计算每个区域对应的小波层数得分因子，具体包括：
；
其中，为第/>个区域对应的小波层数得分因子，/>为第/>个区域对应的小波层数影响因子，/>为小波层数影响因子中的最小值，/>为指小波层数影响因子中的最大值，/>为第/>个区域对应的区分常数。
2.根据权利要求1所述的基于大数据的水利工程信息管理方法，其特征在于，所述根据所述每个区域对应的小波层数得分因子，计算每个区域对应的小波分解层数，具体包括：
预设所述小波分解层数的选择范围，以确定所述选择范围中所述小波分解层数的最大值与最小值；
将小波分解层数的最大值与最小值以及所述每个区域对应的小波层数得分因子，输入第二计算公式，计算每个区域对应的小波分解层数。
3.根据权利要求2所述的基于大数据的水利工程信息管理方法，其特征在于，所述将小波分解层数的最大值与最小值以及所述每个区域对应的小波层数得分因子，输入第二计算公式，计算每个区域对应的小波分解层数，具体包括：
；
其中，为第/>个区域对应的小波分解层数，/>为选择范围中小波分解层数的最小值，/>为选择范围中小波分解层数的最大值，/>为小波层数得分因子中的最大值，为小波层数得分因子中的最小值，/>是指对数值的向下取整。
4.根据权利要求1-3任一项所述的基于大数据的水利工程信息管理方法，其特征在于，所述预设去噪算法为小波阈值去噪算法，对应的，所述基于所述小波分解层数与预设去噪算法，分别对所述高频水位区域与低频水位区域中每个区域的初始水位数据进行去噪，以确认去噪后的最终水位数据，具体包括：
基于所述小波阈值去噪算法，以及每个区域对应的小波分解层数，分别对每个区域的水位数据进行去噪，以确认去噪后的最终水位数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410014286.2A CN117520752B (zh) | 2024-01-05 | 2024-01-05 | 基于大数据的水利工程信息管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410014286.2A CN117520752B (zh) | 2024-01-05 | 2024-01-05 | 基于大数据的水利工程信息管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117520752A CN117520752A (zh) | 2024-02-06 |
| CN117520752B true CN117520752B (zh) | 2024-04-12 |
Family
ID=89748110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410014286.2A Active CN117520752B (zh) | 2024-01-05 | 2024-01-05 | 基于大数据的水利工程信息管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117520752B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2006276732A1 (en) * | 2005-07-28 | 2007-02-15 | Exxonmobil Upstream Research Company | Method for wavelet denoising of controlled source electromagnetic survey data |
| CN109242799A (zh) * | 2018-09-19 | 2019-01-18 | 安徽理工大学 | 一种变阈值的小波去噪方法 |
| CN110207689A (zh) * | 2019-05-30 | 2019-09-06 | 西安电子科技大学 | 一种基于小波熵的脉冲星信号去噪及辨识方法 |
| CN111616697A (zh) * | 2020-06-05 | 2020-09-04 | 江苏科技大学 | 一种基于新阈值函数小波变换的心电信号去噪算法 |
| CN116660198A (zh) * | 2023-08-02 | 2023-08-29 | 中珀(北京)新材料科技有限公司 | 基于光谱分析的碳纳米材料浆料性能测试方法 |
-
2024
- 2024-01-05 CN CN202410014286.2A patent/CN117520752B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2006276732A1 (en) * | 2005-07-28 | 2007-02-15 | Exxonmobil Upstream Research Company | Method for wavelet denoising of controlled source electromagnetic survey data |
| CN109242799A (zh) * | 2018-09-19 | 2019-01-18 | 安徽理工大学 | 一种变阈值的小波去噪方法 |
| CN110207689A (zh) * | 2019-05-30 | 2019-09-06 | 西安电子科技大学 | 一种基于小波熵的脉冲星信号去噪及辨识方法 |
| CN111616697A (zh) * | 2020-06-05 | 2020-09-04 | 江苏科技大学 | 一种基于新阈值函数小波变换的心电信号去噪算法 |
| CN116660198A (zh) * | 2023-08-02 | 2023-08-29 | 中珀(北京)新材料科技有限公司 | 基于光谱分析的碳纳米材料浆料性能测试方法 |
Non-Patent Citations (2)
| Title |
|---|
| Using an Improved Ant Lion Optimizer Algorithm and Wireless Network to Explore Nondestructive Testing Technology for Water Conservancy Engineering;Shang, H;《IEEE SENSORS JOURNAL》;20211115;全文 * |
| 矿山遥感图像小波域模糊隶属度阈值去噪算法;袁玉珠;;金属矿山;20170415(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117520752A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jayawardena et al. | Noise reduction and prediction of hydrometeorological time series: dynamical systems approach vs. stochastic approach | |
| Trevisani et al. | Surface texture analysis of a high-resolution DTM: Interpreting an alpine basin | |
| CN107729651B (zh) | 基于多维度的坡面细沟发育形态特征综合量化方法 | |
| CN113095694B (zh) | 一种适用于多地貌类型区的降雨输沙模型构建方法 | |
| CN107025498B (zh) | 一种优化地下水特殊脆弱性评价模型的方法 | |
| CN108647807B (zh) | 河流流量的预测方法 | |
| CN107401140B (zh) | 支流尾闾河段造床流量的确定方法 | |
| CN112308290A (zh) | 一种污染场地调查布点的方法 | |
| CN114675261B (zh) | 一种基于探地雷达的城市地下病害体全生命周期管理方法 | |
| CN115311828B (zh) | 基于数字孪生的水下工程结构智能检测方法及系统 | |
| CN111104746B (zh) | 一种基于小波分析的河漫滩高程确定方法 | |
| CN108920429A (zh) | 一种水位动态监测的异常数据分析方法 | |
| CN114817228B (zh) | 一种湖泊水位长时间序列监测数据的异常值剔除方法 | |
| CN109101776B (zh) | 基于挡墙侧移监测数据的基坑反分析方法 | |
| CN115689051A (zh) | 一种基于GA算法耦合Morris和GLUE的SWMM模型参数自动率定方法 | |
| CN111738278B (zh) | 一种水下多源声学图像特征提取方法及系统 | |
| Zhu et al. | Loess terrain segmentation from digital elevation models based on the region growth method | |
| CN114862715A (zh) | 一种融合地形特征语义信息的tin渐进加密去噪方法 | |
| CN117520752B (zh) | 基于大数据的水利工程信息管理方法 | |
| KR101585545B1 (ko) | 조류 대증식을 예측하기 위한 웨이블릿 기반 자동회귀 퍼지 모델링 방법 | |
| CN110390149B (zh) | 一种基于物源聚集量的强震区泥石流活动性预测方法 | |
| CN114781156B (zh) | 基于bim的航道养护措施分析方法 | |
| CN108427654B (zh) | 一种中型以上淤地坝已淤积库容快速演算方法 | |
| CN116882310A (zh) | 一种基于流体力学的台风风场计算方法及装置 | |
| CN116341994A (zh) | 一种基于客水分流的河流水生态治理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Big Data Based Information Management Method for Water Conservancy Engineering Granted publication date: 20240412 Pledgee: Shandong Liangshan Rural Commercial Bank Co.,Ltd. Pledgor: Liangshan Public Water Service Co.,Ltd. Registration number: Y2024980025247 |