CN114330123A - 一种跨平台数据处理方法 - Google Patents

Abstract

本发明涉及水力发电站数据处理方法，具体为一种跨平台数据处理方法；包括如下步骤：S01、数据采集端采集河流上游的温度、天气、降雨量参数，并将采集结果发送到数据处理终端；S02、温度预测系统预测温度，并将预测结果均发送至预测总系统；S03、天气预测系统预测天气，并将预测结果均发送至预测总系统；S04、降雨量预测系统预测降雨量，并将预测结果均发送至预测总系统；S05、预测总系统根据温度预测系统、天气预测系统和降雨量预测系统的预测结果得出河流的水量，从而预测水力发电量，并将预测数据存储到存储系统，且由显示装置显示出来。

Description

一种跨平台数据处理方法

技术领域

本发明涉及水力发电站数据处理方法，具体为一种跨平台数据处理方法。

背景技术

水力发电是指利用河流、湖泊等位于高处具有位能的水流至低处，将其中所含的位能转换成动能，再借助发电机转换成电能的过程。开发水电能带来巨大的经济效益，同时也带来相应的社会和生态效益。大中型的水电工程兼具防洪、灌溉、供水、航运、养殖等多重效益，起到防汛抗旱、优化水资源配置的作用，并保障下游粮食安全、改善生态环境。作为清洁能源，水电取之不尽，用之不竭，可再生、无污染、运行费用低，方便进行电力调峰，有利于提高资源利用率和经济社会综合效益。

目前的水力发电站数据处理过程还存在以下问题：首先，目前水力发电站数据的存储仅以机械磁盘搭载的关系型数据库存储，机械磁盘依靠盘片存储数据，适合存储大容量的数据，不会因为某个元件的损坏造成数据无法提取，虽然该种方式保证了数据的安全性，但无法满足对于数据快速读取的需求；其次，以往水力发电调度的特点是运行人员凭借主观判断控制决策水利发电的运行，在这个过程中有很多模糊性的内容，由于水力发电与河道上游的天气，降雨量等都有关系，导致运行人员无法实时监测也无法预测水力发电站的运行状态与趋势，降低了电力系统的可靠性和稳定性。

发明内容

本发明的目的在于针对上述的不足，提供一种能满足数据快速读取的需求，还能科学监测水力发电站的运行状态与趋势，提高了电力系统的可靠性和稳定性的跨平台数据处理方法。

为了实现上述目的，本发明采用了如下技术方案：

一种跨平台数据处理方法，包括如下步骤：S01、数据采集端采集河流上游的温度、天气、降雨量参数，并将采集结果发送到数据处理终端；

S02、温度预测系统预测温度，并将预测结果均发送至预测总系统，具体步骤为：A1:通过温度检测模块检采集一段时间内的地表温度,从采集的温度数据中选择一段有效时间的温度数据；A2:根据所述有效时间的温度曲线的斜率变化趋势和该段温度曲线的初始温度确定出第一特定时间点，通过第一特定时间点之前的斜率确定出第二特定时间点；A3:根据公式y＝(a*t+b)/(t+c)计算出温度y的值，其中，a、b、c为双曲线系数，通过将所述有效时间的温度数据对y＝(a*t+b)/(t+c)进行双曲线拟合求得，t为时间，其取值为第二特定时间点；A4:根据所述有效时间的温度曲线的最大斜率、该段温度曲线的初始温度和温度y值确定出被测地点的最终预测温度。

S03、天气预测系统预测天气，并将预测结果均发送至预测总系统，具体步骤为：B1：通过天气检测模块获取河道上游24小时内的气温信息值，并获取测试点的地理位置，天气预测系统通过联网获取测试点的历年所述地理位置信息对应的天气数据；B2：通过天气预测系统将24小时内的气温信息值分别为最高气温和最低气温的历史值，并归一化为0到1之间的数值；B3：建立训练样本的输入输出矩阵，即，将第1到N-1条数据作为输入矩阵，第2到N条数据作为输出矩阵；B4：对所述神经网络进行训练，将训练样本的最后一条记录作为已知条件计算输出，并将输出结果作为已知；然后利用已知数据迭代进行预测，得到从最后一条训练数据开始到预测时长前一单位阶段的预测结果，此时1条实际数据与n-1条预测数据在同一临时结果集中；利用上述临时结果集中的数据和权值矩阵作为已知，计算得到所有的预测结果矩阵；得到预测结果矩阵之后，模型进入最后反归一化的阶段，即将归一化后的结果数据恢复成正常的温度值；B5：根据神经网络的计算结果，结合测试点的地理位置和历年天气数据得出更准确的天气预测。

S04、降雨量预测系统预测降雨量，并将预测结果均发送至预测总系统，具体步骤为：C1：通过降雨量检测模块收集地面观测站点的地理位置信息和日降雨量观测值，通过降雨量预测系统获取TRMM气象卫星遥感影像数据及ASTER GDEM卫星遥感影像数据；C2：将C1获取的TRMM气象卫星遥感影像数据的时间分辨率处理为与地面观测站点的日降雨量观测值的时间分辨率相等，同时将ASTER GDEM卫星遥感影像数据的空间分辨率重采样为1km，并将数据以文件形式存放；C3：根据地面观测站点的空间位置信息，分别提取C2中相应的TRMM气象卫星遥感影像数据及ASTER GDEM卫星遥感影像数据的栅格值，从而得到每个地面观测站点对应的卫星遥感影像数据的栅格值；C4：根据C1收集的地面观测站点的日降雨量观测值及C3中获取的卫星遥感影像数据的栅格值，进行日降雨量数据的分位数分级；C5：根据C4的分位数分级，建立地面观测站点的日降雨量观测值、对应TRMM气象卫星遥感影像数据的栅格值、ASTER GDEM卫星遥感影像数据的栅格值以及经纬度坐标之间的线性回归关系，得到各级降雨量的回归估计值与回归残差；C6：分析C5中得到的各级降雨量的回归残差的空间自相关性及空间集聚性；C7：对C6中具有空间集聚性的各级回归残差进行趋势去除，然后根据ASTER GDEM卫星遥感影像数据对各级回归残差进行Block克里格插值，得到1km空间分辨率的各级回归残差的空间分布特征图；C8：将根据C5得到的各级降雨量的回归估计值与C7得到的1km空间分辨率的各级回归残差相加，得到1km空间分辨率的各级降雨量预测值；C9:将根据C8所得的各级降雨量预测值合并，得到地面1km空间分辨率的日降雨量预测值；C10:利用交叉检验的方法对C9中的地面日降雨量预测值进行预测精度验证，交叉检验选用均方根误差、平均误差以及偏差作为评价参数。

S05、预测总系统根据温度预测系统、天气预测系统和降雨量预测系统的预测结果得出河流的水流量，从而预测水力发电量，并将预测数据存储到存储系统，且由显示装置显示出来。

步骤SO1中，数据采集端包括温度检测模块、天气检测模块、降雨量检测模块和通讯模块，所述温度检测模块用于检测温度，天气检测模块用于检测天气，降雨量检测模块用于检测降雨量，通讯模块用于通讯连接数据处理终端；数据处理终端包括温度预测系统、系统预测天气、降雨量预测系统、预测总系统、存储系统和显示装置。

步骤SO2中，所述A1中选择有效时间的温度数据优选包括以下步骤：计算采集的温度数据的一阶导数和二阶导数，将求得的一阶导数、二阶导数分别和0比较，当某段时间内的数据序列满足所有一阶导数都大于0并且二阶导数都小于0时，认为该段时间内的温度数据为有效时间的温度数据。

步骤S03中，所述B4中，利用神经网络进行训练进一步包括以下步骤：先随机初始化输入层到隐藏层、隐藏层到输出层的权值矩阵；计算隐藏层各神经元、输出层各神经元的输出，计算每个输出神经元和隐藏神经元输出的误差，所述误差为神经元的输出与实际数据比较所得到的误差，并反向传播更新网络中的权值，当误差小于既定的期望误差或训练次数超、过既定的最大训练次数时完成所述训练步骤，记录权值矩阵。

步骤S04中，所述C5中，所述的线性回归关系建立采用的是多元线性回归模型，其具体公式如下：Z(x0)＝α+β1T(x0)+β2D(x0)+β3Lon(x0)+β4Lat(x0)+ε(x0)，其中，Z(x0)为地面观测站点x0的降雨回归估计值，α、β1、β2、β3、β4均是回归系数，T(x0)是地面观测站点x0对应的TRMM卫星估测值，D(x0)是地面观测站点x0对应的ASTER GDEM卫星遥感影像数据的栅格值，Lon(x0)为x0的经度坐标值，Lat(x0)为x0的纬度坐标值，ε(x0)为回归残差。

所述C6中，所述的回归残差的空间自相关性采用半方差模型来判断，其中，h是地面点之间的距离，N(h)是样本对数，ε(x0)和ε(x0+h)是地面点x0和x0+h的回归残差估计值。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为一种跨平台数据处理方法的方法步骤图。

具体实施方式

参阅图1所示，本实施例提供的是一种跨平台数据处理方法，包括如下步骤：S01、数据采集端采集河流上游的温度、天气、降雨量参数，并将采集结果发送到数据处理终端；

S02、温度预测系统预测温度，并将预测结果均发送至预测总系统，具体步骤为：A1:通过温度检测模块检采集一段时间内的地表温度,从采集的温度数据中选择一段有效时间的温度数据；A2:根据所述有效时间的温度曲线的斜率变化趋势和该段温度曲线的初始温度确定出第一特定时间点，通过第一特定时间点之前的斜率确定出第二特定时间点；A3:根据公式y＝(a*t+b)/(t+c)计算出温度y的值，其中，a、b、c为双曲线系数，通过将所述有效时间的温度数据对y＝(a*t+b)/(t+c)进行双曲线拟合求得，t为时间，其取值为第二特定时间点；A4:根据所述有效时间的温度曲线的最大斜率、该段温度曲线的初始温度和温度y值确定出被测地点的最终预测温度。

S03、天气预测系统预测天气，并将预测结果均发送至预测总系统，具体步骤为：B1：通过天气检测模块获取河道上游24小时内的气温信息值，并获取测试点的地理位置，天气预测系统通过联网获取测试点的历年所述地理位置信息对应的天气数据；B2：通过天气预测系统将24小时内的气温信息值分别为最高气温和最低气温的历史值，并归一化为0到1之间的数值；B3：建立训练样本的输入输出矩阵，即，将第1到N-1条数据作为输入矩阵，第2到N条数据作为输出矩阵；B4：对所述神经网络进行训练，将训练样本的最后一条记录作为已知条件计算输出，并将输出结果作为已知；然后利用已知数据迭代进行预测，得到从最后一条训练数据开始到预测时长前一单位阶段的预测结果，此时1条实际数据与n-1条预测数据在同一临时结果集中；利用上述临时结果集中的数据和权值矩阵作为已知，计算得到所有的预测结果矩阵；得到预测结果矩阵之后，模型进入最后反归一化的阶段，即将归一化后的结果数据恢复成正常的温度值；B5：根据神经网络的计算结果，结合测试点的地理位置和历年天气数据得出更准确的天气预测。

S04、降雨量预测系统预测降雨量，并将预测结果均发送至预测总系统，具体步骤为：C1：通过降雨量检测模块收集地面观测站点的地理位置信息和日降雨量观测值，通过降雨量预测系统获取TRMM气象卫星遥感影像数据及ASTER GDEM卫星遥感影像数据；C2：将C1获取的TRMM气象卫星遥感影像数据的时间分辨率处理为与地面观测站点的日降雨量观测值的时间分辨率相等，同时将ASTER GDEM卫星遥感影像数据的空间分辨率重采样为1km，并将数据以文件形式存放；C3：根据地面观测站点的空间位置信息，分别提取C2中相应的TRMM气象卫星遥感影像数据及ASTER GDEM卫星遥感影像数据的栅格值，从而得到每个地面观测站点对应的卫星遥感影像数据的栅格值；C4：根据C1收集的地面观测站点的日降雨量观测值及C3中获取的卫星遥感影像数据的栅格值，进行日降雨量数据的分位数分级；C5：根据C4的分位数分级，建立地面观测站点的日降雨量观测值、对应TRMM气象卫星遥感影像数据的栅格值、ASTER GDEM卫星遥感影像数据的栅格值以及经纬度坐标之间的线性回归关系，得到各级降雨量的回归估计值与回归残差；C6：分析C5中得到的各级降雨量的回归残差的空间自相关性及空间集聚性；C7：对C6中具有空间集聚性的各级回归残差进行趋势去除，然后根据ASTER GDEM卫星遥感影像数据对各级回归残差进行Block克里格插值，得到1km空间分辨率的各级回归残差的空间分布特征图；C8：将根据C5得到的各级降雨量的回归估计值与C7得到的1km空间分辨率的各级回归残差相加，得到1km空间分辨率的各级降雨量预测值；C9:将根据C8所得的各级降雨量预测值合并，得到地面1km空间分辨率的日降雨量预测值；C10:利用交叉检验的方法对C9中的地面日降雨量预测值进行预测精度验证，交叉检验选用均方根误差、平均误差以及偏差作为评价参数。

S05、预测总系统根据温度预测系统、天气预测系统和降雨量预测系统的预测结果得出河流的水流量，从而预测水力发电量，并将预测数据存储到存储系统，且由显示装置显示出来。

步骤SO1中，数据采集端包括温度检测模块、天气检测模块、降雨量检测模块和通讯模块，所述温度检测模块用于检测温度，天气检测模块用于检测天气，降雨量检测模块用于检测降雨量，通讯模块用于通讯连接数据处理终端；数据处理终端包括温度预测系统、系统预测天气、降雨量预测系统、预测总系统、存储系统和显示装置。

步骤SO2中，所述A1中选择有效时间的温度数据优选包括以下步骤：计算采集的温度数据的一阶导数和二阶导数，将求得的一阶导数、二阶导数分别和0比较，当某段时间内的数据序列满足所有一阶导数都大于0并且二阶导数都小于0时，认为该段时间内的温度数据为有效时间的温度数据。

步骤S03中，所述B4中，利用神经网络进行训练进一步包括以下步骤：先随机初始化输入层到隐藏层、隐藏层到输出层的权值矩阵；计算隐藏层各神经元、输出层各神经元的输出，计算每个输出神经元和隐藏神经元输出的误差，所述误差为神经元的输出与实际数据比较所得到的误差，并反向传播更新网络中的权值，当误差小于既定的期望误差或训练次数超、过既定的最大训练次数时完成所述训练步骤，记录权值矩阵。

步骤S04中，所述C5中，所述的线性回归关系建立采用的是多元线性回归模型，其具体公式如下：Z(x0)＝α+β1T(x0)+β2D(x0)+β3Lon(x0)+β4Lat(x0)+ε(x0)，其中，Z(x0)为地面观测站点x0的降雨回归估计值，α、β1、β2、β3、β4均是回归系数，T(x0)是地面观测站点x0对应的TRMM卫星估测值，D(x0)是地面观测站点x0对应的ASTER GDEM卫星遥感影像数据的栅格值，Lon(x0)为x0的经度坐标值，Lat(x0)为x0的纬度坐标值，ε(x0)为回归残差。

所述C6中，所述的回归残差的空间自相关性采用半方差模型来判断，其中，h是地面点之间的距离，N(h)是样本对数，ε(x0)和ε(x0+h)是地面点x0和x0+h的回归残差估计值。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神所定义的范围。

Claims (1)

1.一种跨平台数据处理方法，其特征在于：包括如下步骤：

S01、数据采集端采集河流上游的温度、天气、降雨量参数，并将采集结果发送到数据处理终端；

S02、温度预测系统预测温度，并将预测结果均发送至预测总系统，具体步骤为：A1:通过温度检测模块检采集一段时间内的地表温度,从采集的温度数据中选择一段有效时间的温度数据；A2:根据所述有效时间的温度曲线的斜率变化趋势和该段温度曲线的初始温度确定出第一特定时间点，通过第一特定时间点之前的斜率确定出第二特定时间点；A3:根据公式y＝(a*t+b)/(t+c)计算出温度y的值，其中，a、b、c为双曲线系数，通过将所述有效时间的温度数据对y＝(a*t+b)/(t+c)进行双曲线拟合求得，t为时间，其取值为第二特定时间点；A4:根据所述有效时间的温度曲线的最大斜率、该段温度曲线的初始温度和温度y值确定出被测地点的最终预测温度。

S03、天气预测系统预测天气，并将预测结果均发送至预测总系统，具体步骤为：B1：通过天气检测模块获取河道上游24小时内的气温信息值，并获取测试点的地理位置，天气预测系统通过联网获取测试点的历年所述地理位置信息对应的天气数据；B2：通过天气预测系统将24小时内的气温信息值分别为最高气温和最低气温的历史值，并归一化为0到1之间的数值；B3：建立训练样本的输入输出矩阵，即，将第1到N-1条数据作为输入矩阵，第2到N条数据作为输出矩阵；B4：对所述神经网络进行训练，将训练样本的最后一条记录作为已知条件计算输出，并将输出结果作为已知；然后利用已知数据迭代进行预测，得到从最后一条训练数据开始到预测时长前一单位阶段的预测结果，此时1条实际数据与n-1条预测数据在同一临时结果集中；利用上述临时结果集中的数据和权值矩阵作为已知，计算得到所有的预测结果矩阵；得到预测结果矩阵之后，模型进入最后反归一化的阶段，即将归一化后的结果数据恢复成正常的温度值；B5：根据神经网络的计算结果，结合测试点的地理位置和历年天气数据得出更准确的天气预测。

S04、降雨量预测系统预测降雨量，并将预测结果均发送至预测总系统，具体步骤为：C1：通过降雨量检测模块收集地面观测站点的地理位置信息和日降雨量观测值，通过降雨量预测系统获取TRMM气象卫星遥感影像数据及ASTER GDEM卫星遥感影像数据；C2：将C1获取的TRMM气象卫星遥感影像数据的时间分辨率处理为与地面观测站点的日降雨量观测值的时间分辨率相等，同时将ASTER GDEM卫星遥感影像数据的空间分辨率重采样为1km，并将数据以文件形式存放；C3：根据地面观测站点的空间位置信息，分别提取C2中相应的TRMM气象卫星遥感影像数据及ASTER GDEM卫星遥感影像数据的栅格值，从而得到每个地面观测站点对应的卫星遥感影像数据的栅格值；C4：根据C1收集的地面观测站点的日降雨量观测值及C3中获取的卫星遥感影像数据的栅格值，进行日降雨量数据的分位数分级；C5：根据C4的分位数分级，建立地面观测站点的日降雨量观测值、对应TRMM气象卫星遥感影像数据的栅格值、ASTER GDEM卫星遥感影像数据的栅格值以及经纬度坐标之间的线性回归关系，得到各级降雨量的回归估计值与回归残差；C6：分析C5中得到的各级降雨量的回归残差的空间自相关性及空间集聚性；C7：对C6中具有空间集聚性的各级回归残差进行趋势去除，然后根据ASTER GDEM卫星遥感影像数据对各级回归残差进行Block克里格插值，得到1km空间分辨率的各级回归残差的空间分布特征图；C8：将根据C5得到的各级降雨量的回归估计值与C7得到的1km空间分辨率的各级回归残差相加，得到1km空间分辨率的各级降雨量预测值；C9:将根据C8所得的各级降雨量预测值合并，得到地面1km空间分辨率的日降雨量预测值；C10:利用交叉检验的方法对C9中的地面日降雨量预测值进行预测精度验证，交叉检验选用均方根误差、平均误差以及偏差作为评价参数。

S05、预测总系统根据温度预测系统、天气预测系统和降雨量预测系统的预测结果得出河流的水流量，从而预测水力发电量，并将预测数据存储到存储系统，且由显示装置显示出来。

步骤SO1中，数据采集端包括温度检测模块、天气检测模块、降雨量检测模块和通讯模块，所述温度检测模块用于检测温度，天气检测模块用于检测天气，降雨量检测模块用于检测降雨量，通讯模块用于通讯连接数据处理终端；数据处理终端包括温度预测系统、系统预测天气、降雨量预测系统、预测总系统、存储系统和显示装置。

步骤SO2中，所述A1中选择有效时间的温度数据优选包括以下步骤：计算采集的温度数据的一阶导数和二阶导数，将求得的一阶导数、二阶导数分别和0比较，当某段时间内的数据序列满足所有一阶导数都大于0并且二阶导数都小于0时，认为该段时间内的温度数据为有效时间的温度数据。

步骤S03中，所述B4中，利用神经网络进行训练进一步包括以下步骤：先随机初始化输入层到隐藏层、隐藏层到输出层的权值矩阵；计算隐藏层各神经元、输出层各神经元的输出，计算每个输出神经元和隐藏神经元输出的误差，所述误差为神经元的输出与实际数据比较所得到的误差，并反向传播更新网络中的权值，当误差小于既定的期望误差或训练次数超、过既定的最大训练次数时完成所述训练步骤，记录权值矩阵。

步骤S04中，所述C5中，所述的线性回归关系建立采用的是多元线性回归模型，其具体公式如下：Z(x0)＝α+β1T(x0)+β2D(x0)+β3Lon(x0)+β4Lat(x0)+ε(x0)，其中，Z(x0)为地面观测站点x0的降雨回归估计值，α、β1、β2、β3、β4均是回归系数，T(x0)是地面观测站点x0对应的TRMM卫星估测值，D(x0)是地面观测站点x0对应的ASTER GDEM卫星遥感影像数据的栅格值，Lon(x0)为x0的经度坐标值，Lat(x0)为x0的纬度坐标值，ε(x0)为回归残差。

所述C6中，所述的回归残差的空间自相关性采用半方差模型来判断，其中，h是地面点之间的距离，N(h)是样本对数，ε(x0)和ε(x0+h)是地面点x0和x0+h的回归残差估计值。

Images