CN111177205B - 一种新能源场站数据共享方法及系统 - Google Patents

一种新能源场站数据共享方法及系统 Download PDF

Info

Publication number
CN111177205B
CN111177205B CN201911415115.6A CN201911415115A CN111177205B CN 111177205 B CN111177205 B CN 111177205B CN 201911415115 A CN201911415115 A CN 201911415115A CN 111177205 B CN111177205 B CN 111177205B
Authority
CN
China
Prior art keywords
data
measuring point
monitoring data
point monitoring
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911415115.6A
Other languages
English (en)
Other versions
CN111177205A (zh
Inventor
杨波
付秀元
张晶
夏海洋
向东
谢勇
江春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongdian Self Energy Technology Co ltd
Original Assignee
Chongqing Zhongdian Self Energy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongdian Self Energy Technology Co ltd filed Critical Chongqing Zhongdian Self Energy Technology Co ltd
Priority to CN201911415115.6A priority Critical patent/CN111177205B/zh
Publication of CN111177205A publication Critical patent/CN111177205A/zh
Application granted granted Critical
Publication of CN111177205B publication Critical patent/CN111177205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种新能源场站数据共享方法，包括如下步骤：获取新能源场站测点监测数据；对所述测点监测数据进行处理，得到第一数据资源；获取订阅需求，所述订阅需求包括不同文件大小和推送频率，并提供所述订阅需求对应的所述第一数据资源。本发明通过获取测点监测数据，并进行处理和提供给用户，尤其是通过对测点监测数据进行处理丰富了数据提供的维度和内容，提高了共享数据的应用效益。本发明还公开了一种新能源场站数据共享系统。

Description

一种新能源场站数据共享方法及系统
技术领域
本发明涉及数据服务技术领域，具体而言，涉及一种新能源场站数据共享方法及系统。
背景技术
近年来，我国新能源发展取得显著成就。截止至2019年9月，新能源装机占电源总装机比重由2012年的5.6％提升至19.6％，装机达3.9亿千瓦，实现了由“补充电源”到“替代电源的转变”，新能源场站的数据共享变得十分重要。现有的数据共享方式往往仅限于原始数据的展示，提供的数据维度单一，数据应用效益低下。
发明内容
本发明正是基于上述问题，提出了一种新能源场站数据共享方法及系统。
有鉴于此，本发明提出了一种新能源场站数据共享方法，包括如下步骤：
获取新能源场站测点监测数据；
对所述测点监测数据进行处理，得到第一数据资源；
获取订阅需求，所述订阅需求包括不同文件大小和推送频率，并提供所述订阅需求对应的所述第一数据资源。
本发明还公开一种新能源场站数据共享系统，包括计算机设备，存储有程序指令，当程序指令被执行时，实现上述技术方案所述的方法。
本发明的有益效果是：通过获取测点监测数据，并进行处理和提供给用户，尤其是通过对测点监测数据进行处理丰富了数据提供的维度和内容，提高了共享数据的应用效益。
附图说明
图1示出了根据本发明的实施例提供的一种新能源场站数据共享方法流程图；
图2示出了根据本发明的实施例提供的星型维度模型结构图；
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例即实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例提供的一种新能源场站数据共享方法流程图。
如图1所示，本实施例中，一种新能源场站数据共享方法，包括如下步骤：
获取新能源场站测点监测数据；
其中，测点监测数据包括发电电压、发电电流、风机转速、工作温度，采集数据时间、采集数据的传感器的编号等信息。发电电压、发电电流、风机转速、工作温度等信息可通过布置于新能源场站设备上的传感器获得，传感器的编号信息，通过预先对传感器编码确定，该编号与设备所属的新能源场站、设备的类别等信息相关。
对所述测点监测数据进行处理，得到第一数据资源；
其中，对测点监测数据进行处理，包括对测点监测数据进行清洗、补全和映射，也包括对测点监测数据进行归集和聚合等。
获取订阅需求，所述订阅需求包括不同文件大小和推送频率，并提供所述订阅需求对应的所述第一数据资源。
其中，可依靠web service(网络服务)，通过文件传输、API等方式提供第一数据资源。
在上述实施例中，通过获取测点监测数据，并进行处理和提供给用户，尤其是通过对测点监测数据进行处理丰富了数据提供的维度和内容，提高了共享数据的应用效益。
可选地，所述对所述测点监测数据进行处理，得到第一数据资源，包括，
根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，所述静态码表根据预设的不同数据维度进行预先配置；
所述静态码表包括：各个相关/无关的测点监测数据的属性映射关系或关联关系；
所述关联包括：具有归属关系的地区之间的关联，或电力数据之间的关联关系。
其中，不同的数据维度包括“二级单位”、“集控中心”、“场站”、“设备分类”、“所属新能源板块”、“监控参数类型”等数据维度，对应不同的维度表征了数据的不同属性，数据维度的星形维度模型图如图2所示。静态码表可预先人为指定和配置。可通过将静态码表与测点监测数据进行关联，并利用其内在联系和约束规则，所述静态码表包括：各个相关/无关的测点监测数据的属性映射关系，或关联关系；包括：具有归属关系的地区之间的关联，如行政区域，省市县乡村镇；或电力数据之间的关联，如风力发电设备。
可选地，所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，包括，
根据所述静态码表，采用流式计算引擎，对所述测点监测数据进行扩充补全；
其中，扩充即，依据测点监测数据中传感器编码与静态码表中表征数据维度的其它信息的直接联系，进行填充，如静态码表中，直接包括了温度传感器在某风电设备上的信息，则对测点监测数据扩充风电设备的信息；补全，即利用测点监测数据中传感器编码与静态码表中表征数据维度的其它信息的间接联系，进行信息补充，如静态码表中，还包括了某风电设备属于某新能源场站的信息，则将能源场站信息加入到测点监测数据中；还包括对缺失数据进行补全，如缺失某时刻的测点监测数据，则利用该测点监测数据的平均值或众数进行补全。对测点监测数据可采用分布式文件系统HDFS进行存储。
根据所述静态码表和所述测点监测数据自身特性确定清洗规则；
其中，清洗规则，即判定测点监测数据为噪声数据的规则，其中，静态码表内含了所述测点监测数据之间的相关性，可以将是否满足相关性确定为清洗规则，测点监测数据本身有其取值范围，可以将其作为清洗规则。
根据所述清洗规则，区分出噪声数据，对补全后的测点监控数据进行清洗。
其中，清洗主要指对噪声数据进行删除、隔离和去冗余。
上述实施例中，通过根据静态码表对测点监测数据进行扩充、补全和清洗，得到了数据内容更加丰富、准确的第一数据资源。
可选地，所述对补全后的所述测点监测数据进行清洗，包括：
在一定的时间周期内，将数据偏差在一定范围的多条数据，保留其中一条数据，同时记录持续时长；
去除补全后的多维度的所述测点监控数据中的冗余数据；其中每类电力数据至少包括以下之一：发电机转速、风速、风向、变流器功率、风机的发电量数据、风机叶片运行数据。
可以理解的是，电力监测数据具有很强的时间相关性，根据电力数据的时间相关性进行数据去冗余，可以大大减少数据量。如，某段时间的电压值较为恒定，可采用某时刻的电压值或该段时间电压的平均值代替该段时间的电压值。
可选地，对所述清洗后的数据，通过OLTP引擎进行归集；
其中OLTP(联机事务处理)引擎，包括Hive、SparkSQL和MapReduce，Hive、SparkSQL和MapReduce是分别具有不同实时特性的OLTP(联机事务处理)引擎。
使用OLAP(联机分析处理)引擎对所述归集后的数据进行聚合，或进行模型运算；
其中，聚合包括统计和分析，包括统计生产量，分析某个设备的效率等等，如年度末，统计所有风力发电机组的发电量，分析每月发电量的变化等等，联机分析处理引擎OLAP包括Impala、Kylin和Phoenix，分别具有不同处理速度，所述模型运算包括，预处理、机器学习训练和评估。
通过所述聚合操作和所述模型运算，分别得到结果数据和PKL模型文件；
将所述结果数据和PKL模型文件加入所述第一数据资源。
可选地，所述根据所述静态码表和所述测点监测数据自身特性确定清洗规则，包括，
根据所述测点监测数据自身特性，确定所述测点监测数据的阈值范围，当所述测点监测数据超过所述阈值范围时，确定为噪声数据；
其中，每个测点监测数据都应有其取值范围，当超过其取值范围时，则应为噪声数据。
根据所述静态码表的各个数据属性之间的内在相关性，拟合所述测点监测数据的两两之间或各个所述测点监测数据与时间之间的相关性曲线，当所述测点监测数据两两之间或其与所述相关性曲线的偏差值超过预设偏差范围时，确定为噪声数据。
其中，相关性曲线可预先拟合存储，主要利用数据间内在联系判断是否噪声数据，可能和时间相关，也可能和其它监测数据相关，当数据间的关系不满足相关性曲线时，则极大可能是噪声数据。如风机的转速和发电功率正相关，当风机转速快，而发电功率低时，则极可能是噪声数据。预设偏差范围可以是25％。
上述实施例中，通过采用拟合相关性曲线的方式，将测点监测数据与拟合的相关性曲线的预测值相比较，根据偏差值大小判定是否为噪声数据，使清洗规则更加简便易行，且更加贴合实际，提高了清洗的准确性、快捷性和便利性。
可选地，所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
对所述噪声数据进行分析，
当所述噪声数据来源对应的设备上存在其它噪声数据时，将所述噪声数据来源对应的设备上的所有测点监测数据输入预先经过训练的第一神经网络算法模型，对所述噪声数据来源对应的设备进行判定，当判定为故障设备时，产生设备故障数据，并将所述设备故障数据加入第一数据资源；
其中，当设备故障时，设备上的测点监测数据为噪声数据(即发生错误)往往不会孤立出现。运用神经网络算法模型进行识别和分类，是通用的识别和分类方法。将设备上的所有噪声数据输入神经网络算法模型进行分类，进行故障判定，具有较高的精确度和广泛的适应性。
当所述噪声数据来源对应的设备上不存在其它噪声数据时，且所述噪声数据对应的传感器前后预设时间范围内的测点监测数据也为噪声数据时，判定所述噪声数据对应的传感器为故障传感器，产生故障传感器数据，将所述故障传感器数据加入所述第一数据资源。
其中，通常情况下，当传感器故障时，其产生噪声数据的时间应为一个比较长的时间段，而不是短暂的突变，可通过判断产生噪声数据的时间持续性，而判断传感器是否故障。
可以理解的是，噪声数据往往和设备或传感器故障相关，定位故障的设备或传感器，对于新能源场站的稳健运行非常重要。
上述实施例中，通过对噪声数据进行数据挖掘，获取了故障设备和故障传感器信息，进一步增强了数据有用性。
可选地，所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
计算所有同类所述故障设备\故障传感器的故障率；
其中，故障率，可通过计算同类设备\传感器的发生故障的数量或次数与总数量或总次数的比值确定。
根据所述故障设备\故障传感器的故障概率分布曲线和所述故障设备的运行次数或运行时间预测所述故障设备的故障概率，所述故障概率分布曲线根据所述故障设备\故障传感器的产品手册或经验数据预先获得，所述故障设备的运行次数或运行时间从所述第一数据资源统计获得；
当所述故障率大于r倍所述故障概率时，判定所述故障设备\故障传感器对应的品类为高故障率设备\传感器品类，将所述高故障率设备品类加入第一数据资源，其中r为大于1的预设常数；
其中，r可以是1.2。
当所述故障率小于n倍所述故障概率时，判定所述故障设备对应的品类为优质设备\传感器品类，将所述优质设备\传感器品类加入第一数据资源，其中n为小于1的预设常数。
其中，n可以是0.8。
可以理解的，设备或传感器的故障发生满足一定的分布曲线，如机械设备的故障率通常与时间长度呈正相关的比例曲线，电子设备或传感器的故障分布曲线通常呈泊松分布曲线，该分布曲线可以通过预先测量或通过产品手册获得。当某个设备或传感器发生故障的实际概率显著偏离分布曲线的预测值时，则说明该类设备\或传感器为优质设备品类或劣质设备品类。
上述实施例中，通过对故障设备\传感器数据进行进一步挖掘，获取了故障设备\传感器品类质量好坏的信息，为后续故障设备\传感器更换的品类选择决策提供了决策依据，进一步提高了数据有的有用性。
所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全；
所述根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全，包括：
将所述噪声数据设为缺失点，与所述清洗后的测点监测数据合并构造待补全数据矩阵；
将低秩表示模型应用到所述待补全数据矩阵中，对所述缺失点进行预填充；
加入所述静态码表作为约束条件，将所述缺失点进行补全；
所述将低秩表示模型应用到所述待补全数据矩阵中，对所述缺失点进行预填充步骤，和所述加入所述静态码表作为约束条件，将所述缺失点进行补全步骤的低秩表示模型公式为：
Figure BDA0002350994580000081
其中，G＝[G1,G2,G3...,GN]∈ZR×N为待补全数据矩阵；R为测点监控数据的测量个数，N为所述静态码表的个数，||.||1,2表示矩阵每一列元素的12范数的和，W∈ZR×N为G自表示的系数；Y∈ZR×N为重构误差矩阵，此处使用Y的范数约束；参数a,b决定了各自约束项的强度，这两个参数的选择在误差、秩和平滑度三项中权衡；矩阵Z∈WN×N-1,为一个三对角矩阵，对角线除首位元素外为1外，都为3，其上层和下层的对角线元素都为-1，
WZ＝[W1-W2,3W2-W1-W3,...,3WN-1-WN-WN-2,WN-WN-1]。
可以理解的是，数据清洗后，噪声数据将丢失，将影响测点监测数据的完整性。
上述实施例中，通过将低秩模型加入到测点监控数据补全中，加入静态码表作为约束项，在子空间对系数进行约束，使得子空间也具有相似性约束，因此，使得补全的准确度和完整性大幅度提高，并可应对不同类型的测点监控数据。
可选地，所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全；
所述根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全，包括：
S1：获取K份以前时刻的所述测点监控数据，其中每一份所述测点监控数据对应之前的一个随机时刻；
S2：将所述K份以前时刻的所述测点监控数据划分为
Figure BDA0002350994580000091
组,将每一组所述测点监控数据与所述静态码表相组合，得到
Figure BDA0002350994580000092
组训练集；
根据所述
Figure BDA0002350994580000093
组训练集，对所述
Figure BDA0002350994580000094
组训练集分别使用最小二乘法、支持向量机和BP神经网络和在线贯序极限学习机4种补全方法补全数据，分别得到4个补全结果：
Figure BDA0002350994580000095
Figure BDA0002350994580000096
S3:使用最小二乘法分别估计最小二乘法、支持向量机和BP神经网络和在线贯序极限学习机4种补全方法的权重，r1,r2,r3,r4,加权计算得出每种补全方法的补全结果，设实际输出为q,则
Figure BDA0002350994580000097
设R＝[r1,r2,r3,r4]T,
Figure BDA0002350994580000098
则
Q·R＝q
应用最小二乘法，可得权重R的估计：
Figure BDA0002350994580000101
则，第i种补全方法的补全结果为
Figure BDA0002350994580000102
S4:根据每种补全方法的补全结果进行评估，取评估分最高的对应补全方法的补全结果为最终补全结果。
其中，可以通过计算补全结果的标准差或方差，并将标准差或方差进行归一化的方法进行评估，标准差或方差越小，评估分越高；也可以通过获取每个补全方法的运行时间的方法进行评估，时间越短，评估分越高，或将二者相结合，进行评估，以兼顾补全准确性和补全速度的平衡。
上述实施例中，通过采取开平方根的办法，简化了训练数据的选取；通过选择不同特性的4种补全方法，以保证了补全方法的适应新能源场站传感器数量多，各种数据特征不同的场景，具有广泛适应性；通过采用标准差、方差和评估时间相结合的方法进行评价，提高了补全方法的稳健性。
可选地，所述获取订阅需求，并提供所述订阅需求对应的所述第一数据资源，包括，
将所述第一数据资源生成包括相对路径和数据说明的资源目录，同步到webservice端的第一关系型数据库，并展示；
其中，在web service(网络服务)端设置关系型数据库，是所属领域的常用技术手段，用户可通过展示的web service端的第一关系型数据库，初步了解能够获取的数据内容。通过设置资源目录，提供数据索引，减少了数据量，降低了数据传输带宽要求。
获取针对所述关系型数据库中资源目录的订阅需求；
其中，用户根据展示资源目录，订阅选择需要的数据资源，生成订阅需求，通过webservice端进行反馈。
根据所述订阅需求所对应的所述第一数据资源的数据量大小和更新频率，提供所述第一数据资源。
上述实施例中，通过提供资源目录的方式，供用户选择需要的数据资源，减少了数据交互的数据量，增强了交互的友好性。
可选地，所述根据所述订阅需求所对应的所述第一数据资源的数据量大小和更新频率，提供所述第一数据资源，包括，
对所述订阅需求所对应的所述第一数据资源，使用Json格式或DDL格式描述；
其中，Json格式或DDL格式是通用的数据交换格式，以便更为便利地的进行数据交互。
当所述订阅需求所对应的第一数据资源的数据量大于第一预设数据量阈值时或更新频率小于第一预设更新频率阈值时，
使用sqoop向客户端推送第二关系型数据库，所述第二关系型数据库由使用Json格式或DDL格式描述的所述订阅需求所对应的第一数据资源构成；
其中，sqoop是大数据量数据转移的常用工具，第一预设数据量阈值可以是1GB，第一预设更新频率为1次/天。
当所述订阅需求所对应的所述第一数据资源的数据量大于第二预设数据量阈值时且小于或等于所述第一预设数据量阈值时，或更新频率大于或等于第一预设更新频率阈值且小于第二预设更新频率阈值时，
提供使用Json格式或DDL格式描述的所述订阅需求所对应的所述第一数据资源的文件下载；
其中，第二预设数据量阈值可以是100MB，第二预设更新频率为1次/1小时，提供文件下载，可采用HDFS Client(分布式文件系统)客户端的方式实现。
当所述订阅需求所对应的所述第一数据资源的数据量小于或等于所述第二预设数据量阈值时，或更新频率大于或等于第二预设更新频率阈值时，采用API接口方式提供所述提供使用Json格式或DDL格式描述的所述订阅需求所对应的第一数据资源。
其中，API接口可采用Kylin Client(Kylin客户端)、Impala Client(Impala客户端)的方式实现。
可以理解的是，数据量越大，更新越慢，越适宜将数据批量整块地传送给用户，以提高数据传输的效率；对数据量小，更新快的数据，则适宜根据需要采用API的方式进行实时传输交互。
上述实施例中，通过根据数据量的大小和更新频率，提供了三个数据提供方式，满足了不同场景的数据使用需求，增强了适应性。
此外，需要说明的是，上述实施例所述的一种新能源场站数据共享方法中涉及到的工作任务和步骤，可通过Azkaban进行调度和协同。
可选地，所述对所述测点监测数据进行处理，得到第一数据资源，还包括步骤：
包括，对所述测点监测数据进行压缩编码处理；
所述对所述测点监测数据进行压缩编码处理，包括，
对所述测点监测数据进行差分编码；
其中，差分编码，指对数据进行做差。如，风机转速原始数据为，300、300、300、301、299、299、299、298、298、298、298，在数据存储中，每一个数据至少10bit(含一符号位)位进行存储；将后一数据分别与前一数据做差，预设第一数据与平均值作差，预设平均值为300，则差分编码后的数据为，0、0、0、1、-2、0、0、0、-1、0、0、0、0，每差分数据仅需要3bit(含一符号位)进行存储，通过差分方式，对变化量不大的数据进行压缩，将大大减少了数据占用的空间。
对所述差分编码后的数据进行行程编码；
其中，行程编码，即采用数据值+数据数量的方式进行编码，以上述0、0、0、1、-2、0、0、0、-1、0、0、0、0，的差分编码为，0、3，1、1，-2、1，0、3，-1、1，0、4，通过行程编码，进一步减少了数据存储需要的空间。
所述获取订阅需求，所述订阅需求包括不同文件大小和推送频率，并提供所述订阅需求对应的所述第一数据资源，包括，
包括，对所述第一数据资源进行解压缩编码；
所述解压缩编码，包括，
对所述第一数据资源的进行反行程编码；
其中，反行程编码，即是行程编码的逆过程，以为行程编码后的数据，0、3，1、1，-2、1，0、3，-1、1，0、4，为例，反行程编码即得到：0、0、0、1、-2、0、0、0、-1、0、0、0、0。
对反行程编码后的数据进行反差分编码；
其中，反差分编码，即是差分编码的逆过程，设前一数据为平均值300，以：0、0、0、1、-2、0、0、0、-1、0、0、0、0，为例，反差分编码，可得到：300、300、300、301、299、299、299、298、298、298、298。
上述实施例中，结合测点监控数据通常较为稳定的特点，通过采取行程编码和差分编码的方式，对数据进行压缩，减少了数据量，节约了存储空间，提高了传输速度。
可选地，所述对所述测点监测数据进行差分编码前，还包括，
对所述测点监测数据进行频域变换，并进行低通滤波；
其中，频域变换可采用傅里叶变换进行，通过低通滤波，适当丢掉数据的细节信息，但却大大压缩了数据量。
所述对反行程编码后的数据进行反差分编码后，还包括，
对所述反差分编码后的数据进行反频域变换。
其中，反频域变换可采用傅里叶反变换进行，以对数据进行还原。
上述实施例中，通过进行时域和频域的转换，并进行低通滤波的方式，通过适当舍弃丢掉数据细节信息，大大压缩了数据量，节约了存储空间，提高了传输速度。
本发明实施例还公开一种新能源场站数据共享系统，包括计算机设备，存储有程序指令，当程序指令被执行时，实现上述技术方案所述的方法。
上述实施例中，通过获取测点监测数据，并进行处理和提供给用户，尤其是通过对测点监测数据进行处理丰富了数据提供的维度和内容，提高了共享数据的应用效益。
以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种新能源场站数据共享方法，其特征在于，包括如下步骤：
获取新能源场站测点监测数据；
对所述测点监测数据进行处理，得到第一数据资源；
获取订阅需求，所述订阅需求包括不同文件大小和推送频率，并提供所述订阅需求对应的所述第一数据资源；
其中，所述对所述测点监测数据进行处理，得到第一数据资源，包括，
根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，所述静态码表根据预设的不同数据维度进行预先配置；
所述静态码表包括：各个相关/无关的测点监测数据的属性映射关系或关联关系；
所述关联包括：具有归属关系的地区之间的关联，或电力数据之间的关联关系；
其中，所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，包括：
根据所述静态码表，采用流式计算引擎，对所述测点监测数据进行扩充补全；
根据所述静态码表和所述测点监测数据自身特性确定清洗规则；
根据所述清洗规则，区分出噪声数据，对补全后的所述测点监控数据进行清洗；
其中，所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全；
所述根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全，包括：
S1：获取K份以前时刻的所述测点监控数据，其中每一份所述测点监控数据对应之前的一个随机时刻；
S2：将所述K份以前时刻的所述测点监控数据划分为
Figure FDA0004128970260000021
组,将每一组所述测点监控数据与所述静态码表相组合，得到
Figure FDA0004128970260000022
组训练集；
根据所述
Figure FDA0004128970260000023
组训练集，对所述
Figure FDA0004128970260000024
组训练集分别使用最小二乘法、支持向量机、BP神经网络和在线贯序极限学习机4种补全方法补全数据，分别得到4个补全结果：
Figure FDA0004128970260000025
Figure FDA0004128970260000026
S3:使用最小二乘法分别估计最小二乘法、支持向量机和BP神经网络和在线贯序极限学习机4种补全方法的权重r1,r2,r3,r4,加权计算得出每种补全方法的补全结果，设实际输出为q,则
Figure FDA0004128970260000027
设R＝[r1，r2，r3，r4]T,
Figure FDA0004128970260000028
则
O·R＝q
应用最小二乘法，可得权重R的估计：
Figure FDA0004128970260000029
则，第i种补全方法的补全结果为
Figure FDA00041289702600000210
S4:根据每种补全方法的补全结果进行评估，取评估分最高的对应补全方法的补全结果为最终补全结果。
2.根据权利要求1所述的一种新能源场站数据共享方法，其特征在于，
所述对补全后的所述测点监测数据进行清洗，包括：
在一定的时间周期内，将数据偏差在一定范围的多条数据，保留其中一条数据，同时记录持续时长；
去除补全后的多维度的所述测点监控数据中的冗余数据；其中每类电力数据至少包括以下之一：发电机转速、风速、风向、变流器功率、风机的发电量数据、风机叶片运行数据，
还包括：
通过多个OLTP引擎对所述清洗后的测点监测数据进行归集；
使用OLAP引擎对所述归集后的数据进行聚合，或进行模型运算；
通过所述聚合操作和所述模型运算，分别得到结果数据和PKL模型文件；
将所述结果数据和PKL模型文件加入所述第一数据资源。
3.根据权利要求1所述的一种新能源场站数据共享方法，其特征在于，
所述根据所述静态码表和所述测点监测数据自身特性确定清洗规则，包括，
根据所述测点监测数据自身特性，确定所述测点监测数据的阈值范围，当所述测点监测数据超过所述阈值范围时，确定为噪声数据；
根据所述静态码表的各个数据属性之间的内在相关性，拟合所述测点监测数据的两两之间或各个所述测点监测数据与时间之间的相关性曲线，当所述测点监测数据两两之间或其与所述相关性曲线的偏差值超过预设偏差范围时，确定为噪声数据。
4.根据权利要求1所述的一种新能源场站数据共享方法，其特征在于，所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
对所述噪声数据进行分析；
当所述噪声数据来源对应的设备上存在其它噪声数据时，将所述噪声数据来源对应的设备上的所有测点监测数据输入预先经过训练的第一神经网络算法模型，对所述噪声数据来源对应的设备进行判定，当判定为故障设备时，产生设备故障数据，并将所述设备故障数据加入第一数据资源；
当所述噪声数据来源对应的设备上不存在其它噪声数据时，且所述噪声数据对应的传感器前后预设时间范围内的测点监测数据也为噪声数据时，判定所述噪声数据对应的传感器为故障传感器，产生故障传感器数据，将所述故障传感器数据加入所述第一数据资源；
所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
计算所有同类所述故障设备\故障传感器的故障率；
根据所述故障设备\故障传感器的故障概率分布曲线和所述故障设备的运行次数或运行时间预测所述故障设备的故障概率，所述故障概率分布曲线根据所述故障设备\故障传感器的产品手册或经验数据预先获得，所述故障设备的运行次数或运行时间从所述第一数据资源统计获得；
当所述故障率大于r倍所述故障概率时，判定所述故障设备\故障传感器对应的品类为高故障率设备\传感器品类，将所述高故障率设备品类加入第一数据资源，其中r为大于1的预设常数；
当所述故障率小于n倍所述故障概率时，判定所述故障设备对应的品类为优质设备\传感器品类，将所述优质设备\传感器品类加入第一数据资源，其中n为小于1的预设常数。
5.根据权利要求1所述的一种新能源场站数据共享方法，其特征在于，
所述根据静态码表，对所述测点监测数据进行处理，得到第一数据资源，还包括：
根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全；
所述根据所述静态码表的内在联系，对所述清洗后的测点监测数据进行第二次补全，包括：
将所述噪声数据设为缺失点，与所述清洗后的测点监测数据合并构造待补全数据矩阵；
将低秩表示模型应用到所述待补全数据矩阵中，对所述缺失点进行预填充；
加入所述静态码表作为约束条件，将所述缺失点进行补全；
所述将低秩表示模型应用到所述待补全数据矩阵中，对所述缺失点进行预填充步骤，和所述加入所述静态码表作为约束条件，将所述缺失点进行补全步骤的低秩表示模型公式为：
Figure FDA0004128970260000051
其中，G＝[G1,G2，G3...，GN]∈ZR×N为待补全数据矩阵；R为测点监控数据的测量个数，N为所述静态码表的个数，||·||1，2表示矩阵每一列元素的12范数的和，W∈ZR×N为G自表示的系数；Y∈ZR×N为重构误差矩阵，此处使用Y的范数约束；参数a,b决定了各自约束项的强度，这两个参数的选择在误差、秩和平滑度三项中权衡；矩阵Z∈WN×H-1,为一个三对角矩阵，对角线除首位元素外为1外，都为3，其上层和下层的对角线元素都为-1，
WZ＝[W1-W23W2-W1-W3，...,3WN-1-WN-WN-2，WN-WN-1。
6.根据权利要求1所述的一种新能源场站数据共享方法，其特征在于，所述获取订阅需求，并提供所述订阅需求对应的所述第一数据资源，包括，
将所述第一数据资源生成包括相对路径和数据说明的资源目录，同步到web service端的第一关系型数据库，并展示；
获取针对所述关系型数据库中资源目录的订阅需求；
根据所述订阅需求所对应的所述第一数据资源的数据量大小和更新频率，提供所述第一数据资源，
所述根据所述订阅需求所对应的所述第一数据资源的数据量大小和更新频率，提供所述第一数据资源，包括，
对所述订阅需求所对应的所述第一数据资源，使用Json格式或DDL格式描述；
当所述订阅需求所对应的第一数据资源的数据量大于第一预设数据量阈值时或更新频率小于第一预设更新频率阈值时，
使用sqoop向客户端推送第二关系型数据库，所述第二关系型数据库由使用Json格式或DDL格式描述的所述订阅需求所对应的第一数据资源构成；
当所述订阅需求所对应的所述第一数据资源的数据量大于第二预设数据量阈值时且小于或等于所述第一预设数据量阈值时，或更新频率大于或等于第一预设更新频率阈值且小于第二预设更新频率阈值时，
提供使用Json格式或DDL格式描述的所述订阅需求所对应的所述第一数据资源的文件下载；
当所述订阅需求所对应的所述第一数据资源的数据量小于或等于所述第二预设数据量阈值时，或更新频率大于或等于第二预设更新频率阈值时，
采用API接口方式提供所述提供使用Json格式或DDL格式描述的所述订阅需求所对应的第一数据资源。
7.根据权利要求1所述的一种新能源场站数据共享方法，其特征在于，所述对所述测点监测数据进行处理，得到第一数据资源，还包括步骤：
对所述测点监测数据进行压缩编码处理；
所述对所述测点监测数据进行压缩编码处理，包括，
对所述测点监测数据进行差分编码；
对所述差分编码后的数据进行行程编码；
所述获取订阅需求，所述订阅需求包括不同文件大小和推送频率，并提供所述订阅需求对应的所述第一数据资源，还包括，
对所述第一数据资源进行解压缩编码；
所述对所述第一数据资源进行解压缩编码，包括，
对所述第一数据资源的进行反行程编码；
对反行程编码后的数据进行反差分编码，
所述对所述测点监测数据进行差分编码前，还包括，
对所述测点监测数据进行频域变换，并进行低通滤波；
所述对反行程编码后的数据进行反差分编码后，还包括，
对所述反差分编码后的数据进行反频域变换。
8.一种新能源场站数据共享系统，其特征在于，包括计算机设备，存储有程序指令，当程序指令被执行时，实现上述权利要求1-7中任一项所述的方法。
CN201911415115.6A 2019-12-31 2019-12-31 一种新能源场站数据共享方法及系统 Active CN111177205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911415115.6A CN111177205B (zh) 2019-12-31 2019-12-31 一种新能源场站数据共享方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911415115.6A CN111177205B (zh) 2019-12-31 2019-12-31 一种新能源场站数据共享方法及系统

Publications (2)

Publication Number Publication Date
CN111177205A CN111177205A (zh) 2020-05-19
CN111177205B true CN111177205B (zh) 2023-04-21

Family

ID=70654307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911415115.6A Active CN111177205B (zh) 2019-12-31 2019-12-31 一种新能源场站数据共享方法及系统

Country Status (1)

Country Link
CN (1) CN111177205B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942461A (zh) * 2014-05-14 2014-07-23 浙江师范大学 基于在线贯序极限学习机的水质参数预测方法
WO2015183517A1 (en) * 2014-05-29 2015-12-03 Causam Energy, Inc. System, method, and data packets for messaging for electric power grid elements over a secure internet protocol network
CN105187010A (zh) * 2015-09-07 2015-12-23 无锡联盛合众新能源有限公司 一种光伏电站的智能化监控与运维系统
CN105279964A (zh) * 2015-08-07 2016-01-27 北京工业大学 一种基于低秩算法的路网交通数据的补全方法
CN107305238A (zh) * 2016-04-21 2017-10-31 中冶长天国际工程有限责任公司 一种烧结主抽风机的故障诊断方法及装置
CN107730394A (zh) * 2017-09-07 2018-02-23 国网山东省电力公司淄博供电公司 基于大数据的全景电网多元异构数据融合方法
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN107968482A (zh) * 2017-11-29 2018-04-27 山东中车风电有限公司 一种新能源发电场站管理平台
CN108010320A (zh) * 2017-12-21 2018-05-08 北京工业大学 一种基于自适应时空约束低秩算法的路网交通数据的补全方法
CN108228716A (zh) * 2017-12-05 2018-06-29 华南理工大学 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台
CN109101638A (zh) * 2018-08-20 2018-12-28 河海大学 一种大坝变形监测连续性缺失数据补全方法
CN109683151A (zh) * 2019-02-01 2019-04-26 哈尔滨工程大学 非均匀噪声环境下基于矩阵补全的酉求根music角度估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190011283A1 (en) * 2014-08-21 2019-01-10 Wattcost Pty Ltd Processing of resource consumption data via monitoring physically observable behaviors of an existing resource meter and provision of functionalities based on processing of resource consumption data

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942461A (zh) * 2014-05-14 2014-07-23 浙江师范大学 基于在线贯序极限学习机的水质参数预测方法
WO2015183517A1 (en) * 2014-05-29 2015-12-03 Causam Energy, Inc. System, method, and data packets for messaging for electric power grid elements over a secure internet protocol network
CN105279964A (zh) * 2015-08-07 2016-01-27 北京工业大学 一种基于低秩算法的路网交通数据的补全方法
CN105187010A (zh) * 2015-09-07 2015-12-23 无锡联盛合众新能源有限公司 一种光伏电站的智能化监控与运维系统
CN107305238A (zh) * 2016-04-21 2017-10-31 中冶长天国际工程有限责任公司 一种烧结主抽风机的故障诊断方法及装置
CN107730394A (zh) * 2017-09-07 2018-02-23 国网山东省电力公司淄博供电公司 基于大数据的全景电网多元异构数据融合方法
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN107968482A (zh) * 2017-11-29 2018-04-27 山东中车风电有限公司 一种新能源发电场站管理平台
CN108228716A (zh) * 2017-12-05 2018-06-29 华南理工大学 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法
CN108010320A (zh) * 2017-12-21 2018-05-08 北京工业大学 一种基于自适应时空约束低秩算法的路网交通数据的补全方法
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台
CN109101638A (zh) * 2018-08-20 2018-12-28 河海大学 一种大坝变形监测连续性缺失数据补全方法
CN109683151A (zh) * 2019-02-01 2019-04-26 哈尔滨工程大学 非均匀噪声环境下基于矩阵补全的酉求根music角度估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Classification and Assessment of Power System Security Using Multiclass SVM";S. Kalyani;《IEEE Transactions on Systems》;20101023;全文 *
"Online Sequential Extreme Learning Machine With Kernels";Simone Scardapane;《IEEE Transactions on Neural Networks and Learning Systems》;20150930;全文 *
基于工业云的电熔镁炉监控系统与关键技术;冉振莉等;《计算机集成制造系统》;20180109(第11期);全文 *
适应调控领域应用场景的人工智能平台体系架构及关键技术;陶洪铸等;《电网技术》;20191210(第02期);全文 *

Also Published As

Publication number Publication date
CN111177205A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
WO2016101628A1 (zh) 一种数据建模中的数据处理方法及装置
CN107169628B (zh) 一种基于大数据互信息属性约简的配电网可靠性评估方法
CN103886047B (zh) 面向流式数据的分布式在线推荐方法
CN109299436B (zh) 一种满足本地差分隐私的偏好排序数据收集方法
CN106776928B (zh) 基于内存计算框架、融合社交及时空数据的位置推荐方法
CN110515931B (zh) 一种基于随机森林算法的电容型设备缺陷预测方法
CN112508118B (zh) 针对数据偏移的目标对象行为预测方法及其相关设备
CN106168980A (zh) 多媒体资源推荐排序方法及装置
CN105144157A (zh) 用于压缩数据库中的数据的系统和方法
CN115221396A (zh) 基于人工智能的信息推荐方法、装置及电子设备
CN106610792A (zh) 云存储中一种重复数据删除算法
CN106227881A (zh) 一种信息处理方法及服务器
CN111177205B (zh) 一种新能源场站数据共享方法及系统
CN112990583B (zh) 一种数据预测模型的入模特征确定方法及设备
CN116599857B (zh) 一种适用于物联网多场景的数字孪生应用系统
CN111127186A (zh) 一种基于大数据技术的客户信用等级评价体系的使用方法
CN110598912A (zh) 一种售电公司的春节期间售电量预测方法
CN115170196A (zh) 一种基于大数据智能写作的推广方法
CN113821419A (zh) 一种基于svr和高斯函数的云服务器老化预测方法
CN109271303B (zh) 一种软件配置推荐方法
CN113642171A (zh) 一种基于大数据的输变电设备健康状态评估系统及方法
CN113283484A (zh) 改进的特征选择方法、装置及存储介质
CN111861227A (zh) 基于隶属度分析的用户推荐方法、装置、电子设备及介质
JP5899587B2 (ja) ファイルの検索方法、ファイル検索装置及びプログラム
CN110943473A (zh) 一种基于广域测量系统和聚类理论的发电机同调识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant