CN105373578B - 一种特高压雷电侵入波监测中大容量数据处理方法 - Google Patents

一种特高压雷电侵入波监测中大容量数据处理方法 Download PDF

Info

Publication number
CN105373578B
CN105373578B CN201510505838.0A CN201510505838A CN105373578B CN 105373578 B CN105373578 B CN 105373578B CN 201510505838 A CN201510505838 A CN 201510505838A CN 105373578 B CN105373578 B CN 105373578B
Authority
CN
China
Prior art keywords
point
data
incoming wave
waveform
lightning incoming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510505838.0A
Other languages
English (en)
Other versions
CN105373578A (zh
Inventor
戴敏
张波
吴涛
刘亚锋
苟维汉
王磊
范冕
查志鹏
万磊
李振强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Hubei Electric Power Co Ltd
Original Assignee
China University of Geosciences
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences, State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Hubei Electric Power Co Ltd filed Critical China University of Geosciences
Priority to CN201510505838.0A priority Critical patent/CN105373578B/zh
Publication of CN105373578A publication Critical patent/CN105373578A/zh
Application granted granted Critical
Publication of CN105373578B publication Critical patent/CN105373578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files

Abstract

本发明涉及一种特高压雷电侵入波监测中大容量数据处理方法,包括:雷电侵入波波形显示;雷电侵入波频率统计和雷电侵入波界面显示,针对文件数据容量大,处理速度慢的问题,本发明采用了两种方法解决问题,第一种是采用大文件分块的方法,即将数据量较大的文件平均分为若干个数据量较小的文件,当进行波形显示时,不需要缓存整个文件的数据,只需要缓存一部分指定的数据,这样一方面可以快速读取并缓存数据,同时达到快速刷新显示的效果,有效解决了数据更新缓慢,刷新存在延时的特点。

Description

一种特高压雷电侵入波监测中大容量数据处理方法
技术领域
本发明涉及一种雷电流侵入波的大容量数据分析及显示技术,具体涉及一种特高压雷电侵入波监测中大容量数据处理方法。
背景技术
目前雷电侵入波在电力行业中的研究应用甚为广泛,由于雷电侵入波波形复杂难以预测,并且数据量大,因此很难较为全面详细的分析波形的特性,对于雷电侵入波波形特性的研究将对电网变电站等有效预防雷电侵入波带来的危害等具有重要意义。
一般波形图形界面显示方法通常采用图形缓存方式,开辟一块内存区存储块预存处理数据,通过将显示缓冲区数据刷新,从而大小更新显示的效果。但由于一个记录文件数据大小在3M-100M左右,数据量庞大,全局图形刷新非常缓慢,显示效果会有明显的延时现象。这对于整个波形的观察、分析等带来很大不便,雷电侵入波监测的数据分析对防雷性能评估和优化设计有重要的意义和价值。为将雷电侵入波数据在雷电侵入波监测软件中可以最大程度的以波形的方式快速显示,并对波形频率进行统计分析,可对数据的处理算法进行优化。目前市场上相关雷电侵入波数据处理软件较少,且处理速度都相对较慢,精确度较差。
发明内容
为解决上述现有技术中的不足,本发明的目的是提供一种特高压雷电侵入波监测中大容量数据处理方法。
本发明的目的是采用下述技术方案实现的:
本发明提供一种特高压雷电侵入波监测中大容量数据处理方法,其改进之处在于,所述方法包括:
雷电侵入波波形显示;
雷电侵入波频率统计;
雷电侵入波界面显示。
进一步地,所述雷电侵入波波形显示包括:
①建立动态数组存储原始波形数据文件中的点数据,数据以结构体的格式存储点数据的时间信息以及幅值信息;
②当选择查看雷电侵入波数据整体波形时,首先获取原始波形数据文件大小,用原始波形数据文件大小除以结构体的大小得到原始波形数据文件包含的总点数;
③判断原始波形数据文件大小:若文件包含的总点数<点数设定值,则文件默认分配标号为1;否则,采用稀疏算法读原始波形数据文件,每隔100个数据点缓存一个数据点,将缓存区的数据显示在窗口中;
④将总点数除以点数设定值将原始波形数据文件分为多个以点数设定值点为单位的标号;选择标号并获取文件标号下的完整点数据;
⑤当选择标号时,打开相应的原始波形数据文件,直接跳到标号数乘以点数设定值的位置,开始读取,当读取点个数等于点数设定值时,将动态数组存储的数据存入缓冲区并显示;其中点数设定值为动态数组的存储上限。
进一步地,所述雷电侵入波频率统计包括下述步骤:
<1>从指定点开始读点数据,对点数据进行分析;
<2>设定变量获取点原始波形数据文件中的最大值和最小值;
<3>判断连续两点间的斜率并将斜率由正到负点设为特征数据点,将特征数据点的时间信息存储在动态数组中;
<4>判断点数是否大于点数设定值:若大于,则求得动态数组中连续两点间的时间算术平均值,计算雷电侵入波的平均频率和有效值,并进行界面显示;否则返回步骤<3>,
<5>界面显示后返回步骤<1>,重新选择标号。
进一步地,所述步骤<3>中,斜率由正到负的点的幅值均大于其前、后点数据的幅值;
所述步骤<4>中,雷电侵入波的平均频率为时间算术平均值的倒数;雷电侵入波波形的有效值采用离散信号有效值的形式,对特征数据点进行积分并求其算术平均值求得雷电侵入波波形波形有效值,公式如下:
其中:T为统计雷电侵入波波形的周期值;yn和yn+1分别表示基准点和新的基准点;tn和tn+1分别表示基准点的时间点和新的基准点的时间点。
进一步地,所述雷电侵入波界面显示包括:
当选择打开原始波形数据文件时,采用稀疏算法读点数据文件,显示雷电侵入波波形的整体效果;
雷电侵入波波形统计信息显示;
雷电侵入波波形中的局部完整点数据特征显示。
本发明提供的技术方案具有的优异效果是:
本发明雷电侵入波的采样频率为20Mhz,3通道12位AD采集,软件检测的数据格式为预采样一周期,记录两周期约60ms-120ms,文件大小约2M~5M数据。雷电侵入波数据存储格式为“头文件信息结构体+点数据信息结构体”。
1)针对文件数据容量大,处理速度慢的问题,本发明采用了两种方法解决问题,第一种是采用大文件分块的方法,即将数据量较大的文件平均分为若干个数据量较小的文件,当进行波形显示时,不需要缓存整个文件的数据,只需要缓存一部分指定的数据,这样一方面可以快速读取并缓存数据,同时达到快速刷新显示的效果,有效解决了数据更新缓慢,刷新存在延时的特点。
第二种方法则是采用双缓冲区技术,建立两种形式的缓冲区,根据数据量的大小,决定采用特定缓冲区存储方式,具体方法如下:当窗口显示点数大于某一定义值时,则采用点数稀疏算法,每隔100个数据点缓存一个数据点,即整体文件中截取一些点信息进行粗略显示;当窗口显示点数小于某一定义值时,则采用局部完整点数读取的方法,从而达到局部波形完整显示的效果。
(2)由于雷电侵入波数据文件通常很大,在快速统计波形的平均频率、有效值、最大值、最小值等波形特征值时则会存在一些难度,因此需要特殊的方法解决以上问题。在读取波形文件时,通过设定两个参数,通过不断比较记录从而保存文件中的波形最大、最小值;在读点数据的同时,记录是否有特征点,该点均大于前后两点数值,若存储在动态数组中,该特征点则记为波形的峰峰值,当读文件结束后,通过计算峰峰值见的加权平均数从而得出波形的平均周期,求倒数则得到雷电侵入波的平均频率值;对于波形的有效值的计算,则根据求离散信号有效值的求取方法,首先先选择文件中的特征点,以文件中的第一个点作为基准点,依次读数据点,当数据点的幅值与基准点差值大于某一设定值时,则将该数据点作为特征点存储起来,并作为新的基准点继续比较,最终通过对离散特征点数据进行积分,从而求得该波形的有效值。本发明采用的雷电侵入波大容量监测数据快速分析显示方法,可以有效的解决雷电侵入波数据处理过程复杂、显示精度低、系统操作复杂等问题。
附图说明
图1是本发明提供的雷电侵入波快速显示流程图;
图2是本发明提供的雷电侵入波频率统计算法流程图;
图3是本发明提供的雷电侵入波频率统计的波形图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
以下描述和附图充分地示出本发明的具体实施方案,以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的组件和功能是可选的,并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。在本文中,本发明的这些实施方案可以被单独地或总地用术语“发明”来表示,这仅仅是为了方便,并且如果事实上公开了超过一个的发明,不是要自动地限制该应用的范围为任何单个发明或发明构思。
本发明提供一种特高压雷电侵入波监测中大容量数据处理方法,包括:
雷电侵入波波形显示,其流程图如图1所示,包括下述步骤:
①建立一个动态数组用来存储原始波形数据文件中的点数据,数据以结构体的格式存储了点数据的时间信息以及幅值信息。
②当选择查看数据整体波形时,首先获取原始波形数据文件大小,用原始波形数据文件大小除以结构体的大小从而得到原始波形数据文件的总点数;
③读原始波形数据文件采用稀疏算法,每隔100个数据点缓存一个数据点,最后将缓存区的数据显示在窗口中,一方面占用的缓存区小,另一方面可以较为直观的观察整个雷电侵入波形的特征。
④将总点数除以点数设定值则将原始波形数据文件分为多个以点数设定值点为单位的标号,通过标号可以将原始波形数据文件点有效的划分,从而实现大文件分块的效果。
⑤当选择标号时,则可以打开指定的原始波形数据文件,直接跳到标号数乘以点数设定值的位置,开始读取,设置动态数组的存储上限为点数设定值,动态数组文件中存储的数据存入缓冲区并显示,从而达到局部完整显示的目的。通过这种方法,既可以避免重复读文件,同时也占用系统资源较少。
具体实现如下:
建立动态数组m_DataList,建立结构体pData,打开文件,获取文件大小,根据大小分配标号,同时利用稀疏算法读文件,将采样点存入缓存区并显示,通过选择标号从而获取文件标号下的完整点数据,存入动态数组中,进而在窗口中进行显示。
雷电侵入波频率统计,其流程图如图2所示,包括下述步骤:
<1>从指定点开始读点数据,对点数据进行分析
<2>结合以上根据原始波形数据文件标号读点数设定值个点的过程,同时对点数据进行分析判断,设定变量获取点文件中的最大值和最小值。
<3>判断连续两点间的斜率并将斜率由正到负点的时间信息存储在一个动态数组中,斜率由正到负的点的幅值均大于其前、后点数据的幅值。
<4>判断点数是否大于点数设定值:若大于,则求得动态数组中连续两点间的时间算术平均值,计算雷电侵入波的平均频率和有效值,并进行界面显示;否则返回步骤<3>,最终通过求得数组中连续两点间的时间算术平均值,通过求倒数从而求得该雷电侵入波的频率。对于波形的有效值则采用离散信号有效值的求法,通过对特征数据点进行积分并求其算术平均值从而求得波形有效值。
<5>界面显示后返回步骤<1>,重新选择标号。
具体实现过程为:
1)以一周期波形为基本单位,将过零点的点数据作为起始点,记录为t0,并以该点为基准点y0;
2)逐个读点数据,当某点t1的幅值与t0的差值的绝对值|y1-y0|大于设定值时,则记录该点,并将该点作为新的基准点;
3)依次循环直到读完整个周期,得到存储特征点的时间与幅值的动态数组,通过离散信号积分的形式,利用公式则得出波形的有效值,其中T为统计该波形的周期值;yn和yn+1分别表示基准点和新的基准点;tn和tn+1分别表示基准点的时间点和新的基准点的时间点。雷电侵入波频率统计的波形图如图3所示。
雷电侵入波界面显示:
当选择打开文件时,该软件采用稀疏算法读点数据文件,显示波形的整体效果。
当点击“View->output2”时,则会弹出波形统计信息。
当选择文件下的不同标号时,则会显示该波形中的局部完整点数据特征
本发明是一种应用于雷电侵入波数据观测信息处理的数据读取和波形统计及波形显示系统。该系统主要用雷电侵入波波形的观察检测,具有波形记录、显示,波形参数(如通道增益、时间轴增益、波形颜色、波形的频率、最大值、最小值等)设置功能,同时可以通过ZigBee实现与下位机的通讯,传送系统参数信息以及雷电侵入波信息。由于雷电侵入波波形复杂,数据采集量大,因此通过软件将波形数据进行高效的处理并精确的显示将成为该发明的重中之重。通过采用波形处理优化算法,可有效的将雷电侵入波数据转化为横坐标为时间纵坐标为电平幅值的波形,将波形文件分为多个小文件,每个文件中存储30000个点,并通过波形频率统计算法,得出波形的频率、周期、最大值、最小值等信息。其中每个文件的波形可以进行局部缩放功能,便于观察分析。从而实现雷电侵入波的大容量监测数据快速分析及显示功能。主要应用领域:电力、交通。本发明采用的雷电侵入波大容量监测数据快速分析显示系统,可以有效的解决雷电侵入波数据处理过程复杂、显示精度低、系统操作复杂等问题。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。

Claims (4)

1.一种特高压雷电侵入波监测中大容量数据处理方法,其特征在于,所述方法包括:
雷电侵入波波形显示;
雷电侵入波频率统计;
雷电侵入波界面显示;
所述雷电侵入波波形显示包括下述步骤:
①建立动态数组存储原始波形数据文件中的点数据,数据以结构体的格式存储点数据的时间信息以及幅值信息;
②当选择查看雷电侵入波数据整体波形时,首先获取原始波形数据文件大小,用原始波形数据文件大小除以结构体的大小得到原始波形数据文件包含的总点数;
③判断原始波形数据文件大小:若文件包含的总点数<点数设定值,则文件默认分配标号为1;否则,采用稀疏算法读原始波形数据文件,每隔100个数据点缓存一个数据点,将缓存区的数据显示在窗口中;
④将总点数除以点数设定值,将原始波形数据文件设置多个标号,所述标号以点数设定值点为单位;选择标号并获取文件标号下的完整点数据;
⑤当选择标号时,打开相应的原始波形数据文件,直接跳到标号数乘以点数设定值的位置,开始读取,当读取点个数等于点数设定值时,将动态数组存储的数据存入缓冲区并显示;其中点数设定值为动态数组的存储上限。
2.如权利要求1所述的特高压雷电侵入波监测中大容量数据处理方法,其特征在于,所述雷电侵入波频率统计包括:
<1>从指定点开始读点数据,对点数据进行分析;
<2>设定变量获取点原始波形数据文件中的最大值和最小值;
<3>判断连续两点间的斜率并将斜率由正到负点设为特征数据点,将特征数据点的时间信息存储在动态数组中;
<4>判断点数是否大于点数设定值:若大于,则求得动态数组中连续两点间的时间算术平均值,计算雷电侵入波的平均频率和有效值,并进行界面显示;否则返回步骤<3>,
<5>界面显示后返回步骤<1>,重新选择标号。
3.如权利要求2所述的特高压雷电侵入波监测中大容量数据处理方法,其特征在于,所述步骤<3>中,斜率由正到负的点的幅值均大于其前、后点数据的幅值;
所述步骤<4>中,雷电侵入波的平均频率为时间算术平均值的倒数;雷电侵入波波形的有效值采用离散信号有效值的形式,对特征数据点进行积分并求其算术平均值求得雷电侵入波波形波形有效值,公式如下:
其中:T为统计雷电侵入波波形的周期值;yn和yn+1分别表示基准点和新的基准点;tn和tn+1分别表示基准点的时间点和新的基准点的时间点。
4.如权利要求1所述的特高压雷电侵入波监测中大容量数据处理方法,其特征在于,所述雷电侵入波界面显示包括:
当选择打开原始波形数据文件时,采用稀疏算法读点数据文件,显示雷电侵入波波形的整体效果;
雷电侵入波波形统计信息显示;
雷电侵入波波形中的局部完整点数据特征显示。
CN201510505838.0A 2015-08-17 2015-08-17 一种特高压雷电侵入波监测中大容量数据处理方法 Active CN105373578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510505838.0A CN105373578B (zh) 2015-08-17 2015-08-17 一种特高压雷电侵入波监测中大容量数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510505838.0A CN105373578B (zh) 2015-08-17 2015-08-17 一种特高压雷电侵入波监测中大容量数据处理方法

Publications (2)

Publication Number Publication Date
CN105373578A CN105373578A (zh) 2016-03-02
CN105373578B true CN105373578B (zh) 2019-08-16

Family

ID=55375778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510505838.0A Active CN105373578B (zh) 2015-08-17 2015-08-17 一种特高压雷电侵入波监测中大容量数据处理方法

Country Status (1)

Country Link
CN (1) CN105373578B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176011A (zh) * 2011-12-22 2013-06-26 北京普源精电科技有限公司 一种双触发电平的配置方法及示波器
CN103197135A (zh) * 2013-03-29 2013-07-10 国家电网公司 一种暂态过电压监测方法
CN203405496U (zh) * 2013-09-13 2014-01-22 国家电网公司 一种电力系统瞬态波形存储监测系统
CN103927435A (zh) * 2014-04-03 2014-07-16 国家电网公司 基于gis技术的雷电活动专家分析系统
CN104215819A (zh) * 2014-09-25 2014-12-17 国家电网公司 一种用于gis雷电侵入过电压的监测装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330563B2 (en) * 2013-02-12 2016-05-03 Digimarc Corporation Synchronized metrology in power generation and distribution networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176011A (zh) * 2011-12-22 2013-06-26 北京普源精电科技有限公司 一种双触发电平的配置方法及示波器
CN103197135A (zh) * 2013-03-29 2013-07-10 国家电网公司 一种暂态过电压监测方法
CN203405496U (zh) * 2013-09-13 2014-01-22 国家电网公司 一种电力系统瞬态波形存储监测系统
CN103927435A (zh) * 2014-04-03 2014-07-16 国家电网公司 基于gis技术的雷电活动专家分析系统
CN104215819A (zh) * 2014-09-25 2014-12-17 国家电网公司 一种用于gis雷电侵入过电压的监测装置

Also Published As

Publication number Publication date
CN105373578A (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
US10229129B2 (en) Method and apparatus for managing time series database
CN101131401B (zh) 一种数字示波器及其显示方法
Riska et al. An EM-based technique for approximating long-tailed data sets with PH distributions
CN103530029B (zh) 基于人机界面用户行为分析的ems图形动态菜单展示方法
CN104572783A (zh) 网页点击情况的展示方法及装置
CN106683709B (zh) Nor和nand闪存性能测评方法
CN105955709A (zh) 基于机器学习的预取能效优化自适应装置及方法
WO2014205398A1 (en) Energy analysis for differential power analysis resistance
CN105373578B (zh) 一种特高压雷电侵入波监测中大容量数据处理方法
US20180109854A1 (en) Adaptive sampling of smart meter data
CN105517018B (zh) 一种获取位置信息的方法及装置
KR20150003174A (ko) 보존 전압 감소(cvr) 시스템 및 volt/var 최적화 시스템의 성능 메트릭을 추정하기 위한 시스템 및 방법
CN107643434B (zh) 一种基于分段切比雪夫距离的复杂波形触发方法
CN105354803A (zh) 截断直方图均衡实现装置及方法
CN109657017A (zh) 地图中聚合点集的展示方法及装置
Ye et al. Telecomvis: Exploring temporal communities in telecom networks
Mudge Explicit consideration of critical effect sizes and costs of errors can improve decision-making in plant science
US6799128B2 (en) Measurement system for sampling a signal and evaluating data representing the signal
Moss et al. An fpga-based spectral anomaly detection system
US9171387B2 (en) Data visualization system
Hammoudeh et al. An approach to data extraction and visualisation for wireless sensor networks
Chang et al. Sampling-based phase classification and prediction for multi-threaded program execution on multi-core architectures
Rodriguez-Hernandez et al. Analysis about sampling, uncertainties and selection of a reliable probabilistic model of wind speed data used on resource assessment
CN107066421A (zh) 一种示波器及其采集数据上报方法
CN101651583B (zh) 一种监控信息管理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160520

Address after: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Applicant after: China Electric Power Research Institute

Applicant after: China University of Geosciences (Wuhan)

Applicant after: State Grid Corporation of China

Applicant after: STATE GRID HUBEI ELECTRIC POWER COMPANY

Address before: 100192 Beijing city Haidian District Qinghe small Camp Road No. 15

Applicant before: China Electric Power Research Institute

Applicant before: China University of Geosciences (Wuhan)

Applicant before: State Grid Corporation of China

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant