CN112751567B - 电力系统暂态录波交互数据的压缩方法 - Google Patents
电力系统暂态录波交互数据的压缩方法 Download PDFInfo
- Publication number
- CN112751567B CN112751567B CN201911052801.1A CN201911052801A CN112751567B CN 112751567 B CN112751567 B CN 112751567B CN 201911052801 A CN201911052801 A CN 201911052801A CN 112751567 B CN112751567 B CN 112751567B
- Authority
- CN
- China
- Prior art keywords
- data
- file
- group
- bit width
- bits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3062—Compressive sampling or sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
- H03M7/707—Structured documents, e.g. XML
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Abstract
本发明公开了一种电力系统暂态录波交互数据的压缩方法,所述方法包括:对Comtrade标准文件中的配置文件进行扩展,以增加紧凑数据文件格式;从而使得Comtrade标准文件中的数据文件可以使用所述紧凑数据文件格式进行表示;所述紧凑数据文件格式包括数据头和数据体;所述文件体包括Comtrade标准文件所规定的多个通道的暂态录波数据,所述暂态录波数据是原始采样点录波数据经过二阶差分数据压缩处理后存储于数据体的。
Description
技术领域
本发明涉及电力系统监测技术领域,尤其涉及电力系统暂态录波交互数据的压缩方法。
背景技术
为提高配电网的可靠性,现有技术中通常在电缆线路上应用电缆远传型故障指示器,在架空线路上应用柱上断路器、架空远传故障指示器等,分别实现电缆线路和架空线路的运行监测,包括接地故障的判断和定位。特别是针对配电网小电流接地系统的单相接地故障判断和定位,通常采用配电主站收集、分析现场录波文件的方式实现,其中录波文件中包含故障发生过程中电力系统的暂态数据。随着对配电网运行监测的要求越来越高,上述电缆远传型故障指示器、架空暂态录波型故障指示器等配电自动化终端的采样能力越来越强,采样频率越来越高,因此录波文件中包含的数据也越来越多。
录波文件需遵循特定的文件格式,通常为《GBT 22386-2008电力系统暂态数据交换通用格式》,即Comtrade格式。随着采样频率的提高,录波文件的大小成倍增加,例如当配电自动化终端采样频率由4kHz(每周波80个采样点)提升到12.8kHz(每周波256个采样点)时,单个录波文件增大3倍以上。这造成通过网络传输录波文件时传输时间成倍增加,可能导致传输超时,造成故障区间误报或相当于配电自动化终端功能失效。由此可见,现有技术中急需一种能够对电力系统暂态交互数据进行有效压缩的方法,从而在保证配电网故障录波信息能够完整上传的前提下,大幅度降低录波文件的大小。
发明内容
现有技术中,录波文件采用的文件格式遵循《GBT 22386-2008电力系统暂态数据交换通用格式》定义的Comtrade 1999标准格式,并规定的Comtrade标准文件包括:HDR头文件、CFG配置文件、DAT数据文件和INF信息文件。其中,CFG配置文件采用ASCII格式,DAT数据文件采用ASCII文本数据文件格式或BINARY二进制数据文件格式。本发明是通过扩展Comtrade标准,引入COMPACT紧凑数据文件格式,应用二阶差分压缩算法对DAT数据文件进行压缩,将DAT数据文件大小压缩至BINARY格式的六分之一左右。
依据Comtrade 1999标准格式,本发明中对CFG配置文件进行扩展,规定其中的ft域取值为COMPACT时,数据文件为COMPACT紧凑数据文件格式。
本发明中,所述COMPACT紧凑数据文件格式由数据头和数据体两部分组成,数据头中包含了对数据体的描述,数据体中包含录波数据,所述数据头的结构如下表2所示。
表1
本发明中,所述数据体中数据通道1至通道n顺序排列,所述n由CFG配置文件中的通道标识命名规则所决定。每个数据通道的数据格式包括如下表3中的项目。
表2
为了解决上述技术问题,本发明提供了一种电力系统暂态录波交互数据的压缩方法,所述方法包括:对Comtrade标准文件中的配置文件进行扩展,以增加紧凑数据文件格式;从而使得Comtrade标准文件中的数据文件可以使用所述紧凑数据文件格式进行表示;所述紧凑数据文件格式包括数据头和数据体;所述数据头包括对文件版本、定位锁定标记及触发原因的定义;所述文件体包括Comtrade标准文件所规定的多个通道的暂态录波数据,所述暂态录波数据是原始采样点录波数据经过二阶差分数据压缩处理后存储于数据体的,所述二阶差分数据压缩处理的过程包括:
步骤100,提取一个周波内的全部采样点的原始数据;
步骤101,根据原始数据计算二阶差分数据;
步骤102,将二阶差分数据分为若干组,并确定每组数据的位宽标记;
步骤103,构建数据帧,将二阶差分数据存入数据帧;
步骤104,将各个数据帧对应的位宽标记及原始数据中初始的两位采样点的数据装入数据帧;
步骤105,将所有通道内的全部周波的数据帧装入数据体内,完成紧凑数据文件。
在一个实施例中,所述确定每组数据的位宽标记的过程是根据该组数据的数值范围来确定,当该组数据均属于区间[-8,7],那么该组的位宽为4位;若该组数据均属于区间[-32,31],那么该组的位宽为6位;若该组数据均属于区间[-128,127],那么该组的位宽为8位;若该组数据均属于区间[-2048,2047],那么该组的位宽为12位。
在一个实施例中,所述数据体中的每个数据通道数据还包含采样点数据位宽、压缩类型标记、数据帧的长度等信息。
在一个实施例中,二阶差分数据Di与原始录波数据Si之间的关系满足于Si=(Si-1+Si-1-Si-2+Di)&0xFFF,同时二阶差分数据Di为2的补码的有符号数。
在一个实施例中,所述对Comtrade标准文件中的配置文件进行扩展是指在配置文件的FT阈中增加紧凑数据文件格式标记。
与现有技术相比,本发明的发明点在于如下几个方面:
1.本发明对Comtrade标准文件中的数据文件的表述格式进行了扩展,使得Comtrade标准文件得以变小。
2.本发明中使用了二阶差分数据压缩对原始采样点录波数据进行处理,极大的降低了原始采样点录波数据所占用的位宽,从而降低了数据文件的大小。
本发明的目的和其它优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例共同用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据本发明一实施例的方法的流程图;
图2是根据本发明一实施例的帧顺序结构示意图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合附图对本发明作进一步地详细说明。
需要说明的是本实施例中以16个周波,每周波256个采样点,每个采样点位宽为12位的原始录波数据为基础说明本发明如何实施数据压缩方法。本实施例的数据压缩方法以周波为单位进行,周波间无相互依赖关系。数据压缩方法会根据每周波的数据特点选择合适的压缩位宽,如4位、6位、8位或12位,不同的压缩位宽对应的压缩率是不一样的,因此每个周波压缩后的数据长度是不固定的。每周波压缩数据前有2字节表示此周波压缩数据的长度。
图1是根据本发明一实施例的方法的流程图。下面结合图1对本方法进行说明。
步骤100,针对某一数据通道,提取每周波256个采样点的原始数据,记为数据S0、S1、……、S255。其中,S0至S255均为12位的位宽。
步骤101,计算数据S0、S1、……、S255的一阶差分数据,记为Y0、Y1、……、Yi、……Y254,其中Yi=Si+1-Si,i=0,1,2,……,255。并根据一阶差分数据进一步计算二阶差分数据,记为D0、D1、……、Di、……D255,其中Di=Yi+1-Yi,i=0,1,2,……,255。数据Di与Si之间的关系满足于Si=(Si-1+Si-1-Si-2+Di)&0xFFF,同时Di为2的补码的有符号数。
步骤102,将D0、D1、……、Di、……D255平均分为8组,记为B0、B1、……、B7组,其中B0包括二阶差分数据D0、D1、……、D31;B1包括二阶差分数据D32、D33、……、D63;并以此类推。需要说明的是,本实施例中将原始数据分为8组,但发明的数据压缩方法并不仅限于将原始数据分为8组,分组数量是可以根据采样点的数量进行变化的。进一步的,根据每组数据中的数值范围确定该组数据的位宽,每组的位宽由H0、H1、……、H7表示,例如:
当该组数据均属于区间[-8,7],那么该组的位宽为4位,标记Hi为0;
当该组数据均属于区间[-32,31],那么该组的位宽为6位,标记Hi为1;
当该组数据均属于区间[-128,127],那么该组的位宽为8位,标记Hi为2;
当该组数据均属于区间[-2048,2047],那么该组的位宽为12位,标记Hi为3。
步骤103,构建数据存储队列,采用小端模式,同时根据位宽H0、H1、……、H7将数据组B0、B1、……、B7装入数据存储队列。本发明中将该数据存储队列定义为数据帧。
步骤104,将位宽H0、H1、……、H7及S0、S1装入数据帧。完成的数据帧如图2所示。
步骤105,将全部通道的16个周波的每一数据帧装入数据体。所形成的数据存储结构如下表4所示。
表3
本实施例中,COMPACT紧凑数据文件的解压方法具体为:
首先,从数据体部分中的对应通道及周波位置提取数据帧中的H0、H1、……、H7以及S0、S1。根据对应位宽标记Hi确定数据组B0、B1、……、B7的相应位宽,即:
若标记Hi为0,那么该组的位宽为4位;
若标记Hi为1,那么该组的位宽为6位;
若标记Hi为2,那么该组的位宽为8位;
若标记Hi为3,那么该组的位宽为12位;
随后,依据每组相应的位宽从数据组B0、B1、……、B7中提取二阶差分数据D0、D1、……、Di、……D255。所述Di为2的补码的有符号数。
最后根据数据Di与Si之间的关系,即Si=(Si-1+Si-1-Si-2+Di)&0xFFF计算获得256个采样点的Si数值。
本实施例的应用效果如下:
A.未采用本实施例的压缩算法时,采样率为12.8kHz(即采样点为256个)的录波文件,对典型的6通道数据文件,每个周波的数据总长度为:(4字节+4字节+2字节×6)×256=5120字节
B.采用上述高效压缩算法,最佳压缩率情况下,同样的录波文件,每个通道每周波的数据长度为1056比特(即132字节,不含2字节长度域),6个通道每周波的数据总长度为:
(2字节+132字节)×6=804字节
本实施例中的压缩率是指压缩前文件大小与压缩后文件大小之比,即本实施例的文件压缩率为:(804字节÷5120字节)×100%=15.7%
即压缩后的文件不到压缩前的六分之一,可显著节约存储空间,提高传输效率。
本发明中,在对二阶差分数据进行位宽标记时,不局限于使用4位、6位、8位或12位,其可以根据采样点原始数据的位宽进行调整。例如,当采样点原始数据位宽为14位时,二阶差分数据的位宽标记使用4位、6位、8位、12位或14位;当采样点原始数据位宽为16位时,二阶差分数据的位宽标记使用4位、6位、8位、12位、14位或16位。
综上所述,本实施例的数据压缩算法,在电力系统的暂态录波数据交互中具有实际的指导意义。
以上所述,仅为本发明的具体实施案例,本发明的保护范围并不局限于此,任何熟悉本技术的技术人员在本发明所述的技术规范内,对本发明的修改或替换,都应在本发明的保护范围之内。
Claims (5)
1.一种电力系统暂态录波交互数据的压缩方法,其特征在于,所述方法包括:对Comtrade标准文件中的配置文件进行扩展,以增加紧凑数据文件格式;从而使得Comtrade标准文件中的数据文件使用所述紧凑数据文件格式进行表示;所述紧凑数据文件格式包括数据头和数据体;所述数据头包括对文件版本的定义;所述数据体包括Comtrade标准文件所规定的多个通道的暂态录波数据,所述暂态录波数据是原始采样点录波数据经过二阶差分数据压缩处理后存储于数据体的,所述二阶差分数据压缩处理的过程包括:
步骤100,提取一个周波内的全部采样点的原始数据;
步骤101,根据原始数据计算二阶差分数据;
步骤102,将二阶差分数据分为若干组,并确定每组数据的位宽标记;
步骤103,构建数据帧,将二阶差分数据存入数据帧;
步骤104,将各个数据帧对应的位宽标记及原始数据中初始的两位采样点的数据装入数据帧;
步骤105,将所有通道内的全部周波的数据帧装入数据体内,完成紧凑数据文件。
2.根据权利要求1所述的电力系统暂态录波交互数据的压缩方法,其特征在于,所述确定每组数据的位宽标记的过程是根据该组数据的数值范围来确定,当该组数据均属于区间[-8,7],那么该组的位宽为4位;若该组数据均属于区间[-32,31],那么该组的位宽为6位;若该组数据均属于区间[-128,127],那么该组的位宽为8位;若该组数据均属于区间[-2048,2047],那么该组的位宽为12位。
3.根据权利要求1所述的电力系统暂态录波交互数据的压缩方法,其特征在于,所述数据体中的每个数据通道数据还包含采样点数据位宽、压缩类型标记、数据帧的长度等信息。
4.根据权利要求1所述的电力系统暂态录波交互数据的压缩方法,其特征在于,二阶差分数据Di与原始录波数据Si之间的关系满足于Si=(Si-1+Si-1-Si-2+Di)&0xFFF,同时二阶差分数据Di为2的补码的有符号数。
5.根据权利要求1所述的电力系统暂态录波交互数据的压缩方法,其特征在于,所述对Comtrade标准文件中的配置文件进行扩展是指在配置文件的ft域中增加紧凑数据文件格式标记。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911052801.1A CN112751567B (zh) | 2019-10-31 | 2019-10-31 | 电力系统暂态录波交互数据的压缩方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911052801.1A CN112751567B (zh) | 2019-10-31 | 2019-10-31 | 电力系统暂态录波交互数据的压缩方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112751567A CN112751567A (zh) | 2021-05-04 |
CN112751567B true CN112751567B (zh) | 2023-07-25 |
Family
ID=75644649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911052801.1A Active CN112751567B (zh) | 2019-10-31 | 2019-10-31 | 电力系统暂态录波交互数据的压缩方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112751567B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114184890A (zh) * | 2021-12-01 | 2022-03-15 | 国网北京市电力公司 | 一种多间隔录波数据传输方法、系统、装置及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101183132A (zh) * | 2007-09-21 | 2008-05-21 | 江苏金智科技股份有限公司 | 支持电力系统暂态数据交换通用格式录波方法 |
CN103941116A (zh) * | 2014-03-12 | 2014-07-23 | 珠海创能科世摩电气科技有限公司 | 故障录波指示器的数据压缩方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104378118B (zh) * | 2014-10-29 | 2017-08-11 | 中国科学院地质与地球物理研究所 | 高效自适应地震数据流无损压缩及解压缩方法 |
-
2019
- 2019-10-31 CN CN201911052801.1A patent/CN112751567B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101183132A (zh) * | 2007-09-21 | 2008-05-21 | 江苏金智科技股份有限公司 | 支持电力系统暂态数据交换通用格式录波方法 |
CN103941116A (zh) * | 2014-03-12 | 2014-07-23 | 珠海创能科世摩电气科技有限公司 | 故障录波指示器的数据压缩方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112751567A (zh) | 2021-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102520227B (zh) | 一种基于扰动指示器的故障录波数据压缩方法 | |
CN102118293B (zh) | 一种通讯报文压缩存储方法 | |
CN103534968B (zh) | 一种以太网物理层的编码、解码方法和装置 | |
CN112751567B (zh) | 电力系统暂态录波交互数据的压缩方法 | |
CN105868194A (zh) | 文本数据压缩、解压方法及装置 | |
CN113596473B (zh) | 视频压缩方法及装置 | |
CN101299611A (zh) | 一种基于集合游程的数据压缩方法 | |
CN110995753A (zh) | 用电信息采集系统中远程通信报文的组合压缩方法 | |
CN110222011B (zh) | 一种人体运动数据文件压缩方法 | |
CN108445321A (zh) | 一种继电保护故障智能录波方法 | |
CN117235557B (zh) | 基于大数据分析的电气设备故障快速诊断方法 | |
CN110213297B (zh) | 一种数据解析方法、装置及计算机可读存储介质 | |
CN116665710A (zh) | 气体绝缘开关设备的故障识别方法、装置和计算机设备 | |
CN111131249B (zh) | 数据的处理方法及装置 | |
CN113556543B (zh) | 一种图像压缩方法、装置、电子设备及存储介质 | |
CN112800183B (zh) | 内容名称数据处理方法及终端设备 | |
CN105072444A (zh) | 一种不同量化参数下的hevc视频二次压缩检测方法 | |
CN115913248A (zh) | 一种直播软件开发数据智能管理系统 | |
CN114184890A (zh) | 一种多间隔录波数据传输方法、系统、装置及存储介质 | |
CN104219102A (zh) | 一种网络数据压缩统计的方法、装置和系统 | |
CN104113394B (zh) | 通信调制信号的压缩及解压方法 | |
CN109194667B (zh) | 基于频域检测的实现iq数据信号数据压缩与传输功能的装置 | |
CN112436883A (zh) | 北斗通讯传输电力数据的方法、装置、设备及存储介质 | |
CN112181869A (zh) | 信息存储方法、装置、服务器及介质 | |
CN112072783A (zh) | 秒级负荷数据在端侧和边缘侧设备间传输的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |