CN104682961B - 一种波浪数据压缩及重建方法 - Google Patents

一种波浪数据压缩及重建方法 Download PDF

Info

Publication number
CN104682961B
CN104682961B CN201510045159.XA CN201510045159A CN104682961B CN 104682961 B CN104682961 B CN 104682961B CN 201510045159 A CN201510045159 A CN 201510045159A CN 104682961 B CN104682961 B CN 104682961B
Authority
CN
China
Prior art keywords
data
filter group
wave
layer
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510045159.XA
Other languages
English (en)
Other versions
CN104682961A (zh
Inventor
夏云峰
黄海龙
王驰
霍晓燕
房红兵
金捷
陈诚
周良平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Original Assignee
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources filed Critical Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority to CN201510045159.XA priority Critical patent/CN104682961B/zh
Publication of CN104682961A publication Critical patent/CN104682961A/zh
Application granted granted Critical
Publication of CN104682961B publication Critical patent/CN104682961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种波浪数据压缩及重建方法,包括:选择bior3.7小波构建多尺度分解滤波器组,并确定小波分解的层次为两层,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,为四通道滤波器;采集64个波浪数据,并对采集的信号在两端进行信号延拓;利用滤波器组对波浪数据进行连续滤波和数据抽取处理,得到四组数据,每组16个点;对第1和第2层的每一层高频系数和低频系数,选择一个阈值进行软阈值量化处理;对量化后的变换系数进行一维编码:将量化后的变换系数按层顺序排列,进行LZW编码;波浪数据的小波重构。波高仪采集的数据经本发明方法处理后,采集的数据既消除了噪声,也压缩了采集的数据所占的空间,提高了无线传输的速率。

Description

一种波浪数据压缩及重建方法
技术领域
本发明涉及大型河工模型试验中的数据处理领域,尤其涉及波浪测试中大数据的快速压缩方法及数据重建方法。
背景技术
在大型河工模型试验中,测量覆盖范围广,测量的点多,在做波高仪测试试验时,每个测量点每秒的采样数据为50点,数据率在800bit左右,采用无线传输时,随着波高仪数量的增加,数据量将会变得很大。假设以60通道的波高仪为例,每秒传输的数据量为48K,考虑编码头和编码尾,实际数据率将超过70Kbps。考虑数据到达无线发射端前的各种数据传输及其到达接受端后的各种数据传输,实际信道的传输速率应在30Kbps。因此如何利用30Kbps的带宽传输多通道的波高数据,是无线化网络波高测试的关键技术。目前一般有两种解决数据传输的方法:
一是降低每台波高的采样速率。如国内许多在售的波高仪产品,如CBY-Ⅱ型波高测量控制系统,是采用先进的电子技术、传感技术和计算机硬、软件技术最新研制成功的计算机多点同步测量系统,系统可实时同步采集处理30点波高,测量精度高,并设计有先进的硬件调零功能和放大倍数调节功能。但是当几台同时工作时,由于总传输速率是不变的,所以每台波高仪的采样速率就得降低。
二是采用多通道无线传输技术。当波高仪数量增多时,数据量也随着增大,而这时要想数据的传输速率不变,且要求有实时性,因此,采用多通道传输来满足传输要求。
但是在大型河工模型的试验中,数据量太大,上述的两种方法相结合仍是无法满足试验过程中大量数据的高速且实时的传输的要求。
在大型河工模型的试验中,因为勘测范围广,测量的点多,每个点实时测量的速率快,所以测量的数据量非常大,采用多通道自适应无线传输技术还是无法满足波高仪的采样速率,无法实现真正意义上的实时监测。所以本发明提出了一种基于小波滤波器组的波浪数据压缩与重建技术,在采用多通道自适应无线传输技术的基础上,再对采集的数据进行压缩数据以减小无线模块需传输的数据量的大小。从而能够是上位机数据的处理速率能够与波高仪的数据采集速率相匹配,实现真正意义上行的实时监测。
发明内容
本发明提出了一种基于小波滤波器组的波浪数据压缩与重建方法,对波高仪采集的数据先是进行小波检测与消除噪声,数据通过小波滤波器组后在进行压缩,压缩后的数据再经无线模块采用多通道自适应无线传输技术传输到上位机,上位机对接收的数据进行重建以实现上位机的实时监测功能。
实现本发明的技术方案是:一种波浪数据压缩及重建方法,包括下列步骤:
(1)波浪数据的小波分解:选择bior3.7小波构建多尺度分解滤波器组,并确定小波分解的层次为2,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,形成四通道滤波器;
(2)采集64个波浪数据,并对采集的信号在两端进行信号延拓;
(3)利用滤波器组对波浪数据进行连续滤波和数据抽取处理,得到d1(k),d2(k),d3(k),d4(k)四组数据,每组16个点;
(4)小波分解后高频和低频系数的阈值量化:对第1和第2层的每一层高频系数和低频系数,选择一个阈值进行软阈值量化处理;
(5)对量化后的变换系数进行一维编码:将量化后的变换系数按层顺序排列,进行LZW编码;
(6)波浪数据的小波重构:接收传输的编码,对编码进行解码,通过bior3.7小波多尺度两层重构滤波器组恢复数据。
作为本发明的进一步改进,所述步骤(3)中的软阈值为:估计噪声方差
对每层中每个子带,按下列软阈值方法修改滤波数据:
其中,n为小波系数的个数。
本发明创造的效果和优点
经大型河工模型试验后,波高仪采集的数据经本发明提出的基于小波滤波器组的波浪数据压缩与重建技术处理后,采集的数据既消除了噪声,也大大的压缩了采集的数据所占的空间,大大的提高了无线传输的速率。上位机计算机在接收到无线传输的数据后重建,重建后的数据与波高仪采集的数据进行比对发现丢失数据或者数据错误,使上位机的监测速率很好的与波高仪的数据采集速率相匹配,实现了上位机的实时监测功能。本发明基于小波滤波器组的波浪数据压缩与重建技术的方法完全能够满足大型河工模型试验中大量数据传输的试验要求,而且比目前已有的其他方法更好的适用在本试验上。
附图说明
图1为本发明实施例1的分解滤波器组;
图2为本发明实施例1的重构滤波器组。
具体实施方式
下面结合附图和实施例说明本发明的具体实施过程。
一种波浪数据压缩及重建方法,包括下列步骤:
(1)利用bior3.7小波设计小波滤波器组,小波滤波器组包括一个低通滤波器组和一个高通滤波器组,低通滤波器组和高通滤波器组均包括分解滤波器组和重构滤波器组两部分。利用这两组滤波器系数,构建图1所示的两级分解滤波器组,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,形成四通道滤波器;
(2)采集64个数据,并对采集的信号在两端进行信号延拓;
(3)利用滤波器组对x(k)进行连续滤波和数据抽取处理,得到d1(k),d2(k),d3(k),d4(k)四组数据,每组16个点;
(4)对第一到第四组的每一组输出数据d1(k),d2(k),d3(k),d4(k),选择一个阈值进行软阈值量化处理,经过软阈值处理后的四组数组用y1(k),y2(k),y3(k),y4(k)表示。
具体的软阈值及数据量化处理过程为:估计噪声方差具体方法为:
对每层中每个子带,按下列软阈值方法修改滤波数据:
n为小波系数的个数。
经过小波滤波器组处理后的数据y1(k),y2(k),y3(k),y4(k),有许多值为零。且根据水波的特点,大部分数据集中在某个通道中。编码时将这64个数据看作一维数据,对消息序列yn(k)=y1(k)y2(k)…yn(k)从左到右进行阅读,并依次进行LZW编码:
①对y1(k)显然是第一次出现,它的前面也没有字符,那么它的编号是1,它的码元为(1,0,y1(k))。
②对y2(k)它可能有两种情况发生,即y2(k)=y1(k)或y2(k)≠y1(k)。对此,有:
1)如果y2(k)=y1(k),那么对y2(k)不作编码,而对y3(k)的编码位点取为2,连接位点则为1,这表示对y3(k)作第二次编码,它与第一次编码的y1(k)相连接。
2)如果y2(k)≠y1(k),那么记y2(k)的编码位点取为2,连接位点则为0,这表示对y2(k)作第二次编码,它的前面没有出现过相同的字符。
③依照上述步骤递推,如果对向量yn'(k)=y1(k)y2(k)…yn'(k),n'<n我们已经得到它的编码:
C'={(i,li,yji(k)),i=1,2,…,m'} (*)
对上式的C'满足条件:对每一个i有且只有一对(li,yji(k)),使li<i≤ji成立。那么C'构成一LZW树。
由树的构造可知,对每个点i,它的枝Li'是唯一的。因此,树C'的全部枝为Li',i=1,2,…,m'确定,而且每个Li'与yn'(k)中的子向量对应。
④如向量yn'(k)的编码C'及相应的树确定,那么我们就可读yn'+1(k),yn'+2(k),…,并对它们继续进行编码,如果有一个i≤m'使成立,而且对任何i≤m'都有
那么:
1)对yn'+1(k),yn'+2(k),…,yn'+m(k)不进行编码。
2)对yn'+m+1(k)作它的编码为(m'+1,i,yn'+m+1(k))。
依此类推,就可完成对yn(k)的编码C',如(*)式所记。
(5)当接收到传输的编码后,先对编码进行解码,在按照图2所示两级重构滤波器组恢复数据。

Claims (2)

1.一种波浪数据压缩及重建方法,其特征是,该方法包括下列步骤:
(1)波浪数据的小波分解:选择bior3.7小波构建多尺度分解滤波器组,并确定小波分解的层次为两层,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,形成四通道滤波器;
(2)采集64个波浪数据,并对采集的信号在两端进行信号延拓;
(3)利用滤波器组对波浪数据进行连续滤波和数据抽取处理,得到d1(k),d2(k),d3(k),d4(k)四组数据,每组16个点;
(4)小波分解后高频和低频系数的阈值量化:对第1和第2层的每一层高频系数和低频系数,选择一个阈值进行软阈值量化处理;
(5)对量化后的变换系数进行一维编码:将量化后的变换系数按层顺序排列,进行LZW编码;
(6)波浪数据的小波重构:接收传输的编码,对编码进行解码,通过bior3.7小波多尺度两层重构滤波器组恢复数据。
2.根据权利要求1所述的波浪数据压缩及重建方法,其特征是,所述步骤(4)中的软阈值为:估计噪声方差
对每层中每个子带,按下列软阈值方法修改滤波数据:
其中,n为小波系数的个数。
CN201510045159.XA 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法 Active CN104682961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510045159.XA CN104682961B (zh) 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510045159.XA CN104682961B (zh) 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法

Publications (2)

Publication Number Publication Date
CN104682961A CN104682961A (zh) 2015-06-03
CN104682961B true CN104682961B (zh) 2018-10-19

Family

ID=53317616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510045159.XA Active CN104682961B (zh) 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法

Country Status (1)

Country Link
CN (1) CN104682961B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106931871B (zh) * 2017-05-09 2023-05-16 天津理工大学 一种大量程电阻型波高传感器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318903A (zh) * 2001-03-13 2001-10-24 北京阜国数字技术有限公司 小波分解滤波器组和重构滤波器组的构造方法
CN101871780A (zh) * 2010-05-28 2010-10-27 哈尔滨工程大学 微惯性器件信号的虚拟野值降噪方法
CN101986139A (zh) * 2010-08-25 2011-03-16 浙江大学 一种基于反射光谱小波变换的植被参数遥感反演方法
CN102426171A (zh) * 2011-08-22 2012-04-25 陕西科技大学 一种基于小波理论的印刷品墨斑测量方法
CN102589551A (zh) * 2012-01-14 2012-07-18 哈尔滨工程大学 一种基于小波变换的船用光纤陀螺信号实时滤波方法
CN103812509A (zh) * 2014-01-20 2014-05-21 北京科技大学 基于离散余弦变换的海洋线型传感器阵列数据压缩方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6686857B2 (en) * 2002-03-14 2004-02-03 Abb Inc. Information dependent data transmission for pilot protective relays

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318903A (zh) * 2001-03-13 2001-10-24 北京阜国数字技术有限公司 小波分解滤波器组和重构滤波器组的构造方法
CN101871780A (zh) * 2010-05-28 2010-10-27 哈尔滨工程大学 微惯性器件信号的虚拟野值降噪方法
CN101986139A (zh) * 2010-08-25 2011-03-16 浙江大学 一种基于反射光谱小波变换的植被参数遥感反演方法
CN102426171A (zh) * 2011-08-22 2012-04-25 陕西科技大学 一种基于小波理论的印刷品墨斑测量方法
CN102589551A (zh) * 2012-01-14 2012-07-18 哈尔滨工程大学 一种基于小波变换的船用光纤陀螺信号实时滤波方法
CN103812509A (zh) * 2014-01-20 2014-05-21 北京科技大学 基于离散余弦变换的海洋线型传感器阵列数据压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于提升小波变换的地震数据压缩技术研究";张艳;《中国优秀硕士学位论文全文数据库基础科学辑》;20141015(第10期);第16,23-25,45-53页 *
"基于提升小波和LZW的机械振动信号数据压缩";王怀光 等;《测控技术》;20130918;第32卷(第9期);第25-26页 *

Also Published As

Publication number Publication date
CN104682961A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
CN1174259C (zh) 传送压缩地震探测数据的方法和系统
CN105181122B (zh) 机械振动信号数据压缩采集方法
CN103327326A (zh) 基于压缩感知和信道自适应的sar图像传输方法
WO2015173568A1 (en) Wireless communication method using a chaotic signal
CN110320555A (zh) 一种地震数据重建方法
EP3724448A1 (en) System and method to automate data acquisition in a wireless telemetry system
CN104682961B (zh) 一种波浪数据压缩及重建方法
CN103505197A (zh) 神经信号检测器
CN107437976B (zh) 一种数据处理方法及设备
CN107942377A (zh) 一种地震数据压缩与重构方法
CN107327292B (zh) 一种随钻测井信号的编码方法
CN108055042B (zh) 基于斜率分布的离散波形数据压缩方法
CN117349657A (zh) 一种用于水利工程环境监测的分布式数据采集模块及监测系统
Nascimento et al. Improved two-dimensional dynamic S-EMG Signal compression with robust automatic segmentation
CN104104390A (zh) 一种信号压缩方法和重构方法及相关装置和系统
CN111368461A (zh) 基于svd消噪处理的改进灰色模型隧道沉降监测方法
CN114885036B (zh) 一种探地雷达数据的实时有损压缩方法及系统
CN104135730B (zh) 一种基于压缩感知的无线网络的物理层入侵检测方法
US11394415B2 (en) System and method for achieving a clean separation of signal and noise
CN107333289B (zh) 煤矿救援机器人环境信息自衍生小波数据压缩及重构方法
CN105846956B (zh) 基于滑窗过滤的分组码码重分析识别方法
CN102890268B (zh) 一种雷达信号无损压缩的方法
CN110644977B (zh) 一种测试用井下小信号接收与发送的控制方法
CN110381076A (zh) 一种单波段矩阵型dem数据渐进精化式传输方法及系统
CN117665788B (zh) 一种基于微波测量数据的噪声处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant