CN104682961A - 一种波浪数据压缩及重建方法 - Google Patents

一种波浪数据压缩及重建方法 Download PDF

Info

Publication number
CN104682961A
CN104682961A CN201510045159.XA CN201510045159A CN104682961A CN 104682961 A CN104682961 A CN 104682961A CN 201510045159 A CN201510045159 A CN 201510045159A CN 104682961 A CN104682961 A CN 104682961A
Authority
CN
China
Prior art keywords
data
layer
wave
wave data
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510045159.XA
Other languages
English (en)
Other versions
CN104682961B (zh
Inventor
夏云峰
黄海龙
王驰
霍晓燕
房红兵
金捷
陈诚
周良平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Original Assignee
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources filed Critical Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority to CN201510045159.XA priority Critical patent/CN104682961B/zh
Publication of CN104682961A publication Critical patent/CN104682961A/zh
Application granted granted Critical
Publication of CN104682961B publication Critical patent/CN104682961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种波浪数据压缩及重建方法,包括:选择bior3.7小波构建多尺度分解滤波器组,并确定小波分解的层次为两层,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,为四通道滤波器;采集64个波浪数据,并对采集的信号在两端进行信号延拓;利用滤波器组对波浪数据进行连续滤波和数据抽取处理,得到四组数据,每组16个点;对第1和第2层的每一层高频系数和低频系数,选择一个阈值进行软阈值量化处理;对量化后的变换系数进行一维编码:将量化后的变换系数按层顺序排列,进行LWZ编码;波浪数据的小波重构。波高仪采集的数据经本发明方法处理后,采集的数据既消除了噪声,也压缩了采集的数据所占的空间,提高了无线传输的速率。

Description

一种波浪数据压缩及重建方法
技术领域
本发明涉及大型河工模型试验中的数据处理领域,尤其涉及波浪测试中大数据的快速压缩方法及数据重建方法。
背景技术
在大型河工模型试验中,测量覆盖范围广,测量的点多,在做波高仪测试试验时,每个测量点每秒的采样数据为50点,数据率在800bit左右,采用无线传输时,随着波高仪数量的增加,数据量将会变得很大。假设以60通道的波高仪为例,每秒传输的数据量为48K,考虑编码头和编码尾,实际数据率将超过70Kbps。考虑数据到达无线发射端前的各种数据传输及其到达接受端后的各种数据传输,实际信道的传输速率应在30Kbps。因此如何利用30Kbps的带宽传输多通道的波高数据,是无线化网络波高测试的关键技术。目前一般有两种解决数据传输的方法:
一是降低每台波高的采样速率。如国内许多在售的波高仪产品,如CBY-Ⅱ型波高测量控制系统,是采用先进的电子技术、传感技术和计算机硬、软件技术最新研制成功的计算机多点同步测量系统,系统可实时同步采集处理30点波高,测量精度高,并设计有先进的硬件调零功能和放大倍数调节功能。但是当几台同时工作时,由于总传输速率是不变的,所以每台波高仪的采样速率就得降低。
二是采用多通道无线传输技术。当波高仪数量增多时,数据量也随着增大,而这时要想数据的传输速率不变,且要求有实时性,因此,采用多通道传输来满足传输要求。
但是在大型河工模型的试验中,数据量太大,上述的两种方法相结合仍是无法满足试验过程中大量数据的高速且实时的传输的要求。
在大型河工模型的试验中,因为勘测范围广,测量的点多,每个点实时测量的速率快,所以测量的数据量非常大,采用多通道自适应无线传输技术还是无法满足波高仪的采样速率,无法实现真正意义上的实时监测。所以本发明提出了一种基于小波滤波器组的波浪数据压缩与重建技术,在采用多通道自适应无线传输技术的基础上,再对采集的数据进行压缩数据以减小无线模块需传输的数据量的大小。从而能够是上位机数据的处理速率能够与波高仪的数据采集速率相匹配,实现真正意义上行的实时监测。
发明内容
本发明提出了一种基于小波滤波器组的波浪数据压缩与重建方法,对波高仪采集的数据先是进行小波检测与消除噪声,数据通过小波滤波器组后在进行压缩,压缩后的数据再经无线模块采用多通道自适应无线传输技术传输到上位机,上位机对接收的数据进行重建以实现上位机的实时监测功能。
实现本发明的技术方案是:一种波浪数据压缩及重建方法,包括下列步骤:
(1)波浪数据的小波分解:选择bior3.7小波构建多尺度分解滤波器组,并确定小波分解的层次为2,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,形成四通道滤波器;(2)采集64个波浪数据,并对采集的信号在两端进行信号延拓;
(3)利用滤波器组对波浪数据进行连续滤波和数据抽取处理,得到d1(k),d2(k),d3(k),d4(k)四组数据,每组16个点;
(4)小波分解后高频和低频系数的阈值量化:对第1和第2层的每一层高频系数和低频系数,选择一个阈值进行软阈值量化处理;
(5)对量化后的变换系数进行一维编码:将量化后的变换系数按层顺序排列,进行LWZ编码;
(6)波浪数据的小波重构:接收传输的编码,对编码进行解码,通过bior3.7小波多尺度两层重构滤波器组恢复数据。
作为本发明的进一步改进,所述步骤(3)中的软阈值为:估计噪声方差
σ n 2 = median ( | d ( i ) | / 0.6745 , σ n 2 = median ( | d ( i ) | / 0.6745 ;
对每层中每个子带,按下列软阈值方法修改滤波数据:
y ( i ) = sgn ( d ( i ) ( | d ( i ) | - σ n ) | d ( i ) | > σ n 0 | d ( i ) | ≤ σ n
其中,n为小波系数的个数。
本发明创造的效果和优点
经大型河工模型试验后,波高仪采集的数据经本发明提出的基于小波滤波器组的波浪数据压缩与重建技术处理后,采集的数据既消除了噪声,也大大的压缩了采集的数据所占的空间,大大的提高了无线传输的速率。上位机计算机在接收到无线传输的数据后重建,重建后的数据与波高仪采集的数据进行比对发现丢失数据或者数据错误,使上位机的监测速率很好的与波高仪的数据采集速率相匹配,实现了上位机的实时监测功能。本发明基于小波滤波器组的波浪数据压缩与重建技术的方法完全能够满足大型河工模型试验中大量数据传输的试验要求,而且比目前已有的其他方法更好的适用在本试验上。
附图说明
图1为本发明实施例1的分解滤波器组;
图2为本发明实施例1的重构滤波器组。
具体实施方式
下面结合附图和实施例说明本发明的具体实施过程。
一种波浪数据压缩及重建方法,包括下列步骤:
(1)利用bior3.7小波设计小波滤波器组,小波滤波器组包括一个低通滤波器组和一个高通滤波器组,低通滤波器组和高通滤波器组均包括分解滤波器组和重构滤波器组两部分。利用这两组滤波器系数,构建图1所示的两级分解滤波器组,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,形成四通道滤波器;
(2)采集64个数据,并对采集的信号在两端进行信号延拓;
(3)利用滤波器组对x(k)进行连续滤波和数据抽取处理,得到d1(k),d2(k),d3(k),d4(k)四组数据,每组16个点;
(4)对第一到第四组的每一组输出数据d1(k),d2(k),d3(k),d4(k),选择一个阈值进行软阈值量化处理,经过软阈值处理后的四组数组用y1(k),y2(k),y3(k),y4(k)表示。
具体的软阈值及数据量化处理过程为:估计噪声方差具体方法为:
σ n 2 = median ( | d ( i ) | / 0.6745
对每层中每个子带,按下列软阈值方法修改滤波数据:
y ( i ) = sgn ( d ( i ) ( | d ( i ) | - σ n ) | d ( i ) | > σ n 0 | d ( i ) | ≤ σ n
n为小波系数的个数。
经过小波滤波器组处理后的数据y1(k),y2(k),y3(k),y4(k),有许多值为零。且根据水波的特点,大部分数据集中在某个通道中。编码时将这64个数据看作一维数据,对消息序列yn(k)=y1(k)y2(k)…yn(k)从左到右进行阅读,并依次进行LZW编码:
①对y1(k)显然是第一次出现,它的前面也没有字符,那么它的编号是1,它的码元为(1,0,y1(k))。
②对y2(k)它可能有两种情况发生,即y2(k)=y1(k)或y2(k)≠y1(k)。对此,有:
1)如果y2(k)=y1(k),那么对y2(k)不作编码,而对y3(k)的编码位点取为2,连接位点则为1,这表示对y3(k)作第二次编码,它与第一次编码的y1(k)相连接。
2)如果y2(k)≠y1(k),那么记y2(k)的编码位点取为2,连接位点则为0,这表示对y2(k)作第二次编码,它的前面没有出现过相同的字符。
③依照上述步骤递推,如果对向量yn'(k)=y1(k)y2(k)…yn'(k),n'<n我们已经得到它的编码:
C'={(i,li,yji(k)),i=1,2,…,m'}   (*)
对上式的C'满足条件:对每一个i有且只有一对(li,yji(k)),使li<i≤ji成立。那么C'构成一LZW树。
由树的构造可知,对每个点i,它的枝Li'是唯一的。因此,树C'的全部枝为Li',i=1,2,…,m'确定,而且每个Li'与yn'(k)中的子向量对应。
④如向量yn'(k)的编码C'及相应的树确定,那么我们就可读yn'+1(k),yn'+2(k),…,并对它们继续进行编码,如果有一个i≤m'使成立,而且对任何i≤m'都有
( y n &prime; + 1 ( k ) , y n &prime; + 2 ( k ) , . . . , y n &prime; + m ( k ) , y n &prime; + m + 1 ( k ) ) &NotEqual; y &PartialD; &prime; i ( k )
那么:
1)对yn'+1(k),yn'+2(k),…,yn'+m(k)不进行编码。
2)对yn'+m+1(k)作它的编码为(m'+1,i,yn'+m+1(k))。
依此类推,就可完成对yn(k)的编码C',如(*)式所记。
(5)当接收到传输的编码后,先对编码进行解码,在按照图2所示两级重构滤波器组恢复数据。

Claims (2)

1.一种波浪数据压缩及重建方法,其特征是,该方法包括下列步骤:
(1)波浪数据的小波分解:选择bior3.7小波构建多尺度分解滤波器组,并确定小波分解的层次为两层,每级滤波器组中包括一个低通滤波器组和一个高通滤波器组,形成四通道滤波器;
(2)采集64个波浪数据,并对采集的信号在两端进行信号延拓;
(3)利用滤波器组对波浪数据进行连续滤波和数据抽取处理,得到d1(k),d2(k),d3(k),d4(k)四组数据,每组16个点;
(4)小波分解后高频和低频系数的阈值量化:对第1和第2层的每一层高频系数和低频系数,选择一个阈值进行软阈值量化处理;
(5)对量化后的变换系数进行一维编码:将量化后的变换系数按层顺序排列,进行LWZ编码;
(6)波浪数据的小波重构:接收传输的编码,对编码进行解码,通过bior3.7小波多尺度两层重构滤波器组恢复数据。
2.根据权利要求1所述的波浪数据压缩及重建方法,其特征是,所述步骤(4)中的软阈值为:估计噪声方差 &sigma; n 2 = median ( | d ( i ) | / 0.6745 , &sigma; n 2 = median ( | d ( i ) | / 0.6745 ;
对每层中每个子带,按下列软阈值方法修改滤波数据:
y ( i ) = sgn ( d ( i ) ( | d ( i ) | - &sigma; n ) | d ( i ) | > &sigma; n 0 | d ( i ) | &le; &sigma;
其中,n为小波系数的个数。
CN201510045159.XA 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法 Active CN104682961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510045159.XA CN104682961B (zh) 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510045159.XA CN104682961B (zh) 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法

Publications (2)

Publication Number Publication Date
CN104682961A true CN104682961A (zh) 2015-06-03
CN104682961B CN104682961B (zh) 2018-10-19

Family

ID=53317616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510045159.XA Active CN104682961B (zh) 2015-01-28 2015-01-28 一种波浪数据压缩及重建方法

Country Status (1)

Country Link
CN (1) CN104682961B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106931871A (zh) * 2017-05-09 2017-07-07 天津理工大学 一种大量程电阻型波高传感器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318903A (zh) * 2001-03-13 2001-10-24 北京阜国数字技术有限公司 小波分解滤波器组和重构滤波器组的构造方法
US20030174074A1 (en) * 2002-03-14 2003-09-18 Abb Inc. Information dependent data transmission for pilot protective relays
CN101871780A (zh) * 2010-05-28 2010-10-27 哈尔滨工程大学 微惯性器件信号的虚拟野值降噪方法
CN101986139A (zh) * 2010-08-25 2011-03-16 浙江大学 一种基于反射光谱小波变换的植被参数遥感反演方法
CN102426171A (zh) * 2011-08-22 2012-04-25 陕西科技大学 一种基于小波理论的印刷品墨斑测量方法
CN102589551A (zh) * 2012-01-14 2012-07-18 哈尔滨工程大学 一种基于小波变换的船用光纤陀螺信号实时滤波方法
CN103812509A (zh) * 2014-01-20 2014-05-21 北京科技大学 基于离散余弦变换的海洋线型传感器阵列数据压缩方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1318903A (zh) * 2001-03-13 2001-10-24 北京阜国数字技术有限公司 小波分解滤波器组和重构滤波器组的构造方法
US20030174074A1 (en) * 2002-03-14 2003-09-18 Abb Inc. Information dependent data transmission for pilot protective relays
CN101871780A (zh) * 2010-05-28 2010-10-27 哈尔滨工程大学 微惯性器件信号的虚拟野值降噪方法
CN101986139A (zh) * 2010-08-25 2011-03-16 浙江大学 一种基于反射光谱小波变换的植被参数遥感反演方法
CN102426171A (zh) * 2011-08-22 2012-04-25 陕西科技大学 一种基于小波理论的印刷品墨斑测量方法
CN102589551A (zh) * 2012-01-14 2012-07-18 哈尔滨工程大学 一种基于小波变换的船用光纤陀螺信号实时滤波方法
CN103812509A (zh) * 2014-01-20 2014-05-21 北京科技大学 基于离散余弦变换的海洋线型传感器阵列数据压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张艳: ""基于提升小波变换的地震数据压缩技术研究"", 《中国优秀硕士学位论文全文数据库基础科学辑》 *
王怀光 等: ""基于提升小波和LZW的机械振动信号数据压缩"", 《测控技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106931871A (zh) * 2017-05-09 2017-07-07 天津理工大学 一种大量程电阻型波高传感器
CN106931871B (zh) * 2017-05-09 2023-05-16 天津理工大学 一种大量程电阻型波高传感器

Also Published As

Publication number Publication date
CN104682961B (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN105181122B (zh) 机械振动信号数据压缩采集方法
CN102148987B (zh) 基于先验模型和l0范数的压缩感知图像重构方法
JPH10282246A (ja) 圧縮された地震データ送信方法
CN103871058B (zh) 基于压缩采样矩阵分解的红外小目标检测方法
RU2014118745A (ru) Устройство и способ для передачи и приема данных в системе связи/широковещания
CN103327326A (zh) 基于压缩感知和信道自适应的sar图像传输方法
CN107045142A (zh) 基于压缩感知的小波域地震数据实时压缩与高精度重构方法
CN103742131A (zh) 随钻声波井下信号采集与处理系统的时差实时提取方法
CN102186069A (zh) 一种保持量测性能的遥感影像数据压缩方法
CN116185971B (zh) 一种电子压力称重数据的智能处理系统
CN105788261B (zh) 一种基于pca和lzw编码的道路交通空间数据压缩方法
CN112819082A (zh) 一种基于深度学习的卫星频谱感知数据重构方法
CN104270829A (zh) 一种基于压缩感知的井下数据采集及处理方法
CN104682961A (zh) 一种波浪数据压缩及重建方法
CN112926555B (zh) 一种基于自编码器数据增强的小样本无源行为感知方法
CN101393743A (zh) 一种可配置参数的立体声编码装置及其编码方法
CN106656201B (zh) 一种基于采样数据幅频特性的压缩方法
CN108055042B (zh) 基于斜率分布的离散波形数据压缩方法
CN117349657A (zh) 一种用于水利工程环境监测的分布式数据采集模块及监测系统
CN105530012A (zh) 基于压缩感知的小波域稀疏一维油井数据压缩与重构方法
CN111224938A (zh) 一种无线地震仪网络压缩数据传输方法
CN114885036A (zh) 一种探地雷达数据的实时有损压缩方法及系统
CN107333289B (zh) 煤矿救援机器人环境信息自衍生小波数据压缩及重构方法
CN102890268B (zh) 一种雷达信号无损压缩的方法
KR101029109B1 (ko) 심전도 신호의 부호화 및 복호화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant