CN109831209A - 一种声波数据记录方法及装置 - Google Patents

一种声波数据记录方法及装置 Download PDF

Info

Publication number
CN109831209A
CN109831209A CN201811636375.1A CN201811636375A CN109831209A CN 109831209 A CN109831209 A CN 109831209A CN 201811636375 A CN201811636375 A CN 201811636375A CN 109831209 A CN109831209 A CN 109831209A
Authority
CN
China
Prior art keywords
compressed data
data
order
sonic
preset quantity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811636375.1A
Other languages
English (en)
Other versions
CN109831209B (zh
Inventor
吴爱平
裴彦良
晋松
付青青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze University
First Institute of Oceanography SOA
Original Assignee
Yangtze University
First Institute of Oceanography SOA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze University, First Institute of Oceanography SOA filed Critical Yangtze University
Priority to CN201811636375.1A priority Critical patent/CN109831209B/zh
Publication of CN109831209A publication Critical patent/CN109831209A/zh
Application granted granted Critical
Publication of CN109831209B publication Critical patent/CN109831209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种声波数据记录方法及装置,用于数据存储领域。本发明提供的方法包括:采集海底声波数据,通过LZW压缩算法对所述声波数据进行压缩存储得到压缩数据;按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据。本发明不仅可以大批量存储原始声波数据,减少硬件资源消耗,而且基于LZW算法可以保障存储的实时性。

Description

一种声波数据记录方法及装置
技术领域
本发明涉及数据存储领域,尤其涉及一种声波数据记录方法及装置。
背景技术
在对全海深海底进行科学研究及探测时,经常会涉及对海底声场的长时间观测记录。一般声波数据采集仪器需要的在海底做较长时间的声波数据记录,这样的时间往往会超过360天。针对这样巨大声波数据,需要非常大的存储空间,而体积巨大的存储器不仅影响采集仪器的其他功能,而且使用不便,增加成本。
目前,针对声波数据的记录,常采取各种数据压缩存储算法,如多级树集合分割算法、FLAC(Free Lossless Audio Codec)算法、Monkeys’s Audio(APE)算法、Huffman算法等。其中,多级树集合分割算法存在多次重复运算,不利于实时压缩。FLAC和APE算法只能对WAV格式的数据进行压缩,压缩之前要将数据格式进行转化,这样不能满足实时压缩的需求。Huffman编码是基于数据源的统计概率特性,在某些场合要确定实际信源的统计特性相当困难。针对以上各种算法难以满足实时性,或需要统计特性的不足,故有必要提出一种既能保证大批量的数据存储,而且能保障实时性、容易实现的压缩存储方法。
发明内容
本发明实施例提供了一种声波数据记录方法及装置,用于大批量实时压缩存储海底声波数据。
在本发明实施例的第一方面,提供了一种声波数据记录方法,包括:
采集海底声波数据,通过LZW压缩算法对所述声波数据进行压缩存储得到压缩数据;
按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据。
在本发明实施例的第二方面,提供了一种声波数据记录装置,包括:
压缩单元:用于采集海底声波数据,通过LZW压缩算法对所述声波数据进行压缩存储得到压缩数据;
分配单元:用于按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据。
从以上技术方案可以看出,本发明实施例具有以下优点:
本发明实施例中,通过LZW算法对原始声波数据压缩存储后,再进行内存重分配,使得原始海底声波数据不仅可以大批量存储原始声波数据,减少硬件资源消耗,而且基于LZW算法可以保障存储的实时性。同时,基于本发明实施例中的记录方法,可以提高数据压缩率,方便传输。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的声波数据记录方法的一个流程示意图;
图2为本发明实施例提供的声波数据记录方法的另一个流程示意图;
图3为本发明实施例提供的声波数据记录装置的结构示意图;
具体实施方式
本发明实施例提供了一种声波数据记录方法及系统,用于解决现有数据压缩方法难以满足大批量海底声波数据存储需求的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一:
请参阅图1,本发明实施例提供的声波数据记录方法的流程示意图,包括:
S101、采集海底声波数据,通过LZW压缩算法对所述声波数据进行压缩存储得到压缩数据;
所述海底声波数据是指以海水为传播媒介的声音传播数据,可以是以海底生物、船舶等为声源的声波数据,一般可以通过声学记录仪器采集得到,并通过A/D转换器将模拟信号转化为数字信号。所述LZW算法即串表压缩算法,是用较短代码表示较长字符串实现压缩,在本发明实施例中,原始的声波数据转换为数字信号后,对声波数据编码压缩存储。
所述压缩数据为经过LZW压缩算法压缩,使用编译表中索引替换数字信号数据,该索引(或压缩数据)以二进制形式存储到存储器中。
可选的,所述采集海底声波数据还包括:对所述海底声波数据根据位数进行分组。如当采用24位A/D转换器采集声波数据,可以将声波数据按8位划分为高位、中位和低位三个分组,每组为8位的数据。通过分组可以提高信源数据的重复性,重复性越高数据压缩效果越好。
S102、按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据。
通过LZW算法编码后,每次选取一定数量的压缩数据进行内存空间重新分配。所述预设数量一般根据压缩数据量、每个压缩数据的字节数等设定,例如选取8个索引。所述内存重分配即对所述压缩数据占用内存空间进一步压缩。
具体的,去除每个压缩数据中高位多余比特位,并保留每个压缩数据的高位中的一个比特位用以表示进位。合并存储去除多余比特位后的压缩数据以及表示进位的比特位。为每个压缩数据占用的字节中,存在无用重复的高位比特位,通过去除重复的重复的比特位,仅保留表示进位的比特位,可以有效降低压缩数据所占内存,提高数据压缩率。
可选的,按顺序还原合并存储的压缩数据,并根据所述压缩数据的存储顺序,建立字典,解压所述压缩数据。声波数据的解压和加压类似,通过还原压缩数据,匹配字典中映射关系以还原字典,根据字典即可解压压缩的声波数据。
为便于理解,根据图1所描述的实施例,下面结合图2以一个实际应用场景对步骤S102的内存重分配方法进行描述:
在本发明实施例中,假设压缩数据(即字典索引)的最大值设定为512,即输出的压缩结果最多不超过9位,而实际存储器中多是以8位为基本存储单元,而每个数据会占用2个字节(16位),在这16中,左边的高7位都是0,对于重复且多余的高7位,在S1021中,去除高7位,仅用剩余的9位(16位-7位)表示压缩输出结果。
以8个压缩数据为一组,每次申请9个字节的空间,这9个字节分别存储8个压缩数据的低8位和每个压缩数据的进位标志(即高1位)。
如8个索引分别为0,256,257,258,0,25,69,96,二进制可表示为0000 0000 00000000,0000 0001 0000 0000,0000 0001 0000 0001,0000 0001 0000 0010,0000 00000000 0000,0000 0000 0001 1001,0000 0000 0100 0101,0000 0000 0110 0000。去除每个数据的高7位的0000 000后,表示为0 0000 0000,1 0000 0000,1 0000 0001,1 00000010,0 0000 0000,0 0001 1001,0 0100 0101,0 0110 0000。提取每个数据进位标志的比特位,分别为0,1,1,1,0,0,0,0,这8个比特位占用一个字节。最终,9个字节的分配结果如下:
0111 0000 0000 0000 0000 0000 0000 0001 0000 0010 0000 0000 0001 1001 0100 0101 0110 0000
若压缩数据不足8个,则只用输出有效部分。
上述内存分配的方式实现用9个字节表示8个输出数据,相较于在原始待压缩数据中,每个数据用一个字节表示,所占用的内存为264bit,压缩之后所占用内存为243bit。有效减少内存占用,而且,随着数据量的增大,压缩效果能够得到进一步提升。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例二:
上面主要描述了一种声波数据记录方法,下面将对一种声波数据记录装置进行详细描述。
图3示出了本发明实施例中声波数据记录装置一个实施例结构图,所述装置包括:
压缩单元310:用于采集海底声波数据,通过LZW压缩算法对所述声波数据进行压缩存储得到压缩数据;
可选的,所述压缩单元310包括:
分组模块:用于通过模数转换器将所述海底声波数据转换为数字信号后,根据所述模数转换器的位数对所述数字信号进行划分并分组。
分配单元320:用于按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据。
可选的,所述分配单元320还包括:
解压单元330:用于按顺序还原合并存储的压缩数据,并根据所述压缩数据的存储顺序,建立字典,解压所述压缩数据。
可选的,所述按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位还包括:
保留每个压缩数据中高位的一个比特位用以表示进位。
可选的,所述保留每个压缩数据中高位的一个比特位用以表示进位还包括:
将所述预设数量的压缩数据中表述进位的比特位合并存储。提取一组压缩数据的进位标志,如每个压缩数据提取一个用于表示进位的比特位,以8个数据一组,8个比特位组成一个字节。
在所述声波数据记录装置中,首先需要将采集的模拟信号转化为数字信号,并对采集的数据进行实时校验,并会为采集的数据加入采集时表。采集数据通过LZW算法压缩及内存重分配后,缓存存满再写入SD卡阵列减少数据写入频率。
上述声波数据记录装置可以在LZW压缩算法的基础上进一步提升数据压缩效率,针对全海深的声波记录仪器可以减少硬件资源占用,方便数据传输。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种声波数据记录方法,其特征在于,包括:
采集海底声波数据,通过LZW压缩算法对所述声波数据进行压缩存储得到压缩数据;
按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据。
2.根据权利要求1所述的方法,其特征在于,所述采集海底声波数据还包括:
通过模数转换器将所述海底声波数据转换为数字信号后,根据所述模数转换器的位数对所述数字信号进行划分并分组。
3.根据权利要求1所述的方法,其特征在于,所述按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据之后还包括:
按顺序还原合并存储的压缩数据,并根据所述压缩数据的存储顺序,建立字典,解压所述压缩数据。
4.根据权利要求1所述的方法,其特征在于,所述按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位还包括:
保留每个压缩数据中高位的一个比特位用以表示进位。
5.根据权利要求4所述的方法,其特征在于,所述保留每个压缩数据中高位的一个比特位用以表示进位还包括:
将所述预设数量的压缩数据中表示进位的比特位合并存储。
6.一种声波数据记录装置,其特征在于,包括:
压缩单元:用于采集海底声波数据,通过LZW压缩算法对所述声波数据进行压缩存储得到压缩数据;
分配单元:用于按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位,合并存储所述预设数量的压缩数据。
7.根据权利要求6所述的装置,其特征在于,所述压缩单元包括:
分组模块:用于通过模数转换器将所述海底声波数据转换为数字信号后,根据所述模数转换器的位数对所述数字信号进行划分并分组。
8.根据权利要求6所述的装置,其特征在于,所述分配单元还包括:
解压单元:用于按顺序还原合并存储的压缩数据,并根据所述压缩数据的存储顺序,建立字典,解压所述压缩数据。
9.根据权利要求6所述的装置,其特征在于,所述按顺序选定预设数量的压缩数据进行内存重分配,去除每个压缩数据中高位多余比特位还包括:
保留每个压缩数据中高位的一个比特位用以表示进位。
10.根据权利要求9所述的装置,其特征在于,所述保留每个压缩数据中高位的一个比特位用以表示进位还包括:
将所述预设数量的压缩数据中表示进位的比特位合并存储。
CN201811636375.1A 2018-12-29 2018-12-29 一种声波数据记录方法及装置 Active CN109831209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811636375.1A CN109831209B (zh) 2018-12-29 2018-12-29 一种声波数据记录方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811636375.1A CN109831209B (zh) 2018-12-29 2018-12-29 一种声波数据记录方法及装置

Publications (2)

Publication Number Publication Date
CN109831209A true CN109831209A (zh) 2019-05-31
CN109831209B CN109831209B (zh) 2023-06-20

Family

ID=66860015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811636375.1A Active CN109831209B (zh) 2018-12-29 2018-12-29 一种声波数据记录方法及装置

Country Status (1)

Country Link
CN (1) CN109831209B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062081A1 (en) * 2004-09-23 2006-03-23 Schlumberger Technology Corporation Methods and systems for compressing sonic log data
CN102522999A (zh) * 2011-12-09 2012-06-27 电子科技大学 一种三维声波测井数据的实时压缩方法
CN103840839A (zh) * 2014-03-21 2014-06-04 中国科学院声学研究所 一种井下声波成像测井数据的实时压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062081A1 (en) * 2004-09-23 2006-03-23 Schlumberger Technology Corporation Methods and systems for compressing sonic log data
CN102522999A (zh) * 2011-12-09 2012-06-27 电子科技大学 一种三维声波测井数据的实时压缩方法
CN103840839A (zh) * 2014-03-21 2014-06-04 中国科学院声学研究所 一种井下声波成像测井数据的实时压缩方法

Also Published As

Publication number Publication date
CN109831209B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
Kavitha A survey on lossless and lossy data compression methods
CN103280221B (zh) 一种基于基追踪的音频无损压缩编码、解码方法及系统
CN109859281B (zh) 一种稀疏神经网络的压缩编码方法
CN107565971B (zh) 一种数据压缩方法及装置
CN101977061B (zh) 一种通用信息的无损压缩与解压缩方法
CN114697672B (zh) 基于游程全零编码的神经网络量化压缩方法及系统
CN114697654A (zh) 一种神经网络量化压缩方法及系统
CN104125475A (zh) 一种多维量子数据压缩、解压缩方法及装置
CN114640354A (zh) 数据压缩方法、装置、电子设备及计算机可读存储介质
CN109831209A (zh) 一种声波数据记录方法及装置
WO2023159820A1 (zh) 图像压缩方法、图像解压缩方法及装置
WO2024011426A1 (zh) 一种点云几何数据增强、编解码方法、装置和系统
WO2020186535A1 (zh) 点云属性编码方法和装置以及点云属性解码方法和装置
Malach et al. Hardware-based real-time deep neural network lossless weights compression
CN112800183B (zh) 内容名称数据处理方法及终端设备
CN108932315A (zh) 一种数据解压的方法以及相关装置
CN108259515A (zh) 一种适用于带宽受限下传输链路的无损信源压缩方法
JP5580295B2 (ja) 規則的点ネットワークにおけるベクトルをカウントする方法
CN114640357B (zh) 数据编码方法、设备及存储介质
CN116418348A (zh) 一种数据压缩方法、装置、设备及存储介质
CN111049836A (zh) 数据处理方法、电子设备及计算机可读存储介质
JP2020178347A (ja) エンコーディングされたデータに対する条件付きトランスコーダ及びトランスコーディング方法
WO2021108021A1 (en) Pattern-based cache block compression
Rahman et al. A lossless speech signal compression technique
Al-Azawi et al. Compression of Audio Using Transform Coding.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant