CN105100801A

CN105100801A - 一种基于大数据的大压缩比数据压缩方法

Info

Publication number: CN105100801A
Application number: CN201510442054.8A
Authority: CN
Inventors: 周诠; 刘娟妮; 王鹏; 呼延烺; 崔涛; 魏佳圆
Original assignee: Xian Institute of Space Radio Technology
Current assignee: Xian Institute of Space Radio Technology
Priority date: 2015-07-24
Filing date: 2015-07-24
Publication date: 2015-11-25
Anticipated expiration: 2035-07-24
Also published as: CN105100801B

Abstract

本发明一种基于大数据的大压缩比数据压缩方法，可以实现百倍到万倍的有损压缩，该方法基于事先构建的图像数据集和线性变换进行压缩。其特点在于：对原图像A或其子图像，基于图像库的基础图像进行线性组合，选择出最为接近的图像，把最终得到的线性系数和图像误差进行编码传输，从而避免了直接对原图像进行压缩无法提高压缩比的问题，突破了传统的数据压缩方法的局限，以离线学习的大数据量换取了性能和压缩比的提高，大大降低了解压缩实现的复杂性。

Description

一种基于大数据的大压缩比数据压缩方法

技术领域

本发明涉及一种图像通信的方法，特别涉及一种大压缩比的数据压缩方法，属于通信(如数据通信技术等)领域。

背景技术

当前的社会是个信息社会，需要传输的信息数据总量特别大；随着科技的发展，人们对高分辨率图像的需求越来越大，得到的数据量也非常大，这给数据存储和传输带来很大压力，因此，人们总在想方设法提高数据压缩的压缩比和压缩质量。

目前，图像压缩方法存在以下问题：

(1)图像数据压缩方法的压缩比不高；

数据压缩标准JPEG2000等方法压缩比不高，如对于卫星遥感图像4倍左右，对于普通图像一般4-16倍之间。预测压缩、变换域压缩、矢量量化方法等压缩比都不大。

(2)大压缩比图像压缩方法还不够完善；

文献中大压缩比的方法还很少，或者实现复杂度还无法满足要求，或者压缩性能对一部分图像好，而对另一部分图像效果却不好。

发明内容

本发明解决的技术问题是：提供一种压缩性比高、基于大量数据优化筛选的数据压缩方法，可用于地面设备之间、地面对航天器、航天器对地、航天器之间的图像传输。

本发明的技术方案是：一种基于大数据的大压缩比数据压缩方法，包括以下步骤：

(1)把待发送的灰度图像A进行分解，形成t幅大小相同的子图像A1,…At，t为正整数；所述的灰度图像A的大小为M行、N列、Q比特量化，总比特数为M*N*Q；所述每个子图像大小为K行、L列、Q比特量化，总比特数为K*L*Q，其中t＝1时表示图像不分解或分解成1幅图像；所述的M、N、Q均为正整数；

(2)从预先建立的基础图像数据库中选择n幅图像C1，C2，…Cn，n为正整数，每幅图像大小为K行、L列、Q比特量化；根据子图像数生成t组系数,每组系数为K1(p)，…Kn(p)，p＝1,2…t，生成图像Dp＝K1(p)*C1+…+Kn(p)*Cn，p＝1,2…t；

对于t幅子图像Ap，其中p＝1,…t，分别与该幅子图像对应的图像Dp相减，得到每幅子图像Ap对应的图像误差Ep，如果误差Ep满足PSNR指标要求，则令Ap＝Dp，保存该组系数K1(p)，K2(p)，…Kn(p)，转到步骤(3)；如果误差Ep不满足PSNR指标要求，则重新生成一组新的系数K1(p)…Kn(p)，生成图像Dp＝K1(p)*C1+….+Kn(p)*Cn，直到误差Ep满足要求，则令Ap＝Dp并保存新生成的这组系数K1(p)，K2(p)…Kn(p)；转到步骤(3)；

(3)根据t组系数K1(p),…Kn(p)对应的t幅生成图像Dp，得到恢复后的灰度图像B，计算灰度图像B与原灰度图像A的PSNR值；如果灰度图像B的性能不能满足PSNR指标要求，则对灰度图像A与恢复图像B的误差F进行压缩，F＝A-B，得到d1比特数据；再对t组系数K1(p)，K2(p)，…Kn(p)进行编码，得到d2比特数据，将d1+d2比特数据进行传输；

(4)接收端进行译码得到恢复后的t组系数K1(p)，K2(p)，…Kn(p)，以及误差数据F，先计算t幅恢复子图像Bp＝K1(p)*C1+….+Kn(p)*Cn，进而得到恢复图像B，p＝1,2…t，再用误差F对恢复图像B进行校正即得到最终恢复后的灰度图像A＝F+B，压缩比为R＝MNQ/(d1+d2)；

所述步骤(2)中建立基础图像数据库的方法如下：

从普通图像中选择若干幅灰度图像作为训练样本图像训练样本X1，X2…Xu，图像的大小为M行、N列、Q比特量化；对这些图像进行分解，分别形成T幅大小相同的子图像Yi，i＝1,…T，大小为K行、L列、Q比特量化；全部子图像Y按照矢量量化VQ码书设计方法形n1幅K行、L列、Q比特量化的码书，并从训练样本图像中选择部分图像分解后形成n2幅K行、L列、Q比特量化的典型标准图像，最后形成由m幅基础图像形成的图像数据库，n＝n1+n2；所述的典型矢量量化VQ码书设计方法有LBG方法或者SOFM神经网络学习方法；u、n为大于或等于1的整数,u*T大于或等于n。

所述步骤(2)中t组系数K1(p)，K2(p)，…Kn(p)的产生方法如下：每次产生一组介于(-1,1)之间的n-1个不同随机数，分别赋予其中n-1个系数，最后一个系数Kn(p)＝1-(K1(p)+K2(p)+…+Kn-1(p))，其中p＝1,2…t。

本发明与现有技术相比的有益效果在于：

本发明提出了一种大压缩的图像压缩方法，对原图像A或其子图像，基于图像库的基础图像进行线性计算，选择出最为接近的图像进行编码、进行误差校正传输，从而避免了直接对原图像进行压缩无法提高压缩比的问题，突破了传统的数据压缩方法的局限，以离线学习的复杂度换取了硬件实现的简易性，从而大大减少了大压缩实现的复杂度。

本发明与目前背景技术相比有下面几点实质性不同及进步：

(1)本发明把基于矢量量化的码书设计方法设计的码书图像和基于典型图像优选图像结合起来产生图像库，涵盖面广，适应性强，为数据压缩提供了保证；

(2)本发明基于随机选择及优化迭代产生大量系数，进而通过线性计算得到子图像的逼近图像，再基于误差校正技术提高恢复图像质量、解决特殊图像压缩恢复误差大的问题，通过编码过程的计算复杂度换取了压缩性能的提高；

(3)本发明的大压缩传输方法，编码端与解码端具有不对称结构，接收端解压缩非常简单，这样的压缩、解压缩方式更有利于接收端解码设备的简化，更便于推广应用。也适合于点对多点通信，或广播通信；

(4)本发明的大压缩比压缩方法，实用性强，压缩采用简单的线性运算快速实现，大大降低了系统复杂性，提高了传输可靠性；

(5)本发明的大压缩压缩比可以根据需要选择，一般可达到512倍以上、可达8092倍甚至以上，而且压缩比越大，硬件实现越容易；

(6)本发明的压缩方法，压缩比可以根据压缩性能进行事先控制，可通过控制误差图像数据的压缩比而控制总的压缩比和恢复图像质量；

附图说明

图1为本发明原理图。

具体实施方式

图像压缩技术已经广泛应用于国民经济的各个领域，包括遥感卫星、空间探测器等航天器图像压缩，机载航拍图像压缩，地面图像压缩等，随着大数据时代的来临，高倍压缩技术必将得到更广泛应用。本发明的压缩方法具有鲜明的特点和大压缩比特点，可以大大提高图像数据压缩方法的性能，同时具有对原图像的保密和隐蔽传输效果，在图像通信领域、信息网络传输领域具有实用价值。

本发明特有的“发送端事先与数据库线性运算再传输系数和误差、接收端进行误差修正的方法”，适合公开信道情况下进行图像传输，在实现过程中主要进行线性计算，非常容易高速实时实现。

由于基于LBG等矢量量化码书设计方法，生成的图像数据库具有一定代表性，再基于简单的线性计算就可以完成大压缩比压缩，如果个别情况无法得出非常接近的图像则可用误差修正的方法。由于本身压缩比极大，传输个别误差数据后依然能保证大压缩比，而且解压缩特别简单，从而节省了本压缩传输系统的成本，保证本发明的实用性，经济性。

为了说明本文提出的算法的性能，仿真实验中采用了大小为512×512的8比特灰度图像A图像进行信息压缩与解压缩。

对于图像A，M＝512，N＝512,Q＝8，压缩比R计算举例如下：

R＝MNQ/(d1+d2)，设d1＝d*Q，d2＝t*n*Q

则R＝MNQ/(d1+d2)＝MNQ/(d*Q+t*n*Q)＝MN/(d+t*n)

当t＝16,n＝64，d＝1024时，R＝MN/(d+t*n)＝512*512/(1024+1024)＝128；

当t＝8,n＝64，d＝512时，R＝MN/(d+t*n)＝512*512/(512+512)＝256；

当t＝4,n＝128，d＝512时，R＝MN/(d+t*n)＝512*512/(512+512)＝256；

当t＝4,n＝64，d＝256时，R＝MN/(d+t*n)＝512*512/(256+256)＝512；

当t＝2,n＝128，d＝256时，R＝MN/(d+t*n)＝512*512/(256+256)＝512；

当t＝1,n＝128，d＝128时，R＝MN/(d+t*n)＝512*512/(128+128)＝1024；

当t＝1,n＝64，d＝64时，R＝MN/(d+t*n)＝512*512/(64+64)＝2048；

当t＝1,n＝64，d＝0时，R＝MN/(d+t*n)＝512*512/(0+64)＝4096；

当t＝1,n＝32，d＝0时，R＝MN/(d+t*n)＝512*512/(0+32)＝8192；

当t＝1,n＝16，d＝0时，R＝MN/(d+t*n)＝512*512/(0+16)＝16384；

不同t,n,d对应不同的压缩比R。

误差与指标PSNR：根据PSNR(峰值信噪比)的要求倒推算。

E的门限可以设为E＝Sqrt(MSE)；

PSNR＝10*log10(255*255/MSE)dB

PSNR(峰值信噪比)可以设为30dB以上某值。

一种基于大数据的大压缩比数据压缩方法，具体步骤如下：

(1)把需要发送的灰度图像A进行不重叠分块，形成4幅相同大小的子图像A1,…A4，总数据量不变。所述的灰度图像A的大小为512行、512列、8比特量化，总比特数为MNQ；所述图像Ai(i＝1,…4)大小为256行、256列、8比特量化，总比特数为256*256*8；

(2)根据事先建好的基础图像数据库选择图像C1，C2，…Cn，设n＝64,选择4组系数K1(p)，K2(p)…Kn(p)，p＝1,2,3,4，所述的K1(p)，K2(p)…Kn(p)均为实数,K1(p)+K2(p)…+Kn(p)＝1,完成D1到D4的计算:Dp＝K1(p)*C1(p)+K2(p)*C2+….+Kn(p)*Cn，p＝1,…4；

对子图像A1…A4，分别和图像D1,…D4相减，得到图像误差Ep，p＝1,…4,设PSNR＝35dB，如果误差Ep满足PSNR指标要求，则令Ap＝Dp，保存K1(p)，K2(p)…Kn(p)，转到步骤(3)；

设PSNR＝35dB，如果误差E1不满足PSNR指标要求，则选定另外一组K1(p)，K2(p)…Kn(p)，p＝1,2,3,4,完成以下运算：D1＝K1(p)*C1(p)+K2(p)*C2+….+Kn(p)*Cn，不断调整K1(p)，K2(p)…Kn(p)直到误差E1满足PSNR指标要求，则A1＝D1,保存K1(p)，K2(p)…Kn(p)；

(3)根据4组数据K1(p)，K2(p)…Kn(p)，p＝1,2,3,4，计算恢复子图像Bj＝K1(p)*C1(p)+K2(p)*C2+….+Kn(p)*Cn,得到恢复图像B，j＝1,…4，计算图像B的PSNR值。如果恢复图像B的性能不能满足PSNR要求，则把图像A与恢复图像B的误差F进行压缩，得到d1＝d*Q，比特数据；再对4组K1、K2….Kn进行编码，设编码后比特数为d2＝t*n*Q，对d1+d2比特数据进行传输；

(4)接收端进行译码得到恢复后的4组系数K1(p)，K2(p)，…Kn(p)，p＝1,2,3,4以及误差数据F，先计算4幅恢复子图像Bp＝K1(p)*C1+….+Kn(p)*Cn，进而得到恢复图像B，p＝1,2,3,4，再用误差F对恢复图像B进行校正即得到最终恢复后的灰度图像A＝F+B，压缩比为R＝MNQ/(d1+d2)＝512*512/(d+t*n)；

当t＝4,n＝64，d＝256时，R＝MN/(d+t*n)＝512*512/(256+256)＝512；

所述步骤(2)中生成图像数据库的方法如下：

从普通图像中选择u幅灰度图像作为训练样本X1，X2…Xu,所述的灰度图像A的大小为512行、512列、8比特量化；对X图像进行分解，每个X图像形成4幅相同大小的子图像Yi,i＝1,…4,256行、256列、8比特量化,共4*u＝128；全部128幅子图像Y按照矢量量化VQ码书设计方法形成n1＝32幅256行、256列、8比特量化的码书，并从训练样本X1，X2…Xu选择部分图像分解后形成n2＝32幅256行、256列、8比特量化的典型标准图像，最后形成由n＝64幅基础图像形成的图像数据库，n＝n1+n2。典型矢量量化VQ码书设计方法有LBG方法或者SOFM神经网络学习方法；u、n为大于或等于1的整数,u＝32,u分解产生的子图像数u*t＝32*4＝128大于等于n；

所述步骤(2)中K1(p)、K2(p)、Kn-1(p)、Kn(p)的生成方法如下：

每次产生一组介于(-1,1)之间的63个不同随机数，分别赋予其中63个系数，最后一个系数Kn(p)＝1-(K1(p)+K2(p)+…+Kn-1(p))。举例：均匀分布的伪随机数,n＝64。

总之，本发明提出了一种基于大数据的大压缩比数据压缩方法，可以根据要求，实现百倍到万倍的整数倍和非整数倍的有损压缩，该方法对原图像A或其子图像，基于图像库的基础图像进行线性系数优化计算，选择出最为接近的图像误差和最终得到的线性系数进行编码传输，从而避免了直接对原图像进行压缩无法提高压缩比的问题，突破了传统的数据压缩方法的局限，以离线学习的大数据量获取了压缩性能和压缩比的提高，大大降低了解压缩实现的复杂性，适用于大压缩倍数、图像有损压缩场合，具有广阔的应用前景。

本发明未详细说明部分属本领域技术人员公知常识。

Claims

1.一种基于大数据的大压缩比数据压缩方法，其特征在于包括以下步骤：

（1）把待发送的灰度图像A进行分解，形成t幅大小相同的子图像A1,…At，t为正整数；所述的灰度图像A的大小为M行、N列、Q比特量化，总比特数为M*N*Q；所述每个子图像大小为K行、L列、Q比特量化，总比特数为K*L*Q，其中t=1时表示图像不分解或分解成1幅图像；所述的M、N、Q均为正整数；

（2）从预先建立的基础图像数据库中选择n幅图像C1，C2，…Cn，n为正整数，每幅图像大小为K行、L列、Q比特量化；根据子图像数生成t组系数,每组系数为K1(p)，…Kn(p)，p=1,2…t，生成图像Dp=K1(p)*C1+…+Kn(p)*Cn，p=1,2…t；

对于t幅子图像Ap，其中p=1,…t，分别与该幅子图像对应的图像Dp相减，得到每幅子图像Ap对应的图像误差Ep，如果误差Ep满足PSNR指标要求，则令Ap=Dp，保存该组系数K1(p)，K2(p)，…Kn(p)，转到步骤（3）；如果误差Ep不满足PSNR指标要求，则重新生成一组新的系数K1(p)…Kn(p)，生成图像Dp=K1(p)*C1+….+Kn(p)*Cn，直到误差Ep满足要求，则令Ap=Dp并保存新生成的这组系数K1(p)，K2(p)…Kn(p)；转到步骤（3）；

（3）根据t组系数K1(p),…Kn(p)对应的t幅生成图像Dp，得到恢复后的灰度图像B，计算灰度图像B与原灰度图像A的PSNR值；如果灰度图像B的性能不能满足PSNR指标要求，则对灰度图像A与恢复图像B的误差F进行压缩，F=A-B，得到d1比特数据；再对t组系数K1(p)，K2(p)，…Kn(p)进行编码，得到d2比特数据，将d1+d2比特数据进行传输；

（4）接收端进行译码得到恢复后的t组系数K1(p)，K2(p)，…Kn(p)，以及误差数据F，先计算t幅恢复子图像Bp=K1(p)*C1+….+Kn(p)*Cn，进而得到恢复图像B，p=1,2…t，再用误差F对恢复图像B进行校正即得到最终恢复后的灰度图像A=F+B，压缩比为R=MNQ/(d1+d2)。

2.根据权利要求1所述的一种基于大数据的大压缩比数据压缩方法，其特征在于：所述步骤（2）中建立基础图像数据库的方法如下：

从普通图像中选择若干幅灰度图像作为训练样本图像训练样本X1，X2…Xu，图像的大小为M行、N列、Q比特量化；对这些图像进行分解，分别形成T幅大小相同的子图像Yi，i=1,…T，大小为K行、L列、Q比特量化；全部子图像Y按照矢量量化VQ码书设计方法形n1幅K行、L列、Q比特量化的码书，并从训练样本图像中选择部分图像分解后形成n2幅K行、L列、Q比特量化的典型标准图像，最后形成由m幅基础图像形成的图像数据库，n=n1+n2；所述的典型矢量量化VQ码书设计方法有LBG方法或者SOFM神经网络学习方法；u、n为大于或等于1的整数,u*T大于或等于n。

3.根据权利要求1所述的一种基于大数据的大压缩比数据压缩方法，其特征在于：所述步骤（2）中t组系数K1(p)，K2(p)，…Kn(p)的产生方法如下：每次产生一组介于(-1,1)之间的n-1个不同随机数，分别赋予其中n-1个系数，最后一个系数Kn(p)=1-（K1(p)+K2(p)+…+Kn-1(p)），其中p=1,2…t。