CN103871088A - 基于图像稀疏特征的空间统计数据分块压缩方法及系统 - Google Patents

Abstract

本发明公开了基于图像稀疏特征的空间统计数据分块压缩方法及系统，本发明的方法通过将空间统计数据按层映射成灰度图像，则一幅L层的空间地形数据，对应的空间统计数据将映射成L幅灰度图像，每幅图像的大小即为该层空间地形数据对应X和Y方向的瓦片总数量；对每幅图像进行分块稀疏特征计算；根据给定的图像压缩率计算最优分块方案；对不同的稀疏分块分别采用不同的方法进行分块数据压缩处理并输出。本发明的系统包括空间统计数据分层映射单元、灰度图像分块稀疏特征计算单元、启发式方案优化计算单元和图像分块压缩处理单元；本发明不但大大减少了海量空间统计数据的传输总量，而且计算简单，效率较高，可应用于空间统计数据信息压缩技术领域。

Description

基于图像稀疏特征的空间统计数据分块压缩方法及系统

技术领域

本发明属于空间统计数据信息压缩技术领域，特别是涉及一种新的利用图像分块稀疏特征对空间统计数据进行分块压缩的方法及系统。

背景技术

海量空间信息的存储和快速访问一直是空间信息服务系统试图解决的重要问题，依据空间数据的访问规律组织存储空间数据，能大幅度提高空间数据服务系统的性能。空间数据的访问规律就是用户在访问空间数据时形成的对空间数据的访问记录，主要包括所访问空间数据及访问次数的统计信息，一般以访问日志的形式存在，相关的研究表明空间数据的访问规律符合Zipf分布。由于空间数据的更新速度快，在分布式环境下动态的统计获取空间数据的访问规律，以便快速根据访问规律调整存储和组织策略，一般称动态统计获得的空间数据访问规律为空间统计数据。

为了动态调整存储和组织策略，需要在分布式环境中实时传输和共享空间统计数据，由于空间数据量巨大，对空间统计数据进行压缩处理以减少传输信息量是必须的。

针对空间数据的压缩算法主要用于减少栅格数据或矢量数据的存储空间，如空间栅格数据或空间矢量数据压缩处理，而空间统计数据属于离散数据，其部分数据是由用户的随机访问形成的，不能有效的为存储和组织提供依据，针对其特点，一般采用的方法是通过代理融合或聚类压缩来减少总的统计数据量。代理融合方法通过融合不同节点统计得到的相同数据，减少重复传输开销，在传输时每块空间数据用5个字节表示，其总的空间统计数据量和被访问的空间数据量相关。而聚类压缩算法则通过空间聚类提取，按照空间统计数据访问次数差小于127，同时聚类区域半径不大于设定值时，将空间统计数据分组压缩，压缩时对每块数据采用3个字节来表示，压缩率有限。

总之，现有的方法主要采用将数据点逐个排列，然后通过其排列规律采取一定的算法进行处理以减少数据量，这种模式在空间统计数据量较大时，由于数据点规模巨大，算法则难以适应，如SRTM90数据，一副地形数据就包含3538890个数据点，即使按照Zipf规律，80%的用户都只访问20%的数据，针对该幅地形数据的空间统计数据也包含了707778个数据点，其总数据量也达到了2.02MB，对空间统计数据的传输仍然影响很大，而且计算复杂，效率较低。

发明内容

为了解决上述的技术问题，本发明提供了一种基于图像稀疏特征的空间统计数据分块压缩方法及系统。

本发明的方法所采用的技术方案是：一种基于图像稀疏特征的空间统计数据分块压缩方法，其特征在于，包括以下步骤：

步骤1：将空间统计数据按层映射成灰度图像输出；

步骤2：计算所述的每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；

步骤3：根据图像分块的压缩率参数、面积大小进行启发式计算最优分块方案；

步骤4：针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。

作为优选，所述的空间统计数据，包含对应的空间数据的坐标及访问次数，所述的空间统计数据包括但不限于以日志格式文件、数据库的形式提供。

作为优选，所述的映射的灰度图像，每个像素代表一块空间数据，像素坐标即为对应的空间统计数据对应的X、Y坐标，像素的灰度值为对应的空间统计数据被访问次数。

作为优选，所述的灰度图像分块的压缩方法包括稀疏分块图像的压缩方法和非稀疏分块图像的压缩方法。

作为优选，所述的稀疏分块图像的压缩方法是通过将空间统计数据逐个排列，通过序列差计算后选择序列化数据压缩算法压缩，所述的序列化数据压缩算法包括但不限于游程编码压缩；所述的非稀疏分块图像的压缩方法是选择通用图像无损压缩算法压缩，所述的图像无损压缩算法包括但不限于JPEG无损压缩。

本发明的系统所采用的技术方案是：一种利用权利要求1所述的基于图像稀疏特征的空间统计数据分块压缩方法进行空间统计数据分块压缩方法的系统，其特征在于，包括空间统计数据分层映射单元、灰度图像分块稀疏特征计算单元、启发式方案优化计算单元和图像分块压缩处理单元；

所述的空间统计数据分层映射单元用于将空间统计数据按层映射成灰度图像输出；所述的灰度图像分块稀疏特征计算单元用于计算所述的每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；

所述的启发式方案优化计算单元用于根据图像分块压缩率参数、面积大小进行启发式计算最优分块方案；

所述的图像分块压缩处理单元用于针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。

作为优选，所述的空间统计数据分层映射单元包括用于获取空间统计数据信息的空间统计数据信息获取模块、用于计算空间统计数据映射到灰度图像大小的图像大小计算模块以及用于将空间统计数据按层映射到灰度图像的空间统计数据图像映射模块。

作为优选，所述的灰度图像分块稀疏特征计算单元包括用于获取图像压缩率参数的特征计算参数获取模块、计算分块面积大小的分块面积计算模块、用于根据压缩率参数计算图像分块压缩效果的分块压缩数据量计算模块、用于统计分块内包含的空间统计数据量的分块统计数据量计算模块以及用于计算分块稀疏特征的分块特征计算模块。

作为优选，所述的启发式方案优化计算单元包括用于采用启发式求解分块优化方案所需的所有分块位置、分块稀疏特征参数的启发式求解参数输入模块以及用于采用启发式方法求解最优方案的最优方案启发式求解模块。

作为优选，所述的图像分块压缩处理单元包括获取分块稀疏阈值的阈值参数输入模块、用于根据分块稀疏特征计算结果与分块稀疏阈值比较以判断分块的稀疏分类的分块稀疏性判断模块以及根据分块稀疏性调用不同压缩算法对分块进行压缩输出的图像分块压缩输出模块。

本发明具有的有益效果是：空间统计数据由于用户访问行为的聚集性，存在分块聚集的效应（如城市热点），针对用户聚集访问形成的空间统计数据，如果采用数据序列化方法进行压缩处理输出，不但其压缩率低，且计算复杂，针对这种分块聚集数据，利用图像压缩不但算法处理简单，且效率较高。本发明能在空间统计数据中，利用分块稀疏特征计算，将稀疏分块数据通过序列化方法压缩输出，而非稀疏分块数据则通过图像压缩方法压缩输出，可根据图像分块特征，最优的利用不同压缩处理方法压缩空间统计数据，可大大减少空间统计数据传输信息总量，能实时动态开展空间统计数据的传输融合，及时为空间数据存储组织提供依据，改善空间信息系统的服务能力。

附图说明

附图1：是本发明方法的系统流程图。

附图2：是本发明实施例中系统的结构示意图。

附图3：是本发明实施例中空间统计数据分层映射单元100功能模块图。

附图4：是本发明实施例中灰度图像分块稀疏特征计算单元200功能模块图。

附图5：是本发明实施例中启发式方案优化计算单元300功能模块图。

附图6：是本发明实施例中图像分块压缩处理单元400功能模块图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

依据空间统计数据调整空间数据的存储和组织策略，需要实时传输和处理空间统计数据，因此必须对空间统计数据量进行压缩，以减少对空间信息服务系统的影响。目前采用的代理融合或聚类压缩方法虽能减少空间统计数据总量，但压缩率不高，且算法复杂，效率低。以SRTM90地形数据为例，共3538890块瓦片，传统的序列压缩方法至少需要传输2.02MB数据，而采用图像压缩分块算法，当压缩率为2:1时，需要传输的数据量仅仅1.67MB，压缩效率至少提高18%，而一般JPEG的压缩针对纹理简单的灰度图像的压缩率可以达到5:1，则采用图像压缩分块算法可大大提高压缩率，且算法简单有效。

本发明提供一种基于图像稀疏特征的空间统计数据分块压缩方法，通过将空间统计数据按层映射成灰度图像，则一幅L层的空间地形数据，其对应的空间统计数据将映射成L幅灰度图像，每幅图像的大小即为该层空间地形数据对应X和Y方向的瓦片总数量；对每幅图像进行分块稀疏特征计算；根据给定的图像压缩率计算最优分块方案；对不同的稀疏分块分别采用不同的方法进行分块数据压缩处理并最终输出。

请见图1，本发明的方法所采用的技术方案是：一种基于图像稀疏特征的空间统计数据分块压缩方法，包括以下步骤：

步骤1：将空间统计数据按层映射成灰度图像输出；空间统计数据，包含对应的空间数据的坐标及访问次数，空间统计数据包括但不限于以日志格式文件、数据库的形式提供；映射的灰度图像，每个像素代表一块空间数据，像素坐标即为对应的空间统计数据对应的X、Y坐标，像素的灰度值为对应的空间统计数据被访问次数。

步骤2：计算每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；灰度图像分块的压缩方法包括稀疏分块图像的压缩方法和非稀疏分块图像的压缩方法；稀疏分块图像的压缩方法是通过将空间统计数据逐个排列，通过序列差计算后选择序列化数据压缩算法压缩，序列化数据压缩算法包括但不限于游程编码压缩；非稀疏分块图像的压缩方法是选择通用图像无损压缩算法压缩，图像无损压缩算法包括但不限于JPEG无损压缩。

步骤3：根据图像分块的压缩率参数、面积大小进行启发式计算最优分块方案；

步骤4：针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。

请见图2，本发明的系统所采用的技术方案是：一种基于图像稀疏特征的空间统计数据分块压缩系统，包括空间统计数据分层映射单元（100）、灰度图像分块稀疏特征计算单元（200）、启发式方案优化计算单元（300）和图像分块压缩处理单元（400）；空间统计数据分层映射单元（100）用于将空间统计数据按层映射成灰度图像输出；灰度图像分块稀疏特征计算单元（200）用于计算每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；启发式方案优化计算单元（300）用于根据图像分块压缩率参数、面积大小进行启发式计算最优分块方案；图像分块压缩处理单元（400）用于针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。

请见图3，空间统计数据分层映射单元（100）包括用于获取空间统计数据信息的空间统计数据信息获取模块（101）、用于计算空间统计数据映射到灰度图像大小的图像大小计算模块（102）以及用于将空间统计数据按层映射到灰度图像的空间统计数据图像映射模块（103）。

请见图4，灰度图像分块稀疏特征计算单元（200）包括用于获取图像压缩率参数的特征计算参数获取模块（201）、计算分块面积大小的分块面积计算模块（202）、用于根据压缩率参数计算图像分块压缩效果的分块压缩数据量计算模块（203）、用于统计分块内包含的空间统计数据量的分块统计数据量计算模块（204）以及用于计算分块稀疏特征的分块特征计算模块（205）。

请见图5，启发式方案优化计算单元（300）包括用于采用启发式求解分块优化方案所需的所有分块位置、分块稀疏特征参数的启发式求解参数输入模块（301）以及用于采用启发式方法求解最优方案的最优方案启发式求解模块（302）。

请见图6，图像分块压缩处理单元（400）包括获取分块稀疏阈值的阈值参数输入模块（401）、用于根据分块稀疏特征计算结果与分块稀疏阈值比较以判断分块的稀疏分类的分块稀疏性判断模块（402）以及根据分块稀疏性调用不同压缩算法对分块进行压缩输出的图像分块压缩输出模块（403）。

本发明在实际工作中，其工作流程为：

（1）空间统计数据分层灰度图像映射输出：通过所述的空间统计数据分层映射单元（100）将空间统计数据按层映射成灰度图像输出；在这一过程，包括以下方面。

①利用所述的空间统计数据信息获取模块（101）获取空间统计数据每个数据点的空间位置、空间数据被访问次数参数。

空间统计数据每个数据点的空间位置和对应的空间数据的空间位置一一对应，若某空间数据块p的位置参数为(x,y,z)，则对应空间统计数据d的位置（i,j,z）的对应关系为：i=x-x0+1；j=y-y0+1；其中（x0，y0）表示第一块空间数据的坐标，z表示对应空间数据的层。

对应空间数据d的被访问参数k_i,j可通过日志文件直接获取。

②利用所述的图像大小计算模块（102）计算空间统计数据映射到灰度图像大小。

对某层z空间统计数据的所有数据d(i,j,z)，统计获得其z层某纬度下经度方向的空间数据块的数量，记为M；同时统计获得其z层某经度下纬度方向的空间数据块的数量，记为N，则有则i∈[1,M]，j∈[1,N]。

某层z空间统计数据映射到灰度图像大小则可通过M×N计算得到。

③利用所述的空间统计数据图像映射模块（103）将空间统计数据按层映射到灰度图像。

根据计算得到的某层z的空间统计数据映射到灰度图像大小，生成一幅灰度图像P_z，且将该灰度图像所有点的像素值都设置为255。

按照空间统计数据d坐标(i,j)和访问次数k_i,j，修改灰度图像P_z某些像素的像素值：

P_z(i,j)=255-k_i,j,i=1,2,…,M;j=1,2,...,N   （式壹）

对空间数据的每一层进行如上处理，可形成灰度图像映射序列P_z（z=1,2,…,L），L为空间数据的最大层数。根据空间数据的金子塔模型，上层图像的大小是下层图像大小的1/4。

（2）灰度图像分块稀疏特征计算：通过所述的灰度图像分块稀疏特征计算单元（200）计算每层映射的灰度图像分块的稀疏特征；在这一过程，包括以下方面。

①利用所述的特征计算参数获取模块（201）获取获取图像压缩率参数。

图像压缩率参数f通过配置管理输入。

②利用所述的分块面积计算模块（202）计算分块大小。

统计当前图像分块范围内水平方向像素个数和垂直方向像素个数，通过乘法计算得到当前图像分块的面积大小s。

③利用所述的分块压缩数据量计算模块（203）根据压缩率参数计算图像分块压缩效果。

某分块压缩后需要用4个字节记录当前分块g在灰度图像中的坐标位置，则利用图像压缩后分块g的总数据量为：

D(g)₁=(1-f)s_g+4   (式贰)

其中s_g表示分块g的面积大小。若g_min(x)表示分块g所有元素中最小的x坐标值，g_max(x)表示最大的x坐标值；g_min(y)表示最小的y坐标值，g_max(y)表示最大的y坐标值，则分块g的图像面积s_g可通过式叁计算：

s_g=|g_max(x)-g_min(x)|×|g_max(y)-g_min(y)|   （式叁）

④利用所述的分块统计数据量计算模块（204）统计分块内包含的空间统计数据量。

分块内所有的空间统计数据位置和访问次数序列，通过序列差计算后每个数据用1个字节表示，其中第1个字节用2个字节表示，则总的分块空间统计数据量为：

(式肆)

其中符号

表示向上取整，则

等于1或0。

⑤利用所述的分块特征计算模块（205）计算分块稀疏特征。

若定义分块稀疏的判断标准为1，分块稀疏特征I可通过下式计算：

(式伍)

则I大于1的分块为稀疏分块，I小于1的分块为密度分块（即非稀疏分块）。

（3）方案优化启发式求解计算：通过所述的启发式方案优化计算单元（300），根据图像分块压缩率参数、图像分块进行启发式计算最优分块方案；在这一过程，包括以下方面。

①利用所述的启发式求解参数输入模块（301）获取用于采用启发式求解分块优化方案所需的所有分块位置、分块稀疏特征参数。

分块位置和分块稀疏特征参数包括当前分块数量G，每个分块面积及每个分块内空间统计数据位置及其分块稀疏特征参数，所述的参数通过前面步骤计算得到后，通过函数参数的形式输入。

②利用所述的最优方案启发式求解模块（302）采用启发式方法求解最优方案。

若设图像分块压缩后在分块方案G，总的分块数量为B，则分块压缩后的总数据量D为：

（式陆）

其中α_g为某分块g的稀疏系数，满足式柒的限制：

${\mathrm{\α}}_g=\left\{\begin{array}{cc}1& I\left(g\right)>1\\ 0& I\left(g\right)\≤1\end{array}\right.$ （式柒）

根据前面的分析，要达到最好的压缩效果，即D最小化问题就归约为选择一个合理的分块方案G，使

最小的问题，即：

$D^{*}=\arg \underset{G}{\min }\left(\underset{g=1}{\overset{B}{\mathrm{\Σ}}}{\mathrm{\α}}_g\right)$ （式捌）

式捌给出了求解最佳分块规则的方程，是一个典型的组合优化问题，因此可以采用启发式（Heuristic Algorithm）方法求解式捌的合理解(Reasonable solution)。

（4）图像分块压缩处理输出：通过所述的图像分块压缩处理单元（400），针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出；在这一过程，包括以下方面。

①利用所述的阈值参数输入模块（401）获取分块稀疏阈值。

分块稀疏阈值参数I0通过配置管理输入，缺省选择1。

②利用所述的分块稀疏性判断模块（402）根据分块稀疏特征计算结果与分块稀疏阈值比较以判断分块的稀疏分类。

直接比较计算得到的分块稀疏特征I(g)和分块稀疏阈值参数I0，如果I(g)>I0，则当前分块为稀疏分块，否则为密度分块。

③利用所述的图像分块压缩输出模块（403）根据分块稀疏性调用不同压缩算法对分块进行压缩输出。

对稀疏分块将所有的空间数据点按照序列化排列，然后计算序列差，最后对序列差使用游程编码压缩后作为分块压缩数据输出。

对密度分块（非稀疏分块）直接调用JPEG图像压缩算法处理得到压缩数据，然后在压缩数据前面增加4个字节，并存储该分块对应的位置坐标数据后作为分块压缩数据输出。

所有压缩的分块按照先后顺序组织成如下的数据序列[层号（1字节）∣分块压缩数据长度1（4字节）∣分块压缩数据1∣分块压缩数据长度2（4字节）∣分块压缩数据2∣……]后作为最终空间统计数据输出。

本发明针对空间统计数据所具有分块聚集性，设计一种新的基于图像稀疏特征的空间统计数据分块压缩方法，通过将空间统计数据映射成灰度图像，并利用图像分块稀疏特征计算得到图像分块的系数分类，通过启发式优化方法得到最终分类结果后，对不同特征的分块图像分别采用相适应的压缩方法进行压缩处理后输出，可大大减少空间统计数据量，且算法实现简单，效率较高，具有较好的工程实践性。

本发明可应用于大规模分布式环境下空间统计数据信息压缩技术领域。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像稀疏特征的空间统计数据分块压缩方法，其特征在于，包括以下步骤：

步骤1：将空间统计数据按层映射成灰度图像输出；

步骤2：计算所述的每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；

步骤3：根据图像分块的压缩率参数、面积大小进行启发式计算最优分块方案；

步骤4：针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。

2.根据权利要求1所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的空间统计数据，包含对应的空间数据的坐标及访问次数，所述的空间统计数据包括但不限于以日志格式文件、数据库的形式提供。

3.根据权利要求2所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的映射的灰度图像，每个像素代表一块空间数据，像素坐标即为对应的空间统计数据对应的X、Y坐标，像素的灰度值为对应的空间统计数据被访问次数。

4.根据权利要求1所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的灰度图像分块的压缩方法包括稀疏分块图像的压缩方法和非稀疏分块图像的压缩方法。

5.根据权利要求4所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的稀疏分块图像的压缩方法是通过将空间统计数据逐个排列，通过序列差计算后选择序列化数据压缩算法压缩，所述的序列化数据压缩算法包括但不限于游程编码压缩；所述的非稀疏分块图像的压缩方法是选择通用图像无损压缩算法压缩，所述的图像无损压缩算法包括但不限于JPEG无损压缩。

6.一种利用权利要求1所述的基于图像稀疏特征的空间统计数据分块压缩方法进行空间统计数据分块压缩方法的系统，其特征在于，包括空间统计数据分层映射单元（100）、灰度图像分块稀疏特征计算单元（200）、启发式方案优化计算单元（300）和图像分块压缩处理单元（400）；

所述的空间统计数据分层映射单元（100）用于将空间统计数据按层映射成灰度图像输出；所述的灰度图像分块稀疏特征计算单元（200）用于计算所述的每层映射的灰度图像分块的压缩率参数、面积大小、压缩效果、分块内包含的空间数据量和稀疏特征；

所述的启发式方案优化计算单元（300）用于根据图像分块压缩率参数、面积大小进行启发式计算最优分块方案；

所述的图像分块压缩处理单元（400）用于针对图像分块稀疏特征分别采用不同压缩算法对图像分块进行压缩处理输出。

7.根据权利要求6所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的空间统计数据分层映射单元（100）包括用于获取空间统计数据信息的空间统计数据信息获取模块（101）、用于计算空间统计数据映射到灰度图像大小的图像大小计算模块（102）以及用于将空间统计数据按层映射到灰度图像的空间统计数据图像映射模块（103）。

8.根据权利要求6所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的灰度图像分块稀疏特征计算单元（200）包括用于获取图像压缩率参数的特征计算参数获取模块（201）、计算分块面积大小的分块面积计算模块（202）、用于根据压缩率参数计算图像分块压缩效果的分块压缩数据量计算模块（203）、用于统计分块内包含的空间统计数据量的分块统计数据量计算模块（204）以及用于计算分块稀疏特征的分块特征计算模块（205）。

9.根据权利要求6所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的启发式方案优化计算单元（300）包括用于采用启发式求解分块优化方案所需的所有分块位置、分块稀疏特征参数的启发式求解参数输入模块（301）以及用于采用启发式方法求解最优方案的最优方案启发式求解模块（302）。

10.根据权利要求6所述的基于图像稀疏特征的空间统计数据分块压缩系统，其特征在于：所述的图像分块压缩处理单元（400）包括获取分块稀疏阈值的阈值参数输入模块（401）、用于根据分块稀疏特征计算结果与分块稀疏阈值比较以判断分块的稀疏分类的分块稀疏性判断模块（402）以及根据分块稀疏性调用不同压缩算法对分块进行压缩输出的图像分块压缩输出模块（403）。

Images