CN102780685A

CN102780685A - 用于对数据进行压缩和加密的方法及系统

Info

Publication number: CN102780685A
Application number: CN2011101229635A
Authority: CN
Inventors: 常晓涛; 谷春亮; 邹琼; 戈弋; 王鲲
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2011-05-12
Filing date: 2011-05-12
Publication date: 2012-11-14
Anticipated expiration: 2031-05-12
Also published as: US20130010949A1; US20120288088A1; CN102780685B

Abstract

本发明提供一种对数据进行压缩和加密的方法和系统。该方法包括：接收原始数据；对所述原始数据进行第一压缩，以获得第一压缩结果；仅对第一压缩结果中的字面部分进行加密，以获得加密后的第一压缩结果。本发明的具体实施方式通过只对压缩结果的字面部分进行加密而较大程度地提高了压缩+加密过程的效率。

Description

用于对数据进行压缩和加密的方法及系统

技术领域

本发明总体上涉及信息处理技术领域，特别地，涉及一种对数据进行压缩和加密的方法及系统。

背景技术

目前，有大量信息数据在信息节点中进行传输。对于虚拟专用网(Visual Private Network，简称VPN)，当人们从单位之外通过互联网访问单位内部资源时，通常需要对数据进行压缩和加密，这样通过压缩可以减少数据流量，加快网速，并减少网络拥塞，而通过加密可以增加安全性，避免单位数据和个人数据泄密。再例如在云存储环境中，由于云存储的存储器通常被很多人使用，因此需要对数据进行加密，为减少数据流量，数据在存到网络存储服务器上之前，用户可以先进行压缩再进行加密，这样在减少磁盘空间的同时还增强了安全性。另外普通的对安全有要求、并对带宽有一定要求的网络传输，也需要进行压缩和加密。也就是说，对数据进行压缩以减少数据流量同时又对数据进行加密以保证其私密性的应用场景是非常广泛的。

图1示出了传统压缩和加密同时进行的算法：在压缩阶段，首先对原始数据进行压缩，例如使用压缩(Deflate)算法，生成一个压缩后数据，然后对这个新数据进行加密，例如AES块加密算法，最终生成压缩加密的最终数据。其中通常的文本压缩算法，例如Deflate算法，包含两个步骤，分别为滑动窗口字典式编码压缩算法如LZ77和哈夫曼编码压缩算法(Huffman)。LZ77利用数据重复进行压缩，即生成源字符和二元组，其中二元组的两个成分是地址和长度。Huffman编码则是利用数据出现频率不同进行压缩编码。LZ77算法和Huffman编码，都是工业界广泛应用的压缩算法，为节省篇幅，在此不作详细介绍。

目前的压缩加密算法技术存在着压缩加密时间过长，效率不高的缺陷。

因此需要一种具有较高效率的对数据进行压缩和加密的方法及系统

发明内容

本发明一方面提供一种对数据进行压缩和加密的方法，包括：接收原始数据；对所述原始数据进行第一压缩，以获得第一压缩结果；仅对第一压缩结果中的字面部分进行加密，以获得加密后的第一压缩结果。

本发明另一方面提供一种对数据进行压缩和加密的系统，包括：接收装置，被配置为接收原始数据；第一压缩装置，被配置为对所述原始数据进行第一压缩，以获得第一压缩结果；加密装置，被配置为仅对第一压缩结果中的字面部分进行加密，以获得加密后的第一压缩结果。

本发明的具体实施方式通过只对压缩结果的字面部分进行加密而较大程度地提高了压缩+加密过程的效率。

附图说明

为了对本发明实施例的特征和优点进行详细说明，将参照以下附图。如果可能的话，在附图和描述中使用相同或者类似的参考标号以指代相同或者类似的部分。其中：

图1示出了现有的对数据的压缩和加密方法；

图2示出了现有压缩加密技术中加密耗时的比重；

图3示出了本发明对数据进行压缩和加密的方法的第一具体实施方式；

图4示出了本发明对数据进行压缩和加密的方法的第二具体实施方式；

图5示出了本发明的一个具体应用示例；

图6示出了运用本发明的相关具体实施方式的效果；

图7示出了本发明对数据进行压缩和加密的系统的结构示意图；

图8示意性示出了可以实现根据本发明的实施例的计算设备的结构方框图。

具体实施方式

现在将参考本发明的示例性实施例进行详细的描述，在附图中图解说明了所述实施例的示例，其中相同的参考数字始终指示相同的元件。应当理解，本发明并不限于所公开的示例实施例。还应当理解，并非所述方法和设备的每个特征对于实施任一权利要求所要求保护的本发明都是必要的。此外，在整个公开中，当显示或描述处理或方法时，方法的步骤可以以任何顺序或者同时执行，除非从上下文中能清楚一个步骤依赖于先执行的另一步骤。此外，步骤之间可以有显著的时间间隔。

申请人在研究解决现有压缩和加密技术的缺陷中发现，如图2所示，其中横轴表示被压缩和加密的样本：从网络下载的电子文档(前6个文件)和部分网页(后4个文件)，纵轴表示在整个“压缩+加密”过程中所占时间百分比重。而采用示例性的RSA加密算法，在整个“压缩+加密”过程中，图2显示加密的过程是占绝大部分的比重，因此如果能够改善加密的效率且不降低加密的级别，显然是能够有效地改善现有“压缩+加密”的技术。而数据加密时间与数据量大小成正比，因此当减少压缩数据量时，可以提高整体“压缩+加密”的性能。

基于上述的数据分析发现，申请人提出如图3所示的本发明对数据进行压缩和加密的方法的第一具体实施方式。在步骤301中，接收原始数据。优选地，所述原始数据包括文本数据或二进制数据中至少之一；在步骤303中，对所述原始数据进行第一压缩，以获得第一压缩结果。本领域技术人员基于本申请，可以采用任何适用的能够生成字面部分的压缩算法，例如LZ77、LZ78、LZW等。字面(literal)部分是指应用LZ77或者其它类似算法的过程中，某一部分原始数据直到输出保持不变的那一部分数据，字面(literal)部分是本领域技术人员常用的术语。在步骤305中，仅对第一压缩结果中的字面部分进行加密，以获得加密后的第一压缩结果。对于LZ77等类似算法，可以通过查找历史字典确定当前生成的是字面(Literal)部分还是其它数据部分(比如二元组)，并且知道该字面部分在整个第一压缩结果中的位置。当然也可以通过采用标记的方法来在生成的压缩文件中标记文本部分。本领域技术人员基于本申请，可以采用任何适用的能够对字面部分进行加密的算法，包括流加密算法或者块加密算法，例如RC4流加密算法(具体可参见http://en.wikipedia.org/wiki/RC4)、AES或DES块加密算法(具体可参见http://en.wikipedia.org/wiki/Advanced_Encryption_Standard和http://en.wikipedia.org/wiki/Data_Encryption_Standard)、RSA或ECC块加密算法(具体可参见http://en.wikipedia.org/wiki/RSA和http://en.wikipedia.org/wiki/ECC)中的至少一种。优选地，还可以包括步骤307中，对加密后的第一压缩结果的至少一部分进行第二压缩(比如只是对字面部分的压缩结果进行第二压缩)，以获得第二压缩结果。本领域技术人员基于本申请，可以采用任何适用的能够对字面部分进行压缩的第二压缩算法，例如Huffman编码，香农范诺编码(Shannon-Fano)等。采用上述方法，可以保证在不降低保密级别时，较大程度地减少加密过程的所耗费的时间，从而能够大大地提高用户的体验。

图4示出了本发明对数据进行压缩和加密的方法的第二具体实施方式。该第二具体实施方式包括三个阶段：

1.第一压缩阶段：在该阶段中，接收包括文本数据的原始数据，并采用LZ77压缩算法对该原始数据进行压缩。经过LZ77压缩算法压缩后，原始数据就形成了如图4所示的第一压缩结果。第一压缩结果会包括了字面部分L1、L2、L3......等，和二元组Tuple1、Tuple2、......，所述二元组表征距离和长度，距离通常指该二元组所表征的之前的串数据的头与当前位置的距离，长度指该二元组所表征的串长度，一旦二者确定，那么一个二元组所表征的串将被确定。表1示出了在不同原始数据来源中经过LZ77压缩后字面部分在压缩结果中的字节数比重，一般在30％左右。

表1

原始数据来源	字面部分在压缩结果中的比重(％)
		www.sina.com.cn	29.6
www.sohu.com	35.9

2.加密阶段：在该阶段，利用现有的任何适用的文本加密算法只对字面部分L1、L2、L3......进行加密。由于二元组中的距离和长度并不包含原文的信息，而是依赖于字面部分才能恢复原始文件，因此只加密字面部分也不会减低加密级别。经过第一压缩和加密后，原始数据就变成：C1，C2，(tuple1)，(tuple2)，C3......，其中C1、C2、C3......分别为字面部分L1、L2、L3......对应的加密结果。由于在加密阶段只对约占30％的字面部分进行了加密，而对其余近70％的二元组部分没有进行加密，因此在本实施例就节省了大约70％的加密时间，从而在很大程度上提高了加密效率。

在具体加密算法实现时，如果采用流加密算法，例如RC4，可以直接应用到本实施例中。而如果采用块加密算法：例如AES/DES，RSA/ECC，要求输入原始数据必须以块格式，即数据加密单位必须是固定长度(整个待加密文件的最后一个块除外)，例如16字节，32字节等。因此本方法中，由于litera1部分在文件中是离散产生的，针对块加密方法，则采用源块缓存器(Source Block buffer)缓存所述第一压缩结果中的字面部分，采用目标块缓存器(TargetBlock buffer)缓存所述字面部分的加密结果。当源块缓存器满时，可进行加密，加密结果写入目标块缓存器，否则需要等待后续文本数据的到达。物理上，源块缓存器和目标块缓存器可以共享一个缓冲器。对于流加密算法，可以在生成字面数据之后立刻对每一个字节对其进行加密，并输出到字面数据在第一压缩结果中的位置。对于块加密算法，在生成字面数据的时候，将其缓存到一个源数据缓存器中，当该缓存器的内容达到该加密算法要求的块大小的时候，例如32字节，就对这个块进行加密，生成新的加密过的32字节数据，同时将每个字节输出到字面数据在第一压缩结果中的位置。

3.第二压缩阶段(可选)：在加密阶段获得的加密数据的基础上，利用Huffman编码对其至少一部分进行第二压缩获得用于传输的最终数据，从而进一步缩小了原始数据的数据量。经过上述压缩+加密+至少部分压缩的处理后的原始数据，就可以用于保密性传输，并较大程度上减少了传输数据的流量。

图5则示出了本发明的一个具体应用示例。假定原始数据为字符串ABCBCBCB，经过LZ77压缩过程，ABC将作为字面部分，保持不变，BCBCB将变成两个二元组，即(22)和(43)。其中(22)的第一个元素2表示当前位置向前数2个字符，即整个字符串的第二个字符，第二个元素2表示该二元组所取代的字符长度，因此(22)表示BC；(43)的第一个元素4表示当前位置向前数4个字符，即整个字符串的第二个字符，第二个元素3表示该二元组所取代的字符长度，因此(43)表示BCB。对字面部分ABC进行加密之后，字面部分ABC变成CXT，因为没有对二元组(22)和(43)进行加密，因此保持不变，而后对其进行Huffman编码。如果接收方对该最终数据进行Huffman解码之后，如果不进行解密(因为无法获得密钥)，就直接进行LZ77的逆过程，将得到的数据是CXTCXCXT，而不是原来的ABCABABC。由此可见，本应用实例在提高了效率的同时，并没有降低保密级别。

图6示出了运用本发明的相关具体实施方式的效果。其中采用的原始数据样本为从网络下载的电子文档(前6个文件)和部分网页(后4个文件)，其中第一压缩算法采用LZ77算法进行压缩，加密算法采用RSA加密算法，最后用Huffman编码进行第二压缩。图6中的横坐标为原始数据样本，纵坐标为优化的百分比，从中可以明确看出，对于这些样本的时间效率分别提高了约35％～65％不等。

本发明适于运用到各种需要压缩+加密的应用场景，比如云存储和VPN等。

如图7所示，本发明还提供一种对数据进行压缩和加密的系统700。该系统包括：接收装置701，被配置为接收原始数据；第一压缩装置703，被配置为对所述原始数据进行第一压缩，以获得第一压缩结果；加密装置705，被配置为仅对第一压缩结果中的字面部分进行加密，以获得加密后的第一压缩结果。

优选地，还包括第二压缩装置707，被配置为对加密后的第一压缩结果的至少一部分进行第二压缩，以获得第二压缩结果。

优选地，其中第一压缩采用LZ77压缩算法。

优选地，在采用块加密算法的情况下，还包括源块缓存器，其被配置为缓存所述第一压缩结果中的字面部分，和还包括目标块缓存器，其被配置为缓存所述字面部分的加密结果。

优选地，所述加密采用的算法至少包括RC4流加密算法、AES块加密算法、RSA块加密算法中的至少一种。

优选地，所述字面部分为文本数据和二进制数据中的至少之一。

优选地，该系统被运用于云存储或虚拟专用网中的至少一种。

图8则示意性示出了可以实现根据本发明的实施例的计算设备的结构方框图。图8中所示的计算机系统包括CPU(中央处理单元)801、RAM(随机存取存储器)802、ROM(只读存储器)803、系统总线804，硬盘控制器805、键盘控制器806、串行接口控制器807、并行接口控制器808、显示器控制器809、硬盘810、键盘811、串行外部设备812、并行外部设备813和显示器814。在这些部件中，与系统总线804相连的有CPU 801、RAM 802、ROM 803、硬盘控制器805、键盘控制器806，串行接口控制器807，并行接口控制器808和显示器控制器809。硬盘810与硬盘控制器805相连，键盘811与键盘控制器806相连，串行外部设备812与串行接口控制器807相连，并行外部设备813与并行接口控制器808相连，以及显示器814与显示器控制器809相连。

图8中每个部件的功能在本技术领域内都是众所周知的，并且图8所示的结构也是常规的。这种结构不仅用于个人计算机，而且用于手持设备，如Palm PC、PDA(个人数据助理)、移动电话等等。在不同的应用中，例如用于实现包含有根据本发明的客户端模块的用户终端或者包含有根据本发明的网络应用服务器的服务器主机时，可以向图8中所示的结构添加某些部件，或者图8中的某些部件可以被省略。图8中所示的整个系统由通常作为软件存储在硬盘810中、或者存储在EPROM或者其它非易失性存储器中的计算机可读指令控制。软件也可从网络(图中未示出)下载。或者存储在硬盘810中，或者从网络下载的软件可被加载到RAM802中，并由CPU 801执行，以便完成由软件确定的功能。

尽管图8中描述的计算机系统能够支持根据本发明的提供的技术方案，但是该计算机系统只是计算机系统的一个例子。本领域的熟练技术人员可以理解，许多其它计算机系统设计也能实现本发明的实施例。

虽然这里参照附图描述了本发明的示例性实施例，但是应该理解本发明不限于这些精确的实施例，并且在不背离本发明的范围和宗旨的情况下，本领域普通技术人员能对实施例进行各种变化的修改。所有这些变化和修改意欲包含在所附权利要求中限定的本发明的范围中。

并且根据上述描述，所属技术领域的技术人员知道，本发明可以体现为装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即，可以是完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、或者本文一般称为“电路”、“模块”或“系统”的软件部分与硬件部分的组合。此外，本发明还可以采取体现在任何有形的表达介质(medium of expression)中的计算机程序产品的形式，该介质中包含计算机可读的程序码。

可以使用一个或多个计算机可读的或计算机可读的介质的任何组合。计算机可读的或计算机可读的介质例如可以是——但不限于——电的、磁的、光的、电磁的、红外线的、或半导体的系统、装置、器件或传播介质。计算机可读介质的更具体的例子(非穷举的列表)包括以下：有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、诸如支持因特网或内部网的传输介质、或者磁存储器件。注意计算机可读的或计算机可读的介质甚至可以是上面印有程序的纸张或者其它合适的介质，这是因为，例如可以通过电扫描这种纸张或其它介质，以电子方式获得程序，然后以适当的方式加以编译、解释或处理，并且必要的话在计算机存储器中存储。在本文件的语境中，计算机可读的或计算机可读的介质可以是任何含有、存储、传达、传播、或传输供指令执行系统、装置或器件使用的或与指令执行系统、装置或器件相联系的程序的介质。计算机可读的介质可包括在基带中或者作为载波一部分传播的、由其体现计算机可读的程序码的数据信号。计算机可读的程序码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等。

用于执行本发明的操作的计算机程序码，可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言——诸如”C”程序设计语言或类似的程序设计语言。程序码可以完全地在用户的计算上执行、部分地在用户的计算机上执行、作为一个独立的软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户的计算机，或者，可以(例如利用因特网服务提供商来通过因特网)连接到外部计算机。

此外，本发明的流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得通过计算机或其它可编程数据处理装置执行的这些指令，产生实现流程图和/或框图中的方框中规定的功能/操作的装置(means)。

也可以把这些计算机程序指令存储在能指令计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品。

也可以把计算机程序指令加载到计算机或其它可编程数据处理装置上，使得在计算机或其它可编程数据处理装置上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其它可编程装置上执行的指令就提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims

1.一种对数据进行压缩和加密的方法，包括：

接收原始数据；

对所述原始数据进行第一压缩，以获得第一压缩结果；

仅对第一压缩结果中的字面部分进行加密，以获得加密后的第一压缩结果。

2.一种如权利要求1所述的方法，还包括：

对加密后的第一压缩结果的至少一部分进行第二压缩，以获得第二压缩结果。

3.一种如权利要求1所述的方法，其中第一压缩采用LZ77压缩算法。

4.一种如权利要求1所述的方法，其中，如果采用块加密算法，则采用源块缓存器缓存所述第一压缩结果中的字面部分，采用目标块缓存器缓存所述字面部分的加密结果。

5.一种如权利要求1所述的方法，其中所述加密采用的算法至少包括RC4流加密算法、AES块加密算法、RSA块加密算法中的至少一种。

6.一种如权利要求1所述的方法，其中所述字面部分为文本数据和二进制数据中的至少之一。

7.一种如权利要求1所述的方法，其中该方法被运用于云存储或虚拟专用网中的至少一种。

8.一种对数据进行压缩和加密的系统，包括：

接收装置，被配置为接收原始数据；

第一压缩装置，被配置为对所述原始数据进行第一压缩，以获得第一压缩结果；

加密装置，被配置为仅对第一压缩结果中的字面部分进行加密，以获得加密后的第一压缩结果。

9.一种如权利要求8所述的系统，还包括：

第二压缩装置，被配置为对加密后的第一压缩结果的至少一部分进行第二压缩，以获得第二压缩结果。

10.一种如权利要求8所述的系统，其中第一压缩采用LZ77压缩算法。

11.一种如权利要求8所述的系统，其中，在采用块加密算法的情况下，还包括源块缓存器，其被配置为缓存所述第一压缩结果中的字面部分，和还包括目标块缓存器，其被配置为缓存所述字面部分的加密结果。

12.一种如权利要求8所述的系统，其中所述加密采用的算法至少包括RC4流加密算法、AES块加密算法、RSA块加密算法中的至少一种。

13.一种如权利要求8所述的系统，其中所述字面部分为文本数据和二进制数据中的至少之一。

14.一种如权利要求8所述的系统，其中该系统被运用于云存储或虚拟专用网中的至少一种。