CN106302449A

CN106302449A - 一种密文存储与密文检索开放云服务方法和系统

Info

Publication number: CN106302449A
Application number: CN201610670837.6A
Authority: CN
Inventors: 陈驰; 苏帅; 陈盛
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2016-08-15
Filing date: 2016-08-15
Publication date: 2017-01-04
Anticipated expiration: 2036-08-15
Also published as: CN106302449B

Abstract

本发明公开了一种密文存储与密文检索开放云服务方法和系统。本系统包括若干安全组件和一服务器端；服务器端为每一注册用户创建一与个人身份绑定的主密钥和一加解密密钥；服务器端用主密钥加密加解密密钥并保存；服务器端对用户认证通过后，将该用户的主密钥返回给该安全组件；安全组件利用用户的主密钥进行解密得到该用户的加解密密钥，然后利用该加解密密钥对该用户待存储文件进行加密后存储于第三方云平台；并且生成该待存储文件的文件元数据和密文索引并发送给服务器端；该安全组件，用于将检索请求发送给该服务器端，该服务器端根据该检索请求中的关键字在密文索引中进行检索，然后根据检索结果查询文件元信息返回给该用户的客户端。

Description

一种密文存储与密文检索开放云服务方法和系统

技术领域

本发明涉及信息安全领域，具体地说，涉及一种云存储环境下的用户数据加密存储和密文检索的方法和系统。

背景技术

随着互联网和计算技术的发展，人们的生活已经进入了“云时代”。置身于“云”中，人们想要的各类信息触手可及，人们可以像使用自来水一样按需使用几乎是无限的软硬件资源。云存储将存储资源作为服务通过互联网提供给用户使用，是云计算中基础设施即服务(Infrastructure as a Service，IaaS)的一种重要形式。借助于虚拟化和分布式计算与存储技术，云存储可以将众多廉价的存储介质整合为一个存储资源池，向用户屏蔽了存储硬件配置、分布式处理、容灾与备份等细节。用户可以按自己对存储资源的实际需求量向云服务提供商租用池内资源，省去了本地的存储硬件及人员投入。同时，将存储的基础设施交由专业的云服务提供商来维护可以保证更好的系统稳定性。因此很多企业或者个人倾向于将数据交由第三方云服务商保存。

云存储的最大特点是存储及服务，用户可以通过公有API将自己的数据上传到云端保存，由于云模式的特点，数据所有者不再维护存储数据的载体，用户不管选择哪家云服务提供商都必须对其完全信任，但在现实中，用户的数据，尤其是使用智能终端采集的数据(例如：个人照片、通信记录等)往往与隐私相关，用户并不希望将其完全的托付给存储服务商，虽然云服务提供商在数据保护、容灾、备份、数据中心的维护等方面有着用户们无法比拟的经验和水平，但很多用户仍然认为受自己控制的才是安全的。据调查，我国至少95％的政府用户和企业用户将数据安全作为考虑云计算时最为关心的问题；由于大部分云存储服务提供商存储在云端的文件是明文状态而且用户丧失了对数据的绝对控制权，因此针对云服务提供商的所有安全隐患都将直接关系到用户数据的安全性，具体的安全隐患包括：

1.数据在网络传输过程中容易泄露：目前很多云服务提供商在同步用户数据的时候采用不安全的传输方式，数据在同步到云端的时候很容易遭到网络窃听或者劫持，造成隐私数据泄露。

2.云服务提供商滥用权限的风险：由于数据是以明文状态存在于第三方云服务提供商的，而某些云服务提供商的管理员拥有较高权限，管理员可能会因为一些商业利益对用户数据造成泄漏；又或者云服务提供商基于商业目的对用户数据进行窥探和分析。例如：Google和Baidu等公司普遍采用的分析引擎，可能涉及用户的使用习惯等隐私信息。

3.云服务商被攻击：把数据存储在云端给数据访问和存储带来方便的同时，也面临着互联网上很多黑客攻击的威胁，如果用户数据以明文的方式存储在云端的话，一旦云服务商被攻击，极有可能造成用户数据的大量泄漏。

因此，一些企业或者个人并不愿意将自己的私有数据直接交给云服务提供商保管，他们更希望将数据进行加密处理后再保存到云端，这就需要用户自己编写一套加密组件和密钥管理系统集成到项目中，虽然可能解决了一些安全问题，但是又同时带来了新的问题，用户自己编写的加密组件和密钥管理系统具有如下缺陷：

1.没有统一的规范和标准：用户在编写加密组件时，数据如何加密、加密流程、密钥管理方式以及项目集成方法等全部纳入用户考虑范围，目前市场上缺乏统一的规范技术和标准，使得自定义的加解密组件只能适用于一个项目，不利于推广使用。

2.用户需要维护一套复杂的密钥管理系统：用户在自定义加解密组件的同时，势必要新建一套密钥管理系统为加解密组件提供服务，用户需要自己开发和维护这一套密钥管理系统，增加了用户的开发和维护费用。

3.无法满足密文检索要求：使用自定义的加解密组件，数据被加密保存到第三方云服务提供商后，密文文件的内容对用户不可见，用户无法对密文文件的内容进行密文检索。

虽然现在有很多关于保护云端数据安全的方法和系统，但是到目前为止，还没有人提出一种可以为企业或者个人提供密文存储和密文检索云服务的方法和系统。

已公开的专利申请CN102428686用于安全保护云中的数据的系统和方法，提供了一种安全可集成的数据存储到云计算资源中并与云计算资源传送数据的任意合适系统中的安全数据解析器。为了增加安全性，可利用原始数据、数据的部分或者这二者的加密。该方法主要提供安全的存储和传输安全。并没有提到将密文存储服务开放给用户，而且该方法不能对密文内容进行检索，没有提供客户端的文件操作流程。不能有效解决与第三方云存储服务器的对接。

已公开的专利申请CN201010595149.0一种面向密文云存储的文档检索方法与系统，该方法以云计算为背景，使用客户端生成的对称密钥分别加密索引文件的索引词、原文件生成密文索引文件和密文，使用用户主密钥加密对称密钥，存储在云端。其中，服务器端保存一个索引表，用于存储用户用其索引密钥加密所上传文档的属性元信息所得到的密文；在检索时，客户端先从服务器端得到用户索引密钥的密文，然后利用用户的主密钥进行解密，然后用得到的索引密钥对属性元信息加密并将属性元信息密文发送到服务器端，服务器端利用该属性元信息密文对索引表进行检索，从而得到满足条件的文档记录并返回给客户端。该方法不提供开放服务接口；不提供对第三方云提供商的对接功能，成本高；密钥管理功能薄弱，不能更新用户的密钥，且不提供客户端的密钥存储、获取、更新、备份等一系列解决方案。

针对上述问题，本发明提出一种密文存储与密文检索开放云服务方法和系统，专门为企业和用户提供文件加解密和密文检索服务，而且企业和用户可以很方便地把该方法和系统集成到项目中，免去用户自己开发加解密组件和密钥管理系统的步骤，使用户可专注于研究和开发项目的业务流。

发明内容

针对现有技术方案的技术挑战，本发明公开了一种密文存储与密文检索开放云服务方法。本发明的密文存储与密文检索开放云服务系统只保留文件加解密密钥和密文索引，而不保留密文文件，外部云存储只保存加密文件，而不保存加解密密钥，达到了密文和密钥分离的目的，可有效地提升用户的数据安全防护和隐私保护能力，另外用户可以使用该方法和系统对密文文件内容进行密文检索。可以打消用户选用云方案的顾虑，对于促进云计算的发展、增加信息系统的使用效率、促进节能减排都具有十分重要的意义。

一种密文存储和密文检索开放云服务方法，其特征在于，所述方法包括：

a)密文存储和密文检索以服务的方式提供给用户，用户可以很容易地使用密文存储和密文检索服务。开放服务包括对接客户端的安全组件和为安全组件提供对接服务的服务器端；所述客户端可能是各种智能计算设备，包括移动智能终端(例如：智能手机、PAD、PDA或其他移动智能设备)和传统互联网接入设备(例如：笔记本电脑、PC或服务器等)；所述安全组件可能是一些拥有开放接口可供调用的库文件(例如jar包、程序动态库、静态库等)；所述服务器端是对安全组件提供对接服务的服务器等，具体服务包括：用户管理、密钥管理、密文检索、信息同步等；

b)用户通过和服务器协商一致的身份信息进行登录验证，采用与个人身份绑定的主密钥和为每个上传文件生成一个加解密密钥两级密钥管理方法，提供：身份认证，密钥产生，密钥更新，密钥存储，密钥备份功能。

c)安全组件为用户提供文件透明加解密和文件存储功能，用户通过调用安全组件提供的存储接口对文件进行加解密和存储，调用方式简单，加密算法多样，算法可以根据用户需求进行选择。加密文件可以方便地存储于第三方云平台。

d)安全组件为用户提供文件内容密文检索功能，文件的密文索引信息会在文件加密的时候上传到服务器端，用户通过调用安全组件的密文检索接口，可以对密文文件的内容进行检索。

e)安全组件支持主流的云平台对接(例如阿里云、亚马逊S3等)，通过安全组件加密的密文文件全部同步到第三方云平台，密文存储和密文检索开放云服务的服务器端只保留加密文件的密钥和密文索引，不保留密文文件，而第三方云平台只保留加密文件，而不保留加解密密钥，达到了密文和密钥分离的目的，有效地确保了文件的安全性。

所述方法还包括：

a)用户调用安全组件的接口将文件上传到第三方云平台，安全组件依据用户选定的加密方法和生成的加密密钥，按照如下步骤操作：根据文件是否为可读的文档来创建密文索引，加密文件，上传加密文件到第三方云平台，上传密文索引以及文件元信息到密文存储和密文检索开放云服务器端，删除文件缓存信息。

b)用户调用安全组件的接口对文件进行解密查看，安全组件提供文件信息获取接口，安全组件的调用者可以查看存储于第三方云存储平台的密文文件的文件元信息(例如文件名字，文件大小，上传日期等)，依据安全组件的调用规则，用户选定一个文件对其进行下载打开，安全组件将密文文件从第三方云平台下载到本地，从密文存储和密文检索开放云服务器端获取文件元信息、加密方法、加密密钥等信息，根据获取的加密方法和密钥等信息对密文文件进行解密、打开，文件关闭后，删除文件缓存信息。

c)用户调用安全组件的密文检索接口对文件的内容进行密文检索，用户的安全组件会与密文存储和密文检索开放云服务器端进行身份认证，服务器根据安全组件的检索请求中的关键字，在服务器中的密文索引中进行检索，检索得到文件ID等唯一标示，根据唯一标示进一步查询文件元信息，向用户返回文件元信息。

所述的安全组件，是以专门为上层用户提供服务的形式开放给用户的，安全组件主要提供两大功能接口，一是密文存储功能，另外一个是密文检索功能，密文存储包括密文加解密以及对接第三方云服务平台，密文检索功能可以实现对密文文件内容进行检索。安全组件以jar包或者dll动态库或者静态库等插件形式提供给用户，可以很容易地集成到各种平台(例如PC，智能终端，WEB应用等)。

进一步的，密文存储和密文检索开放云服务安全组件可对接异构云平台，安全组件的对接功能用于连接一个或多个云存储设备，实现挂载控制功能和数据控制功能；其中云存储设备可以是本地的存储服务器，也可以是云存储提供商的存储服务接口(例如：阿里云，亚马逊S3等)。所述挂载控制功能，包括增加、删除挂载点、获取挂载点信息等；所述数据控制功能，包括上传、下载、删除外部存储中的文件。

所述的透明加解密由安全组件的文件加解密提供统一接口实现，所述透明加解密根据用户传递的参数或者读取用户设备配置，获取加解密算法，并由密钥管理模块获得加解密密钥，驱动密码设备单元实施加解密操作。所述密码设备单元由抽象密码组件管理，可以是使用硬件加密设备或软件加密设备实现，可动态扩展密码算法。

进一步的，通过下述方法实现加解密过程对用户的透明：

I.用户上传文件调用安全组件时，选择所需加密上传的文件，此时文件被安全组件做上传预处理。

II.由抽象密码组件从密文存储和密文检索开放云服务系统的服务器端获取加解密密钥和加密算法，对文件生成密文索引，对所选文件进行加密、根据用户提供的第三方云平台的身份认证信息将密文文件上传到第三方云平台，将生成的密文索引和文件元信息上传到本系统的服务器端。所述所选文件的原明文文件在上传成功后被删除。

III.用户对密文请求读取或修改操作时，调用抽象密码组件进行解密操作，生成明文临时文件，并保存明文临时文件属性信息元数据到临时文件表。并将明文临时文件交给上层客户端程序。

IV.用户使用应用程序对文件的操作均针对于明文临时文件。在进行下一个文件操作或同步刷新时进行临时文件属性与所存储原文件属性元数据进行对比。

V.若文件没有进行修改，则删除临时文件，文件不进行同步。若文件经过修改，则调用密码设备单元对所述临时明文文件进行生成密文索引操作、加密操作，首先删除密文存储和密文检索开放云服务器的文件元信息以及密文索引，删除第三方云平台的密文文件，并将生成的密文索引和元信息重新上传到密文存储和密文检索开放云服务器，将加密的密文文件重新上传到第三方云平台中。在上传成功后删除所述临时明文文件。

所述身份认证以及所述的密钥管理机制中的密钥产生过程，包括主密钥产生、加解密密钥产生和密钥获取。通过下述方法实现：

I.用户首次使用安全组件时，需要去密文存储和密文检索开放云服务平台注册账户，用户经过和平台协商一致，根据用户认证参数，平台会给用户提供用户唯一认证方法，用户通过这个唯一身份认证方法即可使用密文存储和密文检索开放云服务提供的服务，所述认证参数包括但不仅限于用户名口令或者用户指纹、声音等生物特征。

II.服务器会依据用户提供的相应认证参数调用服务器端密钥产生模块生成用户主密钥，产生后调用密钥备份模块进行备份。

III.安全组件通过认证参数和密文存储和密文检索开放云服务平台进行身份认证，通过身份认证后，安全组件即可从服务器端获取文件加解密密钥。

IV.当透明加解密模块请求加解密密钥时，依据用户加密方案查找存储的加解密密钥，并将加解密密钥提供给加解密模块；

V.若未查找到所述存储的加解密密钥，说明文件加解密密钥丢失，则查询密钥备份模块，查找文件加解密密钥，提供给加解密模块。

认证过程按如下步骤执行：安全组件获取用户提供的身份认证信息，通过安全的网络传输方式将其传送到服务器端，服务器端从存储数据库中读取存储的用户个人认证信息的单项散列值，与用户提供的身份认证参数利用相同算法生成的固定长度的单项散列值进行对比，若相同，则通过认证；否则，认证不通过。认证通过后，服务器直接通过安全的传输方式将主密钥返回给安全组件，安全组件接收到主密钥后，对其进行加密保存。

密钥更新过程按照如下步骤执行：当用户发出更新请求，并通过所述身份认证后，利用新的认证参数，重新调用所述服务器端的密钥产生模块生成新的主密钥，并通过所述密钥备份模块进行备份。

密钥备份过程按照如下步骤执行：将主密钥的固定长度的单项散列值，及经主密钥加密后的加解密密钥备份到密文存储和密文检索开放云服务端；同时将加密后的加解密密钥和文件元数据信息也备份到密文存储和密文检索开放云服务端。

密钥恢复过程按如下步骤执行：根据以上提到的用户认证参数，服务器认证用户合法后，安全组件就可以将文件的加解密密钥以及加密密钥和文件映射关系表从密文存储和密文检索开放云服务端恢复。

所述的云平台对接方法为：

I.安全组件通过客户端提供的第三方挂载信息对第三方云平台进行对接，提供的方式可以是动态传参也可以是写入配置文件，所述挂载信息包括用户名、存储类型等；

II.当用户发起挂载请求时，所述安全组件获取第三方云平台挂载信息，按照客户端提供的身份认证信息进行第三方云平台的挂载；

III.该所述抽象操作接口模块对上层提供数据访问接口，对下层针对各个云服务商交互，实现不同存储类型对应的抽象操作。所述云服务商存储类型包括阿里云、AmazonS3、Dropbox、HDFS等，所述抽象操作包括fopen等文件操作接口、mkdir等目录操作接口，并可以根据需求动态的扩展。

进一步的，根据用户设定，采用优先级控制策略，对于优先级高的文件，在得到用户请求后立即得到响应，进行建立索引、加密文件、同步更新的操作；对于优先级低的文件，则在客户端接入电源或静止状态时，自动进行索引建立、加密文件、同步更新的操作。

一种密文存储和密文检索开放云服务系统，其特征在于，包括：一个或多个安全组件和云服务器。

所述安全组件包括文件加解密模块、密钥管理模块、密文检索模块、身份认证模块、元信息对接模块和对接外部云存储模块；

所述文件加解密模块，用来进行加解密操作；

所述密文索引模块用来密文索引生成；

所述身份认证模块完成安全组件身份认证，

所述密钥管理模块，用于完成与个人身份绑定的主密钥管理和对每个文件进行加解密的密钥管理；

所述密文检索模块用以实现明密文的检索，对于密文检索生成相应查询语句的分词和单向散列，并与密文存储和密文检索开放云服务端交互。

所述元信息对接模块与文件加解密模块和密文检索模块连接用于调用和接收生成的密文和密文索引，完成密文及密文索引上传的功能；

所述密钥管理模块与文件加解密模块连接为用户提供操作接口，以设定密文安全策略，包括获取所述认证参数和加解密算法；

所述对接外部云存储模块为安全组件提供对接第三方云平台功能；

所述云服务器端包括用户管理模块、密钥管理模块、密文索引模块、信息同步模块、断点续传模块、并发处理模块；

所述用户管理模块与安全组件端身份认证模块连接，实现身份认证功能，包括帐号的管理和访问控制，包括注册用户、普通用户等；

所述云服务器端的密钥管理模块与安全组件端的密钥管理模块连接，实现密钥管理功能，用于存储备份用户的主密钥单项散列值、使用主密钥加密的加解密密钥，用户文件属性的元信息值，采用数据库实现；提供接口接受用户请求，进行密钥恢复。

所述密文索引模块与安全组件端密文检索模块连接，实现密文索引创建、上传、保存和密文检索功能；

所述同步模块与安全组件端元信息对接模块连接，用以实现对文件元信息的同步传输；

所述断点续传模块与安全组件端的文件加解密模块和元信息对接模块连接，实现文件信息传输的断点续传功能；

所述并发处理模块与安全组件的密文检索模块、身份认证模块和元信息对接模块连接，用以支持数据的高并发处理功能。

与现有技术相比，本发明的积极效果为：

1.确保数据在网络传输过程中的安全：安全组件和服务器以及第三方云服务提供商的通信全部采用加密的数据传输方式，而且传输的信息是密文状态，确保了网络中传输数据内容的安全。

2.云服务提供商看不到明文文件：通过安全组件上传到第三方云服务提供商的文件全部是密文状态，加解密密钥保存在密文存储与密文检索开放云服务器，第三方云服务提供商无法获得加解密密钥，因此无法滥用用户数据。

3.防护不当仅损失文件的密文形式：即使第三方云服务商被黑客攻陷，黑客只能得到文件的密文形式，攻击者获取明文的难度与攻击密码算法的难度相同。

4.密文存储与密文检索开放云服务为用户提供标准的规范和统一的接口：密文存储与密文检索开放云服务按照一定的规范和标准开放接口和服务，确保了不同用户按照相同的调用方式来使用开放云服务，有利于用户项目的移植与标准化。

5.密文存储与密文检索开放云服务为用户管理复杂的密钥管理系统：用户自己不必维护复杂的密钥管理系统，将密钥管理交给密文存储与密文检索开放云服务来维护，可以节省用户的密钥管理的维护费用。

6.密文存储与密文检索开放云服务对用户提供密文检索服务：用户可以利用密文检索服务对加密的密文文件内容进行检索。

7.密文存储与密文检索开放云服务的安全组件可对接多个第三方云服务提供商，用户可以将数据分布在不同的云服务提供商提供的存储上，其中一家云服务提供商倒闭也不会影响其他副本的存活。

附图说明

图1是本发明密文存储与密文检索开放云服务的方法和系统的结构图；

图2是本发明密文存储与密文检索开放云服务方法和系统的用户操作图；

图3是本发明密文存储与密文检索开放云服务方法和系统的用户注册图；

图4是本发明密文存储与密文检索开放云服务方法和系统的用户激活图；

图5是本发明密文存储与密文检索开放云服务方法和系统的用户修改密码图；

图6是本发明密文存储与密文检索开放云服务方法和系统的密钥管理模块关系图；

图7是本发明密文存储与密文检索开放云服务方法和系统的密钥管理模块获取密钥过程图；

图8是本发明密文存储与密文检索开放云服务方法和系统的文件操作图；

图9是本发明密文存储与密文检索开放云服务方法和系统的文件加解密框架图；

图10是本发明密文存储与密文检索开放云服务方法和系统的文件加密流程图；

图11是本发明密文存储与密文检索开放云服务方法和系统的文件解密流程图；

图12是本发明密文存储与密文检索开放云服务方法和系统的密文索引框架图；

图13是本发明密文存储与密文检索开放云服务方法和系统的生成密文索引流程图；

图14是本发明密文存储与密文检索开放云服务方法和系统的密文索引查询流程图；

图15是本发明密文存储与密文检索开放云服务方法和系统的查询模块的密文索引删除流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明，但不以任何方式限制本发明的范围。

本实施例采用如图1所示的密文存储与密文检索开放云服务方法和系统结构，包括安全组件、与安全组件对接的服务器、安全组件通过网络与服务器建立连接、安全组件通过网络与第三方云存储服务器建立连接。

安全组件包括文件加解密模块、密钥管理模块、密文检索模块、对接外部云模块、身份认证模块和元信息对接模块；

文件加解密模块和密文索引模块分别用来进行加解密操作和密文索引生成；

身份认证模块用来完成用户身份认证和主密钥管理，密钥管理模块用来完成对文件加解密密钥的管理；

密文检索模块用以实现对密文文件内容的检索，对于密文检索生成相应查询语句的分词和单向散列，并与云服务器端交互。

元信息对接模块主要完成文件元信息与服务器端对接的功能，主要就是把文件元信息上传到服务器端；完成密文索引同步的功能，主要是将密文索引上传到服务器端。服务器端会定时对文件元信息和密文索引进行备份，防止数据丢失和损坏。

对接外部云模块用于对接多种第三方云服务平台。

身份认证模块与文件加解密模块、密钥管理模块为用户提供操作接口，以设定密文安全策略，包括获取所述认证参数和加解密算法；

在本具体实施实例中客户端为安装有上述模块的应用的Android手机和Windows平台的软件。

服务器端包括用户管理模块、密钥管理模块、密文检索模块、信息同步模块、断点续传模块、并发处理模块、元信息和索引存储模块；

服务器端的用户管理模块与安全组件的身份认证模块进行对接，主要完成对用户帐号的管理和访问控制，包括注册用户、维护超级管理员用户和普通用户等。

服务器端的密钥管理模块与安全组件的密钥管理模块对接，完成对用户主密钥和文件的次级密钥的管理，存储备份用户的主密钥单项散列值、使用主密钥加密的加解密密钥。提供接口接受用户请求，进行密钥恢复。

服务器端的密文检索模块完成与安全组件的密文检索模块的对接，完成对明文文件的密文索引的生成以及密文索引文件的同步与检索。

服务器端的信息同步模块与安全组件的元信息对接模块和密文检索模块对接，完成文件元信息的同步功能以及密文索引的上传下载和查询。

服务器端的断点续传模块和安全组件的元信息对接模块和密文检索模块对接，完成文件信息在上传下载过程中因为网络问题或者其他问题而导致的传输中断而导致的重传问题。

服务器端的并发处理模块针对多用户安全组件对服务器产生的并发量而造成服务中断的问题，处理巨量用户请求的并发问题。

服务器端的元信息和索引存储模块为用户提供了巨量数据存储的数据仓库的存储方法，存储和计算支持可扩展伸缩，为服务器端数据存储提供底层大数据支撑。在本具体实施实例中服务器为上述模块搭建Hadoop和HBase的Linux平台。

在本发明密文存储与密文检索开放云服务方法和系统中文件加密模块、密钥管理模块、对接外部云模块、密文检索模块、元信息和索引存储模块是其重要实现核心。

如图2所示，本发明密文存储与密文检索开放云服务实现了用户操作。主要分为用户注册、用户激活和修改密码。如图3所示，用户注册具体实施实例如下：

1.用户上传用户参数(口令+用户名，指纹等生物特征)和密保问题和答案到服务器端。

2.服务器端检查用户名是否存在，如果存在，返回“用户存在”返回码，如果不存在，则尝试向用户发送激活邮件，如果邮件发送失败，则循环发送，总共发送n次，如果继续失败，则返回发送邮件失败返回码，如果发送成功，则进行下一步操作。

3.邮件发送成功后，服务器新建用户，将用户名、密码的单向散列(密码经过加盐处理)、用户密保问题以及用户主密钥KEY_Master存入数据库，等待用户激活。

如图4，用户激活具体实施实例如下：

1.用户收到激活邮件后，点击邮件提供的链接进行用户激活，邮件链接通过HTTP请求的方法向服务器发用户激活请求，请求参数包含用户名和用户名的激活代码。

2.服务器接受用户发来的参数，对其进行验证，如果验证通过，则修改数据库标示为用户为已激活，如果验证不通过，则返回激活失败代码。

如图5所示，用户修改密码具体实施实例如下：

1.用户向服务器发送修改密码请求，向服务器发送密保问题和答案以及新密码。

2.服务器对用户发送的密保问题进行验证，如果验证失败，则返回修改密码失败返回码，如果验证成功，将新密码加盐存入数据库，返回修改密码成功返回码。

如图6所示，在本发明密文存储与密文检索开放云服务方法和系统的密钥管理实现了与个人身份绑定的主密钥和与文件绑定的加解密密钥两级密钥管理方法。在本具体实施实例中密钥管理模块不同部分之间协同工作的关系：

密钥生成：包括主密钥生成、加密密钥生成、密钥获取。主要完成主密钥、加密密钥的产生和主密钥对加密密钥的加解密。

①用户在第一次使用该应用时注册用户名和密码，由该模块依据相应的认证参数(口令+用户名，指纹等生物特征)生成主密钥KEY_Master。(产生之后即调用密钥备份模块保存)

②当文件加解密模块请求加密密钥KEY_Encryption时，依据文件加密属性和用户加密方案查找相应加密密钥KEY_Encryption并用主密钥KEY_Master解密提供给加解密模块，如未找到则生成相应加密密钥KEY_Encryption，提供给加解密模块并用主密钥KEY_Master加密f_encrypt(KEY_Encryption,KEY_Master)(即调用密钥备份模块进行备份)。另外作为这个模块的主线程，要随机启动，运行期间主密钥从内存读取，加密密钥可以从内存缓存中读取，或者读取数据库。

③文件加解密模块从服务器获取加密后的文件加密密钥后，利用主密钥进行解密得到文件加解密密钥f_decrypt(KEY_Encryption,KEY_Master)。

密钥更新模块：主要完成的是根据用户安全组件的命令来完成密钥的更新操作。当用户发出更新命令时，需要输入旧的认证参数，如口令或生物特征，以及新的认证参数，调用认证模块，当旧的认证参数认证通过时，就用旧的主密钥解密所有加解密密钥，并使用新的认证参数生成新的主密钥，并对加解密密钥加密存储。(调用密钥备份模块进行客户端和云端的双备份)。

密钥认证模块：主要完成对用户身份的认证。根据用户的认证参数生成的主密钥单向散列值存储到数据库中，并在需要验证时计算用户输入的认证参数生成主密钥单向散列值和数据库中的单向散列值比对。

密钥备份模块：主要完成将主密钥单向散列值，加密密钥备份到数据库；并且把和加密密钥有关的其他数据库文件(比如加密密钥和文件的对应关系表，用户表等)也备份到云端。

①当主密钥产生时即刻备份到数据库；

②同样，当加密密钥产生后，将加密密钥的密文做同样的备份，同时把和加密密钥关联的加密密钥和被加密文件的对应表也备份到数据库。

如图7所示，密钥管理模块的获取密钥过程的具体实施实例如下：

步骤1.判断加解密密钥存储数据库是否存在。

步骤2.若存在，使用KEY_Master解密数据库中存储的加解密密钥，并返回。

步骤3.若不存在，则调用密钥生成模块，生成文件加解密密钥，存储在内存缓冲中。

步骤4.使用主密钥KEY_Master加密加解密密钥，存储在数据库中。并调用密钥备份模块，将加密后的加解密密钥返回给安全组件。

如图8所示，在本发明密文存储与密文检索开放云服务方法与系统中，安全组件向用户开放基本文件操作接口：包括文件新增、文件删除、文件按名字搜索、文件位置变动，文件分享。安全组件以jar包或者操作系统动态库或者静态库等形式提供给用户，用户可方便地将安全组件集成到自己项目中。如图9所示，文件加解密的框架：安全组件从服务器端获取加解密密钥，安全组件利用获取的密钥和用户选择的加密方法对明文进行加解密，成功后，将加解密方法、文件加解密密钥和文件元信息存储在服务器，将加密后的文件存储在第三方云平台。

如图10所示，在本具体实例中文件加密的具体流程如下：

步骤1.安全组件通过用户应用程序得到需要加密的明文及相关信息

步骤2.通过抽象加解密模块向加解密配置模块请求查询用户保存的加解密算法。

步骤3.加解密配置模块访问缓存的配置文件，如Android下的sharedpreference或者Windows应用程序的配置文件等，将查询到的加解密算法返回给抽象加解密模块。

步骤4.通过抽象加解密模块向密钥管理模块请求获取加解密密钥。

步骤5.密钥管理模块访问内存缓存中存放的加解密密钥，使用主密钥解密返回给抽象加解密模块。

步骤6.调用抽象加解密的具体实现接口，将明文、算法类型、加解密密钥作为参数传入。

步骤7.具体加解密的实现可以是开源算法库，如openssl等，或者用户自定义的函数，对分块的明文加密并返回。

步骤8.抽象加解密模块向上层返回加密后的密文。

步骤9.将加密后的文件上传到第三方云平台

步骤10.把文件元信息上传到密文存储与密文检索开放云服务的服务器。

如图11所示，在本具体实施实例中文件解密具体解密流程如下：

步骤1.安全组件接受上层用户调用，进行文件解密，安全组件从第三方云端下载密文文件。

步骤2.安全组件得到需要解密的密文，传入抽象解密模块。

步骤3.通过抽象解密模块请求查询用户保存的加解密算法。

步骤4.访问缓存的配置文件，如Android下的sharedpreference或者Windows应用程序的配置文件等，将查询到的加解密算法返回给抽象加解密模块。

步骤5.通过抽象加解密模块向密钥管理模块请求获取解密密钥。

步骤6.访问内存缓存中存放的解密密钥，使用主密钥解密后将密钥返回。

步骤7.调用抽象解密的具体实现接口，将密文、算法类型、加解密密钥作为参数传入。

步骤8.具体解密的实现可以是开源算法库，如openssl等，或者用户自定义的函数，对密文解密并返回。

步骤9.通过抽象解密模块将解密的明文传入安全组件。

步骤10.安全组件从密文存储与密文检索开放云服务端下载文件元信息，返回给上层用户。

如图12所示，在本发明密文存储与密文检索开放云服务方法实施实例中的密文索引框架，由于存储在第三方云端的数据是以密文的方式存储，如果想对密文文件的内容进行内容检索，而且还不能泄露检索的内容，需要在安全组件端建立密文索引内容，可以建立索引的文本文件的类型包括txt、pdf、word等非结构化数据。索引创建由lucene实现，对索引中的关键字加密和对索引中的实体加密采用两种不同的加密算法，关键字采用SHA-1哈希算法进行单向散列加密。然后将加密的索引上传到服务器端，存储到指定的目录下。安全组件的逻辑是核心模块，它将调用加解密模块和密钥管理模块的外部接口进行索引的加密，也将调用网络对接模块实现密文索引文件的上传。如图13所示，密文索引创建的过程具体实施实例如下：

步骤1.对明文文件进行预处理，包括去除冗余字段、停用词、标点符号等。

步骤2.采用分词系统进行分词处理，得到关键字。

步骤3.对每个关键字进行评分。

步骤4.索引写入磁盘前，在索引缓存区调用加解密模块SHA-1算法加密索引中的关键字部分。

步骤5.在内存中生成密文索引树，创建索引。该索引索引元数据结构如下：

字段名	类型	描述
			Index_name	Text	密文关键词的名字
file_id	Text	文件id

如图14所示，安全组件密文索引查询的过程具体实施实例如下：

步骤1.安全组件接受用户密文检索所的关键字，然后选择密文查询。

步骤2.根据用户选择，对查询关键字进行加密处理即调用加解密模块的SHA-1算法对关键字求哈希。

步骤3.服务器接受安全组件发送的密文检索关键字哈希值，根据关键字的哈希值，在服务器端的密文索引检索文件id。

步骤4.根据从密文索引检索出来的文件id，从服务器端的文件元信息检索文件元数据。

步骤5.对查询结果进行合并处理，得到文件列表。

步骤6.密文存储与密文检索开放云服务器将查询到的文件列表返回给安全组件。

如图15所示，安全组件密文索引删除的过程具体实施实例如下：

步骤1.安全组件接受密文索引删除请求，发送到密文存储与密文检索开放云服务器端。

步骤2.服务器端接受删除索引请求，解析删除请求。

步骤3.服务器端删除密文索引。

步骤4.服务器端删除文件元数据，删除索引和删除元数据是一个事务。

通过本发明公开的方法和系统，完善的解决了背景技术中提到的现有技术方案的缺陷和风险，密文存储与密文检索开放云服务为用户规定了统一调用方式，通过使用密文存储与密文检索开放云服务保存到第三方云端的数据全部是密文形式的，云服务提供商不能恶意的窥探用户的数据，文件上传过程中不易被窃听，云服务提供商被攻陷仅损失文件密文，密文存储与密文检索开放云服务保存文件加密密钥和文件密文索引，达到密文存储与密文检索开放云服务器端只保留文件加解密密钥和密文索引，而不保留密文文件，第三方外部云存储只保存加密文件，而不保存加解密密钥，达到了密文和密钥分离的目的，有效地提升用户的数据安全防护和隐私保护能力，另外密文存储与密文检索开放云服务提供的密文检索服务可很好的满足了用户对密文文件内容的内容检索的需求。

Claims

1.一种密文存储与密文检索开放云服务方法，其步骤为：

1)在密文存储与密文检索开放云服务平台设置一对接客户端的安全组件和为安全组件提供对接服务的服务器端；其中，服务器端为每一注册用户创建一与个人身份绑定的主密钥和一加解密密钥；服务器端使用注册用户的主密钥加密该注册用户的加解密密钥并保存；

2)用户通过客户端调用该安全组件提供的接口进行登陆认证；该安全组件获取该用户提供的身份认证信息并将其传送到服务器端进行认证；认证通过后，服务器端将该用户的主密钥返回给该安全组件；

a)当用户需要进行密文存储时，用户通过客户端调用该安全组件，该安全组件从该服务器端获取该用户的加密后的加解密密钥，然后利用该用户的主密钥进行解密得到该用户的加解密密钥，然后利用该加解密密钥对待存储文件进行加密，然后将加密后的文件存储于第三方云平台；该安全组件生成该待存储文件的文件元数据和密文索引并发送给服务器端；

b)当用户需要进行密文检索时，用户通过客户端调用该安全组件，该安全组件将检索请求发送给该服务器端，该服务器端根据该检索请求中的关键字，在密文索引中进行检索，然后根据检索结果查询文件元信息，并将查询结果返回给该用户的客户端。

2.如权利要求1所述的方法，其特征在于，步骤2)中，服务器端进行认证的方法为：服务器端从存储数据库中读取该用户的用户个人认证信息的单项散列值，与该用户提供的身份认证参数生成的单项散列值进行对比，若相同，则通过认证；否则，认证不通过；其中，服务端存储的单项散列值的生成方法与利用该用户提供的身份认证参数生成的单项散列值的生成方法相同。

3.如权利要求1所述的方法，其特征在于，密文存储与密文检索开放云服务平台将该安全组件以jar包或者操作系统动态库或者静态库形式提供给用户。

4.如权利要求1或2或3所述的方法，其特征在于，该安全组件根据该用户提供的第三方云平台的身份认证信息将该加密后的文件上传到第三方云平台。

5.如权利要求1或2或3所述的方法，其特征在于，步骤2)中，当用户需要进行文件查看时，用户通过客户端调用该安全组件，安全组件从服务器端获取文件元信息给该客户端；当该用户选定一个文件时，该安全组件将该文件的密文文件从第三方云平台下载到本地，并且利用该用户的主密钥对从该服务器端获取的该用户的加密后的加密密钥进行解密，然后利用得到的加解密密钥对密文文件进行解密。

6.如权利要求5所述的方法，其特征在于，当用户需要对文件修改时，该安全组件首先生成该文件的明文临时文件，保存明文临时文件属性信息元数据到临时文件表并将该明文临时文件发送给该客户端；该客户端对该明文临时文件进行操作提交给该安全组件后，该安全组件将当前提交的明文临时文件的属性元数据与该临时文件表中的属性元数据进行对比，判断是否进行修改；若文件没有进行修改，则删除该明文临时文件；若文件经过修改，则对该临时明文文件进行生成密文索引操作、加密操作，更新服务器端的文件元信息以及密文索引，以及第三方云平台的密文文件。

7.一种密文存储与密文检索开放云服务系统，其特征在于，包括若干安全组件和一服务器端；服务器端为每一注册用户创建一与个人身份绑定的主密钥和一加解密密钥；服务器端使用注册用户的主密钥加密该注册用户的加解密密钥并保存；所述服务器端，用于根据安全组件提供的用户的身份认证信息对该用户进行认证，认证通过后，将该用户的主密钥返回给该安全组件；所述安全组件，用于利用用户的主密钥进行解密得到该用户的加解密密钥，然后利用该加解密密钥对该用户待存储文件进行加密，然后将加密后的文件存储于第三方云平台；该安全组件生成该待存储文件的文件元数据和密文索引并发送给服务器端；以及该安全组件，用于将检索请求发送给该服务器端，该服务器端根据该检索请求中的关键字，在密文索引中进行检索，然后根据检索结果查询文件元信息，并将查询结果返回给该用户的客户端。

8.权利要求7所述的系统，其特征在于，该安全组件为一jar包或者操作系统动态库或者静态库。

9.如权利要求7所述的系统，其特征在于，该安全组件根据该用户提供的第三方云平台的身份认证信息将该加密后的文件上传到第三方云平台。