CN103744976B - 一种基于同态加密的图像安全检索方法 - Google Patents

Abstract

本发明涉及一种基于同态加密的图像安全检索方法。首先提取图像的颜色、纹理和形状等特征，并利用LPP方法对图像特征降维；然后采用Paillier同态加密算法对特征进行保护；最后直接对加密后的图像特征进行相似性匹配，将最相似的K幅图像作为检索结果反馈给用户。本发明基于CBIR框架，采取同态加密技术，无需解密，而是利用Paillier加密算法的同态特性，对加密后的图像特征直接进行相似度度量。克服了现有的图像检索方法无法对加密后的图像直接进行检索的不足。实验结果表明，本发明能够在保证图像信息安全性的前提下，得到与原来明文域CBIR方法完全一致的检索结果，加密不会影响图像的检索性能。

Description

一种基于同态加密的图像安全检索方法

技术领域

本发明属于多媒体信息安全领域，具体涉及一种基于同态加密的图像安全检索方法。

背景技术

随着云计算技术的不断发展，云计算已经逐渐应用于娱乐、电力、交通、能源等领域。这些行业部门通过云计算来为用户提供各种服务。云存储是云计算的基础设施之一，在云存储中往往存储着着海量的图像数据，这些图像数据中往往包含着大量的用户隐私信息，但是现有的云存储机制并未能为用户提供安全保护机制，这些隐私信息的泄漏将造成严重的后果。云计算的安全性和隐私保护等问题已经逐渐成为阻碍云计算得到更广泛应用的关键问题。

加密是保证用户隐私数据机密性的重要手段。为解决用户的隐私保护问题，人们往往对图像进行加密，把加密后的密文图像存储在云服务端。随着云图像存储规模的爆炸性增长，如何对海量的加密图像数据进行快速、高效的检索就成为一个需要迫切解决的问题。

基于内容的图像检索(CBIR，Content-Based Image Retrieval)在上世纪90年代被提出并逐渐蓬勃发展起来，是目前一种主流的图像检索技术，一直是多媒体处理领域的研究热点。其基本思想是提取图像的特征，如颜色、纹理、形状、轮廓等，来表示图像的内容，并通过特征之间的距离来衡量图像之间的相似性。CBIR最核心的技术是特征提取和相似性度量。

实际上，图像加密和图像检索分属两个完全不同的领域，这两个领域的研究工作一直是独立进行的。现有的加密图像检索方法是：首先由用户对图像进行加密保护并上传存储在服务器端；检索时，由服务器端对图像进行解密，以明文方式进行存储，再进行图像的检索。这种以明文进行图像存储和检索的方式会给用户带来隐私信息被泄漏的潜在风险，无法真正保证用户隐私信息的安全。

为了保证图像信息的安全，需要将图像加密和图像检索联合起来统一进行处理，即在加密域进行图像检索。在不解密的前提下实施检索，在保证检索性能的情况下，保护图像信息的安全。

发明内容

针对现有技术中存在的检索加密图像时必须先解密再检索，从而无法真正保证用户信息安全的问题，本发明提出一种基于Paillier同态加密的图像安全检索方法，对图像特征进行加密，由于同态加密技术允许用户直接对加密的数据进行计算、比较等操作，使加密后的图像特征无需解密即可检索，既能保证图像的安全，又不影响图像的检索性能。

为了实现上述目的，本发明采取如下技术方案：首先，提取图像的颜色、纹理和形状等特征，并利用保局投影(LPP，LocalityPreservingProjections)方法对图像特征降维；然后，采用Paillier同态加密算法对特征进行保护；最后，直接对加密后的图像特征进行相似性匹配，将最相似的K幅图像作为检索结果反馈给用户。

一种基于同态加密的图像安全检索方法，包括以下步骤：

步骤1，提取图像特征。

提取表示图像内容的三类图像特征：颜色、纹理和形状，实现CBIR检索。

步骤1.1，提取颜色特征。

颜色特征是在图像检索中应用最为广泛的视觉特征。与其它视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较强的鲁棒性。本发明选用了基于HSV颜色空间的颜色直方图特征。

提取颜色特征的方法如下：

(1)将RGB颜色空间变换到HSV颜色空间。

(2)对HSV颜色空间进行量化，按照8:3:3比例得到量化后的色调H、饱和度S和亮度值V。

(3)把3个颜色分量合成一维特征向量，即：

L＝HQ_SQ_V+SQ_V+V (1)

其中，Q_S和Q_V分别是S和V的量化级数。取Q_S＝3，Q_V＝3，上式可以表示为：

L＝9H+3S+V (2)

L的取值范围为[0～71]，得到72维颜色特征向量。

步骤1.2，提取纹理特征。

纹理特征是反映物体表面基本属性的内在特征，是一种不依赖于颜色或亮度的、反映图像中同质现象的视觉特征。本发明所选用灰度共生矩阵来作为纹理特征，能在一定程度上反应纹理图像中各灰度级在空间上的分布特征。

提取纹理特征的方法如下：

(1)对灰度级为64的灰度图像，构造4个方向的共生矩阵：M_(1,0)(h,k)，M_(0,1)(h,k)，M_(1,1)(h,k)和M_(1,-1)(h,k)。矩阵中位于(h，k)的元素值记为m_hk。

(2)分别计算这4个共生矩阵的4个纹理参数：角二阶矩(ASM)，对比度(CON)，熵(ENT)和相关性(COR)。计算公式为：

ASM＝∑_h∑_k(m_hk)² (3)

CON＝∑_h∑_k(h-k)²m_hk (4)

ENT＝∑_h∑_km_hklogm_hk (5)

其中，λ＝x,y，λ＝x,y。

(3)结合4个方向求取上述4个纹理参数的均值和标准差，得到纹理特征向量。

考虑到图像各个部分的纹理差异，将图像等分成4个部分，得到一个32维的纹理特征向量。

步骤1.3，提取形状特征。

通常，形状特征有两种表示方法：一种是轮廓特征的，一种是区域特征的。前者只用到物体的外边界，主要考虑利用边缘曲线、曲率、傅里叶描述子等来描述边缘信息表征图像的形状特征；而后者则关系到整个形状区域。

选用基于区域Zernike矩的形状特征提取方法。对于数字图像f(x,y)，Zernike矩为：

V_nm(r,θ)为一组定义在极坐标下单位圆(x²+y²≤1)上的复数多项式，其表达式为：

V_nm(r,θ)＝R_nm(r)exp(jmθ) (8)

其中，其中，*代表复数共轭计算，n、m为多项式V_nm(r,θ)的阶数，n为非负整数，n-|m|为偶数，且n≥|m|；R_nm(r)为在单位圆上定义的一组正交多项式，即Zernike正交多项式，其表达式为：

其中，s取范围[0,(n-|m|)/2]间的整数；

本发明提取了0～11阶的Zernike矩，如表1所示，共得到42维的图像形状特征。

表1：0～11阶的Zernike矩旋转不变特征及其数目

步骤2，进行特征降维。

为避免由于特征向量维度过高，造成检索速度过慢、计算复杂度过高等问题，本发明采用LPP方法对三类特征分别进行降维。LPP算法是一种新型的降维算法，具有较强的流形学习能力。当数据集存在非线性结构时，利用该算法得到的降维空间可以最大限度地保留图像的局部非线性结构，从而更能够保留图像的本质特征。

假设高维空间中的一个数据集为X＝(x₁,x₂,...x_n)，LPP算法的步骤可以表示如下：

(1)创建邻接图：建立一个具有n个顶点的权图G，如果节点x_i和x_j是K-近邻，则在节点x_i和x_j之间用一条边连接；

(2)确定权重：当且仅当x_i与x_j有边相连时，W_ij＝1；

(3)计算特征值和特征向量：

XLX^Ta＝λXDX^Ta (10)

其中，D是对角矩阵，D_ii＝∑_jw_ji；L＝D-W为拉普拉斯矩阵，L是对称矩阵且具有半正定的性质。

假定a₀,a₁,...a_m-1是公式XLX^Ta＝λXDX^Ta的解，对应的特征值为β₀＜β₁＜···＜β_m，则线性降维映射可以表示为：

x_i→y_i＝A^Tx_i (11)

其中，A＝(a₀,a₁,...a_m-1)是m维的转换矩阵。

本发明利用LPP降维方法将颜色特征由72维降到28维，纹理特征由32维降到9维，形状特征由42维降到12维。为保证特征向量内部各分量在相似度度量时权重相同，本发明采用了高斯归一化方法，将特征向量的值限制在[-1,1]内。三类特征合并后得到了一个49维的特征向量，用来描述图像的内容。

步骤3，进行特征加密。

步骤3.1，生成公钥和私钥。

选择两个大素数p和q，计算n＝pq,λ(n)＝lcm(p-1,q-1)，G为模n²的乘法群，即lcm、gcd分别为求最小公倍数和最大公约数函数，随机选择g∈G，使得g满足gcd(L(g^λmodn²),n)＝1，则加密系统的公钥为(g,n)，私钥为λ(n)。

步骤3.2，将特征向量整数化。

Paillier加密算法的明文m要求是整数，需要将49维特征向量整数化。为此，本发明首先将高斯归一化到[-1,1]的特征值加1，令其取值范围变为[0,2]；然后乘上比例因子S将其放大。本发明中S取104。

步骤3.3，将特征向量加密。

对于整数化后的特征向量中的任意一个标量数据m∈Z_n＝{x|x∈Z,0≤x＜n}，随机选择数则m对应的密文为：

[[m]]＝g^mrⁿmodn² (12)

步骤4，将加密后的特征存储在云服务器端，构建出加密图像特征库。

步骤5，在用户端，采用步骤1～3提取图像的特征并加密，将加密后的特征上传给服务器，在服务器端进行加密域的相似度度量，具体步骤包括：

步骤5.1，计算加密域中的距离。

本发明采用特征之间的欧式距离度量加密域的相似度。

假设用户端查询图像特征的加密为[[Q]]＝{[[q₁]],[[q₂]]······[[q₄₉]]}，服务器端图像库中图像特征的加密为[[F_i]]＝{[[f_i1]],[[f_i2]]······[[f_i49]]}。其中，i表示服务器端图像库中第i幅图像，N为图像库中图像总数，则i＝1,2······N。

计算查询图像的加密特征[[Q]]与图像库中图像的加密特征[[F]]＝{[[F₁]],[[F₁]]······[[F_N]]}之间的距离，第i幅图像与查询图像之间距离[[d_i]]的计算公式为：

[[d_i]]＝[[A+B+C]]＝[[A]][[B]][[C]] (13)

其中，M为特征维数，本发明提取49；[[C]]可以直接从加密特征库中提取。B包含了查询图像特征q_j和图像库图像特征f_ij的乘积，在服务器端完成图像库中图像的特征提取过程,因此图像库中图像的明文特征f_ij是已知的，根据Paillier同态加密算法的同态性，可以得到[[A]]的计算方法为：用户端首先计算q_j ²，然后对q_j ²进行加密得到[[q_j ²]]，最后将[[q_j ²]]传给服务器。服务器得到后，由计算[[A]]。

步骤5.2，对加密域的距离进行排序。

(1)根据最高比特位b_ijMSB的值确定任意两个明文距离d_i和d_j的大小。

假设d_i＜2^l，i＝1,2,······,N。每一个d_i用l+1比特表示，令b_ij＝2^l+d_i-d_j，加密b_ijMSB的计算公式为：

其中，[[b_ij]]＝[[2^l+d_i-d_j]]＝[[2^l]][[d_i]][[d_j]]^-1。

服务器端仅拥有距离的加密值[[d_i]]和[[d_i]]，[[b_ij mod2^l]]的计算通过与用户端进行交互实现：首先，引入(k+l+1)比特的随机量r，k为安全性参数，本发明中取100，将公式[[Z_i]]＝[[b_ij+r_i]]＝[[b_ij]][[r_i]]传给用户；然后，用户端用私钥解密后计算d_i mod2^l；最后用户将[[d_i mod2^l]]传给服务器。服务器在已知随机量r的情况下，得到：

[[b_ij mod2^l]]＝[[(d_i mod2^l-r_i mod2^l)mod2^l]]＝([[d_i mod2^l]][[r_i mod2^l]]^-1)mod2^l (15)

(2)引入k比特位的随机量h。用户端对[[Z]]＝[[b_ijMSB+h]]＝[[b_ijMSB]][[h]]解密后，服务器端再消去随机量h，计算出b_ijMSB的值。

(3)重复步骤(1)、(2)，完成加密域距离的排序。

步骤6，将距离最小的前K幅图像作为检索结果返给用户端，用户解密后得到检索图像。

K的值视具体情况选取。

与现有技术相比，本发明具有以下优点：

本发明基于CBIR框架，提出了一种基于同态加密的图像安全检索方法，无需解密，而是利用Paillier加密算法的同态特性，对加密后的图像特征直接进行相似度度量。克服了现有的图像检索方法无法对加密后的图像直接进行检索的不足。实验结果表明，采用本方明的方法，能够在保证图像信息安全性的前提下，得到与原来的明文域CBIR方法完全一致的检索结果，加密不会影响图像的检索性能。

附图说明

图1为基于同态加密的图像安全检索方法示意图；

图2为明文域与加密域检索的查准率—查全率曲线；

图3为明文域检索结果；

图4为加密域检索结果。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

本发明所述方法的流程图如图1所示，具体包括以下步骤：

步骤1，提取图像库中图像的颜色、纹理和形状特征。

步骤2，利用保局投影方法对图像特征降维，经过高斯归一化后，三类特征合并成一个49维特征向量。

步骤3，采用Paillier同态加密算法对取整后的特征进行加密。

步骤3.1，构建Paillier加密系统，生成公钥和私钥，其中所使用的参数p和q均为256比特。

步骤3.2，将49维特征向量整数化；

步骤3.3，运用Paillier同态加密算法对整数化后的特征进行加密。

步骤4，将加密后的特征存储在云服务器端，构建出加密图像特征库。

步骤5，在用户端，采用步骤1～3提取图像的特征并加密，将加密后的特征上传给服务器，在服务器端进行加密域的相似度度量，具体步骤包括：

步骤5.1，根据公式(13)计算加密域的距离。

步骤5.2，采用最高比特位值法，完成加密域的距离度量。此过程具体包括：

(1)根据公式(14)计算出[[b_ijMSB]]，此过程涉及到用户端与服务器端的两次交互。

(2)引入随机量，通过用户端与服务器端的再次交互确定b_ijMSB的值，从而确定两个距离的大小。

(3)重复步骤(1)、(2)，完成加密域距离的排序。

步骤6，将距离最小的前12幅图像作为检索结果返给用户端，用户解密后得到检索图像。

下面给出本发明的一个应用实例。

从Corel图像库、PASCAL图像库以及百度图片搜索网站上收集约7000幅彩色图像，采用本发明所述的加密域图像检索方法和明文域的检索方法对上述7000幅彩色图像进行检索，并通过两种检索方法的查准率—查全率曲线评估它们的检索性能。两种检索方法的查准率—查全率曲线如附图2所示。由附图2可以看出，两种方法的查准率—查全率曲线完全重合，说明本发明提出的加密域图像检索方法可以获得明文域的检索方法相同的性能。

根据距离度量结果，返回前12幅图像，如附图3和附图4所示。比较明文域与加密域的检索结果，可以看出，本发明提出的方法与明文域的检索结果保持一致。

综上所述，本发明提出的基于同态加密的图像安全检索方法，能够在保证图像信息安全性的前提下，得到与原来的明文域CBIR方法完全一致的检索结果，加密不会影响图像的检索性能，从而有效地解决云计算的安全性和隐私保护等问题。

Claims (1)

1.一种基于同态加密的图像安全检索方法，其特征在于无需解密即可实现加密图像的检索，包括以下步骤：

步骤1，提取图像特征；

步骤1.1，提取颜色特征；

(1)将RGB颜色空间变换到HSV颜色空间；

(2)对HSV颜色空间进行量化，按照8:3:3比例得到量化后的色调H、饱和度S和亮度值V；

(3)把3个颜色分量合成一维特征向量L：

L＝HQ_SQ_V+SQ_V+V

其中，Q_S和Q_V分别是S和V的量化级数；取Q_S＝3，Q_V＝3，上式可以表示为：

L＝9H+3S+V

步骤1.2，提取纹理特征；

(1)对灰度级为64的灰度图像，构造4个方向的共生矩阵：M_(1,0)(h,k)，M_(0,1)(h,k)，M_(1,1)(h,k)和M_(1,-1)(h,k)；矩阵中位于(h，k)的元素值记为m_hk；

(2)分别计算这4个共生矩阵的4个纹理参数：角二阶矩ASM，对比度CON，熵ENT和相关性COR；计算公式为：

ASM＝∑_h∑_k(m_hk)²

CON＝∑_h∑_k(h-k)²m_hk

ENT＝∑_h∑_km_hklogm_hk

$COR=\frac{{\mathrm{\Σ}}_h{\mathrm{\Σ}}_k{\mathrm{hkm}}_{hk}-{\mathrm{\μ}}_x{\mathrm{\μ}}_y}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}$

其中，

(3)结合4个方向求取上述4个纹理参数的均值和标准差，得到纹理特征向量；

步骤1.3，提取形状特征；

采用基于区域Zernike矩的形状特征提取方法；对于数字图像f(x,y)，Zernike矩为：

$Z_{nm}=\frac{n+1}{\mathrm{\π}}\underset{x}{\Σ}\underset{y}{\Σ}f(x,y)V_{nm}^{*}(r,\mathrm{\θ}),x^2+y^2\≤1$

其中，*代表复数共轭计算，V_nm(r,θ)为一组定义在极坐标下单位圆上的复数多项式，其表达式为：

V_nm(r,θ)＝R_nm(r)exp(jmθ)

其中，j为虚数单位，n、m为多项式V_nm(r,θ)的阶数，n为非负整数，n-|m|为偶数，且n≥|m|；R_nm(r)为在单位圆上定义的一组正交多项式，即Zernike正交多项式，其表达式为：

$R_{nm}\left(r\right)=\underset{s=0}{\overset{(n-|m\left|\right)/2}{\Σ}}{(-1)}^s\frac{(n-s)!}{s!(\frac{n+\left|m\right|}{2}-s)!\×(\frac{n-\left|m\right|}{2}-s)!}{r}^{n-2s}$

其中，s取范围[0,(n-|m|)/2]间的整数；

步骤2，进行特征降维；

对于高维空间中的一个数据集X＝(x₁,x₂,...x_n)，采用LPP算法进行特征降维的方法如下：

(1)创建邻接图：建立一个具有n个顶点的权图G，如果节点x_i和x_j是K-近邻，则在节点x_i和x_j之间用一条边连接；

(2)确定权重：当且仅当x_i与x_j有边相连时，W_ij＝1；

(3)计算特征值和特征向量：

XLX^Ta＝λXDX^Ta

其中，D是对角矩阵，D_ii＝Σ_jw_ji；L＝D-W为拉普拉斯矩阵，L是对称矩阵且具有半正定的性质；

假定a₀,a₁,...a_m-1是公式XLX^Ta＝λXDX^Ta的解，对应的特征值为β₀＜β₁＜···＜β_m，则线性降维映射可以表示为：

x_i→y_i＝A^Tx_i

其中，A＝(a₀,a₁,...,a_m-1)是m维的转换矩阵；

采用高斯归一化方法将特征向量的值限制在[-1,1]内；

步骤3，进行特征加密；

步骤3.1，生成公钥和私钥；

选择两个大素数p和q，计算n＝pq,λ(n)＝lcm(p-1,q-1)，G为模n²的乘法群，即lcm、gcd分别为求最小公倍数和最大公约数函数，随机选择g∈G，使得g满足gcd(L(g^λmodn²),n)＝1，则加密系统的公钥为(g,n)，私钥为λ(n)；

步骤3.2，将特征向量整数化；

将高斯归一化到[-1,1]的特征值加1，使其取值范围变为[0,2]；然后乘上比例因子，将特征值都变成整数；

步骤3.3，将特征向量加密；

对于整数化后的特征向量中的任意一个标量数据m∈Z_n＝{x|x∈Z,0≤x＜n}，随机选择数则m对应的密文为：

步骤4，将加密后的特征存储在云服务器端，构建出加密图像特征库；

步骤5，在用户端，采用步骤1～3提取图像的特征并加密，将加密后的特征上传给服务器，在服务器端进行加密域的相似度度量；

步骤5.1，计算加密域中的距离；

采用特征之间的欧式距离度量加密域的相似度；

假设用户端查询图像特征的加密为服务器端图像库中图像特征的加密为其中，i表示服务器端图像库中第i幅图像，N为图像库中图像总数，则i＝1,2······N；

计算查询图像的加密特征与图像库中图像的加密特征之间的距离，第i幅图像与查询图像之间距离的计算公式为：

其中，M为特征维数，

其中，可以直接从加密特征库中提取；B包含了查询图像特征q_j和图像库图像特征f_ij的乘积，在服务器端完成图像库中图像的特征提取过程,因此图像库中图像的明文特征f_ij是已知的，根据Paillier同态加密算法的同态性，可以得到 的计算方法为：用户端首先计算q_j ²，然后对q_j ²进行加密得到最后将传给服务器；服务器得到后，由计算

步骤5.2，对加密域的距离进行排序；

(1)根据最高比特位b_ijMSB的值确定任意两个明文距离d_i和d_j的大小；

假设d_i＜2^l，i＝1,2,······,N；每一个d_i用l+1比特表示，令b_ij＝2^l+d_i-d_j，加密b_ijMSB的计算公式为：

其中，

服务器端仅拥有距离的加密值和 的计算通过与用户端进行交互实现：首先，引入(k+l+1)比特的随机量r，k为安全性参数，一般取100，将公式传给用户；然后，用户端用私钥解密后计算d_i mod2^l；最后用户将传给服务器；服务器在已知随机量r的情况下，得到：

(2)引入k比特位的随机量h；用户端对解密后，服务器端再消去随机量h，计算出b_ijMSB的值；

(3)重复步骤(1)、(2)，完成加密域距离的排序；

步骤6，将距离最小的前K幅图像作为检索结果返给用户端，用户解密后得到检索图像；

K的值视具体情况选取。