CN107704877B - 一种基于深度学习的图像隐私感知方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的图像隐私感知方法，包括以下步骤：S1、构建带类别标注的隐私分类数据集，使用迁移学习的方法训练隐私感知网络；S2、使用面向隐私感知的深度卷积神经网络完成隐私图像的识别；S3、根据神经网络深层卷积特征提取注意力分布图，并定位注意力集中区域完成对图像隐私区域的感知。本发明的有益效果是：基于深度神经网络完成了端到端的训练和测试，可以准确地区分隐私图像并定位图像中的隐私区域，方便对图像中的隐私信息进行选择性保护。

Description

一种基于深度学习的图像隐私感知方法

技术领域

本发明涉及人工智能，尤其涉及一种基于深度学习的图像隐私感知方法。

背景技术

隐私感知是隐私保护过程中重要的先决条件，而图像是目前社交网络中最主要的信息类型之一，对海量的图像数据进行隐私感知变得尤为关键。鉴于隐私的概念具有很强的主观性，目前存在的图像隐私感知方法通常先界定通用意义上的图像隐私(如个人证件、家庭合照、机密文件快照等)或者利用用户个体在社交网络上的标注。现有的方法主要有以下缺点：

一、在隐私图像特征提取方面，现有的大部分方法是使用传统的图像特征提取方法，如SIFT特征、RGB特征、颜色直方图等等，在特征表达能力上有一定的局限性，无法表示深层的语义级别的特征，分类模型泛化能力差。

二、目前存在的一些感知图像隐私的方法需要使用额外的信息才能达到可以接受的感知效果，比如用户对图像主观标记的图像描述标签或者用户自己设定的访问控制策略，然而这些信息在大部分情况下很难获取，对应用场景的要求也较为苛刻，模型的通用性较差。

三、现有的图像隐私感知方法只完成了图像级别的隐私感知，即区分整张图像是否为隐私图像，并没有对图像隐私区域进行感知。然而在实际应用中，有时需要对图像的隐私区域进行遮挡或模糊化处理，以达到隐私保护的目的。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于深度学习的图像隐私感知方法。

本发明提供了一种基于深度学习的图像隐私感知方法，包括以下步骤：

S1、构建带类别标注的隐私分类数据集，使用迁移学习的方法训练隐私感知网络；

S2、使用面向隐私感知的深度卷积神经网络完成隐私图像的识别；

S3、根据神经网络深层卷积特征提取注意力分布图，并定位注意力集中区域完成对图像隐私区域的感知。

作为本发明的进一步改进，步骤S1包括：先在大规模图像数据集上对深度卷积神经网络模型进行预训练，然后构建隐私分类数据集，将预训练的深度卷积神经网络模型在隐私分类数据集上进行微调。

作为本发明的进一步改进，步骤S2包括：在深度卷积神经网络的最后一层卷积层后加入双线性运算层，增强深度卷积神经网络模型的特征表达能力，同时将全连接层改为池化层。

作为本发明的进一步改进，步骤S3包括：根据池化层的各节点权重和经过双线性运算的特征图的对应关系，得到加权的高层特征图作为注意力分布图，并通过尺度变换，定位原图中的隐私区域。

作为本发明的进一步改进，双线性运算层主要计算卷积后的特征图之间两两点乘的结果，

设原特征图集合M＝{m₁,m₂,…,m_n1}，

输出的双线性特征图集合为M’＝{m’₁,m’₂,…,m’_n1×n1},

则转换的公式如下：

其中“

”代表矩阵的点乘，“

”代表向上取整，n1表示原特征图的个数，i表示双线性特征图的下标。

作为本发明的进一步改进，对双线性特征图进行降维操作。

作为本发明的进一步改进，采用Tensor Sketch算法对双线性特征图进行降维操作。

作为本发明的进一步改进，双线性特征图为c个w*h的矩阵，而Tensor Sketch算法的输入为向量，使用Tensor Sketch算法时对双线性特征图中每个位置依次计算，即分别对w*h个c维向量进行运算，重映射到w*h*d维的空间中；首先随机生成用于进行哈希操作的参数集合h_k∈{1,…,d}^c，s_k∈{1,-1}^c(k＝1,2)，其中h_k用于存储输入向量重映射后的索引，s_k实现了输入向量各元素数值的随机取反；根据上述参数集合，通过累加计算得到重映射后的Count Sketch向量；由卷积定理可知，时域或空间域的卷积等于对应频域内的乘积；所以使用快速傅立叶变换将两个Count Sketch向量转换到频域，求其在频域的乘积，然后通过傅里叶反变换转换回空间域，计算得到Count Sketch向量的卷积。

作为本发明的进一步改进，将全连接层改为平均池化层，该平均池化层对整张特征图进行池化操作，对每张特征图的元素求平均值，最终得到d维的向量。

作为本发明的进一步改进，平均池化层节点和特征图有对应关系，通过特征图的加权求和得到注意力分布图；

设通过降维后的双线性特征图序列P＝{p₁,p₂,…,p_d}，

最后生成的注意力分布图为A，则其计算公式如下：

其中n2为输入图像经过分类后从属的类别标签,

表示对池化层第k个节点对应类别n2的连接权重；

根据上述结果进行隐私图像局部的定位，具体方法是将由上述步骤得到的注意力分布图进行尺度变化，转换为原图大小，并设定阈值完成图像二值化，求解二值化后图像的最小外接矩阵作为隐私图像局部感知的结果。

本发明的有益效果是：基于深度神经网络完成了端到端的训练和测试，可以准确地区分隐私图像和非隐私图像并定位图像中的隐私区域，，方便对图像中的隐私信息进行选择性保护，为隐私保护过程提供了良好的先决条件。从方法先进性层面，该发明有效地克服了传统隐私感知方法的准确率低、泛化能力差、依赖用户额外信息等问题，并在不增加训练神经网络模型的情况下，将隐私感知从对图像整体的感知延伸到了对图像隐私区域的感知。

附图说明

图1是本发明一种基于深度学习的图像隐私感知方法的流程图。

图2是本发明一种基于深度学习的图像隐私感知方法的深度卷积神经网络结构图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

如图1至图2所示，一种基于深度学习的图像隐私感知方法，主要步骤包括：

构建隐私数据集：收集相关图像并按隐私与非隐私进行标注；

神经网络预训练：将深度卷积神经网络在大规模图像数据集(例如，ImageNet)上进行训练；

神经网络改进与训练：将预训练好的神经网络进行改进，并在隐私图像数据集上微调；

图像整体隐私感知：自动判断输入图像是否为隐私图像；

图像隐私区域感知：自动检测图像中的隐私区域。

在所述神经网络改进与训练步骤中对预训练好的卷积神经网络进行改进，在最后一层卷积层后加入双线性运算层，增强模型的特征表达能力，同时将全连接层改为池化层，为隐私区域感知打下基础。

图像隐私区域感知无需重新训练网络。本发明根据分类网络池化层各节点权重和经过双线性运算的特征图的对应关系，得到加权的高层特征图，并通过尺度变化，得到注意力分布图，定位注意力集中区域作为隐私区域。

各个步骤具体实施方式如下：

构建隐私数据集：为提高数据集构建效率，使用关键词搜索的方式，取百度和谷歌图像搜索的前n张备选图像。关键词主要涉及证件照片、家庭/团体合照、文件快照等类别。在关键词获取过程中，使用了可以计算词间相似度的相关模型(例如，经大量语料训练后的word2vec和GloVe模型)，帮助产生输入关键词的相似词汇，从而增加隐私关键词，便于搜索更多的图像。接着人工筛选搜索得到的少数与隐私无关的图像，收集了4384张隐私图像。对于非隐私图像，选取ImageNet数据集中的200类常见物体，随机抽取得到4800张图像，最后按照1：1的比率划分训练集和测试集，方便后续神经网络的训练和测试。

神经网络预训练：本步骤将深度卷积神经网络在ImageNet大规模图像数据集上进行训练。ImageNet数据集包含了约120万张图像，涉及了1000类常见的物体。预训练的原因是隐私数据集较小，而深度卷积神经网络参数较多，直接训练很难收敛。而如果先在大规模数据集上进行预训练，使神经网络得到较好的初始权重，同时获得一定的特征表达能力,就可以在小数据集上快速收敛，并得到较好的分类效果。预训练的神经网络使用目前效果较好的VGG16卷积神经网络，VGG16包含16层卷积层和2层全连接层，在通用分类任务上能达到很好的效果。

神经网络改进与训练：首先将预训练好的模型进行改进，并在隐私数据集上进行训练。主要的改进内容如下：

对预训练好的VGG16网络，在最后一层卷积层后加入双线性运算层，增强模型的特征表达能力。双线性运算层主要计算卷积后的特征图之间两两点乘的结果，设原特征图集合M＝{m₁,m₂,…,m_n1},输出的双线性特征图集合为M’＝{m’₁,m’₂,…,m’_n1×n1},则转换的公式如下：

其中“

”代表矩阵的点乘，“

”代表向上取整，n1表示原特征图的个数，i表示双线性特征图的下标。

然而在系统实现过程中，直接计算最后一层卷积的双线性特征图会出现维度灾难的问题。如在本框架中最后一层有512个特征图，根据公式(1)求得的双线性特征图有512×512个，从而带来了后续大量的计算开销，因此需要对双线性特征图实现降维操作。对此，本发明使用了Tensor Sketch算法(简称TS算法)来实现数据的降维，该算法是一种基于CountSketch的向量外积估计方法。Count Sketch是一种数据哈希的方法，最早主要用在数据流频繁项集的挖掘中，随后被Pham等人证明可以通过计算Count Sketch的卷积来估计两个向量的外积(即向量间各元素两两相乘)。

由于上述提到的特征图为c个w*h的矩阵，而TS算法的输入为向量，所以本发明在使用TS算法时对特征图中每个位置依次计算，即分别对w*h个c维向量进行运算，重映射到w*h*d维的空间中。首先随机生成用于进行哈希操作的参数集合h_k∈{1,…,d}^c，s_k∈{1,-1}^c(k＝1,2)，其中h_k用于存储输入向量重映射后的索引，s_k实现了输入向量各元素数值的随机取反。根据上述参数集合，可以通过累加计算得到重映射后的Count Sketch向量。由卷积定理可知，时域或空间域的卷积等于对应频域内的乘积。所以可以使用快速傅立叶变换(FFT)将两个Count Sketch向量转换到频域，求其在频域的乘积，然后通过傅里叶反变换转换回空间域，计算得到Count Sketch向量的卷积。具体算法如下所示。

除了上述双线性运算层的改进，本发明还将原网络结构中最后一层卷积层后面的全连接层改为平均池化层(Average Pooling)，该层对整张特征图进行池化操作，对每张特征图的元素求平均值，最终得到d维的向量。使用池化层代替全连接层是因为池化层并没有可学习的参数，这样做大大减少了模型参数，加快了收敛速度，并在一定程度上避免了过拟合的发生。同时保证了特征图与池化后的特征向量之间的对应关系，为后续提取注意力分布图创造了条件。

图像整体隐私感知：该步骤用于自动鉴别输入图像是否为隐私图像，将测试图像输入上述训练好的隐私感知网络，根据网络输出的各类别从属概率确定其是否为隐私图像。

图像隐私区域感知：本步骤用于自动检测图像中的隐私区域。主要通过网络的深层卷积特征提取注意力分布图，定位注意力集中区域从而完成对隐私区域的感知。

由于池化层节点和特征图有对应关系，可以通过特征图的加权求和得到注意力分布图。设通过降维后的双线性特征图序列P＝{p₁,p₂,…,p_d}，最后生成的注意力分布图为A，则其计算公式如下：

其中n2为输入图像经过分类后从属的类别标签,

表示对池化层第k个节点对应类别n2的连接权重。

本发明根据上述结果进行隐私图像局部的定位，具体方法是将由上述步骤得到的注意力分布图进行尺度变化，转换为原图大小。并设定阈值完成图像二值化，求解二值化后图像的最小外接矩阵作为隐私图像局部感知的结果。

本发明应用广泛，例如：

方案一、在社交网络中，照片分享已经成为越来越受欢迎的交流方式。然而用户在进行照片分享中存在一定的安全隐患，例如，很多人尤其是年轻人在没有足够考虑到自己安全的情况下直接将可能暴露个人隐私的照片分享到社交网络，一些不法分子可能会利用这些信息从事非法活动，这无疑给自己或自己的亲友带来了一定的安全威胁。对此，如果使用本发明中的隐私感知机制，就可以及时提醒上传者照片可能涉及的隐私，起到防微杜渐的作用。另外，在一些情况下，用户希望对公开照片中涉及隐私的区域进行遮蔽或模糊化处理。而对隐私区域进行处理需要耗费大量人力和时间，本发明所提供的图像隐私敏感区域感知的方法能够较好地解决上述问题，该方法可以自动定位图像中的隐私区域，方便后续处理，避免了人工的操作。

方案二、当前云存储的应用越来越广泛，云平台汇集了大量用户的个人信息，其中有很大一部分是图像数据。然而大部分的云平台属于不可信系统，云平台泄漏个人数据的事件屡见不鲜。为了保障个人隐私不被泄漏，一些公司使用加密或数据扰动的方式进行隐私保护，但对于海量的图像数据全部进行处理需要大量的计算资源。这时如果使用发明中所涉及的方法对图像数据进行分析，先区分隐私图像或者定位隐私敏感区域，进行有针对性的保护，就能够在保证信息安全的情况下大大减少计算的开销。

本发明一方面改进了现有图像隐私感知方法的一些缺陷，另一方面将隐私感知问题引申到了对图像隐私区域的感知，以满足不同的需求。对比于传统隐私感知方法，本发明只对于图像内容特征和类别进行训练，不受用户设定的图像标签和访问策略的约束，能够在多种应用场景上发挥作用。同时本发明使用了深度卷积网络，相比传统的特征提取方法具有更强的特征表达性，增加了模型的分类准确率和泛化能力。

本发明提供的一种基于深度学习的图像隐私感知方法具有如下优点：

一、为图像隐私保护提供了很好的先决条件。本发明提出了自动的隐私感知机制，能对图像和图像局部的隐私进行感知，满足了图像隐私保护的多样化需求。能够在保障用户隐私安全的前提下，选择性地保护隐私图像，大幅度节省隐私保护的计算开销。

二、本发明中构建的隐私感知数据集包含了根据大量隐私语料搜索所得的图像，使模型能够感知包括证件照、文件快照等多种常见的隐私类别，具有较强的通用性。

三、本发明在训练和测试阶段都采用端到端的方式(输入端为原始图片，输出端为感知结果，过程不需要人为干涉)，并使用同一模型同时完成了对隐私图像和图像隐私区域的感知，模型使用方便，并很容易推广到多种实际应用场景当中。

四、引入了双线性运算的优化策略，在原模型的基础上进一步改善了特征表达能力，有利于提高图像感知准确率，并对隐私区域的定位有较大裨益。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于深度学习的图像隐私感知方法，其特征在于，包括以下步骤：

S1、构建带类别标注的隐私分类数据集，使用迁移学习的方法训练隐私感知网络；

S2、使用面向隐私感知的深度卷积神经网络完成隐私图像的识别；

S3、根据神经网络深层卷积特征提取注意力分布图，并定位注意力集中区域完成对图像隐私区域的感知；

步骤S1包括：先在大规模图像数据集上对深度卷积神经网络模型进行预训练，然后构建隐私分类数据集，将预训练的深度卷积神经网络模型在隐私分类数据集上进行微调；

步骤S2包括：在深度卷积神经网络的最后一层卷积层后加入双线性运算层，用于计算卷积后的特征图之间两两点乘的结果，增强深度卷积神经网络模型的特征表达能力，同时将全连接层改为平均池化层，用于对整张特征图进行池化操作，对每张特征图的元素求平均值，最终得到d维的向量；

步骤S3包括：根据平均池化层的各节点权重和经过双线性运算的特征图的对应关系，得到加权的高层特征图作为注意力分布图，并通过尺度变换，定位原图中的隐私区域。

2.根据权利要求1所述的基于深度学习的图像隐私感知方法，其特征在于：

双线性运算层主要计算卷积后的特征图之间两两点乘的结果，

设原特征图集合M＝{m₁,m₂,…,m_n1}，

输出的双线性特征图集合为M’＝{m’₁,m’₂,…,m’_n1×n1},

则转换的公式如下：

其中

代表矩阵的点乘，

代表向上取整，n1表示原特征图的个数，i表示双线性特征图的下标。

3.根据权利要求2所述的基于深度学习的图像隐私感知方法，其特征在于：对双线性特征图进行降维操作。

4.根据权利要求3所述的基于深度学习的图像隐私感知方法，其特征在于：采用TensorSketch算法对双线性特征图进行降维操作。

5.根据权利要求4所述的基于深度学习的图像隐私感知方法，其特征在于：双线性特征图为c个w*h的矩阵，而Tensor Sketch算法的输入为向量，使用Tensor Sketch算法时对双线性特征图中每个位置依次计算，即分别对w*h个c维向量进行运算，重映射到w*h*d维的空间中；首先随机生成用于进行哈希操作的参数集合h_k∈{1,…,d}^c，s_k∈{1,-1}^c(k＝1,2)，其中h_k用于存储输入向量重映射后的索引，s_k实现了输入向量各元素数值的随机取反；根据上述参数集合，通过累加计算得到重映射后的Count Sketch向量；由卷积定理可知，时域或空间域的卷积等于对应频域内的乘积；所以使用快速傅立叶变换将两个Count Sketch向量转换到频域，求其在频域的乘积，然后通过傅里叶反变换转换回空间域，计算得到CountSketch向量的卷积。

6.根据权利要求5所述的基于深度学习的图像隐私感知方法，其特征在于：平均池化层节点和特征图有对应关系，通过特征图的加权求和得到注意力分布图；

设通过降维后的双线性特征图序列P＝{p₁,p₂,…,p_d}，

最后生成的注意力分布图为A，则其计算公式如下：

其中n2为输入图像经过分类后从属的类别标签,

表示对平均池化层第k个节点对应类别n2的连接权重；

根据上述结果进行隐私图像局部的定位，具体方法是将由上述步骤得到的注意力分布图进行尺度变化，转换为原图大小，并设定阈值完成图像二值化，求解二值化后图像的最小外接矩阵作为隐私图像局部感知的结果。

Images