CN109993212B - 社交网络图片分享中的位置隐私保护方法、社交网络平台 - Google Patents

Abstract

本发明属于视觉隐私保护技术领域，公开了一种社交网络图片分享中的位置隐私保护方法、社交网络平台；通过对收集的地点图像集进行图像分割和聚类预处理，获取图像中各物体的分类标签并筛选后，进行物体检测模型的训练；根据数据集中各类物体统计信息，分别从数量和相对位置两种策略对物体的隐私程度判定，得到隐私标签后训练隐私判别模型；利隐私区域根据程度的不同以图像修复方式进行隐私性消除；将使用者的反馈作为数据输入隐私判别模型进行更新，保证标准的可靠性。在对实际图像内容扰动很小的前提下，使得机器目标检测方法也无法正确检测出图像中存在的目标，无法与实际位置信息相关联起来。本发明较好地实现了图像内容中的位置隐私的保护。

Description

社交网络图片分享中的位置隐私保护方法、社交网络平台

技术领域

本发明属于视觉隐私保护技术领域，尤其涉及一种社交网络图片分享中的位置隐私保护方法、社交网络平台。

背景技术

目前，最接近的现有技术是这样的：近年来，随着移动互联网技术和硬件水平的飞速发展，人们越来越容易接入和获取各类在线服务。其中，功能不一的各类社交网络平台作为社交活动的传播载体，占据了人们日常生活的大部分时间，使得人们可以随时随地分享自己的生活的每一个细节。但在公开的社交平台上，如果没有合适的处理手段，隐私信息极有可能遭到泄露和滥用，对用户本身产生危害，尤其是最为直观的图片数据，由于包含了丰富的信息，可能会在不经意间泄露个人隐私；另一方面，伴随着基于位置的服务(LBS)产生的位置隐私，可能会透露一个人的行为模式、兴趣爱好等，也是一种至关重要的个人信息。

首先，从社交网络本身的层面上讲，现有的隐私保护方法的核心技术是访问控制，也就是由用户设定隐私策略，来决定哪些信息能够由哪些对象访问，例如将朋友划分为不同的圈子，再针对信息类型来设定访问权限。但这种方式过于依赖用户的主动性和对隐私的理解程度，且设置过程繁琐，隐私概念笼统不够精细(没有细化到各种隐私数据类型和场景中)，实际效果不好；对于位置隐私保护，现有的技术主要是从实际物理位置，也就是坐标信息入手的，多数考虑的是如何保证基于位置服务的质量上基础上，对位置信息进行处理，从而保证用户隐私。但实际上，用户在社交网站上实时分享的图像也存在泄露位置信息的可能，例如各类文字标识和标志物，都能在一定程度上指示图片的拍摄位置。一方面，这些图片中包含的位置信息可能会被恶意攻击者获取，从而导致用户的行踪信息和行为规律的暴露；另一方面，随着数据挖掘和计算机视觉技术的进步，一些企业出于商业目的，会对用户上传的图片进行收集和分析，获取更深层次的信息，导致用户隐私信息的间接性泄露。目前这种针对图像的数据挖掘手段主要是使用了以卷积神经网络为代表的深度学习技术，对图像内容进行分类或检测，再结合大数据处理，就能够批量化地获得图片中的有效信息，从而得到图片拥有者的私人信息。然而，目前的隐私保护技术鲜有针对这种手段的方式。

综上所述，现有技术存在的问题是：对于社交网络的隐私问题，受制于繁琐、笼统等条件的制约，基于访问控制的手段通常无法达到较好的效果；对于位置隐私问题，目前的技术大多针对LBS中设备的实际物理位置，而没有处理图像中的位置隐私泄露的方法；而对于结合数据挖掘和卷积神经网络的图像分析手段，目前也很少有隐私保护方法来进行反制。

解决上述技术问题的难度和意义：解决社交网络图像分享中的位置隐私保护问题的难度主要在于：1、如何确定图片中和位置有关的区域或物体；2、如何判定这些区域或物体的隐私相关性；3、如何从基于卷积神经网络的图像检测中保护图像隐私。意义在于解决图像隐私和位置隐私中存在的一个盲点问题，完善隐私保护手段。

发明内容

针对现有技术存在的问题，本发明提供了一种社交网络图片分享中的位置隐私保护方法、社交网络平台。

本发明是这样实现的，一种社交网络图片分享中的位置隐私保护方法，所述社交网络图片分享中的位置隐私保护方法包括：

首先从视觉隐私保护角度，通过对收集的地点图像集进行图像分割和聚类预处理，获取图像中各物体的分类标签并筛选后，进行物体检测模型的训练；根据数据集中各类物体的统计信息，分别从数量和相对位置两种策略对物体的隐私程度判定，得到隐私标签后训练隐私判别模型；

然后利用模型对社交网络中的待分享图片进行处理，隐私区域根据程度的不同以图像修复方式进行隐私性的消除；将使用者的反馈作为数据输入隐私判别模型进行更新；利用算法对输入图片进行处理，在对实际图像内容扰动很小的前提下，使得机器目标检测方法也无法正确检测出图像中存在的目标。

进一步，所述社交网络图片分享中的位置隐私保护方法具体包括：

(1)地点场景物体检测；

步骤一，图像数据收集；根据地点关键词爬取相应的图像数据，构建相应地点的图像数据集；

步骤二，对数据集进行图像分割处理；利用基于深度学习的图像分割模型，对图像数据集进行分割，获得分割后的图像块集合；

步骤三，特征提取和分类；对上一步得到的图像块集合进行深度特征提取。将得到的4096维特征集合通过AP聚类算法进行分类，并分别加上类别标签，这样就得到了“图像物体-特征-类别标签”数据集；

步骤四，利用上一步得到的带标签的数据，训练目标检测模型，使得对于一张照片，能够检测出其中是否包含相关地点的物体；

(2)数量隐私保护策略；

步骤一，根据之前得到的图像物体及类别标签数据集，定义类别C_i的单类别相关性分数为

其中N表示数据集中分割出的物体总数；

步骤二，由单类别相关性分数，定义出一个数值范围[min-value,max-value]，并根据比例将该范围划分为三个区间，令θ₁和θ₂表示划分区间的两个阈值；类别相关性由下式定义：

步骤三，考虑到存在一张图片中的不同物体，它们之间也存在着相关性。因此定义类别C_i和C_j的共同出现分数为：

其中S(C_i,C_j)表示它们的共同出现概率：

步骤四，单类别和多类别的相关性分数后，类别C_i最终的数量相关性分数表示为：

其中H(C_i)表示类别相关性高于C_i的集合，L(C_i)表示类别相关性低于C_i的集合；

(3)相对位置隐私保护策略；为了找出这种相对位置的模式和场景间的关联性，使用物体的几何中心来代表物体，中心点构成的多边形作为这种模式的抽象表示；

(4)隐私判别模型和隐私保护；

第一步，由上述部分得到的数据集的数量隐私和相对位置隐私，训练可以继续学习的隐私判别的被动-主动分类模型，能对照片涉及到隐私的部分进行判定；还可以收集使用者的反馈，改进判别标准；

第二步，使用图像修复算法对判别为隐私的区域进行处理；

(5)针对目标检测器的图像扰动，图像扰动算法针对目前最有代表性的基于深度学习的目标检测Faster-RCNN模型。X表示原图像，δX表示为添加的扰动，处理后的图像表示为X`＝X+δX。

进一步，所述(3)相对位置隐私保护策略具体包括：

第一步，使用改进的转向函数，两种多边形A和B之间的相似度定义为：

其中t_A(s)和t_B(s)分别表示多边形A和B的转向函数，θ表示旋转角的大小；

第二步，确定θ的大小，定义d(A,B,θ)的偏导数为0来确定数值；

然后相似度函数就可以定义为：

之后，计算同一组内的两两多边形之间的距离，得到一个n*n的距离矩阵；

第三步，使用离群值检测的局部离群因子LOF方法计算同一组内每个形状的LOF值，其中具有最小LOF值的模式作为该组的中心点，和中心点的距离小于阈值的模式被认为是需要进行隐私保护处理的。

进一步，所述(5)针对目标检测器的图像扰动具体包括：

第一步，针对Faster-RCNN的区域生成网络部分，首先干扰网络生成的锚区的回归；

使图像的像素值向着公式中的反方向迭代；

第二步，针对网络后面的分类层，按照；

使得图像像素值向着网络判别错误类别的方向迭代，然后将两部分扰动相叠加，得到处理后的无法被目标检测器所检测到的图片。

本发明的另一目的在于提供一种应用所述社交网络图片分享中的位置隐私保护方法的社交网络平台。

综上所述，本发明的优点及积极效果为：本发明提出的社交网络图像分享中的位置隐私保护方案，具有以下几个特点：首先，利用基于深度学习的图像分割、深度特征提取和特征聚类方法，找出了图片数据集中的可能具有隐私敏感性的候选物体及其类别；训练目标检测模型，使得对于新的图片，能够定位出可能的隐私物体的位置和类别，从而方便后续处理的进行；至于物体和场景间的隐私相关性，设计了两种不同的隐私策略(数量隐私策略和相对位置隐私策略)来确定出物体的隐私性；为了使得系统对隐私的判定更加准确和人性化，由隐私策略得到的数据训练了一个可以继续学习的隐私分类器，这样就可以根据使用者的反馈来更新分类器的判断标准；针对基于卷积神经网络的物体检测器，设计了一种基于对抗样本的图像处理方式，使得物体检测器无法从图片检测出有用信息；总体来说，解决了之前尚未解决的图像中位置隐私保护问题，从视觉保护和物体检测两个方面实现了社交网络图像分享中的位置隐私保护。

附图说明

图1是本发明实施例提供的社交网络图片分享中的位置隐私保护方法流程图。

图2是本发明实施例提供的系统初始化流程图。

图3是本发明实施例提供的社交网络图片分享中的位置隐私保护方法的系统执行流程图。

图4是本发明实施例提供的数据集的部分分类结果示意图。

图5是本发明实施例提供的训练的目标检测模型的效果示意图。

图6是本发明实施例提供的隐私判别模型的ROC曲线示意图。

图7为本发明实施例提供的隐私判别模型的两种平均方式下的ROC曲线示意图。

图8为本发明实施例提供的隐私判别模型分类器的三种类别分别的ROC曲线示意图。

图9为本发明实施例提供的隐私判别模型加入扰动处理后的图片。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明将使用者的反馈作为数据输入隐私判别模型进行更新，从而保证标准的可靠性。从机器视觉角度，利用算法对输入图片进行处理，在对实际图像内容扰动很小的前提下，使得机器目标检测方法也无法正确检测出图像中存在的目标，无法与实际位置信息相关联起来。实验结果证明本发明较好地实现了图像内容中的位置隐私的保护。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的社交网络图片分享中的位置隐私保护方法包括以下步骤：

S101：根据关键词收集图像数据集，利用基于深度学习的模型进行图像分割，获取图像区域块；提取深度特征后，经过聚类算法得到带有分类标签的图像块数据集，再用数据集训练目标检测模型；

S102：在隐私分级部分，按照数量和位置两种隐私策略，以机器学习的方法训练能够继续更新的在线学习隐私判别模型，只对高隐私度的物体进行图像修复处理；

S103：针对基于深度学习的图像检测器，使用基于对抗样本思想设计的图像扰动算法对图像进行处理，使得在肉眼难以察觉的范围内，处理后的图像无法被图像检测器检测出有用的信息。

下面结合附图对本发明的应用原理作进一步的描述。

如图2所示，本发明实施例提供的社交网络图像分享中的位置隐私保护方法的系统初始化包括以下步骤：

步骤一，根据地点关键词搜集图片构成地点图片数据集；

步骤二，使用DeepMask图像分割模型对图片数据集进行分割，得到图像区域块；

步骤三，使用vgg19模型提取图像区域块的深度特征，再经过AP特征聚类算法进行分类和筛选，获得带有分类标签的图像区域块；使用这些数据训练目标检测模型；

步骤四，对分类好的图像区域块，按照数量隐私策略；

和相对位置隐私策略分配隐私等级标签，以“类别-隐私等级”数据集训练隐私判别模型PassiveAggressive分类器。

本发明实施例提供的交网络图片分享中的位置隐私保护方法包括以下步骤：

(1)地点场景物体检测；

步骤一，图像数据收集；根据地点关键词爬取相应的图像数据，构建相应地点的图像数据集；

步骤二，对数据集进行图像分割处理；利用基于深度学习的图像分割模型，对图像数据集进行分割，获得分割后的图像块集合；

步骤三，特征提取和分类；对上一步得到的图像块集合进行深度特征提取。将得到的4096维特征集合通过AP聚类算法进行分类，并分别加上类别标签，这样就得到了“图像物体-特征-类别标签”数据集；

步骤四，利用上一步得到的带标签的数据，训练目标检测模型，使得对于一张照片，能够检测出其中是否包含相关地点的物体；

(2)数量隐私保护策略；

步骤一，根据之前得到的图像物体及类别标签数据集，定义类别C_i的单类别相关性分数为

其中N表示数据集中分割出的物体总数；

步骤二，由单类别相关性分数，可以大致定义出一个数值范围[min-value,max-value]，并根据比例将该范围划分为三个区间，令θ₁和θ₂表示划分区间的两个阈值。类别相关性由下式定义：

步骤三，考虑到存在一张图片中的不同物体，它们之间也存在着相关性。因此定义类别C_i和C_j的共同出现分数为：

其中S(C_i,C_j)表示它们的共同出现概率：

步骤四，有了单类别和多类别的相关性分数后，类别C_i最终的数量相关性分数表示为：

其中H(C_i)表示类别相关性高于C_i的集合，L(C_i)表示类别相关性低于C_i的集合；

(3)相对位置隐私保护策略；

一张图片中可能会存在多个涉及地点隐私的物体，它们每个和场景的相关性分数也许并不高，但在一起会形成特定的构图。为了找出这种相对位置的模式和场景间的关联性，使用物体的几何中心来代表物体，中心点构成的多边形作为这种模式的抽象表示。

第一步，为了衡量这种相对位置关系的相似性，使用了一种改进的转向函数，而两种多边形A和B之间的相似度定义为：

其中t_A(s)和t_B(s)分别表示多边形A和B的转向函数，θ表示旋转角的大小；

第二步，为了确定θ的大小，定义d(A,B,θ)的偏导数为0来确定数值

然后相似度函数就可以定义为：

之后，计算同一组内的两两多边形之间的距离，得到一个n*n的距离矩阵：

第三步，使用离群值检测的局部离群因子(LOF)方法来计算同一组内每个形状的LOF值，其中具有最小LOF值的模式(形状)作为该组的中心点，和中心点的距离小于阈值的模式被认为是需要进行隐私保护处理的。

(4)隐私判别模型和隐私保护

第一步，由上述部分得到的数据集的数量隐私和相对位置隐私，训练可以继续学习的隐私判别的被动-主动分类模型，从而能对照片涉及到隐私的部分进行判定；还可以收集使用者的反馈，改进判别标准；

第二步，使用图像修复算法对判别为隐私的区域进行处理，从而消除图像的隐私性。

(5)针对目标检测器的图像扰动

本发明的图像扰动算法主要针对目前最有代表性的基于深度学习的目标检测Faster-RCNN模型。X表示原图像，δX表示为添加的扰动，处理后的图像表示为X`＝X+δX。

第一步，针对Faster-RCNN的区域生成网络部分，首先干扰网络生成的锚区的回归

使图像的像素值向着公式中的反方向迭代。

第二步，针对网络后面的分类层，按照；

使得图像像素值向着网络判别错误类别的方向迭代，然后将两部分扰动相叠加，就能得到处理后的无法被目标检测器所检测到的图片。

如图3所示的系统执行框架包括以下步骤：

步骤一，对于输入的用户图像数据，经过目标检测模型，得到图片中的物体特征、位置和类别；

步骤二，物体特征输入隐私判别模型，如果没有隐私区域，则不做任何处理；位置和类别则经过相对位置隐私判定，如果没有隐私区域，则不做任何处理；

步骤三，被判定为相对位置隐私或高隐私相关性物体，对相应隐私区域进行图像修复处理，以消除隐私性；被判定为低隐私相关性的物体，加入图像扰动以防止其他物体检测器的检测。

步骤四，对于处理后的图像，收集用户反馈数据，训练能够在线学习的隐私判别模型，并对相对位置隐私判定标准进行更新。

最终本发明实现了一种社交网络图片分享中的位置隐私保护方法，实现了对图片中涉及位置隐私的物体从视觉和机器检测两方面的保护。图4到图为实验中的效果和数据图。其中，图4展示了分割后物体的部分分类结果；图5展示了图像分割后的部分效果图；图6展示了训练的目标检测模型的实际检测效果，其中蓝色框中左边的数字表示检测到的物体类别，右边的数字表示分到这个类别的置信度；图7和图8的展示了隐私判别分类器的ROC曲线，其中图7为两种平均方式下的ROC曲线，图8为分类器的三种类别分别的ROC曲线，曲线表明得到的隐私分类器具有较高的准确度；图9为加入扰动处理后的图片，无法被基于卷积神经网络的物体检测器检测出任何物体，而这种扰动被设定的及其微小，人眼几乎无法察觉。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种社交网络图片分享中的位置隐私保护方法，其特征在于，所述社交网络图片分享中的位置隐私保护方法包括：

首先从视觉隐私保护角度，通过对收集的地点图像集进行图像分割和聚类预处理，获取图像中各物体的分类标签并筛选后，进行物体检测模型的训练；根据数据集中各类物体的统计信息，分别从数量和相对位置两种策略对物体的隐私程度判定，得到隐私标签后训练隐私判别模型；

然后利用模型对社交网络中的待分享图片进行处理，隐私区域根据程度的不同以图像修复方式进行隐私性的消除；将使用者的反馈作为数据输入隐私判别模型进行更新；利用算法对输入图片进行处理，在对实际图像内容扰动很小的前提下，使得机器目标检测方法也无法正确检测出图像中存在的目标；

所述社交网络图片分享中的位置隐私保护方法具体包括：

(1)地点场景物体检测；

步骤一，图像数据收集；根据地点关键词爬取相应的图像数据，构建相应地点的图像数据集；

步骤二，对数据集进行图像分割处理；利用基于深度学习的图像分割模型，对图像数据集进行分割，获得分割后的图像块集合；

步骤三，特征提取和分类；对上一步得到的图像块集合进行深度特征提取；将得到的4096维特征集合通过AP聚类算法进行分类，并分别加上类别标签，这样就得到了“图像物体-特征-类别标签”数据集；

步骤四，利用上一步得到的带标签的数据，训练目标检测模型，使得对于一张照片，能够检测出其中是否包含相关地点的物体；

(2)数量隐私保护策略；

步骤一，根据之前得到的图像物体及类别标签数据集，定义类别C_i的单类别相关性分数为

其中N表示数据集中分割出的物体总数；

步骤二，由单类别相关性分数，定义出一个数值范围[min-value,max-value]，并根据比例将该范围划分为三个区间，令θ₁和θ₂表示划分区间的两个阈值；类别相关性由下式定义：

步骤三，考虑到存在一张图片中的不同物体，它们之间也存在着相关性；因此定义类别C_i和C_j的共同出现分数为：

其中S(C_i,C_j)表示它们的共同出现概率：

步骤四，单类别和多类别的相关性分数后，类别C_i最终的数量相关性分数表示为：

其中H(C_i)表示类别相关性高于C_i的集合，L(C_i)表示类别相关性低于C_i的集合；

(3)相对位置隐私保护策略；为了找出这种相对位置的模式和场景间的关联性，使用物体的几何中心来代表物体，中心点构成的多边形作为这种模式的抽象表示；

(4)隐私判别模型和隐私保护；

第一步，由得到的数据集的数量隐私和相对位置隐私，训练可以继续学习的隐私判别的被动-主动分类模型，能对照片涉及到隐私的部分进行判定；还可以收集使用者的反馈，改进判别标准；

第二步，使用图像修复算法对判别为隐私的区域进行处理；

(5)针对目标检测器的图像扰动，图像扰动算法针对目前最有代表性的基于深度学习的目标检测Faster-RCNN模型；X表示原图像，δX表示为添加的扰动，处理后的图像表示为X`＝X+δX。

2.如权利要求1所述的社交网络图片分享中的位置隐私保护方法，其特征在于，所述(3)相对位置隐私保护策略具体包括：

第一步，使用改进的转向函数，两种多边形A和B之间的相似度定义为：

其中t_A(s)和t_B(s)分别表示多边形A和B的转向函数，θ表示旋转角的大小；

第二步，确定θ的大小，定义d(A,B,θ)的偏导数为0来确定数值；

然后相似度函数就可以定义为：

之后，计算同一组内的两两多边形之间的距离，得到一个n*n的距离矩阵；

第三步，使用离群值检测的局部离群因子LOF方法计算同一组内每个形状的LOF值，其中具有最小LOF值的模式作为该组的中心点，和中心点的距离小于阈值的模式被认为是需要进行隐私保护处理的。

3.如权利要求1所述的社交网络图片分享中的位置隐私保护方法，其特征在于，所述(5)针对目标检测器的图像扰动具体包括：

第一步，针对Faster-RCNN的区域生成网络部分，首先干扰网络生成的锚区的回归；

使图像的像素值向着公式中的反方向迭代；

第二步，针对网络后面的分类层，按照；

使得图像像素值向着网络判别错误类别的方向迭代，然后将两部分扰动相叠加，得到处理后的无法被目标检测器所检测到的图片。

4.一种应用权利要求1～3任意一项所述社交网络图片分享中的位置隐私保护方法的社交网络平台系统。

Images