CN108197453A - 一种图像隐私保护方法及系统 - Google Patents

Abstract

本发明涉及一种图像隐私保护方法及系统，实现如下：用户通过图像访问控制要素提取方法提取图像中包含时间、空间、人际关系、图像属性四类指标，使用基于场景的多要素访问控制方法构建隐私场景，并设置自己在该隐私场景下图像的访问权限；当有图像上传时，提取图像中的元数据信息，并通过人脸识别技术识别图像中的利益相关者，计算隐私保护策略中需要的要素；当其他用户访问图像时，通过匹配访问者与图像所属隐私场景的访问权限，即所属场景的隐私保护策略与前述隐私场景下图像的分享范围，决定用户是否可以访问该图像或图像中的隐私区域。

Description

一种图像隐私保护方法及系统

技术领域

本发明涉及一种图像隐私保护方法及系统，属于网络图像处理技术领域。

背景技术

社交网络中图像分享服务已成为人们日常生活中非常常见的服务方式，用户可以通过分享上传的图像给家人和朋友，获得维系感情、相互认可、评论交流、招募粉丝等社交收益，并可借此建立有效的线下关系。但与此同时也存在很大的隐私泄露风险，现有社交网络服务提供商也提供了简单的访问控制机制来保护用户的隐私。其中以Facebook和微信(WeChat)两种访问控制机制最为典型。Facebook的访问控制机制，用户可以自己选择自己上传信息的分享范围，包括自己、好友、陌生人和自定义四类。微信的访问控制机制不允许非好友用户访问用户上传的信息，用户仅能在自己、好友和自定义3个等级中选择分享范围。然而，图像作为一种可以反映现实生活的特殊载体，上传图像中的若包含其他用户则可能会影响到利益相关者(同在合影中的人)的隐私，因此，目前社交网络服务提供商的访问控制机制仅允许图像上传者设置图像的分享范围，无法满足利益相关者在分享图像中的隐私保护需求。

现有社交网络平台上图像分享过程中对图像上人物的隐私保护方法条件粒度过粗，例如Facebook、微信等，仅允许上传图像的用户设置图像的访问控制权限，图像上的其他利益相关者无法参与到图像分享范围的决策中；此外，当用户作为利益相关者参与到其他用户上传图像的分享决策时，会有大量零散的非组织的隐私保护策略决定任务，现有的图像分享决策模式都是由用户自己决定每张图像的分享范围，在实用性方面存在问题。现有基于图像处理的图像分类技术在训练不足时存在准确率不高的问题，不能满足用户在隐私保护方面做自动决策的需求。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种图像隐私保护方法及系统，通过提取图像的描述元数据信息，构建隐私场景，从而当用户作为利益相关者参与到社交网络中传播图像的分享范围决策中时，可以灵活有效的设定隐私保护策略，减缓大量人工浏览图像的工作负担，提供实用的图像多主体访问控制机制。

本发明技术解决方案：本发明提供的基于场景的多要素图像隐私保护方案，适用于社交网络的图像分享服务提供商，该方法的主要步骤包括：用户可通过使用时间、空间、人际关系、图像属性等四类指标构建隐私场景，并设置自己在该场景下图像的分享范围；当系统中有图像上传时，系统提取图像中的元数据信息，并通过人脸识别技术识别图像中的利益相关者，计算隐私保护策略中需要的要素；当用户访问图像时，系统通过匹配访问者与图像所属场景的隐私保护策略，决定用户是否可以访问该图像。

该方法在隐私保护策略中加入时间、空间、人际关系、图像属性等四类指标，每类指标都可包含1个或者多个要素，且每类指标都可以为空集。根据用户的实际情况，利用这些指标所提供的信息为隐私保护策略的构建提供建议，并减少用户对每张图像设定隐私保护策略的工作量；这四类指标在保证包含控制对象的前提下，即指定用户ID、用户关系和用户亲密度等人际关系要素中至少保留一个，可以根据用户需求随意组合，定义出用户所需要的场景，并设置该场景下自己的脸部区域是否向访问者展示。图像在访问过程中将自动匹配这些场景，并根据隐私保护策略向访问者展示图像上的内容，将人脸模糊或者正常展示。与此同时，这些基础场景的策略还可以用于图像隐私保护策略的自动推荐。

本发明的一种图像隐私保护方法，实现如下：用户通过图像访问控制要素提取方法提取图像中包含时间、空间、人际关系、图像属性四类指标，使用基于场景的多要素访问控制方法构建隐私场景，并设置自己在该隐私场景下图像的访问权限；当有图像上传时，提取图像中的元数据信息，并通过人脸识别技术识别图像中的利益相关者，计算隐私保护策略中需要的要素；当其他用户访问图像时，通过匹配访问者与图像所属隐私场景的访问权限，即所属场景的隐私保护策略与前述隐私场景下图像的分享范围，决定用户是否可以访问该图像或图像中的隐私区域。

当有图像上传时，通过图像访问控制要素提取方法提取图像的元数据信息和可视图像内容中的有效信息，所述图像访问控制要素的提取方法具体实现如下：

(1)通过元数据提取获得图像生成时的常用元数据项，包含但不限于拍摄日期、拍摄时间、拍摄地点的经纬度、拍摄时的数码缩放比，以及拍摄设备的35cm等效焦距；

(2)通过图像处理技术获取可视图像内容中用户脸部区域的像素值、图像整体的像素分布、图像上用户个数；

(3)通过逆地址解析方法将地理位置经纬度转换为位置类型偏好(Point ofInterest,POI)；通过收集全局地理位置信息，计算不同地点的位置熵；

(4)通过拍摄距离估算方法，估算图像中被拍摄用户与拍摄者之间的距离。

通过基于场景的多要素访问控制方法计算隐私保护策略中需要的要素，所述基于场景的多要素访问控制方法具体实现如下：

(1)访问控制方法提供时间、空间、人际关系、图像属性四类指标，每类指标可包含多个要素；所述时间指标包含但不限于拍摄日期、拍摄时分秒、工作日/节假日、工作日工作时间段/非工作时间段、季节和语义性的时间描述(如夏天或毕业季)的一种或多种；空间指标包含但不限于拍摄位置经纬度、拍摄位置海拔、拍摄位置地名、拍摄位置类型偏好(Pointof Interest，POI)和拍摄位置的位置熵的一种或多种；所述人际关系指标包含包含但不限于指定用户ID、指定用户朋友圈/分组、访问用户与图像上出现脸部区域的用户之间的朋友关系、用户亲密度的一种或多种；所述图像属性指标包含但不限于图像上出现脸部区域的数量、被摄用户与照相机之间的拍摄距离、与图像上共同出现用户及其之间距离的一种或多种；

所述访问用户与图像上出现脸部区域的用户之间的朋友关系包含但不限于自己、家人、朋友、朋友的朋友或公众；

所述亲密度计算考虑的因素包含但不限于社交网络中的关系强度、相互联系的次数、在图像上共同出现的次数、在图像上共同出现时的脸部区域位置的物理距离、授予权限的历史记录；

(1)用户可以通过自由选取时间、空间、人际关系、图像属性四类指标中的要素进行自由组合，构建一个隐私场景，并为此场景设置权限，权限包括是否可以访问自己的隐私图像或图像区域。其中，除人际关系指标必须保留至少一个要素以外，其他指标可以缺省。每个用户可设置多个场景的策略权限，但同一场景仅可设置一条策略，当策略中的任何要素出现更改，则视为一个新的场景。

(2)当其他用户访问该图像，系统识别出图像中各隐私图像区域的利益相关者，通过匹配该图像的所属的类别与利益相关者针对该类型场景设置的权限，对该区域进行展示或遮掩；一张图像可能被归属到多个场景中，当出现多个场景同时匹配一张图像时，系统将逐一匹配多个场景所对应的策略，并根据策略对该区域进行展示或遮掩。

所述拍摄距离估算方法具体实现如下：

(1)通过图像访问控制要素提取方法获取图像的拍摄设备的35cm等效焦距，拍摄时的数码缩放比信息；

(2)通过图像处理技术获取可视图像内容中用户脸部区域的像素值、图像整体的像素分布；

(3)利用摄影学中相机成像透视原理和相机属性信息，结合图像处理中的人脸识别技术，通过人脸的实际高度与人脸在图像中的像素高度的比例，估算被拍摄用户与拍摄者之间的拍摄距离。

本发明公开了一种图像隐私保护系统，包括：用户终端和应用服务器；

所述用户终端形式可以是但不限于计算机客户端、移动设备客户端、智能终端或网页；

所述用户终端包括图像上传子系统、隐私保护策略设置子系统、图像展示子系统；

所述图像上传子系统用于上传图像文件，并调用应用服务器对图像进行分析处理；策略设置子系统用于用户设置自己的隐私保护策略；图像展示子系统将用户对图像的访问请求发送给应用服务器，接收并向用户展示经过隐私保护处理的图像；

所述应用服务器接收用户终端上传的图像文件、隐私保护策略设置、展示图像请求业务数据，分别将各业务数据发送给业务数据对应的业务处理子系统，所述子系统包括隐私指标计算子系统、隐私保护策略生成子系统、隐私图像策略匹配子系统；

所述隐私指标计算子系统，为用户提供时间、空间、图像属性的隐私指标计算服务的程序组，用于处理分析各用户交互终端上传的图像文件，将接收的图像文件分离成可视图像数据和元数据，并利用人脸检测和人脸识别功能对图像上出现人脸的像素坐标进行定位，识别出人脸所属用户的唯一标识USER_ID；利用元数据提取功能提取元数据中与隐私相关信息，包含但不限于拍摄日期、拍摄时分秒、拍摄地点经纬度、相机镜头和数码变焦比信息；并将所述信息存储到数据库以供进一步分析处理；利用各类隐私指标计算模块用于计算设置隐私保护策略所需的各项指标；

所述隐私保护策略生成子系统，通过将用户设置的各项指标，生成一个可以描述一系列图像的场景，并对该场景设置相对应的可视或遮蔽的权限策略，将生成的隐私保护策略存储在数据库中；

所述隐私图像策略匹配子系统，当收到访问用户的访问请求时，根据图像上出现的人脸区域所属用户的唯一标识USER_ID，提取相关用户设置的隐私保护策略，并将该隐私保护策略与访问者和被访问图像的属性进行匹配；一张被访问图像被划分到多个场景中，当其中一个隐私场景的策略匹配成功且不允许访问用户浏览，则判定所述隐私保护策略生效，无须继续匹配之后的隐私保护策略；当被访问图像上出现的所有用户的隐私保护策略匹配完成后，将决策结果融合在图像上，对应当遮蔽的区域进行隐私化处理，并将处理后的图像发给用户交互终端进行展示；

所述隐私化处理是指利用图像处理技术阻止访问用户获取图像隐私区域的原始图像数据，包含但不限于脸部区域像素加密、脸部所在区域模糊化、人体矩形模糊化或用其他图片遮盖。

所述隐私图像策略匹配子系统还能够在访问图像与多个用户脸部策略匹配时，可并行处理，并在全部匹配过程完成后，将所有隐私化处理结果合并起来，然后向访问用户展示。

所述隐私图像策略匹配子系统中还可以在所述图像隐私指标计算子系统运行时，对上传的图像进行模糊化预处理，建立图像与模糊区域的坐标映射关系，在隐私图像策略匹配子系统运行时，直接将对应像素替换。

所述应用服务器还可以包括：

隐私图像预分类子系统，用于对图像的预分类，根据图像上出现脸部用户的唯一标识USER_ID，提取该用户设定的隐私保护策略，将上传图像与隐私保护策略中的时间、空间、人际关系、图像属性四类指标进行预匹配，并将符合相应指标的隐私保护策略与图像建立映射关系，当其他用户访问图像时，直接匹配隐私保护策略的人际关系指标。

所述隐私图像策略匹配子系统包括元数据提取模块、人脸处理模块和多个不同功能的图像隐私指标计算模块；

所述元数据提取模块和人脸处理模块处理得到的数据，一部分可作为隐私指标直接存入数据库，包含但不限于图像上出现的人脸个数、图像中识别出用户的唯一标识USER_ID、用户脸部所在区域的像素坐标；另一部分数据需通过图像隐私指标计算模块进一步处理后得到新的图像隐私指标再存入数据库，图像隐私指标包含但不限于照相机35mm等效焦距、数码变焦比、人脸所在区域的像素长度、图像垂直方向边的像素长度；还有一部分指标既可以直接作为隐私指标，又可以作为其他隐私指标进行进一步处理的输入，包含但不限于拍摄日期、拍摄时分秒、拍摄地点的经纬度与海拔；

所述图像隐私指标计算模块包含但不限于节假日筛选模块、非工作时间段筛选模块、语义化时间解析模块、逆地址解析模块、位置熵计算模块和拍摄距离估算模块；

所述节假日筛选模块，根据当地政府颁布的法定节假日日历对拍摄日期是否是节假日进行筛选；可选的，也可根据用户自定义的放假日期，对节假日进行筛选；

所述工作时间段筛选模块，根据当地通用的工作时间段对拍摄时分秒是否属于工作时间段进行筛选；可选的，也可根据用户自定义的工作时间段，对拍摄图像的时分秒是否属于上班时间进行筛选；

所述语义化时间解析模块，通过设计不断更新的时间语义词典，对用户自然语言形式的时间进行筛选；

所述逆地址解析模块，从元数据中提取的拍摄位置经纬度信息计算所处位置的POI信息；所述逆地址解析模块还可使用包括海拔高度在内的三维坐标对POI信息进行定位，获得更为准确的POI信息；

所述位置熵计算模块，从全局的图像中获取拍摄时间和地点经纬度，通过香农熵计算出该地点的受欢迎程度，作为用户设置隐私保护策略的参考标准；

所述拍摄距离计算模块，从元数据中获取的35mm等效焦距和数码变焦比，从人脸识别结果中获得人脸像素坐标和整张图像的像素长度，计算出相机到人脸的拍摄距离。

所述隐私图像策略匹配子系统包括访问请求模块、人际关系指标计算模块和策略匹配与隐私化模块；

所述访问请求模块，用于提取图像中出现人脸的用户USER_ID，并根据USER_ID查询该用户存储在数据库中的隐私保护策略；

所述人际关系指标模块，提取被访问用户与被访问图像上出现脸部区域用户之间的人际关系，人际关系判定的手段包含但不限于社交网络中节点关系强度、共同出现在同一张图像上的次数、授权角色权限的种类和次数因素，该模块还可以提供将上述要素拟合成一个人际关系系数的功能，供用户设定策略使用；

所述策略匹配与隐私化模块，可以匹配访问用户与被访问图像上出现脸部区域用户的隐私保护策略，并对用户选择不展示的隐私区域进行隐私化处理。

本发明与现有技术相比的优点在于：

(1)本发明解决了现有社交网络访问控制机制只允许图像上传用户设置隐私保护策略，利益相关用户无法参与到策略制定中的问题，满足了用户控制除自己以外用户上传包含自己脸部区域图像的需求，防止朋友或路人拍摄的关于用户自己的图像未经授权在社交网络中流传的隐私风险。

(2)本发明通过提取图像元数据信息以及分享图像中的内容信息，为多要素访问控制机制提供了准确的评价标准，相较于基于有监督学习技术的图像分类方法，本发明提取效率更快，准确率稳定，不存有监督学习类技术在训练样本数量稀少时分类准确率不达标的问题，降低了图像分享过程中隐私场景错判漏判情况发生的概率。

(3)本发明通过结合图像元数据和可视图像内容，计算一些抽象的隐私保护指标，包含但不限于节假日、非工作时间段、语义化时间、POI、位置熵、拍摄距离，帮助用户设置更加贴近生活的隐私场景，其中，拍摄距离指标可以有效地过滤误拍和偷拍的隐私场景。

附图说明

图1为本发明实施例一的图像隐私保护系统的流程示意图；

图2为本发明实施例一的拍摄距离估算方法的一种示意框图；

图3为本发明实施例二的图像隐私保护系统的另一种示意框图；

图4为本发明实施例二中隐私保护指标计算子系统的一种示意框图；

图5为本发明实施例二中隐私图像策略匹配子系统的一种示意框图。

图6为本发明实施例二中访问请求查询模块、人际关系指标计算模块和策略匹配与隐私化模块示意框图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。所举实例只用于解释本发明，并非用于限定本发明的范围。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一、一种图像隐私保护系统，如图1所示，包括：

在隐私图像分享过程中用户可具有多种角色，所述角色包含但不限于图像上传者、策略设置者、图像访问者等。用户可通过用户交互终端上传图像、设置隐私保护策略、请求并展示图像。

社交网络服务商应用服务器接收各用户交互终端发送的上传图像、策略设置、展示图像请求等业务数据，将上传的图像文件分解为元数据和可视图像数据，分别提取隐私指标并计算设置策略场景的指标；将用户设置的隐私保护策略数据存入数据库；将访问图像请求中访问用户和被访问图像的属性与图像上出现脸部区域的用户预先设置的策略进行匹配，将用户不愿意展示的面部区域进行隐私化处理再传给用户交互终端展示。

所述应用服务器分别将各业务数据发送给该业务数据对应的业务处理子系统，包含但不限于图像隐私指标计算子系统、隐私保护策略生成子系统、隐私图像策略匹配子系统；

所述隐私指标计算子系统根据上传的图像，利用元数据提取模块提取上传图像中的信息；利用人脸识别模块，检测在图像上出现的用户脸部区域所在位置，并识别出脸部区域所属用户的唯一标识(USER_ID)；之后利用隐私指标计算模块，对上传图像的信息进行深度处理，得出隐私保护策略设置所需的指标；

所述策略生成子系统，通过将用户设置的各项指标，生成一个可以描述一系列图像的场景，并对该场景设置相同的可视或遮蔽的策略，并将生成的隐私保护策略存储在数据库中；

所述隐私图像策略匹配子系统收到访问用户的访问图像请求，会根据图像上出现的人脸区域所属的用户的USER_ID，提取相关用户设置的隐私保护策略，并将其与访问者和被访问图像的属性进行匹配。一张被访问图像可以被划分到多个场景中，当其中一个隐私场景的策略匹配成功且不允许访问用户浏览，则判定该隐私保护策略生效，无须继续匹配之后的策略；当图像出现的所有用户策略匹配完成后，将结果融合在图像上，对应当遮蔽的区域进行隐私化处理，并将处理后的图像发给用户交互终端进行展示。

本实例中隐私指标计算子系统的元数据提取模块将数码相机拍摄过程中填入数字图像文件中的信息提取出来，其中可以利用的元数据类型包含但不限于：拍摄日期、拍摄时分秒、拍摄地点的经纬度、所使用相机拍摄图像时的35mm等效焦距和拍摄图像的数码变焦比；

本实例中隐私指标计算子系统的人脸识别模块将图像的像素数据进行处理，检测出图像上出现的人脸个数，并将人脸所在区域在像素矩阵中的坐标记录下来，通过将人脸区域的图像特征与人脸库中的数据对比，识别出人脸区域所属用户的唯一标识(USER_ID)；

本实例中隐私指标计算子系统的隐私指标计算模块包含但不限于POI查询、拍摄距离估算和位置熵计算。

本实例中策略生成子系统所使用的各项指标包含但不限于时间指标、空间指标、人际关系指标、图像属性指标；

所述时间指标包含但不限于拍摄日期、拍摄时分秒、工作日/节假日、工作日工作时间段/非工作时间段、季节和语义性的时间描述(如夏天或毕业季)的一种或多种；空间指标包含但不限于拍摄位置经纬度、拍摄位置海拔、拍摄位置地名、拍摄位置类型偏好(Pointof Interest，POI)和拍摄位置的位置熵的一种或多种；所述人际关系指标包含但不限于指定用户ID、指定用户朋友圈/分组、访问用户与图像上出现脸部区域的用户之间的朋友关系、用户亲密度的一种或多种；所述图像属性指标包含但不限于图像上出现脸部区域的数量、被摄用户与照相机之间的拍摄距离、与图像上共同出现用户及其之间距离的一种或多种；

所述访问用户与图像上出现脸部区域的用户之间的朋友关系包含但不限于自己、家人、朋友、朋友的朋友或公众；

所述被摄用户与照相机之间的拍摄距离估算方法，如图2所示,根据摄影学原理，只有当照相机镜头中心点与感光元件之间的距离S₂与焦距f相等时，才能获得清晰的图像，当要计算被摄用户时需要通过焦距f和感光元件(Charge-coupled Devies,CCDs)的高度d来计算相机拍摄的视角α，其公式如下：

由于目前图像元数据中的相机参数基本采用35mm等效焦距，即将不同种类的相机(拍摄设备)实际镜头和感光元器件转换成了35mm焦距的镜头和35mm胶卷(36mm*24mm)，因此可以使用35mm等效焦距和24mm高的胶片代替实际焦距和感光元件高度计算视角。

利用人脸高度的实际高度值l，照片中人脸区域的像素高度p，整体照片的像素高度P，通过被摄场景的实际高度值L为中间变量，计算出被摄用户与拍摄相机的距离S₁，其公式如下：

其中，α为相机拍摄的视角，r为相机拍摄时的数码缩放比，π为圆周率。

所述亲密度计算可考虑的因素包含但不限于社交网络中的关系强度、相互联系的次数、在图像上共同出现的次数、在图像上共同出现时的脸部区域位置的物理距离、授予权限的历史记录。

本实例中隐私图像策略匹配与生成子系统的隐私化处理包含但不限于使用脸部所在区域像素加密、脸部所在区域模糊化、人体矩形模糊化或用其他图片遮盖。

实施例二、一种图像隐私保护系统，如图3所示，包括：

用户交互终端和应用服务器；

所述用户交互终端形式可以是但不限于计算机客户端、移动设备客户端、智能终端或网页；

所述用户交互终端可包括：图像上传子系统、隐私保护策略设置子系统、图像展示子系统；

图像上传子系统用于上传图像，并调用应用服务器对图像进行分析处理；策略设置子系统用于用户设置自己的隐私保护策略；图像展示子系统将用户对图像的访问请求发送给应用服务器，接收并向用户展示经过隐私保护处理的图像；

所述应用服务器包括：

图像隐私指标计算子系统，用于处理分析各用户交互终端上传的图像文件，将接收的图像文件分离成可视图像数据和元数据，并利用人脸检测和人脸识别功能对图像上出现人脸的像素坐标进行定位，识别出人脸所属用户的唯一标识(USER_ID)；利用元数据提取功能提取元数据中的拍摄日期、拍摄时分秒、拍摄地点经纬度、相机镜头和数码变焦比等信息；并将所述信息存储到数据库以供进一步分析处理；利用各类隐私指标计算模块用于计算设置隐私保护策略的各项参数；

隐私保护策略生成子系统，用于生成用户设置的隐私保护策略，并存储到数据库；

隐私图像策略匹配子系统，用于匹配用户在图像中显示人脸的隐私保护策略，分别匹配访问图像者和访问图像与策略的各项属性，若符合策略，则按照策略中设置的可见与否，决定是否对图像中用户的脸部区域进行隐私化处理。

该实施方式中，所述上传图像的元数据标准可以但不限于EXIF、MOA2metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadatafor Images。

本实施例的一种实施方式中，所述隐私保护策略的指标可以但不限于以下信息中的任一个或任几个：

拍摄日期、拍摄时分秒、拍摄位置经纬度、POI、出现在图像上的脸部区域数量、拍摄距离、用户亲密度、位置熵、与其他用户共同出现在图像上、指定用户的唯一标识(USER_ID)、指定用户分组。

该实施方式中，所述隐私图像策略匹配子系统还可以用于访问图像与多个用户脸部策略匹配时，可并行处理，并在全部匹配过程完成后，将所有隐私化处理结果合并起来，然后传给图像展示子系统，向访问用户展示。

本实施例的一种实施方式中，所述隐私图像策略匹配子系统中的模糊化处理模块，还可以在所述图像隐私指标计算子系统运行时，对上传的图像进行模糊化预处理，建立图像与模糊区域的坐标映射关系，在隐私图像策略匹配子系统运行时，直接将对应像素替换。

所述应用服务器还可以包括：

隐私图像预分类子系统，用于对图像的预分类，根据图像上出现脸部的用户的唯一标识(USER_ID)提取该用户设定的隐私保护策略，将上传图像与隐私保护策略中的时间、空间、人际关系、图像属性3类指标进行预匹配，并将符合相应指标的隐私保护策略与图像建立映射关系，当其他用户访问图像时，直接匹配隐私保护策略的人际关系指标。

本实施例的一个具体的例子如图4所示，包括：

图像分享服务商的应用服务器：一个应用服务器中可以为多个相同类型或者不同类型的用户交互终端提供多个相同或者不同类型的业务服务。所述业务包含但不限图像隐私指标计算、策略生成、隐私图像策略匹配，由相应子系统提供服务。

所述图像隐私指标计算子系统为用户提供时间、空间、图像相关等隐私指标计算服务的程序组，如图5所示，包括元数据提取模块、人脸处理模块和多个不同功能的图像隐私指标计算模块。

其中，元数据提取模块和人脸处理模块处理得到的数据，一部分可作为隐私指标或其他子系统直接存入数据库，包含但不限于图像上出现的人脸个数、图像中识别出用户的唯一标识(USER_ID)、用户脸部所在区域的像素坐标等；另一部分数据需通过图像隐私指标计算模块进一步处理后得到新的图像隐私指标再存入数据库，包含但不限于照相机35mm等效焦距、数码变焦比、人脸所在区域的像素长度、图像垂直方向边的像素长度等；此外，部分指标既可以直接作为隐私指标，又可以作为其他隐私指标进行进一步处理的输入，包含但不限于拍摄日期、拍摄时分秒、拍摄地点的经纬度与海拔等。

所述图像隐私指标计算模块包含但不限于节假日筛选、非工作时间段筛选、语义化时间解析、逆地址解析、位置熵计算、拍摄距离估算等。

所述节假日筛选模块，可根据当地政府颁布的法定节假日日历对拍摄日期是否是节假日进行筛选；可选的，也可根据用户自定义的放假日期，对节假日进行筛选；

所述工作时间段筛选模块，可根据当地通用的工作时间段对拍摄时分秒是否属于工作时间段进行筛选；可选的，也可根据用户自定义的工作时间段，对拍摄图像的时分秒是否属于上班时间进行筛选；

所述语义化时间解析模块，通过设计不断更新的时间语义词典，对用户自然语言形式的时间进行筛选；

所述逆地址解析模块，从元数据中提取的拍摄位置经纬度信息计算所处位置的POI信息；所述逆地址解析模块还可使用包括海拔高度在内的三维坐标对POI信息进行定位，获得更为准确的POI信息；

所述位置熵计算模块，从全局的图像中获取拍摄时间和地点经纬度，通过香农熵计算出该地点的受欢迎程度，作为用户设置隐私保护策略的参考标准；

所述拍摄距离计算模块，从元数据中获取的35mm等效焦距和数码变焦比，从人脸识别结果中获得人脸像素坐标和整张图像的像素长度，计算出相机到人脸的拍摄距离。

所述隐私图像策略匹配子系统接收到用户的图像访问请求后，根据相应请求在数据库中进行查询，并按照被访问图像上出现的用户分别计算访问者与图像上出现的用户之间的人际关系指标，再分别通过与该用户隐私保护策略的匹配来决定是否展示图像上该用户的人脸所在区域；在合并图像上所有用户的决定后，对需隐藏的人脸所在区域进行隐私化处理，如图6所示，包括访问请求查询模块、人际关系指标计算模块和策略匹配与隐私化模块。

所述人际关系指标可使用但不限于社交网络中节点关系强度、共同出现在同一张图像上的次数、授权角色权限的种类和次数等因素，并将这些要素拟合成一个系数，供用户设定策略使用。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。

Claims (10)

1.一种图像隐私保护方法，其特征在于实现如下：用户通过图像访问控制要素提取方法提取图像中包含时间、空间、人际关系、图像属性四类指标，使用基于场景的多要素访问控制方法构建隐私场景，并设置自己在该隐私场景下图像的访问权限；当有图像上传时，提取图像中的元数据信息，并通过人脸识别技术识别图像中的利益相关者，计算隐私保护策略中需要的要素；当其他用户访问图像时，通过匹配访问者与图像所属隐私场景的访问权限，即所属场景的隐私保护策略与前述隐私场景下图像的分享范围，决定用户是否可以访问该图像或图像中的隐私区域。

2.根据权利要求1所述的图像隐私保护方法，其特征在于：当有图像上传时，通过图像访问控制要素提取方法提取图像的元数据信息和可视图像内容中的有效信息，所述图像访问控制要素的提取方法具体实现如下：

(1)通过元数据提取获得图像生成时的常用元数据项，包含但不限于拍摄日期、拍摄时间、拍摄地点的经纬度、拍摄时的数码缩放比，以及拍摄设备的35mm等效焦距；

(2)通过图像处理技术获取可视图像内容中用户脸部区域的像素值、图像整体的像素分布、图像上用户个数；

(3)通过逆地址解析方法将地理位置经纬度转换为位置类型偏好(Point ofInterest,POI)；通过收集全局地理位置信息，计算不同地点的位置熵；

(4)通过拍摄距离估算方法，估算图像中被拍摄用户与拍摄者之间的距离。

3.根据权利要求1所述的图像隐私保护方法，其特征在于：通过基于场景的多要素访问控制方法计算隐私保护策略中需要的要素，所述基于场景的多要素访问控制方法具体实现如下：

(1)访问控制方法提供时间、空间、人际关系、图像属性四类指标，每类指标可包含1个或多个要素；所述时间指标包含但不限于拍摄日期、拍摄时分秒、是否工作日、是否工作日工作时间段、季节和语义性的时间描述的一种或多种；空间指标包含但不限于拍摄位置经纬度、拍摄位置海拔、拍摄位置地名、拍摄位置类型偏好POI和拍摄位置的位置熵的一种或多种；所述人际关系指标包含但不限于指定用户ID、指定用户朋友圈/自定义分组、访问用户与图像上出现脸部区域的用户之间的朋友关系、用户亲密度的一种或多种；所述图像属性指标包含但不限于图像上出现脸部区域的数量、被摄用户与拍摄设备之间的拍摄距离、与图像上共同出现用户及其之间距离的一种或多种；

所述访问用户与图像上出现脸部区域的用户之间的朋友关系包含但不限于自己、家人、朋友、朋友的朋友或公众；

所述亲密度计算考虑的因素包含但不限于社交网络中的关系强度、相互联系的次数、在图像上共同出现的次数、在图像上共同出现时的脸部区域位置的物理距离、授予权限的历史记录；

(2)用户通过自由选取时间、空间、人际关系、图像属性四类指标中的要素进行自由组合，构建一个隐私场景，并为此场景设置权限，权限包括是否可以访问自己的隐私图像或图像区域，其中除人际关系指标必须保留至少一个要素以外，其他指标可以缺省；每个用户可设置多个场景的策略权限，但同一场景仅设置一条隐私保护策略，当隐私保护策略中的任何要素出现更改，则视为一个新的场景；

(3)当其他用户访问该图像，识别出图像中各隐私图像区域的利益相关者，通过匹配该图像的所属的类别与利益相关者针对该类型场景设置的权限，对该区域进行展示或遮掩；一张图像可能被归属到多个场景中，当出现多个场景同时匹配一张图像时，将逐一匹配多个场景所对应的隐私保护策略，并根据隐私保护策略中是否展示的决定对该区域进行展示或遮掩。

4.根据权利要求2所述的图像隐私保护方法，其特征在于：所述拍摄距离估算方法具体实现如下：

(1)通过图像访问控制要素提取方法获取图像的拍摄设备的35mm等效焦距，拍摄时的数码缩放比信息；

(2)通过图像处理技术获取可视图像内容中用户脸部区域的像素值、图像整体的像素分布；

(3)利用摄影学中拍摄设备的成像透视原理和拍摄设备属性信息，结合图像处理中的人脸识别技术，通过人脸的实际高度与人脸在图像中的像素高度的比例，估算被拍摄用户与拍摄者之间的拍摄距离。

5.一种图像隐私保护系统，其特征在于：包括用户终端和应用服务器；

所述用户终端形式可以是但不限于计算机客户端、移动设备客户端、智能终端或网页；

所述用户终端可包括图像上传子系统、隐私保护策略设置子系统、图像展示子系统；

所述图像上传子系统，用于上传图像文件，并调用应用服务器对图像进行分析处理；策略设置子系统用于用户设置自己的隐私保护策略；图像展示子系统将用户对图像的访问请求发送给应用服务器，接收并向用户展示经过隐私保护处理的图像；

所述应用服务器，接收用户终端上传的图像文件、隐私保护策略设置、展示图像请求业务数据，分别将各业务数据发送给业务数据对应的业务处理子系统，所述子系统包括隐私指标计算子系统、隐私保护策略生成子系统、隐私图像策略匹配子系统；

所述隐私指标计算子系统，为用户提供时间、空间、图像属性的隐私指标计算服务的程序组，用于处理分析各用户交互终端上传的图像文件，将接收的图像文件分离成可视图像数据和元数据，并利用人脸检测和人脸识别功能对图像上出现人脸的像素坐标进行定位，识别出人脸所属用户的唯一标识USER_ID；利用元数据提取功能提取元数据中与隐私相关信息，包含但不限于拍摄日期、拍摄时分秒、拍摄地点经纬度、相机镜头和数码变焦比信息；并将所述信息存储到数据库以供进一步分析处理；利用各类隐私指标计算模块计算设置隐私保护策略所需的各项指标；

所述隐私保护策略生成子系统，通过将用户设置的各项指标，生成一个可以描述一系列图像的场景，并对该场景设置相对应的可视或遮蔽的权限策略，将生成的隐私保护策略存储在数据库中；

所述隐私图像策略匹配子系统，当收到访问用户的访问请求，根据图像上出现的人脸区域所属用户的唯一标识USER_ID，提取相关用户设置的隐私保护策略，并将该隐私保护策略与访问者和被访问图像的属性进行匹配；一张被访问图像被划分到多个场景中，当其中一个隐私场景的策略匹配成功且不允许访问用户浏览，则判定所述隐私保护策略生效，无须继续匹配之后的隐私保护策略；当被访问图像上出现的所有用户的隐私保护策略匹配完成后，将决策结果融合在图像上，对应当遮蔽的区域进行隐私化处理，并将处理后的图像发给用户交互终端进行展示；

所述隐私化处理是指利用图像处理技术阻止访问用户获取图像隐私区域的原始图像数据，包含但不限于脸部区域像素加密、脸部所在区域模糊化、人体矩形模糊化或用其他图片遮盖。

6.根据权利要求5所述的一种图像隐私保护系统，其特征在于：所述隐私图像策略匹配子系统还能够在访问图像与多个用户脸部策略匹配时，可并行处理，并在全部匹配过程完成后，将所有隐私化处理结果合并起来，然后向访问用户展示。

7.根据权利要求5所述的一种图像隐私保护系统，其特征在于：所述隐私图像策略匹配子系统中还可以在所述图像隐私指标计算子系统运行时，对上传的图像进行模糊化预处理，建立图像与模糊区域的坐标映射关系，在隐私图像策略匹配子系统运行时，直接将对应像素替换。

8.根据权利要求5所述的一种图像隐私保护系统，其特征在于：所述应用服务器还可以包括：

隐私图像预分类子系统，用于对图像的预分类，根据图像上出现脸部用户的唯一标识USER_ID，提取该用户设定的隐私保护策略，将上传图像与隐私保护策略中的时间、空间、人际关系、图像属性四类指标进行预匹配，并将符合相应指标的隐私保护策略与图像建立映射关系，当其他用户访问图像时，直接匹配隐私保护策略的人际关系指标。

9.根据权利要求5所述的一种图像隐私保护系统，其特征在于：所述隐私图像策略匹配子系统包括元数据提取模块、人脸处理模块和多个不同功能的图像隐私指标计算模块；

所述元数据提取模块和人脸处理模块处理得到的数据，一部分可作为隐私指标直接存入数据库，包含但不限于图像上出现的人脸个数、图像中识别出用户的唯一标识USER_ID、用户脸部所在区域的像素坐标；另一部分数据需通过图像隐私指标计算模块进一步处理后得到新的图像隐私指标再存入数据库，图像隐私指标包含但不限于照相机35mm等效焦距、数码变焦比、人脸所在区域的像素长度、图像垂直方向边的像素长度；还有一部分指标既可以直接作为隐私指标，又可以作为其他隐私指标进行进一步处理的输入，包含但不限于拍摄日期、拍摄时分秒、拍摄地点的经纬度与海拔；

所述图像隐私指标计算模块包含但不限于节假日筛选模块、非工作时间段筛选模块、语义化时间解析模块、逆地址解析模块、位置熵计算模块和拍摄距离估算模块；

所述节假日筛选模块，根据当地政府颁布的法定节假日日历对拍摄日期是否是节假日进行筛选；可选的，也可根据用户自定义的放假日期，对节假日进行筛选；

所述工作时间段筛选模块，根据当地通用的工作时间段对拍摄时分秒是否属于工作时间段进行筛选；可选的，也可根据用户自定义的工作时间段，对拍摄图像的时分秒是否属于上班时间进行筛选；

所述语义化时间解析模块，通过设计不断更新的时间语义词典，对用户自然语言形式的时间进行筛选；

所述逆地址解析模块，从元数据中提取的拍摄位置经纬度信息计算所处位置的POI信息；所述逆地址解析模块还可使用包括海拔高度在内的三维坐标对POI信息进行定位，获得更为准确的POI信息；

所述位置熵计算模块，从全局的图像中获取拍摄时间和地点经纬度，通过香农熵计算出该地点的受欢迎程度，作为用户设置隐私保护策略的参考标准；

所述拍摄距离计算模块，从元数据中获取的拍摄设备的35mm等效焦距和数码变焦比，从人脸识别结果中获得人脸像素坐标和整张图像的像素长度，计算出拍摄设备到人脸的拍摄距离。

10.根据权利要求5所述的一种图像隐私保护系统，其特征在于：所述隐私图像策略匹配子系统包括访问请求模块、人际关系指标计算模块和策略匹配与隐私化模块；

所述访问请求模块，用于提取图像中出现人脸的用户USER_ID，并根据USER_ID查询该用户存储在数据库中的隐私保护策略；

所述人际关系指标模块，提取被访问用户与被访问图像上出现脸部区域用户之间的人际关系，人际关系判定的手段包含但不限于社交网络中节点关系强度、共同出现在同一张图像上的次数、授权角色权限的种类和次数因素，该模块还可以提供将上述要素拟合成一个人际关系系数的功能，供用户设定隐私保护策略使用；

所述策略匹配与隐私化模块，匹配访问用户与被访问图像上出现脸部区域用户的隐私保护策略，并对用户选择不展示的隐私区域进行隐私化处理。