CN105260676B - 图像隐私决策推荐系统及其方法 - Google Patents

图像隐私决策推荐系统及其方法 Download PDF

Info

Publication number
CN105260676B
CN105260676B CN201510679982.6A CN201510679982A CN105260676B CN 105260676 B CN105260676 B CN 105260676B CN 201510679982 A CN201510679982 A CN 201510679982A CN 105260676 B CN105260676 B CN 105260676B
Authority
CN
China
Prior art keywords
privacy
picture
hash
mrow
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510679982.6A
Other languages
English (en)
Other versions
CN105260676A (zh
Inventor
胡东辉
陈帆
郝海彤
戴立
胡晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201510679982.6A priority Critical patent/CN105260676B/zh
Publication of CN105260676A publication Critical patent/CN105260676A/zh
Application granted granted Critical
Publication of CN105260676B publication Critical patent/CN105260676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6263—Protecting personal data, e.g. for financial or medical purposes during internet communication, e.g. revealing personal data from cookies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于隐私规则和感知哈希的社交网络下图像隐私决策推荐系统及其方法，其特征是，系统组成包括：为用户提供给要保护对象注册功能的隐私对象注册模块为用户要保护对象定义隐私安全等级的隐私规则定义模块；为用户待上传对象进行识别，并与哈希指纹库中的受保护对象及隐私规则库中的隐私规则进行对比，并最终提交待上传对象的隐私安全等级给用户的隐私决策推荐模块。本发明能实现快速方便的隐私等级自动计算和决策推荐，并有效降低个人或其家庭隐私泄露风险，从而大大提高用户个人图像隐私保护安全。

Description

图像隐私决策推荐系统及其方法
技术领域
本发明属于社交网络图像的隐私保护领域，特别是涉及一种结合语义规则对社交网络图像进行隐私决策推荐的方法。
背景技术
移动互联网的飞速发展使人们在移动终端登录社交网络已经十分普遍。同时，数字图像在互联网中的运用也越来越广泛。基于文字的社交已演变为基于图像的社交，图像所带来的丰富的信息量更满足了人们对信息分享和索取的需求。然而也正由于图像携带着更加丰富的信息，从而更容易泄露用户隐私。比如，在日常生活中，社交网络用户随意上传的一张图片很可能就会泄露自己拥有的某件物品或自己和照片中另外一人的关系，而这些信息都可以为别有用心之人提供线索并引发各种犯罪危险。因分享图片而泄露个人隐私的案例在互联网盛行的时代已经屡见不鲜。
目前社交网络中对图像的隐私保护主要是通过用户自定义访问控制权限，匿名化处理，图像加密以及阅后即焚等方式。但由于移动终端已经支持即拍即传的实时分享，用户很有可能在上传图像之后才意识到权限设置的不足，或者因醉酒意识不清而不小心发送了带有私密信息的图像，此时图像已经上传，在社交网络的大环境中就会带来难以消除的隐私泄露风险。现有的图像隐私保护方法面临着严峻的考验，问题主要表现在以下几方面：
1、当前的社交网络环境纷杂，通过网络爬虫等手段可以在网络上“人肉”到用户信息，凡是上传到社交网络上的图像都可能泄露用户隐私，产生不可预知的信息传播影响。因此在当下分享信息交流互动的大趋势下，亟需使用户充分意识到隐私泄露的危害，亟需发展社交网络隐私保护机制、隐私决策方法和相关辅助工具。
2、目前的图像隐私保护方式是用户手动选择，过程繁琐亦容易出错，系统无法在用户上传图像的时候提供智能化的隐私决策，不能帮助青少年等自我保护意识不强的用户或者醉酒等情况下神识不清的用户提供隐私决策支持。
3、现有的图像隐私保护技术并没有将要保护的内容附加语义信息。图像加密是对所有的访问者加密，无法将好友关系以及图像语义信息结合起来，图像的分享应该与图像内容及用户好友关系紧密联系在一起，从而在社交网络的图像隐私保护中给用户营造一个安心舒适的图像分享环境。
4、国外有些大型社交网络公司，如Facebook公司等试图用机器学习(深度学习，Deep Learning)的方法解决社交网络隐私保护和决策推荐问题，但基于机器学习的方法需要事先进行大量的样本学习，在效率、个性化等方面有不足之处，在目前深度学习技术还没有得到足够发展的情况下，不能满足社交网络数字图像隐私决策实时性的需求。
发明内容
本发明为克服现有技术存在的不足，提出一种基于隐私规则和感知哈希的社交网络的图像隐私决策推荐系统与及其方法，以期能实现快速方便的隐私等级自动计算和决策推荐，并有效降低个人或其家庭隐私泄露风险，从而大大提高用户个人图像隐私保护安全。
本发明为解决技术问题采用如下技术方案：
本发明一种基于隐私规则和感知哈希的社交网络的图像隐私决策推荐系统的特点是，所述推荐系统包括：隐私对象注册模块、隐私规则定义模块、隐私决策推荐模块、隐私对象哈希指纹库和隐私规则库；
所述隐私对象注册模块接收用户所提交的包含保护对象的图片以及用户所设置的语义标签，并对所述图片进行图像识别，获取所述图片中保护对象的哈希指纹；再将所述哈希指纹与所设置的语义标签一同存入所述隐私对象哈希指纹库中；
所述隐私规则定义模块用于对所述隐私对象哈希指纹库中所存储的语义标签进行选择，获得标签集合，并对所述标签集合设置相应的隐私安全等级，从而生成隐私规则并存入所述隐私规则库中；
所述隐私决策推荐模块对用户所提交的待识别图片进行图像识别，获取所述待识别图片的哈希指纹，并根据所述待识别图片的哈希指纹在所述隐私对象哈希指纹库中进行查询和匹配，获得所述待识别图片中所有保护对象的哈希指纹及其所对应的语义标签，并返回所待识别图片的所有语义标签；再根据所述待识别图片的所有语义标签在所述隐私规则库中进行查询和匹配，获得所述待识别图片的所有语义标签所对应的隐私安全等级；在所有获得的匹配的等级中以最高安全等级作为待识别图片的隐私安全等级提供给用户。
本发明一种基于隐私规则和感知哈希的社交网络的图像隐私决策推荐方法的特点是按如下步骤进行：
步骤1、用户向所述隐私对象注册模块提交包含保护对象的图片及相应设置的语义标签；
步骤2、所述隐私对象注册模块对所述图片进行识别，获得所述图片中保护对象的哈希指纹；并根据所识别出的哈希指纹与相应设置的语义标签一同存入到隐私对象哈希指纹库中；从而使得所述隐私对象哈希指纹库中存储有所述用户的若干保护对象的哈希指纹及其相应设置的语义标签；
步骤3、用户从所述隐私对象哈希指纹库中的若干语义标签中选择相应的语义标签作为标签集合，从而获得若干个标签集合，并为所述若干个标签集合设置相应的隐私安全等级；从而生成若干个隐私规则并存入所述隐私规则库中；
步骤4、用户提交新图片至隐私决策推荐模块进行图像识别，获得新图片的哈希指纹，并根据所述新图片的哈希指纹在所述隐私对象哈希指纹库中进行查询和匹配，获得所述新图片中所有保护对象的哈希指纹及其所对应的语义标签，并返回待识别图片的所有语义标签；
步骤5、所述隐私决策推荐模块根据所述新图片的所有语义标签在所述隐私规则库中进行查询和匹配，获得所述新图片中所有语义标签所匹配的标签集合及其隐私规则；
步骤6、所述隐私决策推荐模块在所匹配的隐私规则中选择最高安全等级作为所述新图片的隐私安全等级用于提供给用户进行决策。
本发明采用基于语义规则和感知哈希相结合的方法，对用户上传图像的隐私级别进行度量，为用户进行社交网络图像的隐私决策推荐；在隐私保护初始化时，需要用户对想要保护的隐私对像进行注册，并结合注册的隐私对象添加语义标签定义并进行隐私规则定义，作为后续的隐私决策中的参考。与现有技术相比，本发明的有益效果在于：
1、本发明系统可以为社交网络数字图像用户做出隐私决策推荐，提醒用户进行权限设置或者强制用户进行访问控制(针对儿童等用户)；本系统的图像权限选择不止依赖用户的准确操作和自觉性；用户共享图像时，系统会给出决策推荐，建议用户为图像设置相应的隐私等级；在用户未选择共享图像隐私等级时，默认选择系统推荐等级；这在一定程度上减少了用户因缺乏隐私安全保护意识或者神识不清而导致的隐私泄露的风险。
2、本发明中，用户能自定义隐私保护规则，建立图像隐私规则；每一个用户的需求都是不同的；同一个对象，对不同的用户来说重要程度不同，隐私等级也是不同的，因而本系统提供了用户自定义隐私规则的功能，并没有将隐私规则固有化。用户可以结合自身情况，来制定更合适的个性化、细粒度隐私规则。
3、本发明在隐私规则的制定过程中，充分考虑了不同对象之间的语义关系；比如：一个明星的自拍照可能不算是隐私，但是这位明星和其房屋的合影可能就会构成隐私；因此，在一条隐私规则中可以涵盖多个隐私对象，对隐私的设置不再局限于单独的对象，还涉及到对象间的关系，使隐私决策更加科学合理。
4、本发明能提前注册隐私对象，提高隐私保护意识；系统要求用户在开始使用系统时就自动注册隐私对象，而非在上传图像时才想起图像的隐私问题；这样儿童的监护人或者经常醉酒者可以提前注册和设置隐私安全规则；隐私规则的设置还可以做到强制访问控制，即在家长的监督下，结合本专利的隐私决策推荐等级，为儿童和青少年设置隐私访问控制规则。
5、本发明仅通过注册少量隐私对象即可确定大部分图像的隐私等级；共享图像的隐私等级由其包含的隐私对象和隐私规则共同确定，因此用户无需对所有上传的图像进行隐私权限设置，而仅通过注册少量隐私对象即可自动推荐图像的隐私等级，大大简化了用户操作程序。
附图说明
图1是本发明一种在社交网络下进行图像隐私决策的基本流程图；
图2是本发明隐私对象注册模块和隐私规则定义模块的过程示意图；
图3是本发明隐私决策推荐模块的过程示意图。
具体实施方式
本实施例中，如图1所示，一种基于隐私规则和感知哈希的社交网络的图像隐私决策推荐系统，该决策推荐系统包括：隐私对象注册模块、隐私规则定义模块、隐私决策推荐模块、隐私对象哈希指纹库和隐私规则库；
隐私对象注册模块接收用户所提交的包含保护对象的图片以及用户所设置的语义标签，并对图片进行图像识别，获取图片中保护对象的哈希指纹；再将哈希指纹与所设置的语义标签一同存入隐私对象哈希指纹库中；
隐私规则定义模块用于对隐私对象哈希指纹库中所存储的语义标签进行选择，获得标签集合，并对标签集合设置相应的隐私安全等级，从而生成隐私规则并存入隐私规则库中；
如图3所示，给出了隐私决策推荐全过程。隐私决策推荐模块对用户所提交的待识别图片进行图像识别，获取待识别图片的哈希指纹，并根据待识别图片的哈希指纹在隐私对象哈希指纹库中进行查询和匹配，获得待识别图片中所有保护对象的哈希指纹及其所对应的语义标签，并返回所待识别图片的所有语义标签；再根据待识别图片的所有语义标签在隐私规则库中进行查询和匹配，获得待识别图片的所有语义标签所对应的隐私安全等级；在所有获得的匹配的等级中以最高安全等级作为待识别图片的隐私安全等级提供给用户，为用户自己决策提供建议或者为社交网络提供决策。如图3所示。
本实施例中，一种基于隐私规则和感知哈希的社交网络的图像隐私决策推荐系统的推荐方法是按如下步骤进行：
步骤1、用户向隐私对象注册模块提交包含保护对象的图片及相应设置的语义标签；
具体实施中，用户上传想要保护的图像，可以是拍摄并上传图像或者挑选之前就已保存的图像上传，该图像应尽量为包含单个对象的图像或者对象容易识别的图像；
步骤2、如图2所示，隐私对象注册模块对图片进行识别，获得图片中保护对象的哈希指纹即提取鲁棒感知哈希；并根据所识别出的哈希指纹添加图像的语义标检形成隐私对象哈希指纹，哈希指纹与相应设置的语义标签一同存入到隐私对象哈希指纹库中；从而使得隐私对象哈希指纹库中存储有用户的若干保护对象的哈希指纹及其相应设置的语义标签；
具体的说，感知哈希的计算方法如下：
1、计算原始特征：当待计算图片I为人脸时对其进行LBP计算，为物体时进行SIFT计算，得到的结果记为Feature(I)＝{F1,...,Fn}，其中n为特征点的个数，F1,...,Fn为图像的n个特征点向量，Fi＝<f1,...,fm>，其中i＝1,2,...,n，f1,...,fm表示每个特征点向量的分量值，当图片为人脸时，m的大小为59；当图片为物体时，m的大小为128。
a、计算原始LBP：首先将图像I划分成n个不重叠分块，在每块中所有像素点计算LBP值。采用均匀LBP，每个块中计算出59维的直方图并归一化处理。将所有块中的直方图链接成为一个特征向量，也就是整幅图的LBP纹理特征向量。
b、计算原始SIFT；对图像I计算其SIFT特征点，得到n个SIFT特征点向量，每个特征点一般采用128维的向量表示。
2、特征点量化为哈希：将每个特征点向量Fi＝＜f1,f2,...,fm＞按其中f的值从小到大排序，得到取这m个数的中值作为阈值将原始Feature(I)＝{F1,...,Fn} 中的每个特征点向量按照式(1)进行处理：
式(1)中j表示特征点向量中的数的下标；原始特征点向量就表示成了一个m位的0、1串记作F′i＝<f′1,...,f′m>。经过量化之后，每个特征点变为59或128位串，减少了存储空间并且提高了哈希对比的效率。
3、哈希加密：由密钥K控制产生一个m位的随机的0、1串R，根据式(2)对上述步骤生成的哈希串进行加密：
式(2)中，哈希串长度为59时，R符合0和1的个数相差1；当哈希串长度为128时，R符合0 和1的个数相等。
所诉步骤4中的哈希对比方法如下：
按式(3)给上传图像的哈希串和隐私对象哈希指纹库中的哈希串进行对：
式(3)中H'x和H'y分别表示上传图像的和隐私对象哈希指纹库中的经过量化和加密后的哈希串；式(3)即进行按位异或运算，等同于式(4)：
式(4)中，m为对比的哈希串中的特征点向量的维数，当图片中的对象感知哈希是基于LBP 特征值时，m为59；基于SIFT特征，则为128。si为对比的两幅图像的两个哈希串的相似度，整幅图像的相似度为给一个阈值(训练过程中得到)，当s的值比阈值大时，则这两幅图像中对象不相同，否则，则认为两幅图像中对象是一样的。
由式(5)的证明过程可知，给加密过的两个哈希串进行对比的结果和原始两个量化过后的哈希串进行对比的结果是一样的：
因此在哈希对比时，无需对加密过的哈希串进行特殊处理，直接对比即可；这样我们在对图片中对象的哈希指纹进行了加密过后，保证了图片哈希指纹的安全，同时也不影响图片的对象对比检测的速度。
步骤3、用户根据自身在社交网络中的隐私保护需求，根据对象语义标签和对应的安全等级定义隐私保护规则，存储在隐私规则库中；即用户从隐私对象哈希指纹库中的若干语义标签中选择相应的语义标签作为标签集合，从而获得若干个标签集合，并为若干个标签集合设置相应的隐私安全等级；从而生成若干个隐私规则并存入隐私规则库中；
所定义的规则包括“标签集合”及“隐私安全等级”两部分，其中的“标签集合”部分中的标签与步骤1所添加的标签源自同一语义标签系统；“隐私安全等级”部分为规则所推荐的该“标签集合”对应的隐私安全等级，可以用N个连续数字0到N-1表示N个隐私级别，数字越高隐私级别越高；
隐私规则生成过程：用户在语义标签系统中选择单个语义标签或者多个语义标签作为一个集合Dv＝{T1,T2,...,Tq}，其中，v＝1,2,...,z，Dv表示规则库中第v个规则的标签集合， T1,T2,...,Tq为Dv集合中的q个标签；然后根据用户对该标签集合的保护等级给该集合设置安全等级Lv，Lv∈[0,N-1]，其中Lv为规则库中第v条规则的隐私安全等级；最后将定义的规则存储到隐私规则库中；多次重复上述步骤完成用户需要的多条隐私规则的定义和存储；
步骤4、用户提交新图片至隐私决策推荐模块进行图像识别，获得新图片的哈希指纹，该获取指纹方法与步骤2中的方法相同；并根据新图片的哈指纹在隐私对象哈希指纹库中进行查询和匹配，即哈希对比，获得新图片中所有保护对象的哈希指纹及其所对应的语义标签，并返回待识别图片的所有语义标签；
上述步骤4具体步骤如下：
4.1、系统对用户拟上传到社交网络的图片进行识别，对图片进行感知哈希，生成该图片的哈希指纹；即对用户新上传的图像提取鲁棒感知哈希；
4.2、系统根据4.1计算得到的哈希指纹在隐私对象哈希指纹库中进行对比检索，返回所有匹配的该图片在的隐私对象哈希指纹库中的语义标签；
步骤5、隐私决策推荐模块根据新图片的所有语义标签进一步在隐私规则库中进行查询和匹配，获得新图片中所有语义标签所匹配的标签集合及其隐私规则；
步骤6、隐私决策推荐模块在所匹配的隐私规则中的选择最高安全等级作为新图片的隐私安全等级用于提供给用户进行决策。
上述步骤5、6具体实施方式如下：
a、将步骤4.2所返回的语义标签作为一个标签集合Dx＝{T1,T2...,Ty}，在步骤3中形成的隐私规则库中进行逐条对比匹配，当时，即待检测标签集合包含规则库中的某条规则中的标签集合中的所有元素，其中Si是规则库中第i条规则的标签集合，则返回规则库中标签集合Dv对应的安全等级Lv并保存到L中，L＝[L1,L2,...,Lr,...,LZ]，r＝1,2,...,Z；r为匹配的等级的下标，Z为匹配的等级的条数；
b、在待选择的等级L中选择最高等级Lmax作为最终的标签集合的隐私安全等级并以用户所理解的形式推荐给用户，让用户自己进行隐私决策；
c、如果步骤4在哈希指纹库中没有检索到对象并返回语义标签，或者返回的语义标签在步骤5中没有在隐私规则库中检索到对应的隐私规则，则默认该图像的隐私级别为最低级，即可以向全部联系人公开的级别；
步骤7，系统根据需要，也可以将所推荐的隐私等级与社交网络访问控制规则进一步结合，实现基于隐私等级的社交网络访问控制；例如，为青少年等用户事先设置访问控制规则，从而可以有效防止针对青少年的社交网络犯罪活动，并大大减小青少年等自我保护意识不强的户或者醉酒等情况下神志不清的用户因上传图像而泄露个人或其家庭隐私的风险，减少因为社交网络隐私泄露而造成的各种犯罪危险和精神、经济、生命、财产损失。具体的说，
7.1，用户首先需要将自己社交网络中关联的主体分成N个等级，并根据由低到高的顺序设置权限等级；
7.2，将用户社交网络中主体的权限等级和步骤3所定义的客体(图像)隐私等级建立一定的偏序关系；
7.3，规定当且仅当访问主体的权限等级不小于某一图像所满足的隐私规则的隐私等级时，主体才可以访问此图像，或者说才可以将该图像发布到该主体所在的群。
为便于说明，本实施例给出一个简单的案例，假设某用户设置隐私保护规则为：“凡是儿子和家房屋同时出现的，则隐私级别为2”，根据表1知道该图片仅限于家人之间共享。
表1根据不同图像隐私等级及用户群安全等级进行用户访问控制的模型
详细实施过程如下：
1、某用户自定义注册隐私图像，在本例中上传两张图像：仅包含他儿子的图像A和仅包含他家房屋的图像B，并分别为这两幅图像添加语义标签：Tag(A)＝‘儿子’，Tag(B)＝‘房屋’；
2、系统对这两张隐私图像进行特征提取操作，对人脸图像A提取LBP特征，对物体图像B提取SIFT特征；
3、系统对图像A的LBP特征和图像B的SIFT特征进行不同的压缩方法生成感知哈希LBPHash(A)和SIFTHash(B)。将图像A的ID连同LBPHash(A)、Tag(A)、Type值1等存入隐私对像哈希指纹库，将图像B的ID连同SIFTHash(B)、Tag(B)、Type值2存入隐私图像哈希指纹库。Type值1表明哈希是LBP哈希；Type值2表明哈希是SIFT哈希；
4、设置隐私规则为：“凡是标签同时包含‘儿子’和‘房屋’的，隐私级别为2”，并保存在隐私规则库中；
5、用户将访问控制的主体社交网络中的好友按亲密度进行等级划分，本例中(一般联系人为0级，朋友为1级，家人为2级，自己为3级)；
6、某日该用户新上传一张包含他家儿子和房屋的图像X并试图在其社交网络普通朋友圈中发布，则系统首先计算图像X的鲁棒感知哈希值，方法同步骤(3)，最后得出LBPHash(X) 和SIFTHash(X)；
7、系统根据步骤(6)所计算的图像X鲁棒感知哈希，在步骤(3)中所形成的隐私对象哈希库中按照Type值为1和Tpye值为2分别对SIFTHash和LBPHash进行对比检索，则将匹配上隐私对象标签为‘儿子’的哈希值和标签为‘房屋’的哈希值，并返回‘儿子’和‘房屋’两个标签；
8、系统根据步骤(7)所返回的两个语义标签，在隐私规则库中根据条件选项进行检索，检索到规则是“凡是标签同时包含‘儿子’和‘房屋’的，隐私级别为2”，则返回图像X的隐私级别为2；
9、拟发布的普通朋友圈的隐私等级为1，图像X的隐私级别为2，由于1<2，所以根据事先拟定的规则，普通朋友不能访问该图像，则该图像发布被拒绝。

Claims (2)

1.一种基于隐私规则和感知哈希的社交网络的图像隐私决策推荐系统，其特征是，所述推荐系统包括：隐私对象注册模块、隐私规则定义模块、隐私决策推荐模块、隐私对象哈希指纹库和隐私规则库；
所述隐私对象注册模块接收用户所提交的包含保护对象的图片以及用户所设置的语义标签，并对所述图片进行图像识别，获取所述图片中保护对象的哈希指纹；再将所述哈希指纹与所设置的语义标签一同存入所述隐私对象哈希指纹库中；
所述隐私规则定义模块用于对所述隐私对象哈希指纹库中所存储的语义标签进行选择，获得标签集合，并对所述标签集合设置相应的隐私安全等级，从而生成隐私规则并存入所述隐私规则库中；
所述隐私决策推荐模块对用户所提交的待识别图片进行图像识别，获取所述待识别图片的哈希指纹，并根据所述待识别图片的哈希指纹在所述隐私对象哈希指纹库中进行查询和匹配，获得所述待识别图片中所有保护对象的哈希指纹及其所对应的语义标签，并返回所待识别图片的所有语义标签；再根据所述待识别图片的所有语义标签在所述隐私规则库中进行查询和匹配，获得所述待识别图片的所有语义标签所对应的隐私安全等级；在所有获得的匹配的等级中以最高安全等级作为待识别图片的隐私安全等级提供给用户；
所述图片中保护对象的哈希指纹或所述待识别图片的哈希指纹是按如下过程获得：
步骤1、计算原始特征：当待计算图片I为人脸时对其进行LBP计算，为物体时进行SIFT计算，得到的结果记为Feature(I)＝{F1,...,Fn}，其中n为特征点的个数，F1,...,Fn为待计算图像的n个特征点向量，其中Fi＝<f1,...,fm>，i＝1,2,...,n，f1,...,fm表示第i个特征点向量的分量值；
步骤2、特征点量化为哈希：将第i个特征点向量Fi＝＜f1,f2,...,fm＞按分量值从小到大排序，得到和中值并将中值M作为阈值将原始Feature(I)＝{F1,...,Fn}中的每个特征点向量按照式(1)进行处理，从而得到第i个特征点向量的哈希串Fi′＝<f1′,...,f′m>：
<mrow> <msubsup> <mi>f</mi> <mi>j</mi> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msub> <mi>f</mi> <mi>j</mi> </msub> <mo>&gt;</mo> <mi>M</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中，j＝1,2,...,m；
步骤3、哈希加密：由密钥K控制产生一个m位的随机的0、1串R，并利用式(2)对第i个特征点向量的哈希串Fi′进行加密，从而得到哈希指纹E(Fi′)：
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <msubsup> <mi>F</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>F</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;CirclePlus;</mo> <mi>R</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
2.一种基于隐私规则和感知哈希的社交网络的图像隐私决策推荐方法，其特征是按如下步骤进行：
步骤1、用户向所述隐私对象注册模块提交包含保护对象的图片及相应设置的语义标签；
步骤2、所述隐私对象注册模块对所述图片进行识别，获得所述图片中保护对象的哈希指纹；并根据所识别出的哈希指纹与相应设置的语义标签一同存入到隐私对象哈希指纹库中；从而使得所述隐私对象哈希指纹库中存储有所述用户的若干保护对象的哈希指纹及其相应设置的语义标签；
步骤3、用户从所述隐私对象哈希指纹库中的若干语义标签中选择相应的语义标签作为标签集合，从而获得若干个标签集合，并为所述若干个标签集合设置相应的隐私安全等级；从而生成若干个隐私规则并存入所述隐私规则库中；
步骤4、用户提交新图片至隐私决策推荐模块进行图像识别，获得新图片的哈希指纹，并根据所述新图片的哈希指纹在所述隐私对象哈希指纹库中进行查询和匹配，获得所述新图片中所有保护对象的哈希指纹及其所对应的语义标签，并返回待识别图片的所有语义标签；
步骤5、所述隐私决策推荐模块根据所述新图片的所有语义标签在所述隐私规则库中进行查询和匹配，获得所述新图片中所有语义标签所匹配的标签集合及其隐私规则；
步骤6、所述隐私决策推荐模块在所匹配的隐私规则中选择最高安全等级作为所述新图片的隐私安全等级用于提供给用户进行决策；
其中，步骤2中的所述图片中保护对象的哈希指纹或步骤4中的所述新图片的哈希指纹是按如下过程获得：
步骤a、计算原始特征：当待计算图片I为人脸时对其进行LBP计算，为物体时进行SIFT计算，得到的结果记为Feature(I)＝{F1,...,Fn}，其中n为特征点的个数，F1,...,Fn为待计算图像的n个特征点向量，其中Fi＝<f1,...,fm>，i＝1,2,...,n，f1,...,fm表示第i个特征点向量的分量值；
步骤b、特征点量化为哈希：将第i个特征点向量Fi＝＜f1,f2,...,fm＞按分量值从小到大排序，得到和中值并将中值M作为阈值将原始Feature(I)＝{F1,...,Fn}中的每个特征点向量按照式(1)进行处理，从而得到第i个特征点向量的哈希串Fi′＝<f1′,...,fm′>：
<mrow> <msubsup> <mi>f</mi> <mi>j</mi> <mo>&amp;prime;</mo> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msub> <mi>f</mi> <mi>j</mi> </msub> <mo>&gt;</mo> <mi>M</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中，j＝1,2,...,m；
步骤c、哈希加密：由密钥K控制产生一个m位的随机的0、1串R，并利用式(2)对第i个特征点向量的哈希串Fi′进行加密，从而得到哈希指纹E(Fi′)：
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <msubsup> <mi>F</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>F</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>&amp;CirclePlus;</mo> <mi>R</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow> 2
CN201510679982.6A 2015-10-16 2015-10-16 图像隐私决策推荐系统及其方法 Active CN105260676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510679982.6A CN105260676B (zh) 2015-10-16 2015-10-16 图像隐私决策推荐系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510679982.6A CN105260676B (zh) 2015-10-16 2015-10-16 图像隐私决策推荐系统及其方法

Publications (2)

Publication Number Publication Date
CN105260676A CN105260676A (zh) 2016-01-20
CN105260676B true CN105260676B (zh) 2017-10-03

Family

ID=55100360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510679982.6A Active CN105260676B (zh) 2015-10-16 2015-10-16 图像隐私决策推荐系统及其方法

Country Status (1)

Country Link
CN (1) CN105260676B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681309B (zh) 2016-01-26 2018-06-19 腾讯科技（深圳）有限公司 一种信息处理方法、第一终端、第二终端及服务器
CN105760932B (zh) * 2016-02-17 2018-04-06 第四范式（北京）技术有限公司 数据交换方法、数据交换装置及计算装置
CN106453385B (zh) * 2016-11-01 2019-07-26 西安电子科技大学 一种社交网络中细粒度人脸隐私保护方法
CN108197453B (zh) * 2018-01-19 2020-02-04 中国科学院信息工程研究所 一种图像隐私保护方法及系统
CN109254661B (zh) * 2018-09-03 2022-05-03 Oppo（重庆）智能科技有限公司 图像显示方法、装置、存储介质及电子设备
CN112041847A (zh) * 2018-12-07 2020-12-04 微软技术许可有限责任公司 提供具有隐私标签的图像
CN110069947B (zh) * 2019-04-22 2020-09-15 鹏城实验室 图片隐私的预测方法及装置、存储介质及电子设备
CN110221784B (zh) * 2019-06-12 2022-09-06 青岛大学 一种基于项目反应理论的数据去重方法、装置及设备
CN110427761A (zh) * 2019-07-08 2019-11-08 维沃移动通信有限公司 一种提示方法和终端设备
CN111639359B (zh) * 2020-04-22 2023-09-12 中国科学院计算技术研究所 一种用于社交网络图片隐私风险检测与预警的方法及系统
CN113378859B (zh) * 2021-06-29 2022-07-15 中国科学技术大学 一种具有可解释性的图像隐私检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021207A (zh) * 2014-06-18 2014-09-03 厦门美图之家科技有限公司 一种基于图像的食物信息提供方法
CN104463017A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104680393A (zh) * 2013-12-02 2015-06-03 章文贤 一种基于图像内容及匹配的交互广告方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680393A (zh) * 2013-12-02 2015-06-03 章文贤 一种基于图像内容及匹配的交互广告方法
CN104021207A (zh) * 2014-06-18 2014-09-03 厦门美图之家科技有限公司 一种基于图像的食物信息提供方法
CN104463017A (zh) * 2014-12-22 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
CN105260676A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
CN105260676B (zh) 图像隐私决策推荐系统及其方法
US11501564B2 (en) Mediating apparatus and method, and computer-readable recording medium thereof
McGrady “Grow the beard, wear the costume”: Resisting weight and sexual orientation stigmas in the bear subculture
AU2019100349A4 (en) Face - Password Certification Based on Convolutional Neural Network
CN106972927A (zh) 一种针对不同安全等级的加密方法及系统
CN108596041A (zh) 一种基于视频的人脸活体检测方法
CN108959567A (zh) 一种云环境下适用于大规模图像的安全检索方法
CN106503655A (zh) 一种基于人脸识别技术的电子签名方法和验签方法
CN108363689A (zh) 面向混合云的隐私保护多关键词Top-k密文检索方法及系统
CN113742556B (zh) 一种基于全局和局部对齐的多模态特征对齐方法
CN114863499B (zh) 一种基于联邦学习的指静脉与掌静脉识别方法
Larson et al. Pixel privacy. increasing image appeal while blocking automatic inference of sensitive scene information
CN109872279A (zh) 一种基于神经网络的智能云平台人脸识别并局部加密方法
CN107273859A (zh) 一种照片自动标记方法及其系统
Aminanto et al. Multi-class intrusion detection using two-channel color mapping in IEEE 802.11 wireless Network
CN110209994A (zh) 基于同态加密的矩阵分解推荐方法
Li et al. SRIM scheme: an impression-management scheme for privacy-aware photo-sharing users
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
Cao et al. Hiding among your neighbors: Face image privacy protection with differential private k-anonymity
CN106961386A (zh) 一种签到服务中的位置隐私保护方法
Prabhu et al. Design of multiple share creation with optimal signcryption based secure biometric authentication system for cloud environment
Honda et al. A study on fuzzy clustering-based k-anonymization for privacy preserving crowd movement analysis with face recognition
CN112597379B (zh) 数据识别方法、装置和存储介质及电子装置
CN108319659A (zh) 一种基于加密图像快速搜索的社交发现方法
CN103327363A (zh) 实现基于语义粒度进行视频信息加密控制的系统及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant