CN108319659B - 一种基于加密图像快速搜索的社交发现方法 - Google Patents

一种基于加密图像快速搜索的社交发现方法 Download PDF

Info

Publication number
CN108319659B
CN108319659B CN201810013996.8A CN201810013996A CN108319659B CN 108319659 B CN108319659 B CN 108319659B CN 201810013996 A CN201810013996 A CN 201810013996A CN 108319659 B CN108319659 B CN 108319659B
Authority
CN
China
Prior art keywords
image
user
search
users
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810013996.8A
Other languages
English (en)
Other versions
CN108319659A (zh
Inventor
赖俊祚
韦金锭
王传胜
李燕玲
熊婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN201810013996.8A priority Critical patent/CN108319659B/zh
Publication of CN108319659A publication Critical patent/CN108319659A/zh
Application granted granted Critical
Publication of CN108319659B publication Critical patent/CN108319659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于加密图像快速搜索的社交发现方法,该社交发现方法针对现有技术中基于加密图像快速搜索的社交发现方案存在两个问题,即需要大量的存储空间以及消耗大量的搜索时间,提出了一种云环境下基于加密图像快速搜索的解决方案,首先预先构建描述用户图像内容的基于MD‑algorithm的可搜索的加密索引,该索引与用户图像一起存储在云服务器上,再通过安全相似性运算检索匹配用户的加密图像,找到具有相似图像的用户,从而实现好友推荐功能。与已有方案相比,所提出的解决方案不仅能准确的找到与目标用户具有相似图像的其他用户,而且还降低了存储空间以及提高了搜索效率。

Description

一种基于加密图像快速搜索的社交发现方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种云环境下基于加密图像快速搜索的社交发现方法。
背景技术
近年来,社交媒体网站的使用者越来越多,人们也越来越喜欢在网站上分享照片,这些照片可以反映出每个用户自己的兴趣爱好,一般具有相同兴趣爱好的用户所分享的图像都很相似,因此,可以通过查找相似的图像来为用户推荐可能与他具有相同兴趣爱好的朋友或组织团体,从而扩大用户自己的朋友圈,这为社交发现的应用带来了新的机遇与挑战。但是社交网站也面临着数据管理困难、存储成本高、可靠性低等难题,为此,社交网站更倾向于将大量的数据存储在云端服务器,以节省本地的存储和计算资源。然而将用户的图像存储在公共云上容易泄露用户的信息,为了保护用户的隐私,在将图像外包存储到远程服务器前,应该先对其进行加密处理,在实现好友推荐功能时,对用户图像的相关操作都应该是在密文上进行的。
Negoescu在2008年的时候在文献[1]“Negoescu R A,Gatica-Perez D.AnalyzingFlickr groups[C]//International Conference on Content-Based Image and VideoRetrieval.ACM,2008:417-426”中提出可以在媒体社交网站上比较不同用户的图片之间的相似性,然后根据比较的结果来判定他们是否可能具有相似的爱好,从而确定是否推荐他们相互认识,但是在这个方案里需要的存储空间和计算时间很大,不利于处理大规模的图片计算和存储。2009年的时候Chen等人在文献[2]“Chen J,Geyer W,Dugan C,et al.Makenew friends,but keep the old:recommending people on social networking sites[C]//Sigchi Conference on Human Factors in Computing Systems.ACM,2009:201-210”提出了在社交网络上为用户找到已知的联系人和发现新的朋友的方案,它根据图像的视觉特征来进行相似性匹配,但这个方案无法保护用户的隐私。文献[3]“Baden R,BenderA,Spring N,et al.Persona:an online social network with user-defined privacy[C]//ACM SIGCOMM 2009Conference on Applications,Technologies,Architectures,and Protocols for Computer Communications,Barcelona,Spain,August.DBLP,2009:135-146”提出了一个方法,通过测量从用户图像导出的用户特征向量的距离来进行相似性比较,在2011年Yao等人在文献[4]“Yao T,Ngo C W,Mei T.Context-based friendsuggestion in online photo-sharing community[C]//Proceedings of the 19th ACMinternational conference on Multimedia.ACM,2011:945-948”提出了通过比对两个用户的图像特征的最小余弦距离作为用户的视觉相似性比较,以帮助排名朋友候选人,尽管他们都能够实现为用户推荐朋友,但是他们也都没有考虑到对用户图像的隐私保护。文献[5]“Instagram Engineering Blog.Online at http://instagram-engineering.tumblr.com/post/13649370142/what-powers-instagram-hundreds-of-instances-dozens-of”提出用户直接把所有的图片都上传到云上而不通过本地服务器,这虽然可以解决大量存储空间问题但是却带来了安全隐患,它无法实现语义安全,很可能会泄漏一些敏感信息。文献[6]“Nagy M,De Cristofaro E,Dmitrienko A,et al.Do I knowyou?:efficient and privacy-preserving common friend-finder protocols andapplications[C]//Proceedings of the 29th Annual Computer SecurityApplications Conference.ACM,2013:159-168”和文献[7]“Dong W,Dave V,Qiu L,etal.Secure friend discovery in mobile social networks[C]//INFOCOM,2011Proceedings IEEE.IEEE,2011:1647-1655”所提出的方案考虑到了公共云带来的安全隐患,但是他们只针对图像语境来进行匹配,例如图像的标签、字幕和属性等,社交发现的准确度不够高。Yuan等人在文献[8]“Yuan X,Wang X,Wang C,et al.Enabling Privacy-Preserving Image-Centric Social Discovery[C]//Distributed Computing Systems(ICDCS),2014IEEE 34th International Conference on.IEEE,2014:198-207”提出了一个基于不可信云的实现图像隐私保护的社交发现系统,他们使用词袋模型来提取用户图像的“视觉相似性内容”,将用户图像表示成一个高维的向量,根据这个向量来进行相应的相似度计量以达到社交发现的目的。上述文献在实现社交发现时在存储空间和搜索效率上有存在一定的不足之处,如何能够在不泄露用户隐私的情况下快速搜索到具有相似图像的用户从而实现社交发现功能,并能够解决存储空间问题。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷,提供一种基于加密图像快速搜索的社交发现方法。
本发明的目的可以通过采取如下技术方案达到:
一种基于加密图像快速搜索的社交发现方法,其所述的社交发现方法包括下列步骤:
系统建立算法Setup(d,h):输入随机参数h和d,得到密钥SK;
构建索引结构ConSecInd
Figure GDA0003128697430000031
输入用户密钥集和所有用户的图像向量集
Figure GDA0003128697430000032
构建一个安全的用户图像索引结构T;
生成陷门GenTpd(SK,Q):输入目标用户的密钥SK和图像特征向量,得到一个安全的搜索陷门
Figure GDA0003128697430000033
图像搜索与匹配Query
Figure GDA0003128697430000034
输入安全搜索陷门
Figure GDA0003128697430000035
和用户图像索引结构T,得到与目标用户具有相同兴趣爱好的其他用户;
社交网站将与目标用户具有相似图像的且相似度排在前k位的用户作为搜索结果返回给目标用户。
进一步地,所述的系统建立算法Setup(d,h)具体如下:
随机产生h个密钥SK={SK1,…,SKh},h表示索引结构的深度,每个密钥由三个部分组成,第一部分是一个d维的随机向量Ri,d表示索引向量的维度,第二部分和第三部分是两个d×d阶的可逆的随机矩阵M1,i、M2.i,密钥表示为SKi={Ri,M1,i,M2,i}。
进一步地,所述的构建索引结构ConSecInd
Figure GDA0003128697430000041
具体如下:
(1)对于所有的
Figure GDA0003128697430000042
(1≤u≤n),将用户u的图像特征向量Su划分为h个子向量Su={Su,1,…,Su,h};
(2)将子向量Su,i,1≤i≤h,分解成两个d维的子向量{S'u,i,S”u,i},若Ri[j]=0,则S′u,i[j]=S″u,i[j]=Su,i[j];若Ri[j]=1,则S'u,i[j]=a,S”u,i[j]=b,a、b是两个随机数,且a+b=Su,i[j];
(3)将分解得到的向量S′u,i和向量S″u,i分别与矩阵M1,i和M2.i的转置进行内积,所得结果就是子向量Su,i的密文
Figure GDA0003128697430000043
(4)将
Figure GDA0003128697430000044
作为索引结构的第i层的某一个结点,则
Figure GDA0003128697430000045
Figure GDA0003128697430000046
就是一条从根节点到叶子节点的一个完整的路径,对
Figure GDA0003128697430000047
中的所有用户图像向量Su都进行相应的操作,最终,得到一个安全的用户图像索引结构T,该用户图像索引结构T与MDB-Tree包含相同形状;
(5)对于不同用户u的图像特征向量Su,若其第i个子向量Su,i相同且其上一层结点也相同,则在索引树的第i层中使用同一个点来表示;如果只是上一层结点相同则用不同的结点来表示,然后再将其看成同一个大子节点;叶子节点与对应的用户相关联,对所有用户的图像特征向量都进行同样的操作,得到一个图像索引结构T,然后将上述图像索引结构T发送给云服务器存储。
进一步地,所述的生成陷门GenTpd(SK,Q)具体如下:
(1)当某个用户新上传图像时,根据视觉词典V提取每张图像的特征点得到特征向量,然后将得到的特征向量进行聚合得到该用户的图像特征向量,用Q来表示;
(2)将向量Q划分为h个子向量Q={Q1,…Qh};
(3)将Qi按照和Su,i一样的分解程序将其分解成两部分Q′i和Q″i,其中,1≤i≤h,若Ri[j]=0,Q′i[j]=c,Q″i[j]=d,c、d是两个随机数,且c+d=Qi[j];若Ri[j]=1;则Q′i[j]=Q″i[j]=Qi[j];
(4)将分解后得到的子向量Q′i和向量Q″i分别与矩阵M1,i和M2.i的逆矩阵进行内积,得到子向量Qi的密文
Figure GDA0003128697430000051
则向量Q的密文为
Figure GDA0003128697430000052
向量Q的密文
Figure GDA0003128697430000053
就是搜索陷门.社交网站将搜索陷门
Figure GDA0003128697430000054
发送给云服务器。
进一步地,所述的图像搜索与匹配Query
Figure GDA0003128697430000055
具体如下:
假设k表示要求返回的用户数,定义Lx为已选用户列表,该列表是按已选用户与目标用户的图像之间的相似度大小进行降序排序的,定义Mk为Lx中第k个用户的相似值,定义E={E1,…,Eh}为在构建索引时生成的一个由h个Ei(1≤i≤h)子向量组成的向量,其中Ei向量由第i层的所有向量的各个维度的最大值组成,假设第i层有m个索引向量
Figure GDA0003128697430000056
则Ei=(e1,…,ek),其中
Figure GDA0003128697430000057
Figure GDA0003128697430000058
*P={P1,…,Ph}:附加搜索参数,其中Pi,1≤i≤h,值是Ei和Qi的内积,并且如果Pi大于1,则Pi的值为1;
(1)云服务器从图像索引结构T的根节点开始向下进行深度优先搜索;
(2)开始进行搜索时,初始化已选用户列表Lx为空,当搜索到某个结点时,首先利用公式(1)计算两个向量的相近程度,当搜索到叶子节点时,直接将与该叶子节点相关联的用户插入用户列表Lx中,公式(1)如下:
Figure GDA0003128697430000061
(3)继续搜索比对其他用户的图像,当|Lx|=k时,其中,k是要求返回的用户数量,当搜索到某个结点i时,首先利用公式(1)计算两个向量相近程度,然后将Lx中排在第k位的用户的相似值Mk
Figure GDA0003128697430000062
Figure GDA0003128697430000063
进行比较,其中Pj是预先计算的搜索参数,若
Figure GDA0003128697430000064
Figure GDA0003128697430000065
则服务器不再继续向下搜索该结点的所有子树,而返回到此结点的父结点重新搜索其他的子结点,否则服务器继续向下搜索这个结点的子结点;
(4)当搜索到叶子节点时,首先将叶子节点所对应的用户u与目标用户的最终的相似值Sim与Mk进行比较,如果Sim大于Mk,则删掉Lx中排在第k的用户并将该叶子节点对应的用户u按降序排序插入到已选用户列表Lx中,否则列表Lx保持不变,其中
Figure GDA0003128697430000066
进一步地,所述的社交网站将与目标用户具有相似图像的且相似度排在前k位的用户作为搜索结果返回给目标用户具体如下:
用户列表Lx中存放的是候选的匹配结果M,云服务器在计算Simi的同时还对其按降序进行排序,排名越靠前的相似度越高,最后云服务器将候选的匹配结果M返回给社交媒体网站,社交网站得到与目标用户具有相同图像的且相似度排在前k位的用户集R,然后将这些用户推荐给目标用户。
本发明相对于现有技术具有如下的优点及效果:
已有的基于加密图像快速搜索的社交发现方案存在两个问题,即需要大量的存储空间以及消耗大量的搜索时间,针对这些缺陷,本发明提出了一种基于加密图像的快速搜索的社交发现方法。该方法预先构建描述用户图像内容的基于MD-algorithm的可搜索的加密索引,该索引与用户图像一起存储在云服务器上,再通过安全相似性运算检索匹配用户的加密图像,找到具有相似图像的用户,从而实现好友推荐功能。与已有方案相比,所提出的方案不仅能准确的找到与目标用户具有相似图像的其他用户,而且还降低了存储空间以及提高了搜索效率。
附图说明
图1是本发明基于加密图像快速搜索的社交发现方案的流程示意图;
图2是基于加密图像快速搜索的社交发现方案的系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
近年来,社交媒体网站的使用者越来越多,人们也越来越喜欢在网站上分享照片,这些照片可以反映出每个用户自己的兴趣爱好,一般具有相同兴趣爱好的用户所分享的图像都很相似,因此,我们可以通过查找相似的图像来为用户推荐可能与他具有相同兴趣爱好的朋友或组织团体,从而扩大用户自己的朋友圈,这为社交发现的应用带来了新的机遇与挑战。但是社交网站也面临着数据管理困难、存储成本高、可靠性低等难题,为此,社交网站更倾向于将大量的数据存储在云端服务器,以节省本地的存储和计算资源。然而将用户的图像存储在公共云上容易泄露用户的信息,为了保护用户的隐私,在将图像外包存储到远程服务器前,应该先对其进行加密处理,在实现好友推荐功能时,对用户图像的相关操作都应该是在密文上进行的。因此,研究基于加密图像的快速搜索的社交发现具有重要的理论意义和应用价值。
本实施例针对以上问题,主要研究了基于加密图像的快速搜索的社交发现方法,该方案不仅可以准确找到与目标用户具有相似图像的其他用户,从而实现了社交发现的功能,并且降低了存储空间以及提高了搜索效率。
下面结合图1对本实施例公开的基于加密图像的快速搜索的社交发现方法的具体过程进行详细说明。包括如下步骤:
通过系统建立Setup(d,h)随机产生h个密钥SK={SK1,…,SKh}(h表示索引结构的深度),每个密钥由三个部分组成,第一部分是一个d维的随机向量Ri(d表示索引向量的维度),第二部分和第三部分是两个d×d阶的可逆的随机矩阵M1,i、M2.i,可以表示为SKi={Ri,M1,i,M2,i}。
构建安全索引结构ConSecInd
Figure GDA0003128697430000081
根据密钥SK和所有用户的图像向量集
Figure GDA0003128697430000082
构建一个安全的用户图像索引结构T。
(1)对于所有的
Figure GDA0003128697430000083
将用户u的图像特征向量Su划分为h个子向量Su={Su,1,…,Su,h};
(2)将子向量Su,i(1≤i≤h)分解成两个d维的子向量{S'u,i,S”u,i},若Ri[j]=0,则S′u,i[j]=S″u,i[j]=Su,i[j];若Ri[j]=1,则S'u,i[j]=a,S”u,i[j]=b,a、b是两个随机数,且a+b=Su,i[j]。
(3)将分解得到的向量S′u,i和向量S″u,i分别与矩阵M1,i和M2.i的转置进行内积,所得结果就是子向量Su,i的密文
Figure GDA0003128697430000091
Figure GDA0003128697430000092
作为索引结构的第i层的某一个结点,则
Figure GDA0003128697430000093
就是一条从根节点到叶子节点的一个完整的路径。对
Figure GDA0003128697430000094
中的所有用户图像向量Su都进行相应的操作,最终将会得到一个形状与MDB-Tree类似的安全的用户图像索引结构T。
对于不同用户的图像特征向量Su,若其第i个子向量Su,i相同且其上一层结点也相同,则在索引树的第i层中使用同一个点来表示它们;如果它们只是上一层结点相同则用不同的结点来表示,然后再将它们看成同一个大子节点;叶子节点与对应的用户相关联。对所有用户的图像特征向量都进行同样的操作,就得到一个形状与MDB-Tree类似的安全的图像索引结构T,然后将这个索引结构发送给云服务器存储。
根据目标用户的密钥和图集特征向量生成安全陷门GenTpd(SK,Q),当某个用户新上传自己的图像时,同样根据视觉词典V提取每张图像的特征点得到特征向量,然后将得到的特征向量进行聚合得到这个用户的图像特征向量,这里用Q来表示。
(1)将向量Q划分为h个子向量Q={Q1,…Qh};
(2)将Qi按照和Su,i(1≤i≤h)一样的分解程序将其分解成两部分Q′i和Q″i。若Ri[j]=0,Q′i[j]=c,Q″i[j]=d,c、d是两个随机数,且c+d=Qi[j];若Ri[j]=1;则Q′i[j]=Q″i[j]=Qi[j]。
(3)将分解后得到的子向量Q′i和向量Q″i分别与矩阵M1,i和M2.i的逆矩阵进行内积,得到子向量Qi的密文
Figure GDA0003128697430000101
则向量Q的密文为
Figure GDA0003128697430000102
向量Q的密文
Figure GDA0003128697430000103
就是搜索陷门。社交网站将搜索陷门
Figure GDA0003128697430000104
发送给云服务器。
根据安全搜索陷门和安全索引结构实现图像的相似性搜索匹配Query
Figure GDA0003128697430000105
假设k表示要求返回的用户数。
Lx:已选用户列表,该列表是按已选用户与目标用户的图像之间的相似度大小进行降序排序的。
Mk:Lx中第k个用户的相似值。
E={E1,…,Eh}:在构建索引时生成的一个由h个Ei(1≤i≤h)子向量组成的向量,Ei向量由第i层的所有向量的各个维度的最大值组成。例如,假设第i层有m个索引向量{(a1,…,ak),…,
Figure GDA0003128697430000106
},则Ei=(e1,…,ek),其中
Figure GDA0003128697430000107
*P={P1,…,Ph}:附加搜索参数,其中Pi(1≤i≤h)值是Ei和Qi的内积,并且如果Pi大于1,则Pi的值为1。
云服务器接收到的陷门
Figure GDA0003128697430000108
后,利用索引结构T,搜索与目标用户具有相似图像的且相似度排在前k位的用户,最后将搜索结果返回给社交网站。其搜索匹配算法如下:
云服务器从索引树T的根节点开始向下进行深度优先搜索;
开始进行搜索时,初始化已选用户列表Lx为空,当搜索到某个结点时,首先利用公式(1)计算两个向量的相近程度,当搜索到叶子节点时,直接将与该叶子节点相关联的用户插入列表Lx中。
继续搜索比对其他用户的图像,当|Lx|=k时(k要求返回的用户数量),当搜索到某个结点i时,首先利用公式(3-1)计算两个向量相近程度,然后将Lx中排在第k位的用户的相似值Mk
Figure GDA0003128697430000111
进行比较,其中Pj是预先计算的搜索参数,若
Figure GDA0003128697430000112
则服务器不再继续向下搜索该结点的所有子树,而返回到此结点的父结点重新搜索其他的子结点,否则服务器继续向下搜索这个结点的子结点。当搜索到叶子节点时,首先将叶子节点所对应的用户u与目标用户的最终的相似值
Figure GDA0003128697430000113
与Mk进行比较,如果Sim大于Mk,则删掉Lx中排在第k的用户并将该叶子节点对应的用户u按降序排序插入到已选用户列表Lx中,否则列表Lx保持不变。
Figure GDA0003128697430000114
Lx中存放的就是候选的匹配结果M,因为云服务器在计算Simi的同时还对其按降序进行排序,所以排名越靠前的相似度越高。最后云服务器将候选的匹配结果M返回给社交媒体网站,社交网站再运行GenRec(M)算法,得到与目标用户具有相同图像的且相似度排在前k位的用户集R,然后将这些用户推荐给目标用户。
在云环境下实现基于加密图像快速搜索的社交发现方法的如图2所示,它以公共云作为后台的数据存储中心,主要包括三个主体:用户;社交网站;云服务器。基于加密图像快速搜索的社交发现系统即是这三者之间的交互。
(1)用户将图像加密外包存储到远程服务器上,同时将图像信息上传到社交网站,社交网站利用BoW模型提取出的图像特征点将图像表示成一个高维向量,并将其作为索引,然后使用可搜索加密机制建立安全索引集。
(2)当目标用户将自己的图像上传到社交网站上时,社交网站提取用户图像G的图像内容构建索引IG获得G的搜索陷门Q′,然后将Q′发送到云服务器上;
(3)云服务器接收到搜索陷门后,以搜索陷门和安全索引集为输入,进行相似图像检索,最终输出候选的相似加密图像集M返回给社交网站;
(4)社交网站运算解密算法Dec(SK,M)得到相似图像对应的用户集R,然后将这些用户推荐给目标用户。
用户在社交媒体网站分享自己的图像后,使用ABE加密算法对这些图像进行加密,然后将其存储到远程服务器上。然后根据这些用户图像构建一个索引集,利用这个索引来进行检索会比直接一个一个的比较用户图像可以减少时间的开销。
首先根据BoW模型来提取用户图像的视觉特征,将图像表示成一个高维的图像特征向量,然后再将每个用户自己的所有图像特征向量进行聚合,构造一个用来表示用户图像特征的特征向量S=s1,...,sm,并将这个向量作为用户图像特征向量索引,利用所有用户的图像特征向量,构造一个可搜索的安全索引结构,然后将这个索引结构与用户图像一起存储到远程服务器上。
当某个用户新上传自己的图像的时候,社交网站便利用同样的方法将用户图像表示成一个高维向量,然后将这个向量进行加密之后发送给云服务器,云服务器收到这个请求之后就利用已有的索引结构进行搜索计算,看是否有哪些用户与该用户具有相似图像,若存在,则将候选用户中相似值排在前k位的用户返回给社交网站,社交网站再将这些用户推荐给该目标用户。
综上所述,上述实施例提出了一个基于加密图像快速搜索的社交发现方案,预先构建描述用户图像内容的基于MD-algorithm的可搜索的加密索引结构,该索引结构与用户图像一起存储在云服务器上,再通过安全相似性运算检索匹配用户的图像内容,找到具有相似图像的用户,从而实现好友推荐功能,并且还降低了存储空间以及提高了搜索效率。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (6)

1.一种基于加密图像快速搜索的社交发现方法,其特征在于,其所述的社交发现方法包括下列步骤:
系统建立算法Setup(d,h):输入随机参数h和d,得到密钥SK,其中,随机参数h表示索引结构的深度,随机参数d表示索引结构中单个向量的维度;
构建索引结构
Figure FDA0003128697420000011
输入用户密钥集和所有用户的图像向量集
Figure FDA0003128697420000012
构建一个安全的用户图像索引结构T;
生成陷门GenTpd(SK,Q):输入目标用户的密钥SK和图像特征向量Q,得到一个安全的搜索陷门
Figure FDA0003128697420000013
图像搜索与匹配
Figure FDA0003128697420000014
输入安全搜索陷门
Figure FDA0003128697420000015
和用户图像索引结构T,得到与目标用户具有相同兴趣爱好的其他用户;
社交网站将与目标用户具有相似图像的且相似度排在前k位的用户作为搜索结果返回给目标用户;
其中,所述的构建索引结构
Figure FDA0003128697420000016
具体如下:
(1)对于所有的
Figure FDA0003128697420000017
将用户u的图像特征向量Su划分为h个子向量Su={Su,1,…,Su,h};
(2)将子向量Su,i,1≤i≤h,分解成两个d维的子向量{S′u,i,S″u,i},若Ri[j]=0,则S′u,i[j]=S″u,i[j]=Su,i[j];若Ri[j]=1,则S′u,i[j]=a,S″u,i[j]=b,a、b是两个随机数,且a+b=Su,i[j];
(3)将分解得到的向量S′u,i和向量S″u,i分别与矩阵M1,i和M2.i的转置进行内积,所得结果就是子向量Su,i的密文
Figure FDA0003128697420000018
Figure FDA0003128697420000019
(4)将
Figure FDA0003128697420000021
作为索引结构的第i层的某一个结点,则
Figure FDA0003128697420000022
Figure FDA0003128697420000023
就是一条从根节点到叶子节点的一个完整的路径,对
Figure FDA0003128697420000024
中的所有用户图像向量Su都进行相应的操作,最终,得到一个安全的用户图像索引结构T;
(5)对于不同用户u的图像特征向量Su,若其第i个子向量Su,i相同且其上一层结点也相同,则在索引树的第i层中使用同一个点来表示;如果只是上一层结点相同则用不同的结点来表示,然后再将其看成同一个大子节点;叶子节点与对应的用户相关联,对所有用户的图像特征向量都进行同样的操作,得到一个图像索引结构T,然后将上述图像索引结构T发送给云服务器存储。
2.根据权利要求1所述的一种基于加密图像快速搜索的社交发现方法,其特征在于,所述的系统建立算法Setup(d,h)具体如下:
随机产生h个密钥SK={SK1,...,SKh},h表示索引结构的深度,每个密钥由三个部分组成,第一部分是一个d维的随机向量Ri,d表示索引向量的维度,第二部分和第三部分是两个d×d阶的可逆的随机矩阵M1,i、M2.i,密钥表示为SKi={Ri,M1,i,M2,i}。
3.根据权利要求2所述的一种基于加密图像快速搜索的社交发现方法,其特征在于,所述的生成陷门GenTpd(SK,Q)具体如下:
(1)当某个用户新上传图像时,根据视觉词典V提取每张图像的特征点得到特征向量,然后将得到的特征向量进行聚合得到该用户的图像特征向量,用Q来表示;
(2)将向量Q划分为h个子向量Q={Q1,…Qh};
(3)将Qi按照和Su,i一样的分解程序将其分解成两部分Q′i和Q″i,其中,1≤i≤h,若Ri[j]=0,Q′i[j]=c,Q″i[j]=d,c、d是两个随机数,且c+d=Qi[j];若Ri[j]=1;则Q′i[j]=Q″i[j]=Qi[j];
(4)将分解后得到的子向量Q′i和向量Q″i分别与矩阵M1,i和M2.i的逆矩阵进行内积,得到子向量Qi的密文
Figure FDA0003128697420000031
Figure FDA0003128697420000032
则向量Q的密文为
Figure FDA0003128697420000033
向量Q的密文
Figure FDA0003128697420000034
就是搜索陷门,社交网站将搜索陷门
Figure FDA0003128697420000035
发送给云服务器。
4.根据权利要求3所述的一种基于加密图像快速搜索的社交发现方法,其特征在于,所述的图像搜索与匹配
Figure FDA0003128697420000036
具体如下:
假设k表示要求返回的用户数量,定义Lx为已选用户列表,该列表是按已选用户与目标用户的图像之间的相似度大小进行降序排序的,定义Mk为Lx中第k个用户的相似值,定义E={E1,...,Eh}为在构建索引时生成的一个由h个Ei子向量组成的向量,其中1≤i≤h,Ei向量由第i层的所有向量的各个维度的最大值组成,假设第i层有m个索引向量
Figure FDA0003128697420000037
则Ei=(e1,...,ek),其中
Figure FDA0003128697420000038
Figure FDA0003128697420000039
设P={P1,...,Ph}是附加搜索参数,其中Pi值是Ei和Qi的内积,并且如果Pi大于1,则Pi的值为1;
(1)云服务器从图像索引结构T的根节点开始向下进行深度优先搜索;
(2)开始进行搜索时,初始化已选用户列表Lx为空,当搜索到某个结点时,首先利用公式(1)计算两个向量的相近程度,当搜索到叶子节点时,直接将与该叶子节点相关联的用户插入用户列表Lx中,公式(1)如下:
Figure FDA00031286974200000310
Figure FDA0003128697420000041
(3)继续搜索比对其他用户的图像,当|Lx|=k时,其中,k是要求返回的用户数量,当搜索到某个结点i时,首先利用公式(1)计算两个向量相近程度,然后将Lx中排在第k位的用户的相似值Mk
Figure FDA0003128697420000042
Figure FDA0003128697420000043
进行比较,其中Pj是预先计算的搜索参数,若
Figure FDA0003128697420000044
Figure FDA0003128697420000045
则服务器不再继续向下搜索该结点的所有子树,而返回到此结点的父结点重新搜索其他的子结点,否则服务器继续向下搜索这个结点的子结点;
(4)当搜索到叶子节点时,首先将叶子节点所对应的用户u与目标用户的最终的相似值Sim与Mk进行比较,如果Sim大于Mk,则删掉Lx中排在第k的用户并将该叶子节点对应的用户u按降序排序插入到已选用户列表Lx中,否则列表Lx保持不变,其中
Figure FDA0003128697420000046
5.根据权利要求4所述的一种基于加密图像快速搜索的社交发现方法,其特征在于,所述的社交网站将与目标用户具有相似图像的且相似度排在前k位的用户作为搜索结果返回给目标用户具体如下:
用户列表Lx中存放的是候选的匹配结果M,云服务器在计算Simi的同时还对其按降序进行排序,排名越靠前的相似度越高,最后云服务器将候选的匹配结果M返回给社交媒体网站,社交网站得到与目标用户具有相同图像的且相似度排在前k位的用户集R,然后将这些用户推荐给目标用户。
6.根据权利要求1至5任一所述的一种基于加密图像快速搜索的社交发现方法,其特征在于,所述的用户图像索引结构T与MDB-Tree包含相同形状。
CN201810013996.8A 2018-01-08 2018-01-08 一种基于加密图像快速搜索的社交发现方法 Active CN108319659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810013996.8A CN108319659B (zh) 2018-01-08 2018-01-08 一种基于加密图像快速搜索的社交发现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810013996.8A CN108319659B (zh) 2018-01-08 2018-01-08 一种基于加密图像快速搜索的社交发现方法

Publications (2)

Publication Number Publication Date
CN108319659A CN108319659A (zh) 2018-07-24
CN108319659B true CN108319659B (zh) 2021-09-07

Family

ID=62893084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810013996.8A Active CN108319659B (zh) 2018-01-08 2018-01-08 一种基于加密图像快速搜索的社交发现方法

Country Status (1)

Country Link
CN (1) CN108319659B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410080A (zh) * 2018-10-16 2019-03-01 合肥工业大学 一种基于层次注意力机制的社交图像推荐方法
CN114048341B (zh) * 2021-11-03 2023-04-07 北京中知智慧科技有限公司 外观设计产品的安全检索方法、系统、客户端及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615692A (zh) * 2015-01-23 2015-05-13 重庆邮电大学 一种支持动态更新及多关键字安全排序的可搜索加密方法
CN106599311A (zh) * 2016-12-29 2017-04-26 广州市奥威亚电子科技有限公司 一种基于云计算的互联网教育平台资源库的图像检索方法
CN106815350A (zh) * 2017-01-19 2017-06-09 安徽大学 一种云环境中动态的密文多关键词模糊搜索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108516A (ko) * 2014-03-18 2015-09-30 한국전자통신연구원 범위 검색을 위한 복호화가능 인덱스 생성 방법, 검색 방법, 및 복호화 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615692A (zh) * 2015-01-23 2015-05-13 重庆邮电大学 一种支持动态更新及多关键字安全排序的可搜索加密方法
CN106599311A (zh) * 2016-12-29 2017-04-26 广州市奥威亚电子科技有限公司 一种基于云计算的互联网教育平台资源库的图像检索方法
CN106815350A (zh) * 2017-01-19 2017-06-09 安徽大学 一种云环境中动态的密文多关键词模糊搜索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enabling Privacy-Preserving Image-Centric Social Discovery;Xingliang Yuan等;《2014 IEEE 34th International Conference on Distributed Computing Systems》;20140630;198、200页左栏B小节、201页右栏-203页左栏 *

Also Published As

Publication number Publication date
CN108319659A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN107480163B (zh) 一种云环境下支持隐私保护的高效密文图像检索方法
Fu et al. Achieving effective cloud search services: multi-keyword ranked search over encrypted cloud data supporting synonym query
CN106803784B (zh) 安全多媒体云存储中基于格的多用户模糊可搜索加密方法
CN106326360B (zh) 一种云环境中密文数据的模糊多关键词检索方法
US11727053B2 (en) Entity recognition from an image
CN109992995B (zh) 一种支持位置保护和查询隐私的可搜索加密方法
CN111026788B (zh) 一种混合云中基于同态加密的多关键词密文排序检索方法
CN106997384A (zh) 一种排序可验证的语义模糊可搜索加密方法
CN110134718B (zh) 一种基于属性加密的支持多关键字的模糊搜索方法
Zou et al. Efficient and secure encrypted image search in mobile cloud computing
Guo et al. Enabling secure cross-modal retrieval over encrypted heterogeneous IoT databases with collective matrix factorization
CN109739945B (zh) 一种基于混合索引的多关键词密文排序检索方法
CN105260676A (zh) 一种基于隐私规则和感知哈希的社交网络下图像隐私决策推荐系统及其方法
Huang et al. Toward efficient encrypted image retrieval in cloud environment
CN115037556B (zh) 一种智慧城市系统中加密数据可授权共享方法
CN108319659B (zh) 一种基于加密图像快速搜索的社交发现方法
Gong et al. A privacy-preserving image retrieval method based on improved bovw model in cloud environment
CN110727951B (zh) 具有隐私保护的轻量级外包文件多关键词检索方法及系统
Xia et al. A similarity search scheme over encrypted cloud images based on secure transformation
Wang et al. An efficient and privacy-preserving range query over encrypted cloud data
Cheng et al. An efficient privacy-preserving friend recommendation scheme for social network
CN112966086A (zh) 一种基于位置敏感哈希函数的可验证模糊搜索方法
Wang et al. Perceptual hashing-based robust image authentication scheme for wireless multimedia sensor networks
CN112328626B (zh) 面向云环境的支持模糊关键词排序的可搜索加密方法
Zou et al. Secure encrypted image search in mobile cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant