CN103678480B

CN103678480B - 具有隐私分级可控的个性化图像检索方法

Info

Publication number: CN103678480B
Application number: CN201310473542.6A
Authority: CN
Inventors: 张菁; 刁蒙蒙; 卓力; 曹嫣
Original assignee: Beijing University of Technology
Current assignee: Shuanxin Beijing Technology Co ltd
Priority date: 2013-10-11
Filing date: 2013-10-11
Publication date: 2017-05-31
Anticipated expiration: 2033-10-11
Also published as: CN103678480A

Abstract

本发明涉及一种具有隐私分级可控的个性化图像检索方法，针对个性化图像检索中存在的隐私保护问题，研究一种分层结构的用户隐私保护方案，具体内容包括构建分层用户兴趣模型并初始化，更新分层用户兴趣模型，裁剪某一层次以下的结点，或者裁剪树型结构中的目录分支，根据兴趣模型进行检索，将最相似的l幅图像作为检索结果返回给用户。本发明实现了对个性化图像检索的用户个人隐私信息的有效保护。

Description

具有隐私分级可控的个性化图像检索方法

技术领域

本发明面向个性化图像检索的隐私保护问题，运用计算机安全理论与图像识别技术，获取用户感兴趣的图像内容特征，为了保护用户感兴趣的图像信息，通过建立分层结构的用户兴趣模型，实施一种具有隐私分级可控的保护措施，从而对个性化图像检索的用户个人隐私信息进行有效地保护。

技术背景

随着多媒体和因特网技术的迅猛发展，无论是国防军事、工业制造、新闻媒体、医疗卫生还是大众娱乐，各行各业对图像信息的使用越来越广泛，数字图像的数量正以惊人的速度增长。人们希望能得到更符合个人需求的检索结果。由此“个性化图像检索”越来越引起人们的重视，已成为人们的一个研究热点。

为了获取用户的个性化兴趣语义，许多检索系统要求用户提供个人信息或搜集用户访问、浏览网页的记录、检索图片行为的个人数据。这些系统通过分析用户检索行为推测用户兴趣爱好，以建立和更新用户兴趣文件，提高个性化检索性能。然而，由于用户兴趣文件通常涉及到用户的个人隐私，这种个性化服务将面临侵犯用户隐私的重大法律障碍，成为目前各大搜索引擎棘手的问题。个性化检索服务中存在的隐私保护（privacypreservation）问题，不仅需要服务商担负起相应的责任，从技术上也要提供足够的保障手段。因此，现有的个性化图像检索技术一个迫切需要解决的问题，就是如何在提供更好的个性化检索服务、满足用户个性化检索需求的同时，有效地对用户个人隐私进行保护。

发明内容

本发明将针对个性化图像检索中存在的隐私保护问题，研究一种分层结构的用户隐私保护方案。首先，在用户进行图像检索时，通过相关反馈等人机交互，获取用户感兴趣的图像特征，这部分图像特征将作为用户个性化的兴趣信息，对其采取隐私保护措施；然后，对所收集到的用户兴趣信息建立分层结构的兴趣模型，以满足用户各自不同隐私保护级别的需求。最后，将该隐私保护方案应用于个性化图像检索过程中，建立个性化图像检索的隐私保护系统，在满足用户个性化检索需求的同时，用户通过选择不同的隐私保护级别，有效地对用户个人隐私进行保护，流程框图如图1所示。

具体步骤如下：

1.构建分层用户兴趣模型并初始化，

所述的分层用户兴趣模型包含5层，每层具有节点，每个节点包含关键词和节点权重，每个分层用户兴趣模型对应一个用户；

第一层有一个节点，该节点的关键词为用户，节点权重为该节点的子节点的权重之和；

第二层有两个节点，这两个节点的关键词分别为生物和非生物，每个节点的权重为其子节点的权重之和；

第三层有三个节点，这三个节点的关键词为植物、动物、交通，每个节点的权重为其子节点的权重之和；

第四层有多个节点，每个节点的关键词为所述分层用户兴趣模型对应用户的A类长期兴趣中的一个关键词，如果第四层中的节点有子节点，则该节点权重为其子节点的权重之和，如果第四层中的节点不存在子节点，则该节点权重为关键词对应的兴趣度；

第五层有多个节点，每个节点的关键词为分层用户兴趣模型对应用户的B类长期兴趣中的一个关键词，每个节点的节点权重为关键词对应的兴趣度；

分层用户兴趣模型初始化：

初始化时，模型包括前三层，根据用户检索信息生成第四、五层，具体如下：

根据用户的每次检索生成一次短期兴趣，用户短期兴趣包括关键词，关键词图像所对应ID以及关键词兴趣度，由至少10次短期兴趣生成一次长期兴趣，长期兴趣分为A类和B类，均包括关键词以及关键词所对应的兴趣度，其中B类是A类中某一关键词的子类；

模型第四层中节点为A类长期兴趣中的各个关键词，模型第五层中节点为B类长期兴趣中的各个关键词，第五层节点权重为关键词对应的兴趣度；如果第四层中的某些节点是第五层中某些节点的父类，则第四层中对应节点的权重为第五层中子节点的权重之和，否则，第四层中节点权重为节点关键词对应的兴趣度；

在个性化图像检索中，主要是利用用户的兴趣偏好来达到提高图像检索结果准确率的目的。现今，表示用户兴趣爱好的一种主要方式是通过用户兴趣模型，它是反映及存储用户兴趣爱好数据的重要工具。因此，合理而有效地将用户的兴趣爱好数据在用户兴趣模型里面进行组织、表示和使用是实现用户高质量个性化图像检索的必要条件。同时，用户兴趣模型也使得用户面临隐私泄露的风险，使得人们不敢或不愿使用个性化图像检索系统。为此，本发明重点对用户兴趣模型进行保护，实现一种具有隐私分级可控的个性化图像检索。

具有隐私分级可控的图像检索的前提条件是用户兴趣信息有分层结构的特性，即形成分层结构的兴趣模型，在分层结构中，下层信息是用户最隐私的数据，上层数据是下层数据的泛化。虽然上层信息不够精确，但是其安全性好于下层信息，只有这样才能保证隐私和检索结果的协作性。

为了能够既准确地划分出用户的兴趣偏好层次，又给予用户自主控制个人隐私信息对检索开放程度的权力，并且减少用户主动参与模型建立和更新的负担，本发明提出一个结合ODP目录和用户检索历史建立用户模型的方法，这一方法只需要用户在建模初期进行少量主动参与的操作，而在使用过程中将完全隐式地进行模型修正和更新。

本发明提出的隐私可控开放的用户偏好建模方法参考简化的ODP树型结构建立，但是根据不同用户的不同兴趣分支以及分支的权重，在目录层次的组织上会依据用户个性进行不同的构造，并且在树型结构的结点上加入兴趣权重信息，以表达用户对不同的兴趣的重视程度。其中树型模型结构中每个结点定义为node={keyword,weight}，且父结点的权重值是其子结点权重值之和。

其中n.weight是某一节点的权重，nc.weight是其子节点的权重

所述的用户兴趣信息的获取是我们之前已有工作，即公知技术，包括用户短期兴趣的获取和用户长期兴趣的获取，因此只做简要叙述。

用户兴趣模型中短期兴趣的获取方法首先通过HSV颜色直方图特征提取算法、Gabor特征提取算法、不变矩特征提取算法、基于权重调整的相关反馈方法获取用户短期兴趣中的视觉特征矢量（基于权重调整的相关反馈方法是对不同的图像特征赋予不同的权重，系统根据用户的反馈信息，把用户认为与关键图相似的特征赋予较大的权重，而不相似的特征则赋予较小的权重）。然后，采用SVM和投票法的思想构建了图像低层特征与高层语义特征的映射关系，以此来获得用户的短期兴趣。用户短期兴趣获取的信息有关键词，关键词图像所对应ID以及关键词兴趣度，如表1所示。

用户长期兴趣通过推理机对短期兴趣推理获取。该方法首先通过逐步非线性遗忘的兴趣推理算法获得用户长期兴趣中的视觉特征矢量，在这一过程中，本发明考虑到人脑的遗忘功能，将遗忘因子引入其中，以保证用户兴趣模型的可靠性；然后再通过聚类算法获取用户长期兴趣中的语义特征矢量。用户长期兴趣获取的信息有A类和B类，包括关键词以及关键词所对应的兴趣度，其中B类是A类中某一类的子类，如表2（a-b）所示。

2.更新分层用户兴趣模型

基于简化的ODP静态目录结构，如果要实现用户兴趣模型的动态更新，最主要是节点扩展的问题，一种可能的实现是必须将更新信息又重新映射到完整的ODP目录，找到相应节点，从而在用户兴趣模型中更新。本发明称这种算法为基于ODP目录的动态自增长算法，其主要过程如下：

用户每检索m次更新一次分层用户兴趣模型，m≥10，用户的每次检索生成一次短期兴趣，由m次短期兴趣以及之前所有检索信息更新一次长期兴趣，根据长期兴趣，进行用户兴趣模型的更新；

首先更新第五层，根据更新后长期兴趣中B类信息的每一个关键词，将每一个关键词所对应的兴趣特征向量与用户兴趣模型中每一个节点的特征向量进行相似度计算，如果所得到的最大相似度大于系统设定的阀值（阀值范围为大于0小于1），那么只更新该节点的权重，即将更新后的长期兴趣中的兴趣度作为该关键词的权重信息；否则关键词为第五层新增节点，作为相似度最大节点的子节点，权重为该关键词的兴趣度；

更新第四层时，根据长期兴趣中A类信息的每一个关键词，将每一个关键词所对应的兴趣特征向量与用户兴趣模型中前四层每一个节点的特征向量进行相似度计算，如果所得到的最大相似度大于系统设定的阀值（阀值范围为大于0小于1），那么只更新该节点的权重，即将更新后的长期兴趣中的兴趣度作为该关键词的权重信息；否则关键词为新增节点，作为相似度最大节点的子节点，权重信息为该关键词的兴趣度。

所述的关键词的兴趣特征向量是指m次检索中该关键词所包含的关键图的颜色、纹理、形状特征，如果关键图数量大于1，则取平均值；所述的节点的特征向量是该结点所包含的最新10幅关键图的颜色、纹理、形状特征平均值；所述的相似度计算采用欧氏距离；所述的关键图为每次检索时输入的图像；

本专利中的相似度计算采用欧氏距离；

更新前三层

根据父节点是其子节点权重之和更新前三层节点的权重；

3.保护性检索

首先加入保护规则：

裁剪某一层次以下的结点，或者裁剪树型结构中的目录分支；

具体方法为：计算兴趣模型中每个节点的暴露程度SI=log(1/p)，其中，p为对应节点的权重；设定阈值λ；如果SI>λ，0≤λ≤1，则裁剪该结点及以下的结点，裁剪后剩余分支中的权重和关键词依然保留并且包含被裁剪部分的权重信息；否则，不裁剪；

提交关键图进行检索，在图像特征库中与每一幅图像提取的特征进行相似度计算；最后将最相似的14幅图像作为检索结果返回给用户。

其中图像相似度d的计算公式如公式（2）（3）所示，数值越小与关键图的相似度越高，对这些数值按从小到大排序，从中选出排序靠前的图像作为检索结果返回给用户。

d=S+αS(1-w) （2）

S为关键图x与图像特征库中的图像y的欧氏距离，i=1为颜色特征，i=2为纹理特征，i=3为颜色特征,；α为影响因子，0≤α≤1；

在无隐私保护的情况下，w是用户兴趣模型中图像y所对应关键词节点的权重，其中，如果当前兴趣模型中不存在图像y所对应的关键词节点，则w为0；

在进行隐私保护的情况下，

如果当前兴趣模型中不存在图像y所对应的关键词节点，则w为0，

如果当前兴趣模型中存在图像y所对应的关键词节点，并且图像y所对应的关键词节点依然保留，则w是用户兴趣模型中图像y所对应关键词节点的权重

如果图像y所对应的关键词节点在兴趣模型中被裁剪，w则是用户兴趣模型中图像y所对应的关键词节点的最近的父节点的权重。

有益效果

本发明结合个性化图像检索与隐私保护技术，使得检索结果一方面能满足用户的个性化需求及检索准确率，另一方面又能满足用户隐私保护要求，保证用户隐私信息的安全。本发明面向个性化图像检索的隐私保护问题，运用计算机安全理论与图像识别技术，获取用户感兴趣的图像内容特征，为了保护用户感兴趣的图像信息，通过建立分层结构的用户兴趣模型，实施一种具有隐私分级可控的保护措施，从而对个性化图像检索的用户个人隐私信息进行有效地保护。

附图说明

图1个性化图像检索隐私保护框图

图2隐私分级可控框图

图3用户完整的兴趣模型

图4裁剪某层次及以下的兴趣模型

图5裁剪某一敏感分支的兴趣模型

图6(a)无隐私保护的图像检索

图6(b)低隐私保护的图像检索

图6(c)高隐私保护的图像检索

图7三个隐私保护级别的平均查准率

图8模型完整性

表1短期兴趣信息

表2（a）A类长期兴趣信息

表2（b）B类长期兴趣信息

具体实施方式

根据上述的描述，以下是一个具体的实施流程，但本专利所保护的范围并不限于该实施流程。下面是本发明具体的工作流程：首先用户通过提交示例图，并对图像进行特征提取，在图像特征库中进行相似性计算，从而获得图像检索结果。然后通过相关反馈收集用户兴趣信息，并对用户兴趣信息建立分层结构的用户兴趣模型。最后用户可以选择用户兴趣模型隐私保护的级别，并结合相似度准则对检索结果进行排序，从而得到具有分级可控的隐私保护检索结果。不仅有效地提高了个性化图像检索服务质量，而且灵活地对用户隐私数据进行控制。其中，图像库为Corel图像库，图像数量为1200多张，包含了蝴蝶、猫、狗、花、汽车等10大类。图像特征库是图像库中图像的颜色、纹理、形状特征，提取工作离线进行，提取方法是公知技术。

1.1）构建分层用户兴趣模型

分层用户兴趣模型初始化：

初始化时，模型包括前三层，第四、五层需要根据用户检索信息生成，用户要经过至少10次的检索才能完成模型初始化，具体如下：

模型第四层中节点为A类长期兴趣中的各个关键词，模型第五层中节点为B类长期兴趣中的各个关键词，第五层节点权重为关键词对应的兴趣度；如果第四层中的某些节点是第五层中某些节点的父类，则第四层中对应节点的权重为第五层中子节点的权重值和，否则，第四层中节点权重为节点关键词对应的兴趣度；

1.2）更新分层用户兴趣模型

首先更新第五层，根据更新后长期兴趣中B类信息的每一个关键词，将每一个关键词所对应的兴趣特征向量与用户兴趣模型中每一个节点的特征向量进行相似度计算，如果所得到的最大相似度大于系统设定的阀值，本实施例中取0.95，那么只更新该节点的权重，即将更新后的长期兴趣中的兴趣度作为该关键词的权重信息；否则关键词为第五层新增节点，作为相似度最大节点的子节点，权重为该关键词的兴趣度；

更新第四层时，根据长期兴趣中A类信息的每一个关键词，将每一个关键词所对应的兴趣特征向量与用户兴趣模型中前四层每一个节点的特征向量进行相似度计算，如果所得到的最大相似度大于系统设定的阀值，本实施例中取0.95，那么只更新该节点的权重，即将更新后的长期兴趣中的兴趣度作为该关键词的权重信息；否则关键词为新增节点，作为相似度最大节点的子节点，权重信息为该关键词的兴趣度。

更新前三层

根据父节点是其子节点权重之和更新前三层节点的权重；

图3为用户经过多次检索后形成的完整的兴趣模型。

1.3）保护性检索

本发明所提出的用户兴趣模型通过两方面为用户提供满足各自不同隐私保护级别需求的特性，隐私分级可控框图如图2所示。

由于模型是按照层次目录结构进行用户偏好的组织，较高层的结点表示概括的概念，而较低层的结点则表示具体的信息，因此一段时间后用户的完整兴趣模型如图3所示。一方面用户可以设定裁剪某一层次以下的结点信息，起到防止被他人了解具体的个人信息的作用，如图4所示。另一方面用户也能够自主地裁剪树型结构中敏感类别的目录分支，如图5所示。通过对树型结构分支的裁剪，可以实现将用户兴趣信息进行隐藏，从而实现对用户个人隐私的保护，而裁剪后剩余分支中的权重和描述词依然保留并且包含被删剪的部分的权重信息，因此这一裁剪后的用户模型仍然能够对结果进行用户兴趣偏好的匹配。

结合附图对所述隐私保护检索结果的三个级别进行阐述：

第一个级别—无保护，兴趣模型是完整的如图3所示，当输入关键图为公交车时，检索结果如图6（a）所示。

第二个级别—低保护，所对应的兴趣模型如图4所示，第五层的节点信息已经被裁减掉。当输入关键图为公交车时，检索结果如图6（b）所示，由于公共汽车和小汽车这层节点作为具体信息被裁减掉，因此检索结果中出现了小汽车。

第三个级别—高保护，所对应的兴趣模型如图5所示，交通以下的分支作为敏感信息已经被裁减掉。当输入关键图为公交车时，检索结果如图6（c）所示，由于交通这类兴趣分支被裁减，因此检索结果中出现了其他类别。

通过测试，实验证明隐私保护的程度越高，模型完整性越低，检索的准确性也会相对降低，但依然可以保证检索的准确率。个性化图像检索三个隐私保护级别的平均查准率如图7所示，模型完整性如图8所示。

表1

表2（a）

表2（b）

Claims

1.具有隐私分级可控的个性化图像检索方法，其特征在于包含以下内容：

构建分层用户兴趣模型并初始化；

分层用户兴趣模型初始化：

更新分层用户兴趣模型；

首先更新第五层，根据更新后长期兴趣中B类信息的每一个关键词，将每一个关键词所对应的兴趣特征向量与用户兴趣模型中每一个节点的特征向量进行相似度计算，如果所得到的最大相似度大于系统设定的阀值，那么只更新该节点的权重，即将更新后的长期兴趣中的兴趣度作为该关键词的权重信息；否则关键词为第五层新增节点，作为相似度最大节点的子节点，权重为该关键词的兴趣度；

更新第四层时，根据长期兴趣中A类信息的每一个关键词，将每一个关键词所对应的兴趣特征向量与用户兴趣模型中前四层每一个节点的特征向量进行相似度计算，如果所得到的最大相似度大于系统设定的阀值，那么只更新该节点的权重，即将更新后的长期兴趣中的兴趣度作为该关键词的权重信息；否则关键词为新增节点，作为相似度最大节点的子节点，权重信息为该关键词的兴趣度；

所述的关键词的兴趣特征向量是指m次检索中该关键词所包含的关键图的颜色、纹理、形状特征，如果关键图数量大于1，则取平均值；所述的节点的特征向量是该节点所包含的最新n幅关键图的颜色、纹理、形状特征平均值，n大于等于10；所述的相似度计算采用欧氏距离；所述的关键图为每次检索时输入的图像；

更新前三层，根据父节点是其子节点权重之和更新前三层节点的权重；

保护性检索；

首先加入保护规则：裁剪某一层次以下的节点，或者裁剪树型结构中的目录分支；

提交关键图进行检索，将最相似的l幅图像作为检索结果返回给用户；

其中图像相似度d的计算公式如公式(1)(2)所示，数值越小与关键图的相似度越高，对这些图像重新按值从小到大排序，从中选出排序靠前的图像作为检索结果返回给用户，

d＝S+αS(1-w) (1)

S = {[\underset{i = 1, 2, 3}{Σ} | x_{i} - y_{i} |^{2}]}^{1 / 2} - - - (2)

S为关键图x与图像特征库中的图像y的欧氏距离，i＝1为颜色特征，i＝2为纹理特征，i＝3为颜色特征；α为影响因子，0≤α≤1；x_i为关键图的各特征，y_i为图像特征库中的图像的各特征；

在无隐私保护的情况下，w是用户兴趣模型中图像特征库中的图像y所对应关键词节点的权重，其中，如果当前兴趣模型中不存在图像特征库中的图像y所对应的关键词节点，则w为0；

在进行隐私保护的情况下，

如果当前兴趣模型中不存在图像特征库中的图像y所对应的关键词节点，则w为0；

如果当前兴趣模型中存在图像特征库中的图像y所对应的关键词节点，并且图像特征库中的图像y所对应的关键词节点依然保留，则w是用户兴趣模型中图像特征库中的图像y所对应关键词节点的权重；

如果图像特征库中的图像y所对应的关键词节点在兴趣模型中被裁剪，w则是用户兴趣模型中图像特征库中的图像y所对应的关键词节点的最近的父节点的权重。

2.根据权利要求1所述的具有隐私分级可控的个性化图像检索方法，其特征在于：裁减方法具体为：计算兴趣模型中每个节点的暴露程度SI＝log(1/p)，其中，p为对应节点的权值；设定阈值λ；如果SI>λ，0≤λ≤1，则裁剪该节点及以下的节点，裁剪后剩余分支中的权重和关键词依然保留并且包含被裁剪部分的权重信息；否则，不裁剪。