CN107885757B - 图像检索的方法及装置 - Google Patents

图像检索的方法及装置 Download PDF

Info

Publication number
CN107885757B
CN107885757B CN201610877573.1A CN201610877573A CN107885757B CN 107885757 B CN107885757 B CN 107885757B CN 201610877573 A CN201610877573 A CN 201610877573A CN 107885757 B CN107885757 B CN 107885757B
Authority
CN
China
Prior art keywords
picture
time
probability
auxiliary
characteristic attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610877573.1A
Other languages
English (en)
Other versions
CN107885757A (zh
Inventor
徐哲
陶大程
谢清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610877573.1A priority Critical patent/CN107885757B/zh
Publication of CN107885757A publication Critical patent/CN107885757A/zh
Application granted granted Critical
Publication of CN107885757B publication Critical patent/CN107885757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像检索的方法及装置，涉及计算机技术领域，以解决现有技术存在的衡量图片相似度时使用了固定的相似度计算方式，进而检索次数比较多的问题。该方法为：根据用户在第t次显示的图片集合中选择的图片xt，确定图片xt对应的预期概率；根据该预期概率、图片k在第t次对应的第一辅助条件概率和第二辅助条件概率，确定图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率；根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定图片k在第t+1次对应的第一累积后验概率；根据每个图片对应的第一累积后验概率，选取候选图片并显示以供用户进行第t+1次选择。本发明应用在无初始输入的图片检索过程中。

Description

图像检索的方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及图像检索的方法及装置。
背景技术
图像检索为计算机视觉领域中的一个基础技术，能够广泛应用于搜索引擎、电子商务、监控安全等领域。图像检索的实现过程主要包括以下三个方面：一方面对用户需求的分析和转化，形成可以检索索引数据库的提问；另一方面，收集和加工图像资源，提取特征，分析并进行标引，建立图像的索引数据库；最后一方面是根据相似度算法，计算用户提问与索引数据库中记录的相似度大小，提取出满足阈值的记录作为结果，按照相似度降序的方式输出。常用的图像检索方法包括基于文本的图像检索(Text-based Image Retrieval，TBIR)方法、基于内容的图像检索(Content-based Image Retrieval，CBIR)方法以及无初始输入的图像检索方法，该方法又被称为印象图片检索(Mental Image Retrieval)方法等。
为了进一步提高检索的性能，很多系统将图像检索方法与相关反馈技术(Relevance Feedback，RF)相结合，在具体实现时，系统为用户推荐一定数量的图片；用户根据系统提供的图片进行反馈，而后系统以此为据调整模型参数并进行下一轮的图片推荐。重复上述过程，直至用户找到目标图片为止。这样，结合用户对检索结果的反馈不断修正用于检索的模型参数，以达到逐步求精的图像检索过程。
现有技术中存在一种无初始输入的图像检索方法，在该方法中用户仅需点击系统显示的所有图片中与目标图片最相近的一幅图即可完成用户反馈。这种方式称为“一次点击”的用户反馈形式。在此反馈形式下，该算法使用了一种基于贝叶斯模型的用户反馈图像检索算法。该算法的基本实现原理包括：假设检索图片数据库S中包含N张图片，定义任意两张图片i和j的相似度为S(i,j)，该算法还定义了一个累积后验概率pt(k)＝P(Y＝k),k∈S，其中Y为一个随机变量表示目标图片，k为数据库中的任一图片。pt(k)即表示在迭代第t轮后，系统认为数据库中图片k为目标图片的概率。直观的说，pt(k)越大，则系统认为用户印象中的图片与图片k越相近。
但是，该算法中，衡量图片相似度时使用了固定的相似度计算方式，得到的图片相似度在检索过程中不会发生变化。但在实际上，由于图片常常包含着多种语义信息，如颜色、纹理、形状等，用户对不同目标图片进行检索时采用的评价标准并不一定是相同的，故采用单一的相似度计算方式无法最优地衡量用户做决策时的评价标准，从而无法得到最优的效果。
发明内容
本发明提供一种图像检索的方法及装置，以能实现在无初始输入的应用场景下，快速推荐符合用户需求的图片。
为达到上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种图像检索方法，包括：根据用户在系统第t次显示的图片集合中选择的图片xt，确定图片xt对应的预期概率；根据图片xt对应的预期概率、图片k在第t次对应的第一辅助条件概率、图片k在第t次对应的第二辅助条件概率，确定图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率；根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定图片k在第t+1次对应的第一累积后验概率；根据数据库中每个图片对应的第一累积后验概率，选取预设个数候选图片并显示以供用户进行第t+1次选择，其中，t为大于等于1的整数。
其中，预期概率为在目标图片为数据库内任一图片k且用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，用户在第t次显示的图片中选择图片xt的概率。图片k在第t次对应的第一辅助条件概率为假设用户以特征属性j为检索标准的条件下，在第t+1次，图片k为目标图片的概率。图片k在第t次对应的第二辅助条件概率为在假设目标图片为图片k的条件下，在第t+1次，用户以特征属性j为检索标准的概率。图片k在第t+1次对应的第一累积后验概率表示在第t+1次，目标图片为图片k的概率。
可选的，所述特征属性包括图片的颜色、纹理、上传用户、语义标签、上传时间或上传地点中的任意一种。
可选的，在确定图片k在第t+1次对应的第一累积后验概率的同时，还可以根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定图片k在第t+1次对应的第二累积后验概率。其中，图片k在第t+1次对应的该第二累积后验概率表示在第t+1次，用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的概率。
可选的，本发明实施例中所指的目标图片可以为系统数据库中的任意图片，特征属性为图片的任意特征属性。本发明实施例中，需要确定每张图片对应的累积后验概率，且在分别确定每张图片的累积后验概率时，需要遍历图片的每个特征属性。
本发明实施例提供的图片检索方法中，在计算累积后验概率的过程中先计算了预期概率，也即在考虑了图片的特征属性的情况下，用户在第t次选择的图片与数据库中每张图片作为目标图片时的相似度。对于不同目标图片，在计算相似度时，采用的特征属性不同。因此，本发明中的相似度计算方式不是单一的，能够实现动态调整相似度的计算方式，进而能够实现动态模拟用户检索图片使用的评价标准的效果。
作为一种具体实施例，确定图片xt对应的预期概率的步骤，具体包括：在假设目标图片为图片k且用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，分别确定图片xt与目标图片k的相似度和在系统第t次显示的图片集合中，除图片xt以外的其他任意图片l与目标图片k的相似度；根据公式
Figure GDA0002390684300000031
计算图片xt对应的预期概率。
其中，
Figure GDA0002390684300000032
表示图片xt对应的预期概率；
Figure GDA0002390684300000033
表示第t次选择的图片变量；Y表示目标图片变量；A表示特征属性变量；D表示系统第t次显示的图片集合；sj(xt,k)表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片xt与目标图片k的相似度；sj(l,k)用于表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片l与目标图片k的相似度。
相应的，所述根据所述图片xt、对应的预期概率、图片k在第t次对应的第一辅助条件概率、图片k在第t次对应的第二辅助条件概率，确定图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，具体包括：
根据公式
Figure GDA0002390684300000041
确定图片k在第t+1次对应的第一辅助条件概率；根据公式
Figure GDA0002390684300000042
确定图片k在第t+1次对应的第二辅助条件概率。
其中，所述ρt+1(k,j)表示图片k在第t+1次对应的第一辅助条件概率，ρt(k,j)表示图片k在第t次对应的第一辅助条件概率。
ωt+1(j,k)表示图片k在第t+1次对应的第二辅助条件概率，ωt(j,k)表示图片k在第t次对应的第二辅助条件概率。
相应的，根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定图片k在第t+1次对应的第一累积后验概率和第二累积后验概率的步骤，具体包括：根据公式pt+1(k)＝Pwt+1(j)和公式wt+1(j)＝Wpt+1(k)，确定图片k在第t+1次对应的第一累积后验概率pt+1(k)和第二累积后验概率wt+1(j)。
其中，P表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第一辅助条件概率形成的向量。
相应的，W表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第二辅助条件概率形成的向量。
例如：在假设目标图片为图片k，且用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j1时，得到第一辅助条件概率ρt+1(k,j1)和第二辅助条件概率ωt+1(j1,k)；在假设目标图片为图片k，且用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j2时，得到第一辅助条件概率ρt+1(k,j2)和第二辅助条件概率ωt+1(j2,k)，则P表示由ρt+1(k,j1)和ρt+1(k,j2)为元素形成的向量[ρt+1(k,j1)，ρt+1(k,j2)]，W表示由wt+1(j1,k)和wt+1(j2,k)为元素形成的向量[ωt+1(j1,k)，ωt+1(j2,k)]。
pt+1(k)表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，得到的图片k在第t+1次对应的第一累积后验概率。
wt+1(j)表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，得到的图片k在第t+1次对应的第二累积后验概率。
例如：在考虑了用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的所有可能取值及其概率时，用户在第t+1次，选择图片k作为目标图片的概率，也即得到第一累积后验概率pt+1(k)；相应的，在考虑了用户认为目标图片为数据库中任一图片k的可能性及其概率时，是以特征属性j为检索标准的概率，也即得到第二累积后验概率wt+1(j)。
第二方面，本发明还提供一种图像检索装置，用于执行第一方面所述的方法，该装置可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。
在一种可能的设计中，该图像检索装置的结构中包括处理器、显示器和收发器，该处理器被配置为支持图像检索装置执行上述方法中相应的功能。该收发器用于支持该图像检索装置与其他网元之间的通信。该显示器用于显示图像以供用户选择，该图像检索装置还可以包括存储器，该存储器用于与处理器耦合，其保存该图像检索装置必要的程序指令和数据。
再一方面，本发明提供了一种计算机存储介质，用于储存为上述图像检索装置所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
本发明实施例提供的图片检索方法及装置，根据用户在系统第t次显示的图片集合中选择的图片xt，确定图片xt对应的预期概率；然后根据图片xt对应的预期概率、图片k在第t次对应的第一辅助条件概率、图片k在第t次对应的第二辅助条件概率，确定图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率。再根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定图片k在第t+1次对应的第一累积后验概率。最后在显示图片时根据数据库中每个图片对应的第一累积后验概率，选取预设个数候选图片并显示以供用户进行第t+1次选择。与现有技术中衡量图片相似度时使用了固定了一种相似度计算方式，得到的图片相似度在检索过程中不会发生变化相比，本发明中，由于在计算累积后验概率的过程中先计算了预期概率，也即在考虑了图片的特征属性的情况下，用户在第t+1次选择的图片与数据库中每张图片作为目标图片时的相似度。对于不同目标图片，在计算相似度时，采用的特征属性不同。因此，本发明中的相似度计算方式不是单一的，能够实现动态调整相似度的计算方式，进而能够实现动态模拟用户检索图片使用的评价标准的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像检索方法的流程示意图；
图2为本发明实施例提供的一种图像检索装置的结构示意图；
图3为本发明实施例提供的另一种图像检索装置的结构示意图。
具体实施方式
下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的图片检索方法应用在无输入的图像检索过程中，即用户印象中存在一目标图片，但无法通过输入关键词或输入相关图片的方式准确形容目标图片的应用场景下。
本发明实施例提供一种图像检索方法，可通过任意电子设备实现。该电子设备可以为手机、电脑、平板电脑(PAD)等设备，该电子设备中，用于为用户提供检索的图片数据库可使用现有的常规图片检索数据库，也可使用新兴的数据来源，如社交网络上的图片、个人图片集等。
本发明实施例提供的图像检索方法，结合用户反馈，通过动态调整用于评价图片相似度的评价标准，经过多次迭代，找到印象中的目标图片。
如图1所示，该方法包括：
101：根据用户在系统第t次显示的图片集合中选择的图片xt，确定图片xt对应的预期概率。
其中，所述t为大于等于1的整数。
所述预期概率为在假设目标图片为数据库内任一图片k且所述用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，在第t+1次，用户选择图片xt的概率。也即该预期概率为依赖于目标图片为图片k且用于评价相似度的特征属性为特征属性j的条件下，用户在经过t轮迭代后，在第t+1次选择图片xt的概率。
其中，所述图片k为图片中的任意一个图片；特征属性j为任意一个特征属性。且不同图片作为目标图片时，其对应的特征属性可能不同。
图片的特征属性为图片的视觉特征，如图片的颜色、纹理等特征。其中，图片的颜色包括颜色直方图、颜色矩；图片的纹理特征包括图片的尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)、局部二值模式(Local Binary Pattern，LBP)等。
当图片数据库中包含的图片还包括社交网络图片和个人网站图片时，特征属性除了可以为上述视觉特征外，还可以为图片对应的外围属性，如上传用户、语义标签、上传时间、地点等。
系统第t次显示的图片集合中包括至少一个图片。用户从该图片集合中选取的图片xt可能为任意一个图片。本发明实施例中，基于用户选择的图片，并根据用户选择的图片与数据库中每张图片的相似度来调整数据库中每张图片的累积后验概率，进而进行下一轮图片显示。
需要说明的是，在假设某一特征属性j为检索标准的条件下，需要分别以数据库中的每一个图片为目标图片，确定该图片xt对应的预期概率。同时，在假设数据库中的某一个图片为目标图片的条件下，需要分别以每个特征属性为检索标准，确定该图片xt对应的预期概率。
102：根据图片xt、对应的预期概率、图片k在第t次对应的第一辅助条件概率、图片k在第t次对应的第二辅助条件概率，确定图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率。
其中，所图片k在第t次对应的第一辅助条件概率为假设用户以特征属性j为检索标准的条件下，经过t-1轮迭代后或者说在第t次，图片k为目标图片的概率。相应的，所述图片k在第t+1次对应的第一辅助条件概率为假设用户以特征属性j为检索标准的条件下，经过t轮迭代后或者说在第t+1次，图片k为目标图片的概率。
所述图片k在第t次对应的第二辅助条件概率为在假设目标图片为图片k的条件下，经过t-1轮迭代后或者说在第t次，用户以特征属性j为检索标准的概率。相应的，所述图片k在第t+1次对应的第二辅助条件概率为在假设目标图片为图片k的条件下，经过t轮迭代后或者说在第t+1次，用户以特征属性j为检索标准的概率。
需要说明的是，本发明实施例中，之所以限定第一辅助条件概率和第二辅助条件概率，是因为发明人发现，目标图片和特征属性之间并非互相独立。直观的说，目标图片的性质会影响用户评价图片相似度的准则，该准则也就是指评价图片相似度时涉及到的特征属性。例如：当目标图片为一幅大体上颜色一致的目标图片，用户在检索时，很可能会使用颜色特征进行检索。
103：根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第一累积后验概率。
其中，所述图片k在第t+1次对应的第一累积后验概率表示在第t+1次，目标图片为图片k的概率。
可选的，在本步骤的具体实现过程中，本发明实施例还可以根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第二累积后验概率，所述图片k在第t+1次对应的第二累积后验概率表示在第t+1次，用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的概率。
104：根据数据库中每个图片对应的第一累积后验概率，选取预设个数候选图片。
在本步骤的具体实现过程中，基于每个图片对应的第一累积后验概率，使用Voronoi partition(沃罗诺伊分割)算法选择n幅显示图片以最大化信息熵。
该算法的具体实现过程包括：根据系统每次显示图片时能够显示的图片个数n，将整个数据库中包含的图片总个数m迭代地划分成n个图片子集合；首先将取值最大的第一累积后验概率对应的图片确定为种子图片，并确定与该种子图片对应的第一子集合；在确定第一子集合时，选取剩余图片中与所选种子图片相似度最高的图片加入到该第一子集合中，直到第一子集合中各个图片对应的第一累积后验概率之和达到1/n。在确定完第一子集合后，选取剩余图片中第一累积后验概率最大的图片作为种子图片，重复该确定第一子集合的过程，以确定该种子图片对应的第二子集合。依次类推，得到n个图片子集合。然后依次从每个图片子集合中选取其种子图片作为候选图片显示。
在计算数据库中的图片与种子图片的相似度的过程中，本发明实施例中是考虑了图片的多种特征属性基础之上的，也即分别以每个特征属性为检索标准，计算某个图片和种子图片的相似度，假设共有m个特征属性，则最终得到的该图片和种子图片的相似度也相应的有m个值，则对这m个值求数学期望，作为该图片和种子图片的最终相似度取值，并以该最终相似度取值作为衡量该图片与种子图片相似程度的依据。
需要说明的是，本发明实施例中，系统在初始化时，将所有图片对应的预期概率、辅助条件概率和累积后验概率都初始化为0，然后在第1次迭代时，从系统数据库中随机选取预设个数个图片显示，然后根据用户从显示的图片中选择的图片，利用本发明实施例提供的图片检索方法更新图片的预期概率、辅助条件概率和累积后验概率等并以更新后的累积后验概率选取新一轮图片以供用户选择。
105：显示所述预设个数个候选图片以供用户进行第t+1次选择。
本发明实施例提供的图片检索方法，根据用户在系统第t次显示的图片集合中选择的图片xt，确定图片xt对应的预期概率；然后根据图片xt对应的预期概率、图片k在第t次对应的第一辅助条件概率、图片k在第t次对应的第二辅助条件概率，确定图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率。再根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定图片k在第t+1次对应的第一累积后验概率。最后在显示图片时根据数据库中每个图片对应的第一累积后验概率，选取预设个数候选图片并显示以供用户进行第t+1次选择。与现有技术中衡量图片相似度时使用了固定了一种相似度计算方式，得到的图片相似度在检索过程中不会发生变化相比，本发明中，由于在计算累积后验概率的过程中先计算了预期概率，也即在考虑了图片的特征属性的情况下，用户在第t+1次选择的图片与数据库中每张图片作为目标图片时的相似度。对于不同目标图片，在计算相似度时，采用的特征属性不同。因此，本发明中的相似度计算方式不是单一的，能够实现动态调整相似度的计算方式，进而能够实现动态模拟用户检索图片使用的评价标准的效果。
为了对图1所示的方法进行更加清楚的说明，本发明实施例提供另一种图像检索的方法，所述步骤101“确定图片xt对应的预期概率”，具体包括下述步骤201和步骤202。
201：在目标图片为图片k且所述用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，分别确定图片xt与目标图片k的相似度和在系统第t次显示的图片集合中，除图片xt以外的其他任意图片l与目标图片k的相似度。
在本步骤中，假设共有M种特征属性，将这M种特征属性记为特征属性集合F，对其中的每一种特征属性j均计算目标图片与图片xt之间的相似度。
其中，计算相似度的公式可以为余弦相似度。
202：根据公式
Figure GDA0002390684300000101
计算图片xt对应的预期概率。
其中，
Figure GDA0002390684300000102
表示所述图片xt对应的预期概率；
Figure GDA0002390684300000103
表示第t次选择的图片变量；Y表示目标图片变量；A表示特征属性变量；D表示系统第t次显示的图片集合；sj(xt,k)表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片xt与目标图片k的相似度；sj(l,k)用于表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片l与目标图片k的相似度。
相应的，步骤102“根据所述图片xt、对应的预期概率、所述图片k在第t次对应的第一辅助条件概率、所述图片k在第t次对应的第二辅助条件概率，确定所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率”，具体包括：
203：根据公式
Figure GDA0002390684300000111
确定所述图片k在第t+1次对应的第一辅助条件概率。
其中，所述ρt+1(k,j)表示图片k在第t+1次对应的第一辅助条件概率，ρt(k,j)表示图片k在第t次对应的第一辅助条件概率。
204：根据公式
Figure GDA0002390684300000112
确定所述图片k在第t+1次对应的第二辅助条件概率。
其中，所述ωt+1(j,k)表示图片k在第t+1次对应的第二辅助条件概率，ωt(j,k)表示图片k在第t次对应的第二辅助条件概率。
相应的，所述步骤103“根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第一累积后验概率”以及步骤“根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第二累积后验概率”，具体包括：
205：根据公式pt+1(k)＝Pwt+1(j)和公式wt+1(j)＝Wpt+1(k)，确定所述图片k在第t+1次对应的第一累积后验概率pt+1(k)和第二累积后验概率wt+1(j)。
其中，P表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第一辅助条件概率形成的向量，W表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第二辅助条件概率形成的向量。
也即，P＝[ρt+1(k,j)]，W＝[wt+1(j,k)]。
在本步骤的具体实现过程中，根据图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率计算得到图片k在第t+1次对应的第一累积后验概率和第二累积后验概率。这一步可由全概率公式得到，令P＝[ρt+1(k,j)]，W＝[wt+1(j,k)]，则可得到：pt+1(k)＝Pwt+1(j)和wt+1(j)＝Wpt+1(k)这两个方程。进而，联立求解两方程，可推出pt+1(k)和wt+1(j)分别为PW-IN和WP-IM的零空间基向量，可由求解零向量的方式简单求出。
本发明实施例提供的图片检索方法，在用户提供给系统的反馈极为有限的情况下(无初始输入，每次用户反馈仅需一次点击)，本发明的算法可以在推荐相关图片的基础上，同时预测用户对相似图片的判定标准，并依次找到更符合用户评价标准的图片为用户推荐。
为了更清楚的说明本发明实施例能够达到的有益效果。以数据库中共包含500张图片，系统每次为用户推荐8张图片，用户在其中选择一张与目标图片最为相似的作为反馈为例，当采用随机推荐的算法时，平均需要用户点击500/8/2＝34次才可找到目标图片。当利用本申请背景技术中所述的基于贝叶斯模型的用户反馈图像检索算法，用户平均需要12.6次点击可完成检索；而当利用本发明实施例提供的算法时，进一步加快了检索过程，平均仅需8次迭代即可找到目标图片，比完全随机的过程要快了超过3倍。
以本发明实施例提供的图片检索方法应用在用户对图片的实际检索过程中为例。对于用户1来说，用户在第t轮显示的所有图片中选择了有白色背景的图片，则可以认为用户做出选择时主要是以颜色特征为选择的标准，故系统预测的用户检索标准也随着迭代的不断进行变得以颜色特征为主。对于用户2来说，用户在第t轮显示的所有图片中选择了包含河水或植物的图片，则可以认为用户的选择主要是以语义特征为选择标准，故系统预测的用户检索标准也随着迭代的不断进行变得以语义特征为主。
在采用对应各个功能划分各个功能模块的情况下，如图2所示，本发明实施例还提供了上述实施例中所涉及的图片检索装置的一种可能的结构示意图，包括：处理模块201和显示模块202。其中，处理模块201用于支持图片检索装置执行图1中的步骤101至步骤104。更具体的，处理模块201还用于支持图片检索装置执行步骤201至步骤205。显示模块202用于支持图片检索装置执行图1中的步骤105。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
可选的，所述装置还包括通信模块和存储模块，通信模块用于该图片检索装置与其他装置互相通信，存储模块用于存储处理模块执行该方法所需的程序代码指令等。
其中，处理模块201可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
当处理模块201为处理器，通信模块为收发器，存储模块为存储器时，本发明实施例所涉及的图片检索装置可以为图3所示的图像检索装置。
如图3所示，本发明实施例提供一种图片检索装置300，包括至少一个处理器301，通信总线302，存储器303、至少一个收发器304以及显示器305。处理器301、存储器303、至少一个收发器304和显示器305通过所述通信总线302互相连接。
处理器301可以是一个通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。
通信总线302可包括通路，在上述组件之间传送信息。所述收发器304，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local AreaNetworks，WLAN)等。
存储器303可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
显示器305可以是液晶显示器(liquid crystal display，LCD),发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备等。
其中，所述存储器303用于存储执行本发明方案的应用程序代码，并由处理器301来控制执行。所述处理器301用于执行所述存储器303中存储的应用程序代码。
在具体实现中，作为一种实施例，处理器301可以包括一个或多个CPU，例如图3中的CPU0和CPU1。
在具体实现中，作为一种实施例，图像检索装置300可以包括多个处理器，例如图3中的处理器301和处理器308。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，图像检索装置300还可以包括输出设备306和输入设备307。输出设备306和处理器301通信，可以以多种方式来显示信息，如投影仪(projector)等。输入设备307和处理器301通信，可以以多种方式接受用户的输入。例如，输入设备307可以是鼠标、键盘、触摸屏设备或传感设备等。
上述的图像检索装置300可以是一个通用图像检索装置或者是一个专用图像检索装置。在具体实现中，图像检索装置300可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备或有图3中类似结构的设备。本发明实施例不限定图像检索装置300的类型。
结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(ReadOnly Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (12)

1.一种图像检索方法，其特征在于，包括：
根据用户在系统第t次显示的图片集合中选择的图片xt，确定图片xt对应的预期概率，所述预期概率为在假设目标图片为数据库内任一图片k且所述用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，在第t+1次，用户选择图片xt的概率，所述t为大于等于1的整数；
根据所述图片xt对应的预期概率、所述图片k在第t次对应的第一辅助条件概率、所述图片k在第t次对应的第二辅助条件概率，确定所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率；所述图片k在第t次对应的第一辅助条件概率为假设用户以所述特征属性j为检索标准的条件下，在第t次，图片k为目标图片的概率；所述图片k在第t次对应的第二辅助条件概率为在假设目标图片为图片k的条件下，在第t次，用户以所述特征属性j为检索标准的概率；
根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第一累积后验概率；所述图片k在第t+1次对应的第一累积后验概率表示在第t+1次，目标图片为图片k的概率；
根据所述数据库中每个图片对应的第一累积后验概率，选取预设个数候选图片并显示以供用户进行第t+1次选择。
2.根据权利要求1所述的方法，其特征在于，所述确定图片xt对应的预期概率，具体包括：
在假设目标图片为图片k且所述用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，分别确定图片xt与目标图片k的相似度和在系统第t次显示的图片集合中，除图片xt以外的其他任意图片l与目标图片k的相似度；
根据公式
Figure FDA0002390684290000011
计算图片xt对应的预期概率；
其中，P(XDT＝xt|Y＝k,A＝j)表示所述图片xt对应的预期概率；XDT表示第t次选择的图片变量；Y表示目标图片变量；A表示特征属性变量；D表示系统第t次显示的图片集合；sj(xt,k)表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片xt与目标图片k的相似度；sj(l,k)用于表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片l与目标图片k的相似度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图片xt、对应的预期概率、所述图片k在第t次对应的第一辅助条件概率、所述图片k在第t次对应的第二辅助条件概率，确定所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，具体包括：
根据公式
Figure FDA0002390684290000021
确定所述图片k在第t+1次对应的第一辅助条件概率，其中，所述ρt+1(k,j)表示图片k在第t+1次对应的第一辅助条件概率，ρt(k,j)表示图片k在第t次对应的第一辅助条件概率；
根据公式
Figure FDA0002390684290000022
确定所述图片k在第t+1次对应的第二辅助条件概率，其中，所述ωt+1(j,k)表示图片k在第t+1次对应的第二辅助条件概率，ωt(j,k)表示图片k在第t次对应的第二辅助条件概率。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第二累积后验概率，所述图片k在第t+1次对应的第二累积后验概率表示在第t+1次，用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的概率。
5.根据权利要求4所述的方法，其特征在于，所述根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第一累积后验概率和第二累积后验概率，具体包括：
根据公式pt+1(k)＝Pwt+1(j)和公式wt+1(j)＝Wpt+1(k)，确定所述图片k在第t+1次对应的第一累积后验概率pt+1(k)和第二累积后验概率wt+1(j)；
其中，P表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第一辅助条件概率形成的向量，W表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第二辅助条件概率形成的向量。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述特征属性包括图片的颜色、纹理、上传用户、语义标签、上传时间或上传地点中的任意一种。
7.一种图像检索装置，其特征在于，包括：
处理模块，用于根据用户在系统第t次显示的图片集合中选择的图片xt，确定图片xt对应的预期概率，所述预期概率为在假设目标图片为数据库内任一图片k且所述用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，在第t+1次，用户选择图片xt的概率，所述t为大于等于1的整数；
根据所述图片xt对应的预期概率、所述图片k在第t次对应的第一辅助条件概率、所述图片k在第t次对应的第二辅助条件概率，确定所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率；所述图片k在第t次对应的第一辅助条件概率为假设用户以所述特征属性j为检索标准的条件下，在第t次，图片k为目标图片的概率；所述图片k在第t次对应的第二辅助条件概率为在假设目标图片为图片k的条件下，在第t次，用户以所述特征属性j为检索标准的概率；
根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第一累积后验概率；所述图片k在第t+1次对应的第一累积后验概率表示在第t+1次，目标图片为图片k的概率；
根据所述数据库中每个图片对应的第一累积后验概率，选取预设个数候选图片；
显示模块，用于显示所述处理模块选取的候选图片以供用户进行第t+1次选择。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，具体用于：
在假设目标图片为图片k且所述用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的条件下，分别确定图片xt与目标图片k的相似度和在系统第t次显示的图片集合中，除图片xt以外的其他任意图片l与目标图片k的相似度；
根据公式
Figure FDA0002390684290000031
计算图片xt对应的预期概率；
其中，
Figure FDA0002390684290000041
表示所述图片xt对应的预期概率；XDT表示第t次选择的图片变量；Y表示目标图片变量；A表示特征属性变量；D表示系统第t次显示的图片集合；sj(xt,k)表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片xt与目标图片k的相似度；sj(l,k)用于表示在假设目标图片为图片k，特征属性为特征属性j的条件下，图片l与目标图片k的相似度。
9.根据权利要求8所述的装置，其特征在于，所述处理模块，具体用于：
根据公式
Figure FDA0002390684290000042
确定所述图片k在第t+1次对应的第一辅助条件概率，其中，所述ρt+1(k,j)表示图片k在第t+1次对应的第一辅助条件概率，ρt(k,j)表示图片k在第t次对应的第一辅助条件概率；
根据公式
Figure FDA0002390684290000043
确定所述图片k在第t+1次对应的第二辅助条件概率，其中，所述ωt+1(j,k)表示图片k在第t+1次对应的第二辅助条件概率，ωt(j,k)表示图片k在第t次对应的第二辅助条件概率。
10.根据权利要求9所述的装置，其特征在于，所述处理模块还用于：
根据所述图片k在第t+1次对应的第一辅助条件概率和第二辅助条件概率，确定所述图片k在第t+1次对应的第二累积后验概率，所述图片k在第t+1次对应的第二累积后验概率表示在第t+1次，用户用于评价系统显示的图片与目标图片k相似度的特征属性为特征属性j的概率。
11.根据权利要求10所述的装置，其特征在于，所述处理模块，具体用于：
根据公式pt+1(k)＝Pwt+1(j)和公式wt+1(j)＝Wpt+1(k)，确定所述图片k在第t+1次对应的第一累积后验概率pt+1(k)和第二累积后验概率wt+1(j)；
其中，P表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第一辅助条件概率形成的向量，W表示在假设数据库中的图片k为目标图片，且用于评价系统显示的图片与目标图片k相似度的特征属性j分别为图片的每个特征属性的条件下，分别得到的图片k在第t+1次对应的第二辅助条件概率形成的向量。
12.根据权利要求7至11任一项所述的装置，其特征在于，所述特征属性包括图片的颜色、纹理、上传用户、语义标签、上传时间或上传地点中的任意一种。
CN201610877573.1A 2016-09-30 2016-09-30 图像检索的方法及装置 Active CN107885757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610877573.1A CN107885757B (zh) 2016-09-30 2016-09-30 图像检索的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610877573.1A CN107885757B (zh) 2016-09-30 2016-09-30 图像检索的方法及装置

Publications (2)

Publication Number Publication Date
CN107885757A CN107885757A (zh) 2018-04-06
CN107885757B true CN107885757B (zh) 2020-06-26

Family

ID=61769657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610877573.1A Active CN107885757B (zh) 2016-09-30 2016-09-30 图像检索的方法及装置

Country Status (1)

Country Link
CN (1) CN107885757B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477538A (zh) * 2008-12-30 2009-07-08 清华大学 一种三维对象检索的方法和装置
CN103714349A (zh) * 2014-01-09 2014-04-09 成都淞幸科技有限责任公司 一种基于颜色和纹理特征的图像识别方法
CN104820843A (zh) * 2015-05-29 2015-08-05 常熟苏大低碳应用技术研究院有限公司 一种基于优化高斯混合模型的图像语义标注的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8311292B2 (en) * 2009-02-09 2012-11-13 Cisco Technology, Inc. Context aware, multiple target image recognition
CN102473182B (zh) * 2009-06-30 2015-07-22 皇家飞利浦电子股份有限公司 用于基于内容的图像检索的关联性反馈

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477538A (zh) * 2008-12-30 2009-07-08 清华大学 一种三维对象检索的方法和装置
CN103714349A (zh) * 2014-01-09 2014-04-09 成都淞幸科技有限责任公司 一种基于颜色和纹理特征的图像识别方法
CN104820843A (zh) * 2015-05-29 2015-08-05 常熟苏大低碳应用技术研究院有限公司 一种基于优化高斯混合模型的图像语义标注的方法

Also Published As

Publication number Publication date
CN107885757A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
US10909459B2 (en) Content embedding using deep metric learning algorithms
CN109190023B (zh) 协同推荐的方法、装置及终端设备
CN106776673B (zh) 多媒体文档概括
US9256693B2 (en) Recommendation system with metric transformation
US9607014B2 (en) Image tagging
US11669220B2 (en) Example-based ranking techniques for exploring design spaces
US20120072410A1 (en) Image Search by Interactive Sketching and Tagging
CN113449187B (zh) 基于双画像的产品推荐方法、装置、设备及存储介质
WO2020238502A1 (zh) 物品推荐方法及装置、电子设备及存储介质
US11809486B2 (en) Automated image retrieval with graph neural network
Mi et al. Face recognition using sparse representation-based classification on k-nearest subspace
CN112990318B (zh) 持续学习方法、装置、终端及存储介质
CN113987119A (zh) 一种数据检索方法、跨模态数据匹配模型处理方法和装置
CN110956131A (zh) 单目标追踪方法、装置及系统
JP2021086438A (ja) 画像検索装置、画像検索方法、及びプログラム
CN111275683B (zh) 图像质量评分处理方法、系统、设备及介质
CN109886299B (zh) 一种用户画像方法、装置、可读存储介质及终端设备
CN112069337A (zh) 图片处理方法、装置、电子设备及存储介质
CN111488479B (zh) 超图构建方法、装置以及计算机系统和介质
CN107885757B (zh) 图像检索的方法及装置
CN114821140A (zh) 基于曼哈顿距离的图像聚类方法、终端设备及存储介质
Parubochyi et al. Fast self-quotient image method for lighting normalization based on modified Gaussian filter kernel
US10534810B1 (en) Computerized systems and methods for enriching a knowledge base for search queries
CN106469437B (zh) 图像处理方法和图像处理装置
CN112650869B (zh) 图像检索重排序方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant