CN110502660B - 一种弱监督下的多距离度量图像检索方法 - Google Patents
一种弱监督下的多距离度量图像检索方法 Download PDFInfo
- Publication number
- CN110502660B CN110502660B CN201910803477.6A CN201910803477A CN110502660B CN 110502660 B CN110502660 B CN 110502660B CN 201910803477 A CN201910803477 A CN 201910803477A CN 110502660 B CN110502660 B CN 110502660B
- Authority
- CN
- China
- Prior art keywords
- distance
- distance measurement
- similarity
- picture
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种弱监督下的多距离度量图像检索方法，获取图像及图像数据的弱监督关联信息；初始化K个距离度量；在收集到的数据上优化距离度量；检查K个距离度量是否合法；对不合法的距离度量做投影，将其变换为合法的距离度量；重复上述过程，直到所有距离度量都不再产生较大的变化，返回获取的K个距离度量函数；用户输入一张图片，从数据库中检索与这张图片相似的图片；分别计算K个相似度函数给出的被检索图片和数据库中所有候选图片之间的相似度；利用聚合函数将K个相似度进行聚合，获取该图片在各种语义下和数据库中所有图片的整体相似度；返回整体相似度最高的若干张候选图片。本发明考虑图像之间多种相似性和内在关联，提高检索准确度。
Description
技术领域
本发明涉及一种弱监督下的多距离度量图像检索方法，涉及最优化理论、机器学习中的度量学习和信息检索系统。具体来讲，本发明的关键是利用机器学习技术来获取一组相似度函数，并利用这些相似度函数从多个角度评价图像之间的语义相似性，最终利用语义相似性实现图像的针对性检索，提高图像检索的质量。
背景技术
相似度是指一类用来评价对象与对象之间关联性的指标，相似度在智能信息检索系统中具有重要的作用。比如，如果获得了图像和图像之间的相似度，当用户针对某张图像进行检索时，就可以给用户推荐数据库中与被检索图像具有较高相似度的图像，而这些具有较高相似度的图像应该从某个角度来讲和被检索图像是真实相似的，比如具有相似的色调或相似的内容。相似度的计算与距离的计算密切相关，我们可以简单地认为，两个样本在某个语义空间中的距离越远，它们的语义相似度就越低。机器学习中的度量学习就着重于求解样本集上的语义距离，进而获得语义相似度。
度量学习与其他监督学习方法的一大差别是度量学习往往使用一些弱监督信息。比如在图像分类问题中，监督学习需要大量的有标记数据，这些数据的获取成本是比较高的，但度量学习只要求提供形如“某样本A和某样本B相似”这样的信息，获取弱监督信息的成本往往是比较低的。
传统的度量学习方法只会考虑某种特定的语义距离，但在现实中，单一的度量很难完整地刻画对象之间的关系。比如，某张图片可以和其他图片具有相似的画风，也可以和其他图片包含相似的内容，在进行图像检索时我们有必要对多种关系进行区分和利用。
发明内容
发明目的：针对现有技术中存在的问题与不足，本发明提供一种弱监督下的多距离度量图像检索方法，从多个角度衡量对象之间的关联性，最终更加精准地给用户提供图像检索服务。
技术方案：一种弱监督下的多距离度量图像检索方法，它包含两大流程，即获取多距离度量的训练过程和利用多距离完成图像检索的检索过程。
获取多距离度量的训练过程具体为：
步骤100，从运营商数据库中获取图像；
步骤101，获取的图像数据的弱监督关联信息，形如图像A和图像B在某方面相似、图像C和图像D完全不相似等。具体来讲，弱监督信息包括N个三元组(i,j,k)，每个三元组的含义是图像i和图像j的相似性要大于图像i和图像k的相似性，比如图像i是一个苹果，图像j是一个橘子，图像k是一辆汽车。
步骤102，初始化K个距离度量，使用“马氏距离”，每个距离度量由一个矩阵唯一确定；
步骤103，利用优化技术在收集到的图像数据和弱监督信息上优化距离度量，使得相似样本之间的距离相对于不相似样本之间的距离较小，这里的样本是指数据库中的图像；
步骤104，检查由步骤103获取的K个距离度量是否是合法的（具体来讲，学得的距离度量是否满足距离度量的定义）。如果所有距离度量矩阵都是合法的，则跳转到步骤106，否则进入步骤105；
步骤105，对不合法的距离度量做投影，将其变换为合法的距离度量。具体来讲，这里可以使用半正定投影；
步骤106，检查获得的K个距离度量与前一次获得的K个距离度量是否几乎相同（这里是指K个度量距离已经收敛，判别准则为本轮迭代获得的K个度量和上一轮迭代获得的K个度量之差的F范数的平均值小于等于常数e），若是，则进入步骤107，否则跳转到步骤103；
步骤107，返回获取的K个距离度量函数，每个度量函数对应一个度量，具体形式为马氏距离，该距离对本领域技术人员而言是公知的；
利用多距离完成图像检索的检索过程具体为：
步骤200，获取多距离度量训练过程返回的K个距离度量函数；
步骤201，用户输入一张图片，从数据库中检索与这张图片相似的图片；
步骤202，分别计算K个相似度函数给出的被检索图片和数据库中所有候选图片之间的相似度，这里使用基于马氏距离的相似度；
步骤203，利用聚合函数将步骤202得到的K个相似度进行聚合，从而获取该图片在各种语义下和数据库中所有图片的整体相似度；
步骤204，返回整体相似度最高的若干张候选图片。
所述优化技术是指优化理论中的梯度下降法，利用该方法，我们可以对该问题的带有正则项的目标函数求一个局部最优解。
所述聚合函数，可以依据实际应用和用户需求进行设定和调整，聚合函数的作用是对K个相似度函数给出的相似度做统一考量，从而给出被检索图片与数据库中候选图片的整体相似度。
有益效果：与现有技术相比，本发明所提供的基于多距离度量的图像检索方法只需要使用弱监督信息，数据收集的成本较低。此外，该方法计算代价小，适合用于手机端，且考虑了图像和图像之间的多种语义关系，能够实现更高质量的图像检索功能，适用于更多不同的检索需求。
附图说明
图1为本发明中获取多距离度量的训练流程图；
图2为本发明中使用多距离度量进行图像检索的检索流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
从弱监督训练数据中获取K个距离度量的过程如图1所示。首先，从运营商获取图片数据库，该数据提供了检索的对象（步骤10）；然后，获取一些弱监督信息，形如“图片A和图片B是相似的”或“图片C和图片D是不相似的”，获取弱监督信息的成本要比获取监督信息低很多（步骤11）；初始化K距离度量，这些距离度量可以以矩阵的形式表示，也可以以神经网络的形式表示（步骤12）；针对具体问题设计损失函数（损失函数的形式依赖于具体的问题，常见的有hinge损失等），优化初始化的K个距离度量，使得相似的图片具有较小的距离，而不相似的图片具有较大的距离（步骤14）；在步骤14中优化距离度量时，使用梯度下降之类的方法，这不能保证优化得到的距离度量是合法的，所以需要检查是否存在不合法的距离度量（步骤16），并对不合法的距离度量做投影操作，使得它们成为合法的距离度量（步骤17）；重复上述过程，直到所有的距离度量都不再产生较大的变化（步骤18，这里的变化的程度可以由用户指定，衡量变化的标准可以采用度量之间的F范数）；最终，学得了K个不同的距离度量，这些距离度量往往涉及图像的不同方面，比如语义、色调、画风等，我们将这K个距离度量返回以供后续使用（步骤19）。
使用多距离度量进行图像检索的过程如图2所示。首先，通过如图1所示的训练过程获取K个距离度量，并将它们存储下来（步骤21）；随后，用户会输入一张图片P，来检索和这张图片相似的图片（步骤22）；分别利用得到的K个距离度量来计算用户检索的图片P和数据库中所有候选图片的相似度，记作S1,…,SK（步骤24）；之后，利用聚合函数获取一个全局相似度（步骤26），这里的聚合函数可以根据应用和需求进行定义，比如最大值函数、求和函数等；最后，依据计算出来的全局相似度，将数据库中相似度最高的若干张图片返回给用户（步骤27）。
Claims (2)
1.一种弱监督下的多距离度量图像检索方法，其特征在于：包括获取多距离度量的训练过程和利用多距离完成图像检索的检索过程；
获取多距离度量的训练过程具体为：
步骤100，从运营商数据库中获取图像；
步骤101，获取的图像数据的弱监督关联信息；弱监督信息包括N个三元组(i,j,k)，每个三元组的含义是图像i和图像j的相似性要大于图像i和图像k的相似性；
步骤102，初始化K个距离度量；
步骤103，在收集到的图像数据和弱监督信息上优化距离度量，使得相似样本之间的距离相对于不相似样本之间的距离较小，这里的样本是指数据库中的图像；
步骤104，检查由步骤103获取的K个距离度量是否是合法的；如果所有距离度量矩阵都是合法的，则跳转到步骤106，否则进入步骤105；
步骤105，对不合法的距离度量做投影，将其变换为合法的距离度量；
步骤106，检查获得的K个距离度量与前一次获得的K个距离度量之差的F范数的平均值是否小于等于常数e，若是，则进入步骤107，否则跳转到步骤103；
步骤107，返回获取的K个距离度量函数；
利用多距离完成图像检索的检索过程具体为：
步骤200，获取多距离度量训练过程返回的K个距离度量函数；
步骤201，用户输入一张图片，从数据库中检索与这张图片相似的图片；
步骤202，分别计算K个相似度函数给出的被检索图片和数据库中所有候选图片之间的相似度；
步骤203，利用聚合函数将K个相似度进行聚合，从而获取该图片在各种语义下和数据库中所有图片的整体相似度；
步骤204，返回整体相似度最高的若干张候选图片；
所述聚合函数，依据实际应用和用户需求进行设定和调整，聚合函数用于对K个相似度函数给出的相似度做统一考量，从而给出被检索图片与数据库中候选图片的整体相似度。
2.如权利要求1所述的弱监督下的多距离度量图像检索方法，其特征在于：采用梯度下降法优化距离度量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910803477.6A CN110502660B (zh) | 2019-08-28 | 2019-08-28 | 一种弱监督下的多距离度量图像检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910803477.6A CN110502660B (zh) | 2019-08-28 | 2019-08-28 | 一种弱监督下的多距离度量图像检索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110502660A CN110502660A (zh) | 2019-11-26 |
| CN110502660B true CN110502660B (zh) | 2024-02-13 |
Family
ID=68590089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910803477.6A Active CN110502660B (zh) | 2019-08-28 | 2019-08-28 | 一种弱监督下的多距离度量图像检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110502660B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836068B (zh) * | 2021-03-24 | 2023-09-26 | 南京大学 | 一种基于带噪标签学习的无监督跨模态哈希检索方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958073A (zh) * | 2017-12-07 | 2018-04-24 | 电子科技大学 | 一种基于粒子集群算法优化的彩色图像检索方法 |
-
2019
- 2019-08-28 CN CN201910803477.6A patent/CN110502660B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958073A (zh) * | 2017-12-07 | 2018-04-24 | 电子科技大学 | 一种基于粒子集群算法优化的彩色图像检索方法 |
Non-Patent Citations (1)
| Title |
|---|
| What Makes Objects Similar: A Unified Multi-Metric Learning Approach;Han-Jia Ye 等;《IEEE》;20190531;第1257-1269页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110502660A (zh) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107515895B (zh) | 一种基于目标检测的视觉目标检索方法与系统 | |
| CA2786727C (en) | Joint embedding for item association | |
| CN106886601B (zh) | 一种基于子空间混合超图学习的交叉模态检索方法 | |
| JP5926291B2 (ja) | 類似画像を識別する方法および装置 | |
| CN110188225B (zh) | 一种基于排序学习和多元损失的图像检索方法 | |
| CN104573130A (zh) | 基于群体计算的实体解析方法及装置 | |
| CN108627798B (zh) | 基于线性判别分析和梯度提升树的wlan室内定位算法 | |
| CN105320764A (zh) | 一种基于增量慢特征的3d模型检索方法及其检索装置 | |
| CN105989001A (zh) | 图像搜索方法及装置、图像搜索系统 | |
| CN107067033A (zh) | 机器学习模型的局部修复方法 | |
| CN110781316A (zh) | 一种融合超平面和持续时间建模的时间感知知识表示学习方法 | |
| KR20220017497A (ko) | 이미지 특징 추출 및 네트워크의 훈련 방법, 장치 및 기기 | |
| CN105574265B (zh) | 面向模型检索的装配体模型定量描述方法 | |
| CN110502660B (zh) | 一种弱监督下的多距离度量图像检索方法 | |
| CN115422479A (zh) | 轨迹关联方法、装置、电子设备及机器可读存储介质 | |
| CN103425748A (zh) | 一种文档资源建议词的挖掘方法和装置 | |
| CN111782805A (zh) | 一种文本标签分类方法及系统 | |
| CN116955650A (zh) | 基于小样本知识图谱补全的信息检索优化方法及其系统 | |
| CN116363469A (zh) | 一种少样本红外目标检测方法、装置和系统 | |
| CN107423759B (zh) | 低维逐次投影寻踪聚类模型综合评价方法、装置及应用 | |
| CN111741526B (zh) | 定位方法、装置、电子设备以及计算机存储介质 | |
| CN110309273A (zh) | 问答方法和装置 | |
| CN110750672B (zh) | 基于深度度量学习和结构分布学习损失的图像检索方法 | |
| CN113297206A (zh) | 多表连接的处理方法、装置、设备及机器可读存储介质 | |
| Li et al. | Trajectory-Based Video Retrieval Using Dirichlet Process Mixture Models. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |