CN111966849A - 一种基于深度学习和度量学习的草图检索方法 - Google Patents

一种基于深度学习和度量学习的草图检索方法 Download PDF

Info

Publication number
CN111966849A
CN111966849A CN202010836521.6A CN202010836521A CN111966849A CN 111966849 A CN111966849 A CN 111966849A CN 202010836521 A CN202010836521 A CN 202010836521A CN 111966849 A CN111966849 A CN 111966849A
Authority
CN
China
Prior art keywords
sketch
natural image
neural network
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010836521.6A
Other languages
English (en)
Other versions
CN111966849B (zh
Inventor
杨震群
魏骁勇
张栩禄
杨晨曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Xiaomeng Technology Co ltd
Original Assignee
Shenzhen Qianhai Xiaomeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Xiaomeng Technology Co ltd filed Critical Shenzhen Qianhai Xiaomeng Technology Co ltd
Priority to CN202010836521.6A priority Critical patent/CN111966849B/zh
Publication of CN111966849A publication Critical patent/CN111966849A/zh
Application granted granted Critical
Publication of CN111966849B publication Critical patent/CN111966849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及图像检索领域，提供了一种基于深度学习和度量学习的草图检索系统，本发明目的在于解决草图与自然图像之间跨域检索的问题。主要方案流程主要分为六步：准备草图和自然图像数据；四元组采样和三元组组合来制作网络输入数据；搭建双三分支网络结构；确定网络对应的损失函数并训练神经网络；制作自然图像特征数据库；进行外部输入草图的检索。本发明用于通过草图检索自然图像。

Description

一种基于深度学习和度量学习的草图检索方法
技术领域
本发明涉及由计算机进行的草图图像检索方法，可用于在系统上输入草图获取目标图像，属于深度学习和度量学习技术领域。
背景技术
基于草图的图像检索开始于20世纪90年代，早期的研究者通过提取图像的底层颜色、纹理特征，如将照片与包含颜色斑点或预定义纹理的查询进行匹配。上世纪90年代的草图检索更多的是关注轮廓或线条的变化规律。后来到20世纪90年代后期至21世纪初，研究者试图用颜色的全局描述符与形状组合为用于图像检索相似性度量。
在2015年前，提取特征的方式大多是基于人工定义的规则，人工对特征描述规则的定义与测试通常情况下是一个缓慢的经验积累过程，且不具有普适性。近年来，深度学习在计算机视觉领域不断取得突破，一次一次的刷新各领域的成绩。目前，已经有大量深度学习的工作在草图检索上进行，但草图检索属于跨域问题，大量观察研究发现，这些方法虽然取得了比传统算法更高的准确率，但是模型学习到的特征大多还是底层的视觉特征，在特征表达上十分有限，对于深层语义的描述更加匮乏。在智能设备普及的今天，更好地适应跨域检索问题，研发出草图检索系统具备巨大的应用前景。
发明内容
针对上述研究问题，本发明目的在于解决草图与自然图像之间跨域检索的问题。
本发明为解决上述技术问题采用以下技术效果：
本发明提供了一种基于深度学习和度量学习的草图检索方法，包括训练步骤和检索步骤：
检索步骤A：
步骤A1.准备草图数据集；
步骤A2.根据草图搜集对应的自然图像数据集；
步骤A3.数据准备过程一，采用四元组采样：首先从草图数据集中取出一张草图，记为xi，对应类别记为c1，并随机从自然图像数据集中选取一张类别为c1的自然图像，记为yi；之后通过语义相似度计算，得到与类别c1语义上最接近的类别，记为c2，随机取出类别为c2的草图与自然图像，分别记为xj、yj，至此，得到四元组(xi，xj，yi，yj)；
步骤A4.数据准备过程二，采用三元组组合：对步骤A3得到的四元组(xi，xj，yi，yj)进行组合，得到两组三元组，分别为草图锚三元组(xi，yi，yj)、自然图像锚三元组(yi，xi，xj)；
步骤A5.准备未训练的Bi-Triplet神经网络模型，将Bi-Triplet网络分为草图锚区、自然图像锚区两个区域，每个区域都为一个单独的Triplet网络，草图锚区以草图锚三元组(xi，yi，yj)作为输入，自然图像锚区以自然图像锚三元组(yi，xi，xj)作为输入，每个Triplet网络由三个神经网络构成，其中以草图作为输入的卷积神经网络内部权值共享，该部分简称成草图神经网络，用于草图特征提取；以自然图像作为输入的神经网络共享权值，简称为自然图像神经网络；
步骤A6.对步骤A5得到的Bi-Triplet神经网络模型定义损失函数，用于计算模型预测结果和真实标签的误差，Bi-Triplet模型损失的表达式如下：
Figure BDA0002636361110000021
其中d(·)表示距离度量函数，margin表示距离阈值；步骤A6.在定义损失函数后，根据损失函数的误差值对神经网络进行反向传播来修改参数；对步骤A4得到的神经网络进行多次迭代训练，每次迭代过程都通过反向传播机制小范围修改网络参数，最后得到具备实际检索能力的模型，该模型得到一个公共特征空间，该空间同时具备同域度量性与跨域度量性，该公共特征空间中，相同类别的嵌入特征相互靠近，不同类别的嵌入特征相互远离，并且同类嵌入特征会形成聚类簇；
步骤A7.对数据库中的图像使用自然图像神经网络提前提取自然图像特征并存储，以减少系统在检索阶段的处理时间；
检索阶段B
步骤B1：读取输入的草图图像；
步骤B2：利用已经训练完成的草图神经网络进行草图图像的特征提取，获取的特征记f；
步骤B3：读取图像数据库中的自然图像特征，数据库中的图像特征记为k；
步骤B4：计算输入的草图图像特征与数据库图像特征之间的距离；
Figure BDA0002636361110000031
步骤B5：输出与输入的草图特征距离最近的几幅图像。
上述技术方案中，步骤A5中每个Triplet网络由三个神经网络构成具体为：
草图锚区的Triplet网络为1个草图神经网络和2个自然图像神经网络；
自然图像锚区的Triplet网络为2个草图神经网络和1个自然图像神经网络。
因为本发明采用上述技术方案，因此具备以下有益效果：
现有技术无法很好的解决跨域检索问题，导致了检索效果不好，直接影响用户体验。所以本发明提供了创新性的神经网络训练方式，在三分支(Triplet)网络架构的基础上，提出了一个双路三分支(Bi-Triplet)神经网络，通过施加双向排序限制，有效地解决了跨域检索问题，从而提高了草图检索的准确性，方便用户快速获得有效信息。
本发明不同于图像检索，无需用户查找合适的查询图像，只需手工绘制目标图像的草图；由于草图和目标图像通常差异较大，本系统采取的方法能够实现更好地解决跨域检索问题，达到更高精度。
附图说明
图1为本发明流程框架简图，左边为训练阶段，右边为检索阶段；
图2四元组采样、三元组组合示意图；
图3为草图锚区、自然图像锚区示意图。
具体实施方式
具体实施流程主要分为六步：准备草图和自然图像数据；四元组采样和三元组组合来制作网络输入数据；搭建双三分支网络结构；确定网络对应的损失函数并训练神经网络；制作自然图像特征数据库；进行外部输入草图的检索。
一、准备草图和自然图像数据
采用已公开的数据集辅助模型训练是神经网络训练的通用方式，方便同领域方法间的对照，且能快速获取大量的图像数据。目前已有的草图数据集为TU-BerlinExt数据集，本发明在模型训练阶段采用该数据集作为神经网络的输入。TU-BerlinExt数据集是TU-Berlin数据集的扩展数据集，共250个草图类别，包含20000张草图图像，204489张自然图像，草图类别丰富，且自然图像与草图只有类别级对应关系，没有实例级对应关系，导致草图与自然图像的视觉差距较大，这有助于训练完成的模型适应复杂的实际情况。
二、四元组采样和三元组组合制作网络输入数据
四元组采样：首先从TU-Berlin数据集的所有草图图像中选择一张草图，记为xi，对应类别记为c1，并从TU-Berlin数据集的自然图中随机选取一张类别为c1的自然图像，记为yi；之后通过cosine相似度计算，得到与类别c1语义上最接近的类别，记为c2，随机取出类别为c2的草图与自然图像，分别记为xj、yj，至此，得到四元组(xi，xj，yi，yj)；
三元组组合：对步骤A3得到的四元组(xi，xj，yi，yj)进行组合，得到两组三元组，分别为草图锚三元组(xi，yi，yj)、自然图像锚三元组(yi，xi，xj)；
重复上述过程，直至所有草图图像都已经被选择作为xi，此时，制作完成的输入数据包含20000个草图锚三元组和20000个自然图像锚三元组。
本发明采用的采样方式能够克服简单随机采样所面临的诸多问题：1)简单随机采样没有关注样本间的相关性，而Bi-Triplet组合式采样选取的是与类别c1语义上最接近的类别，能够增强相似类别的判断准确性。2)简单随机采样容易在训练过程中出现参数优化的梯度方向混乱，因为三元组都是随机采样得到的，几乎没有视觉关联。而Bi-Triplet组合式采样得到的草图锚三元组和自然图像锚三元组是在四元组中获得的，在视觉上具有强关联性，能够最大程度保证梯度优化方向的一致性。
三、搭建双三分支神经网络
Triplet网络通常应用于相同数据领域的检索，导致该网络只具备单一映射的能力，当应用于跨域检索时会受到较大的限制。例如在草图检索问题中，通常以草图作为锚样本，自然图像作为正负样本。正常训练的情况下，自然图像能够良好地嵌入到度量空间中，但草图的嵌入不一定符合预期。例如草图样本在映射后不一定具备较强的判别性与可度量性，导致跨域匹配时出现偏差，从而影响检索性能。该问题主要源于Triplet网络的单向排序，所以本发明提出双向排序来解决该问题。
本发明使用python编程语言采用tensorflow框架搭建网络模型。Bi-Triplet网络分为草图锚区、自然图像锚区两个区域，每个区域都为一个单独的Triplet网络，草图锚区以草图锚三元组(xi，yi，yj)作为输入，自然图像锚区以自然图像锚三元组(yi，xi，xj)作为输入，每个Triplet网络由三个神经网络构成，其中以草图作为输入的卷积神经网络内部权值共享，该部分简称成草图神经网络，用于草图特征提取；以自然图像作为输入的神经网络共享权值，简称为自然图像神经网络；由于草图神经网络权重共享，在具体代码实现过程中，可仅搭建一个草图神经网络；同理，自然图像神经网络在代码实现中也可仅编写一个神经网络模块。
神经网络模型结构可采用多种主流模型，本发明采用ResNet-50的模型架构，该架构采用残差模块增强模型的表达能力，模型学习能力强且数据量适中，适于在实际场景中部署，可以获得较好的准确性和较短的等待时间。在ImageNet数据集上训练完成的ResNet-50拥有较好的视觉特征提取的能力，能够很好地解决图像分类、单模态图像检索问题，但不足以解决跨域检索问题；针对该问题，本发明采用预训练ResNet-50的卷积层进行图像的深度特征提取，并固定该部分的参数，不在训练阶段进行更新；将ResNet-50的全连接层修改为输入维度2048，输出维度512，并随机初始化该部分的参数，在训练阶段对该部分的参数进行更新。
四、确定网络对应的损失函数并训练神经网络
对Bi-Triplet神经网络模型定义损失函数，可用于计算模型预测结果和真实标签的误差，Bi-Triplet模型的损失函数表达式如下：
Figure BDA0002636361110000061
其中d(·)表示距离度量函数，margin表示距离阈值；Bi-Triplet模型需要通过多次迭代训练优化参数；在每次迭代过程中，模型都会进行前向传播和反向传播，在反向传播过程中，根据损失函数的误差值对神经网络修改参数；多次迭代后得到具备实际检索能力的模型，该模型得到一个公共特征空间，该空间同时具备同域度量性与跨域度量性，该公共特征空间中，相同类别的嵌入特征相互靠近，不同类别的嵌入特征相互远离，并且同类嵌入特征会形成聚类簇；
五、制作自然图像特征数据库
为在模型检索过程中缩短运行时间，需要对自然图像提前提取特征并保存在数据库中，后续可直接与草图特征进行相似度计算，无需将自然图像反复输入至神经网络。具体是将TU-Berlin数据集中的所有自然图像输入到自然图像神经网络中，获取自然图像对应的512维特征，该特征代表了自然图像隐含的深度信息，包括视觉信息和语义信息等；在数据库存储过程中，需要分别存储自然图像和自然图像特征，并将两者对应关联，以方便数据查找。
六、进行外部输入草图的检索
在上一步完成后，模型已具备实际部署能力，对于任意草图输入，模型将草图图像输入到草图神经网络中，获得512维的草图特征；采用欧式距离计算草图特征与所有自然图像特征的相似度，具体公式为：
Figure BDA0002636361110000062
f代表草图特征；k代表数据库中的图像特征；n代表维数，对于本实施例，此处为512；d代表了草图特征与某一自然图像特征的相似度，该值越接近于0，代表相似度越高。之后根据与草图的相似度对自然图像进行排序，并将相似度最高的几副自然图像作为最后结果，显示给用户。
网络结构区别：
Bi-Triplet神经网络，即双路三分支神经网络，是本发明在Triplet网络的基础上改进的网络结构，目的是为了更好地解决跨域检索问题。但Tri plet网络通常应用于相同数据领域的检索，导致该网络只具备单一映射的能力，当应用于跨域检索时会受到较大的限制。例如在草图检索问题中，通常以草图作为锚样本，自然图像作为正负样本。正常训练的情况下，自然图像能够良好地嵌入到度量空间中，但草图的嵌入不一定符合预期。草图样本在映射到不一定具备较强的判别性与可度量性。这样会导致跨域匹配时出现偏差，从而影响检索性能。问题的瓶颈在于单向排序，所以本文提出一个双向排序来克服这个问题，为了便于描述，将实现双向排序的神经网络结构简称为Bi-Triplet网络。
采样方式区别：
Bi-Triplet网络一次前向运算需要两组三元组作为输入，分别是：草图锚三元组、自然图像锚三元组。一种最直观的采样思路是每次随机采样六个样本，分别组装两组三元组用作输入，这种策略可以简称为简单随机采样。Triplet的简单随机采样存在两个问题：一是没有关注样本间的语义相关性，二是容易出现梯度方向不一致问题。这两个问题会使得Loss在训练过程大幅震荡，影响学习效率和正确性。因此，本发明提出了一种更加有效的采样策略，称为Bi-Triplet组合式采样。
Bi-Triplet组合式采样能够克服简单随机采样所面临的两个问题：
1)简单随机采样没有关注样本间的语义相关性，而Bi-Triplet组合式采样则致力于区分语义相近的类别，理论上能够增强特征的判别性。
2)简单随机采样容易出现梯度方向不一致问题，因为两组三元组都是随机得到的，没有视觉和语义上的关联。根据已有阐述，Bi-Triplet组合式采样得的两组三元组互为“镜像组”，在视觉和语义上强关联，能够最大程度保证梯度方向的一致性。
结论：
经过Bi-Triplet网络的监督学习，最终能够得到一个公共特征空间，该空间同时具备同域度量性与跨域度量性。在该空间中，相同类别的嵌入特征相互靠近，不同类别的嵌入特征相互远离，并且同类嵌入特征会形成聚类簇。

Claims (2)

1.一种基于深度学习和度量学习的草图检索方法，其特征在于，包括训练步骤和检索步骤：
检索步骤A：
步骤A1.准备草图数据集；
步骤A2.根据草图搜集对应的自然图像数据集；
步骤A3.数据准备过程一，采用四元组采样：首先从草图数据集中取出一张草图，记为xi，对应类别记为c1，并随机从自然图像数据集中选取一张类别为c1的自然图像，记为yi；之后通过语义相似度计算，得到与类别c1语义上最接近的类别，记为c2，随机取出类别为c2的草图与自然图像，分别记为xj、yj，至此，得到四元组(xi，xj，yi，yj)；
步骤A4.数据准备过程二，采用三元组组合：对步骤A3得到的四元组(xi，xj，yi，yj)进行组合，得到两组三元组，分别为草图锚三元组(xi，yi，yj)、自然图像锚三元组(yi，xi，xj)；
步骤A5.准备未训练的Bi-Triplet神经网络模型，将Bi-Triplet网络分为草图锚区、自然图像锚区两个区域，每个区域都为一个单独的Triplet网络，草图锚区以草图锚三元组(xi，yi，yj)作为输入，自然图像锚区以自然图像锚三元组(yi，xi，xj)作为输入，每个Triplet网络由三个神经网络构成，其中以草图作为输入的卷积神经网络的权值共享，该卷积神经网络简称成草图神经网络，用于草图特征提取；以自然图像作为输入的卷积神经网络的权值共享，简称卷积神经网络为自然图像神经网络；
步骤A6.对步骤A4得到的Bi-Triplet神经网络模型定义损失函数，用于计算模型预测结果和真实标签的误差，Bi-Triplet模型损失的表达式如下：
Figure FDA0002636361100000011
其中d(·)表示距离度量函数，margin表示距离阈值；步骤A6.在定义损失函数后，根据损失函数的误差值对神经网络进行反向传播来修改参数；对步骤A4得到的神经网络进行多次迭代训练，每次迭代过程都通过反向传播机制小范围修改网络参数，最后得到具备实际检索能力的模型，该模型得到一个公共特征空间，该空间同时具备同域度量性与跨域度量性，该公共特征空间中，相同类别的嵌入特征相互靠近，不同类别的嵌入特征相互远离，并且同类嵌入特征会形成聚类簇；
步骤A7.对数据库中的图像使用自然图像神经网络提前提取自然图像特征并存储，以减少系统在检索阶段的处理时间；
检索阶段B
步骤B1：读取输入的草图图像；
步骤B2：利用已经训练完成的草图神经网络进行草图图像的特征提取，获取的特征记f；
步骤B3：读取图像数据库中的自然图像特征，数据库中的图像特征记为k；
步骤B4：计算输入的草图图像特征与数据库图像特征之间的距离；
Figure FDA0002636361100000021
步骤B5：输出与输入的草图特征距离最近的几幅图像。
2.根据权利要求1所述的一种基于深度学习和度量学习的草图检索方法，其特征在于，步骤A5中每个Triplet网络由三个神经网络构成具体为：
草图锚区的Triplet网络为1个草图神经网络和2个自然图像神经网络；
自然图像锚区的Triplet网络为2个草图神经网络和1个自然图像神经网络。
CN202010836521.6A 2020-08-17 2020-08-17 一种基于深度学习和度量学习的草图检索方法 Active CN111966849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010836521.6A CN111966849B (zh) 2020-08-17 2020-08-17 一种基于深度学习和度量学习的草图检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010836521.6A CN111966849B (zh) 2020-08-17 2020-08-17 一种基于深度学习和度量学习的草图检索方法

Publications (2)

Publication Number Publication Date
CN111966849A true CN111966849A (zh) 2020-11-20
CN111966849B CN111966849B (zh) 2023-07-28

Family

ID=73388555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010836521.6A Active CN111966849B (zh) 2020-08-17 2020-08-17 一种基于深度学习和度量学习的草图检索方法

Country Status (1)

Country Link
CN (1) CN111966849B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905820A (zh) * 2021-03-30 2021-06-04 山西大学 一种基于逻辑学习的多图检索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168125A1 (en) * 2016-03-31 2017-10-05 Queen Mary University Of London Sketch based search methods
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法
CN110580302A (zh) * 2019-08-13 2019-12-17 天津大学 一种基于半异构联合嵌入网络的草图图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017168125A1 (en) * 2016-03-31 2017-10-05 Queen Mary University Of London Sketch based search methods
CN109670066A (zh) * 2018-12-11 2019-04-23 江西师范大学 一种基于双路径深层语义网络的手绘式服装商品图像检索方法
CN110580302A (zh) * 2019-08-13 2019-12-17 天津大学 一种基于半异构联合嵌入网络的草图图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈健;白琮;马青;郝鹏翼;陈胜勇;: "面向细粒度草图检索的对抗训练三元组网络", 软件学报, no. 07 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905820A (zh) * 2021-03-30 2021-06-04 山西大学 一种基于逻辑学习的多图检索方法

Also Published As

Publication number Publication date
CN111966849B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN111291212B (zh) 基于图卷积神经网络的零样本草图图像检索方法和系统
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN108647350A (zh) 一种基于双通道网络的图文关联检索方法
CN109325993B (zh) 一种基于类八叉树索引的显著性特征强化采样方法
US20190087964A1 (en) Method and apparatus for parsing and processing three-dimensional cad model
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN111506760B (zh) 一种基于困难感知的深度集成度量图像检索方法
CN114791958B (zh) 一种基于变分自编码器的零样本跨模态检索方法
CN114780748A (zh) 基于先验权重增强的知识图谱的补全方法
CN110070116A (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
CN114861761B (zh) 一种基于孪生网络特征与几何验证的回环检测方法
CN114817613B (zh) 基于注意力增强模块和多尺度特征融合的图像检索方法
CN112035689A (zh) 一种基于视觉转语义网络的零样本图像哈希检索方法
CN114926742B (zh) 一种基于二阶注意力机制的回环检测及优化方法
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN112733602A (zh) 关系引导的行人属性识别方法
CN110909785B (zh) 基于语义层级的多任务Triplet损失函数学习方法
Deng et al. Insclr: Improving instance retrieval with self-supervision
CN111507472A (zh) 一种基于重要性剪枝的精度估计参数搜索方法
CN111966849B (zh) 一种基于深度学习和度量学习的草图检索方法
CN114564594A (zh) 一种基于双塔模型的知识图谱用户偏好实体召回方法
CN113792594A (zh) 一种基于对比学习的视频中语言片段定位方法及装置
CN111986223B (zh) 一种基于能量函数的室外点云场景中树木提取方法
Lin et al. Echoea: Echo information between entities and relations for entity alignment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant