CN107220277A - 基于手绘草图的图像检索算法 - Google Patents

基于手绘草图的图像检索算法 Download PDF

Info

Publication number
CN107220277A
CN107220277A CN201710245518.5A CN201710245518A CN107220277A CN 107220277 A CN107220277 A CN 107220277A CN 201710245518 A CN201710245518 A CN 201710245518A CN 107220277 A CN107220277 A CN 107220277A
Authority
CN
China
Prior art keywords
mrow
msub
edge
cartographical sketching
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710245518.5A
Other languages
English (en)
Inventor
华庆
华庆一
李桥
安勃卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201710245518.5A priority Critical patent/CN107220277A/zh
Publication of CN107220277A publication Critical patent/CN107220277A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于手绘草图的图像检索算法，该方法采用度量学习算法得到一个映射函数,将手绘草图与真实图像映射到同一度量空间，在该度量空间中的L1范式可以直接代表原空间中草图和真实照片之间的“语义”相似度，很好的解决了手绘草图与真实照片之间的跨域匹配问题。具体的讲，本发明使用正负样本对来训练卷积神经网络，从而将输入空间中标记为相似的草图与照片的特征向量“拉近”，而把标记为不相似的图像的特征向量“推远”，最终提出出一个集成化的检索方法。实验表明本发明在大规模手绘草图检索数据集上的检索性能有很大的提升。

Description

基于手绘草图的图像检索算法
技术领域
本发明属于信息检索技术领域，具体涉及一种基于手绘草图的图像检索的方法。
背景技术
随着计算机技术和多媒体技术的快速发展，大量的数字图像随之产生。有效的图像检索技术在各个领域比如遥感、时尚、出版、农业等都有广泛需求。在海量的图像数据集中如何快速找到特定的图像就需要使用图像检索技术。图像检索是一项通过给定的查询方式在海量图像数据集中快速查找相似图像的技术。近年来基于样例的查询随着基于手绘草图的信息检索技术快速发展而受到广泛关注。
基于手绘草图的信息检索最关键的挑战在于处理草图本身固有的模糊性，其模糊性主要表现在以下三个方面：(1)手绘草图相对于其所描绘的自然物体来说风格抽象，线条不规则，描绘的物体比例也往往与真实物体不同。(2)用户绘制草图时往往是根据意识中经过抽象处理的概念来绘制的，没有参照真实图像，这就导致有外观和结构千变万化的草图，即手绘草图与真实图像处在不同的视觉领域内。(3)由于用户的领域知识和绘制技巧参差不齐，绘制的草图具有较大的类内变化，即对同一物体不同用户会绘制出大相径庭的草图，这对检索的精确度造成很大的影响。
大多数现有的基于手绘草图的图像检索工作采用了传统的图像检索流程：首先将真实图像用边缘检测算法转换为边缘线条图像以填补草图与真实图像之间的风格差异。然后使用手工设计的特征描述算子(比如SIFT、HOG、形状上下文等)同时作用于手绘草图与真实图像的边缘图上，提取出他们的特征表达。最终使用视觉词袋框架来将图像的特征表达量化为特征向量，从而用特征向量来计算查询草图与候选真实图像之间的相似度。
然而传统的基于低级特征描述算子的检索方法的主要问题是它们都基于一个假设，即手绘草图与真实图像之间的视觉领域鸿沟可以通过手工设计的特征来轻松的填补。但是事实往往是该假设成立的条件十分苛刻，需要大量的人工干预来对手绘草图与真实图像进行对齐、裁剪等操作，还要将真实图像进行边缘提取等预处理操作，并且手工设计的特征需要根据训练数据集图像的特点人工设定大量的参数，在未知图像上的表现差。由于手绘草图固有的模糊性，即便进行了上述的各种预处理操作之后，真实图像的边缘图依然难以和主要以线条组成的手绘草图进行匹配。
发明内容
针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于手绘草图的图像检索算法，以提升在大规模手绘草图检索数据集上的检索性能。
为了实现上述任务，本发明采用以下技术方案：
一种基于手绘草图的图像检索算法，包括以下步骤：
步骤一，通过边缘检测算法将真实图像数据集P渲染成边缘图数据集E；
步骤二，将手绘草图数据集S和边缘图数据集E的并集作为AlexNet网络的输入进行迭代训练得到分类器，然后以分类器作为特征提取器，以分类器网络中的最大池化层为输出特征，将边缘图数据集中所有的边缘图输入分类器得到所有边缘图的索引；
步骤三，利用分类器对手绘草图数据集进行处理，得到训练数据集；
步骤四，构建用于度量学习的孪生卷积神经网络，然后使用训练数据训练该网络，训练结束后得到嵌入函数；
步骤五，用嵌入函数计算边缘图在度量空间中的特征点的集合，并建立索引结构以提高检索效率；
步骤六，输入查询草图，根据所述的索引结构，返回检索结果。
进一步地，所述的步骤二的具体过程包括：
步骤2.1，将S∪E作为AlexNet网络的输入，将AlexNet网络中全连接层节点的个数设置为真实图像数据集的图像类别数，以在ImageNet数据集上预训练的AlexNet网络的参数初始化权重，将学习率设置为0.01，权重衰减设置为0.0001，动量设置为0.9，以随机梯度下降法作为优化算法，迭代训练AlexNet网络得到分类器C(x)；
步骤2.2，将边缘图数据集E＝{e1,e2,...,en}中的每一个边缘图依次输入分类器C(x)中进行计算，得到边缘图数据集E中的所有图像的索引：
其中：cj为类别编号，j＝1，2，...，k；k为真实图像数据集中的图像类别数，为所有标记为类别cj的边缘图集合在分类器的最大池化层的输出向量组成特征向量集合
进一步地，步骤三的具体过程包括：
步骤3.1，取手绘草图数据集S中的任一手绘草图作为当前手绘草图sa，将sa输入分类器C(x)得到分类预测分数向量：
其中，当前手绘草图sa的预测类别向量为 为当前手绘草图sa的预测类别编号，b＝1，2，…，c；c为预测类别总数，c为大于等于1的自然数，表示手绘草图sa属于类别的概率，
步骤3.2，设当前手绘草图sa的类别标签为la，将类别标签la作为正类标签pa，从当前手绘草图sa的预测类别向量Ca中随机选5个不同于pa的标签作为负类标签集合
步骤3.3，从索引I中得到标记为正类标签pa的所有边缘图的特征向量集合记为计算当前手绘草图sa的特征向量Cmp3(sa)与所有正类边缘图特征向量的欧氏距离选取其中距离最小的250个正类边缘图作为正样本，得到250个正样本
步骤3.4，选择负类标签集合na中的任一负类标签作为当前负类标签从索引I中得到标记为当前负类标签的所有边缘图的特征向量集合计算当前手绘草图sa的特征向量Cmp3(sa)与所有负类边缘图特征向量的欧氏距离选取其中距离最小的50个边缘图作为负样本
步骤3.5，重复步骤3.4，直至负类标签集合中所有负类标签都被作为当前负类标签，共得到250个负样本执行步骤3.6；
步骤3.6，将250个正样本与当前草图sa组成正样本对集合：
其中0代表图像相似；
将250个负样本与当前草图sa组成负样本对集合：
其中1代表图像不相似
步骤3.7，重复步骤3.1至3.6，直至手绘草图数据集S中所有的手绘草图都被作为当前手绘草图，得到每张手绘草图对应的正样本对集合和负样本对集合，最终将所有正样本对集合与负样本对集合做并集操作，得到最终的训练数据集T。
进一步地，步骤四的具体过程包括：
步骤4.1，设训练集T中的任意元素为元组(s,e,y)，元组中s为手绘草图，e为边缘图，y为二值相似性标记，若y＝1代表s与e不相似，若y＝0代表s与e相似；
步骤4.2，构建用于组成孪生结构的卷积神经网络Net；
步骤4.3，用2个步骤4.2中构建的Net以共享参数的方式构建用于度量学习的孪生卷积神经网络G；G中包含2个子卷积神经网络Nets,Nete，其中Nets以手绘草图作为输入，Nete以边缘图作为输入，2个子网络共享同一组参数，两个子网络的输出都记为fW(·)；
步骤4.4，将训练集T中的任意N个元组{(s,e,y)1,(s,e,y)2,...,(s,e,y)N}作为当前批训练元组，将当前批训练元组中的手绘草图sa输入Nets得到fW(sa)，将元组中的边缘图ea输入Netn得到fW(ea)；
步骤4.5，通过式(1)得到孪生卷积神经网络G的损失函数值L:
式(1)中，(s,e,y)i当前批训练元组中第i个训练样本，N为当前批训练元组的个数，W为Nets,Nete共享的网络参数，即G要训练的对象；式(1)中单个训练元组的损失l定义如式(2)：
l(W,(s,e,y)i)＝(1-y)Lp(MW(s,e)i)+yLN(MW(s,e)i) (2)
式(2)中，距离度量MW(s,e)＝‖fW(s)-fW(e)‖，LP(·)为正样本对的损失函数，LN(·)为负样本的损失函数，β＝2Q，Q是MW的上界；
步骤4.6，采用随机梯度下降法作为最优化算法，以最小化损失函数值L为目标修正卷积神经网络G的参数W；
步骤4.7，重复步骤4.4至步骤4.6，直至T中所有训练元组被当作当前批训练元组参与过训练，此时完成了一个纪元的训练；
步骤4.8，重复执行20次步骤4.7后结束网络训练，此时卷积神经网络G输出嵌入函数G(x)。
进一步地，步骤五的具体过程包括：
步骤5.1，将边缘图数据库E＝{e1,e2,...,en}中的任一张边缘图作为当前边缘图ec，采用嵌入函数G(x)将当前边缘图ec嵌入到度量空间中，得到度量空间中的特征点G(ec)；
步骤5.2，重复步骤5.1，将边缘图数据库E＝{e1,e2,...,en}中所有边缘图嵌入度量空间得到特征点集合F＝{G(e1),G(e2),...,G(en)}；
步骤5.3，将步骤5.2中特征点集合F＝{G(e1),G(e2),...,G(en)}按照类别存储，得到边缘图数据集E中的所有图像的索引：
其中：cj为类别编号，j＝1，2，...，k；k为当前要检索的数据集中的图像类别数，为所有标记为类别cj的边缘图集合的特征点集合
进一步地，步骤六的具体过程包括：
步骤6.1，记待查询手绘草图为sx，采用嵌入函数E(x)将sx嵌入到度量空间中，得到sx在度量空间中的特征点E(sx)；
步骤6.2，在索引IG中检索与待查询手绘草图sx类别标签相同的真实图像边缘图特征点集合F，计算F中每个特征点和特征点E(sx)之间的欧氏距离；
步骤6.3，选取欧氏距离最小的前K个边缘图特征点所对应的真实图像作为与待查询手绘草图sx最相近的K个真实图像，返回给用户作为检索结果。
本发明与现有技术相比具有以下技术特点：
1.本发明方法采用度量学习算法得到一个映射函数，将手绘草图与真实图像映射到同一度量空间，在该度量空间中的L1范式可以直接代表原空间中草图和真实图像之间的“语义”相似度，很好的解决了草图与真实图像之间的跨域匹配问题。具体的讲，本发明使用正负样本对来训练卷积神经网络，从而将输入空间中标记为相似的草图与照片的特征向量“拉近”，而把标记为不相似的图像的特征向量“推远”。最终设计出一个集成化的检索方法。
2.本发明通过针对手绘草图的特点设计一种全新的卷积神经网络结构，采用该卷积神经网络来自动学习超完备的特征过滤器组组成特征提取器，提取出高级抽象特征，该特征除了能够处理草图的几何形变之外，在未知数据集上也有很强的泛化能力，有效的解决了手工设计的低级几何特征描述子的算法泛化能力弱，难以扩展到未知数据集的问题。
3.本发明以度量学习方法对草图与真实图像学习一种相似度度量，有效的解决了传统的基于手绘草图的图像检索算法中存在的难以进行跨域匹配、难以对草图的大量类内变体保持不变性的问题，极大的提高了基于手绘草图的图像检索的精确度和鲁棒性，达到了目前本领域先进水平。
附图说明
图1是本方法的整体流程图；
图2是AlexNet结构图；
图3是孪生卷积神经网络结构图；
图4是本发明检索结果示意图；
具体实施方式
以下结合附图对本发明方案进行详细说明。
一种基于手绘草图的图像检索算法，如图1所示，包括以下步骤：
步骤一，通过边缘检测算法将真实图像数据集渲染成边缘图数据集；其具体过程为：
记真实图像数据集为P＝{p1,p2,...,pn}，n为数据集中真实图像的个数；采用边缘检测算法依次将真实图像数据集中的照片pi(i＝1,2,...n)渲染成边缘图ei，构成边缘图数据集E＝{e1,e2,...,en}，E中的边缘图和P中的图片一一对应；
本实施例中，真实图像数据集P选用Flickr15K数据集，边缘检测算法采用Canny算法。
步骤二，将手绘草图数据集和边缘图数据集的并集作为AlexNet网络的输入进行迭代训练得到分类器，然后以分类器作为特征提取器，以分类器网络中的最大池化层(maxpool 3层)为输出特征，将边缘图数据集中所有边缘图输入分类器得到所有边缘图的索引，其具体过程为：
步骤2.1，记手绘草图数据集为S＝{s1,s2,...,sa,...,sk}，a＝1，2，…，k；k为数据集中手绘草图个数；将S∪E作为AlexNet网络的输入，将AlexNet网络中全连接层节点的个数设置为真实图像数据集的图像类别数，本实施例使用的数据集步骤一所述的Flickr15K数据集中的类别数33；以在ImageNet数据集上预训练的AlexNet网络的参数初始化权重，将学习率设置为0.01，权重衰减设置为0.0001，动量设置为0.9，以随机梯度下降法作为优化算法，迭代训练AlexNet网络得到分类器C(x)；其中x为一张图像(边缘图或手绘草图)数据，分类器的输出为一个c维的向量，c为边缘图数据集或手绘草图数据集中图像类别的数量，向量的第b个元素为分类器判断输入的图像x属于第b类的概率值；构建出的AlexNet网络如图3所示。
本实施例中，所述的AlexNet卷积神经网络来自：Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems.2012:1097-1105。
步骤2.2，将边缘图数据集E＝{e1,e2,...,en}中的每一个边缘图依次输入分类器C(x)中进行计算，得到边缘图数据集E中的所有图像的索引其中：
cj为类别编号，j＝1，2，...，k；k为真实图像数据集P中的图像类别数，为所有标记为类别cj的边缘图集合在分类器的最大池化层(max pool)3的输出向量组成特征向量集合
步骤三，利用分类器对手绘草图数据集进行处理，得到训练数据集，其具体步骤如下：
步骤3.1，取手绘草图数据集S中的任一手绘草图作为当前手绘草图sa，将sa输入分类器C(x)得到分类预测分数向量：
其中，当前手绘草图sa的预测类别向量为 为当前手绘草图sa的预测类别编号，b＝1，2，…，c；c为预测类别总数，c为大于等于1的自然数，表示手绘草图sa属于类别的概率，
步骤3.2，设当前手绘草图sa的类别标签为la，将类别标签la作为正类标签pa，从当前手绘草图sa的预测类别向量中随机选5个不同于pa的标签作为负类标签集合
步骤3.3，从索引I中得到标记为正类标签pa的所有边缘图(即正类边缘图)的特征向量集合记为计算当前手绘草图sa的特征向量Cmp3(sa)与所有正类边缘图特征向量的欧氏距离选取其中距离最小的250个边缘图作为正样本，得到250个正样本
Clayer-name(·)表示分类器某一层(未明确标识layer-name则特指最后一层)的输出，Cmp3(·)是分类器的最大池化层(max pool 3，简写为mp3)的输出向量；sa,pa中的上标a用于标识当前选中的草图，表示类别标签为pa的边缘图，下标i是序号。索引I中存储的是已经经过分类器特征提取的特征向量，故可以直接从索引中得到边缘图的特征向量。Cmp3(sa)是将手绘草图输入分类器后，将分类器最大池化层的输出作为特征向量，记为Cmp3(sa)。所述的正类边缘图，是与当前处理手绘草图属于同一类别的真实图像对应的边缘图。可以从步骤2中构建的索引I中按照类别标签得到。
步骤3.4，选择负类标签集合na中的任一负类标签作为当前负类标签从索引I中得到标记为当前负类标签的所有边缘图(即负类边缘图)的特征向量集合记为有负类边缘图特征向量：计算当前手绘草图sa的特征向量Cmp3(sa)与所有负类边缘图特征向量的欧氏距离选取其中距离最小的50个边缘图作为负样本
步骤3.5，重复步骤3.4，直至负类标签集合中所有负类标签都被作为当前负类标签，共得到250个负样本执行步骤3.6；
步骤3.6，将250个正样本与当前草图sa组成正样本对集合 其中0代表图像相似；将250个负样本与当前草图sa组成负样本对集合其中1代表图像不相似；
步骤3.7，重复步骤3.1至3.6，直至手绘草图数据集S中所有的手绘草图都被作为当前手绘草图，得到每张手绘草图对应的正样本对集合和负样本对集合，最终将所有正样本对集合与负样本对集合做并集操作，得到最终的训练数据集T；
步骤四，构建用于度量学习的孪生卷积神经网络，然后使用步骤三生成的训练数据训练该网络，训练结束后得到能够将图像嵌入学习的度量空间中的函数。其具体步骤如下：
步骤4.1，设训练集T中的任意元素为元组(s,e,y)，元组中s为手绘草图，e为边缘图，y为二值相似性标记，若y＝1代表s与e不相似，若y＝0代表s与e相似；
步骤4.2，构建用于组成孪生结构的卷积神经网络Net，本实施例中，该神经网络的结构如表1：
表1本发明卷积神经网络结构表
步骤4.3，用2个步骤4.2中构建的Net以共享参数的方式构建用于度量学习的孪生(Siamese)卷积神经网络G；本步骤构建出的网络G如图3所示，由2个相同的子网络构成，两个子网络结构相同，共享参数，均为步骤4.2中所述的网络Net；
本实施例中，所构建的孪生卷积神经网络G的结构如图3所示，其中包含2个子卷积神经网络Nets,Nete，其中Nets以手绘草图作为输入，Nete以边缘图作为输入，每个子卷积神经网络的基础模型都为表1所示；2个子网络共享同一组参数，两个子网络的输出都记为fW(·)，最终同时使用Nets,Nete的输出计算损失函数值；
步骤4.4，将训练集T中的任意N个元组{(s,e,y)1,(s,e,y)2,...,(s,e,y)N}作为当前批训练元组，将当前批训练元组中的手绘草图sa输入Nets得到fW(sa)，将元组中的边缘图ea输入Netn得到fW(ea)；
步骤4.5，通过式(1)得到孪生卷积神经网络G的损失函数值L:
式(1)中，(s,e,y)i当当前批训练元组中第i个训练样本，N为当前批训练元组的个数，W为Nets,Nete共享的网络参数，即G要训练的对象；式(1)中单个训练元组的损失l定义如式(2)：
l(W,(s,e,y)i)＝(1-y)Lp(MW(s,e)i)+yLN(MW(s,e)i) (2)
式(2)中，距离度量MW(s,e)＝‖fW(s)-fW(e)‖，LP(·)为正样本对的损失函数，LN(·)为负样本的损失函数，β＝2Q，Q是MW的上界，本实施例中设Q为10；
步骤4.6，采用随机梯度下降法作为最优化算法，以最小化损失函数值L为目标修正卷积神经网络G的参数W；
本实施例所采用的随机梯度下降法的参考文献为：Bottou L.Large-scalemachine learning with stochastic gradient descent[M]//Proceedings ofCOMPSTAT'2010.Physica-Verlag HD，2010:177-186.
训练过程包含2个阶段：
第一阶段是前向传播阶段，将训练样本输入网络的数据层，经过网络中各种隐含层进行逐层变换，逐层映射，直到输出层按照损失函数L计算损失值。
第二阶段是反向传播阶段，用损失值计算各个参数的梯度值，将参数向负梯度方向更新，进一步对整个卷积神经网络的参数进行监督优化。
步骤4.7，重复步骤4.6至步骤4.6，直至T中所有训练元组被当作当前批训练元组参与过训练，此时完成了一个纪元的训练；
步骤4.8，重复执行20次步骤4.7后结束网络训练，此时卷积神经网络G输出嵌入函数G(x)。
步骤五，用嵌入函数G(x)计算边缘图在度量空间中的特征点的集合，并建立索引结构以减少检索时需要和手绘草图特征进行相似度计算的候选边缘图特征数量，提高检索效率。其具体步骤如下：
步骤5.1，将边缘图数据库E＝{e1,e2,...,en}中的任一张边缘图作为当前边缘图ec，采用嵌入函数G(x)将当前边缘图ec嵌入到度量空间中，得到度量空间中的特征点G(ec)；
步骤5.2，重复步骤5.1，将边缘图数据库E＝{e1,e2,...,en}中所有边缘图嵌入度量空间得到特征点集合F＝{G(e1),G(e2),...,G(en)}；
步骤5.3，将步骤5.2中特征点集合F＝{G(e1),G(e2),...,G(en)}按照类别存储，得到边缘图数据集E中的所有图像的索引：
其中：cj为类别编号，j＝1，2，...，k；k为当前要检索的数据集中的图像类别数，为所有标记为类别cj的边缘图集合的特征点集合
步骤六，输入查询草图，根据所述的索引结构，返回检索结果，具体步骤如下：
步骤6.1，记待查询手绘草图为sx，采用嵌入函数E(x)将sx嵌入到度量空间中，得到sx在度量空间中的特征点E(sx)；
步骤6.2，在索引IG中检索与待查询手绘草图sx类别标签相同的真实图像边缘图特征点集合F，计算F中每个特征点和特征点E(sx)之间的欧氏距离；此处使用该测试手绘草图sx的类别标签从索引IG中得到与查询手绘草图sx类别标签相同的真实图像边缘图特征点集合；
步骤6.3，选取欧氏距离最小的前K个边缘图特征点所对应的真实图像作为与待查询手绘草图sx最相近的K个真实图像，返回给用户作为检索结果。
仿真实验：
本发明采用Flickr15k数据集进行实验，Flickr15k中包含了大约15000幅真实图像，以及330张手绘草图；共分类为33类；本次实验选用Caffe深度学习库实现所有卷积神经网络的训练过程。训练时间与训练数据集的大小以及训练纪元数有关。本发明实验的机器配置为Intel Core-i5-6600K 3.2Hz CPU、16GB内存、Nvidia GTX 1060 6GB GPU×2、CUDAv8.0、CuDNN v5.1、MXNET v0.9.3、Ubuntu16.04操作系统。在预先计算所有真实图像的特征后，每张草图的查询处理时间平均大约为0.002秒，说明本发明设计的算法有较高的可用性。
表2：基于手绘草图的图像检索结果比较
表2展示了本发明算法与其他基准算法的平均均值准确率(mean averageprecision，MAP)对比结果。从表2中可见，本发明算法达到了0.1954的MAP，超过了其他所有基准方法。特别的，本发明算法相比于其他所有非线性方法而言鲁棒性更强。从表2中还可以看出，本发明算法比同样采用卷积神经网络的3Dshape有更好的性能，说明本算法设计的较大的卷积核尺寸更适合于提取手绘草图的特征。
图4展示了部分手绘草图的查询结果。从图4中可以看出本发明检索出的图像与手绘草图的相关性十分强，说明本算法的有效性。
总之，本算法通过设计一种新的卷积神经网络结构得到一种嵌入函数，将所有手绘草图与真实图像映射到学习到的度量函数所定义的度量空间中进行相似度度量，有效的提升了检索算法的精确度和鲁棒性，达到了目前的先进水平。

Claims (6)

1.一种基于手绘草图的图像检索算法，其特征在于，包括以下步骤：
步骤一，通过边缘检测算法将真实图像数据集P渲染成边缘图数据集E；
步骤二，将手绘草图数据集S和边缘图数据集E的并集作为AlexNet网络的输入进行迭代训练得到分类器，然后以分类器作为特征提取器，以分类器网络中的最大池化层为输出特征，将边缘图数据集中所有的边缘图输入分类器得到所有边缘图的索引；
步骤三，利用分类器对手绘草图数据集进行处理，得到训练数据集；
步骤四，构建用于度量学习的孪生卷积神经网络，然后使用训练数据训练该网络，训练结束后得到嵌入函数；
步骤五，用嵌入函数计算边缘图在度量空间中的特征点的集合，并建立索引结构以提高检索效率；
步骤六，输入查询草图，根据所述的索引结构，返回检索结果。
2.如权利要求1所述的基于手绘草图的图像检索算法，其特征在于，所述的步骤二的具体过程包括：
步骤2.1，将S∪E作为AlexNet网络的输入，将AlexNet网络中全连接层节点的个数设置为真实图像数据集的图像类别数，以在ImageNet数据集上预训练的AlexNet网络的参数初始化权重，将学习率设置为0.01，权重衰减设置为0.0001，动量设置为0.9，以随机梯度下降法作为优化算法，迭代训练AlexNet网络得到分类器C(x)；
步骤2.2，将边缘图数据集E＝{e1,e2,...,en}中的每一个边缘图依次输入分类器C(x)中进行计算，得到边缘图数据集E中的所有图像的索引：
<mrow> <mi>I</mi> <mo>=</mo> <mo>{</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mn>1</mn> </msub> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>2</mn> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mn>2</mn> </msub> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>j</mi> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mi>j</mi> </msub> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>k</mi> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mi>k</mi> </msub> </msup> <mo>)</mo> </mrow> <mo>}</mo> <mo>;</mo> </mrow>
其中：cj为类别编号，j＝1，2，...，k；k为真实图像数据集中的图像类别数，为所有标记为类别cj的边缘图集合在分类器的最大池化层的输出向量组成特征向量集合
3.如权利要求1所述的所述的基于手绘草图的图像检索算法，其特征在于，步骤三的具体过程包括：
步骤3.1，取手绘草图数据集S中的任一手绘草图作为当前手绘草图sa，将sa输入分类器C(x)得到分类预测分数向量：
<mrow> <mo>{</mo> <msubsup> <mi>Pred</mi> <msubsup> <mi>c</mi> <mn>1</mn> <mi>a</mi> </msubsup> <mi>a</mi> </msubsup> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msubsup> <mi>Pred</mi> <msubsup> <mi>c</mi> <mi>b</mi> <mi>a</mi> </msubsup> <mi>a</mi> </msubsup> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msubsup> <mi>Pred</mi> <msubsup> <mi>c</mi> <mi>c</mi> <mi>a</mi> </msubsup> <mi>a</mi> </msubsup> <mo>}</mo> </mrow>
其中，当前手绘草图sa的预测类别向量为 为当前手绘草图sa的预测类别编号，b＝1，2，…，c；c为预测类别总数，c为大于等于1的自然数，表示手绘草图sa属于类别的概率，
步骤3.2，设当前手绘草图sa的类别标签为la，将类别标签la作为正类标签pa，从当前手绘草图sa的预测类别向量Ca中随机选5个不同于pa的标签作为负类标签集合
步骤3.3，从索引I中得到标记为正类标签pa的所有边缘图的特征向量集合记为计算当前手绘草图sa的特征向量Cmp3(sa)与所有正类边缘图特征向量的欧氏距离选取其中距离最小的250个正类边缘图作为正样本，得到250个正样本
步骤3.4，选择负类标签集合na中的任一负类标签作为当前负类标签从索引I中得到标记为当前负类标签的所有边缘图的特征向量集合计算当前手绘草图sa的特征向量Cmp3(sa)与所有负类边缘图特征向量的欧氏距离选取其中距离最小的50个边缘图作为负样本
步骤3.5，重复步骤3.4，直至负类标签集合中所有负类标签都被作为当前负类标签，共得到250个负样本执行步骤3.6；
步骤3.6，将250个正样本与当前草图sa组成正样本对集合：
其中0代表图像相似；
将250个负样本与当前草图sa组成负样本对集合：
其中1代表图像不相似
步骤3.7，重复步骤3.1至3.6，直至手绘草图数据集S中所有的手绘草图都被作为当前手绘草图，得到每张手绘草图对应的正样本对集合和负样本对集合，最终将所有正样本对集合与负样本对集合做并集操作，得到最终的训练数据集T。
4.如权利要求1所述的所述的基于手绘草图的图像检索算法，其特征在于，步骤四的具体过程包括：
步骤4.1，设训练集T中的任意元素为元组(s,e,y)，元组中s为手绘草图，e为边缘图，y为二值相似性标记，若y＝1代表s与e不相似，若y＝0代表s与e相似；
步骤4.2，构建用于组成孪生结构的卷积神经网络Net；
步骤4.3，用2个步骤4.2中构建的Net以共享参数的方式构建用于度量学习的孪生卷积神经网络G；G中包含2个子卷积神经网络Nets,Nete，其中Nets以手绘草图作为输入，Nete以边缘图作为输入，2个子网络共享同一组参数，两个子网络的输出都记为fW(·)；
步骤4.4，将训练集T中的任意N个元组{(s,e,y)1,(s,e,y)2,...,(s,e,y)N}作为当前批训练元组，将当前批训练元组中的手绘草图sa输入Nets得到fW(sa)，将元组中的边缘图ea输入Netn得到fW(ea)；
步骤4.5，通过式(1)得到孪生卷积神经网络G的损失函数值L:
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>l</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>,</mo> <msup> <mrow> <mo>(</mo> <mrow> <mi>s</mi> <mo>,</mo> <mi>e</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> </mrow> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中，(s,e,y)i当前批训练元组中第i个训练样本，N为当前批训练元组的个数，W为Nets,Nete共享的网络参数，即G要训练的对象；式(1)中单
个训练元组的损失l定义如式(2)：
l(W,(s,e,y)i)＝(1-y)Lp(MW(s,e)i)+yLN(MW(s,e)i) (2)
式(2)中，距离度量MW(s,e)＝‖fW(s)-fW(e)‖，LP(·)为正样本对的损失函数，LN(·)为负样本的损失函数，β＝2Q，Q是MW的上界；
步骤4.6，采用随机梯度下降法作为最优化算法，以最小化损失函数值L为目标修正卷积神经网络G的参数W；
步骤4.7，重复步骤4.4至步骤4.6，直至T中所有训练元组被当作当前批训练元组参与过训练，此时完成了一个纪元的训练；
步骤4.8，重复执行20次步骤4.7后结束网络训练，此时卷积神经网络G输出嵌入函数G(x)。
5.如权利要求1所述的基于手绘草图的图像检索算法，其特征在于，步骤五的具体过程包括：
步骤5.1，将边缘图数据库E＝{e1,e2,...,en}中的任一张边缘图作为当前边缘图ec，采用嵌入函数G(x)将当前边缘图ec嵌入到度量空间中，得到度量空间中的特征点G(ec)；
步骤5.2，重复步骤5.1，将边缘图数据库E＝{e1,e2,...,en}中所有边缘图嵌入度量空间得到特征点集合F＝{G(e1),G(e2),...,G(en)}；
步骤5.3，将步骤5.2中特征点集合F＝{G(e1),G(e2),...,G(en)}按照类别存储，得到边缘图数据集E中的所有图像的索引：
<mrow> <msub> <mi>I</mi> <mi>G</mi> </msub> <mo>=</mo> <mo>{</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mn>1</mn> </msub> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mn>2</mn> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mn>2</mn> </msub> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>j</mi> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mi>j</mi> </msub> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mrow> <mo>(</mo> <msub> <mi>c</mi> <mi>k</mi> </msub> <mo>,</mo> <msup> <mi>F</mi> <msub> <mi>c</mi> <mi>k</mi> </msub> </msup> <mo>)</mo> </mrow> <mo>}</mo> <mo>;</mo> </mrow>
其中：cj为类别编号，j＝1，2，...，k；k为当前要检索的数据集中的图像类别数，为所有标记为类别cj的边缘图集合的特征点集合
6.如权利要求1所述的基于手绘草图的图像检索算法，其特征在于，步骤六的具体过程包括：
步骤6.1，记待查询手绘草图为sx，采用嵌入函数E(x)将sx嵌入到度量空间中，得到sx在度量空间中的特征点E(sx)；
步骤6.2，在索引IG中检索与待查询手绘草图sx类别标签相同的真实图像边缘图特征点集合F，计算F中每个特征点和特征点E(sx)之间的欧氏距离；
步骤6.3，选取欧氏距离最小的前K个边缘图特征点所对应的真实图像作为与待查询手绘草图sx最相近的K个真实图像，返回给用户作为检索结果。
CN201710245518.5A 2017-04-14 2017-04-14 基于手绘草图的图像检索算法 Pending CN107220277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710245518.5A CN107220277A (zh) 2017-04-14 2017-04-14 基于手绘草图的图像检索算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710245518.5A CN107220277A (zh) 2017-04-14 2017-04-14 基于手绘草图的图像检索算法

Publications (1)

Publication Number Publication Date
CN107220277A true CN107220277A (zh) 2017-09-29

Family

ID=59928230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710245518.5A Pending CN107220277A (zh) 2017-04-14 2017-04-14 基于手绘草图的图像检索算法

Country Status (1)

Country Link
CN (1) CN107220277A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729143A (zh) * 2017-09-30 2018-02-23 广东欧珀移动通信有限公司 应用控制方法、装置、存储介质及电子设备
CN107748798A (zh) * 2017-11-07 2018-03-02 中国石油大学(华东) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN108009286A (zh) * 2017-12-25 2018-05-08 合肥阿巴赛信息科技有限公司 一种基于深度学习的草图检索方法
CN108090508A (zh) * 2017-12-12 2018-05-29 腾讯科技（深圳）有限公司 一种分类训练方法、装置及存储介质
CN108228325A (zh) * 2017-10-31 2018-06-29 深圳市商汤科技有限公司 应用管理方法和装置、电子设备、计算机存储介质
CN108510456A (zh) * 2018-03-27 2018-09-07 华南理工大学 基于感知损失的深度卷积神经网络的草图简化方法
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法
CN108733749A (zh) * 2018-04-08 2018-11-02 天津大学 一种基于草图的图像检索方法
CN108846358A (zh) * 2018-06-13 2018-11-20 浙江工业大学 一种基于孪生网络进行特征融合的目标跟踪方法
CN109299294A (zh) * 2018-09-30 2019-02-01 北京金山安全软件有限公司 应用中的资源搜索方法、装置、计算机设备和存储介质
CN109299303A (zh) * 2018-10-19 2019-02-01 中国石油大学(华东) 基于可变形卷积与深度网络的手绘草图检索方法
CN109325529A (zh) * 2018-09-06 2019-02-12 安徽大学 一种草图识别方法以及该方法在商品检索中的应用
CN109408655A (zh) * 2018-10-19 2019-03-01 中国石油大学(华东) 结合带孔卷积与多尺度感知网络的手绘草图检索方法
CN109492120A (zh) * 2018-10-31 2019-03-19 四川大学 模型训练方法、检索方法、装置、电子设备及存储介质
CN110110117A (zh) * 2017-12-20 2019-08-09 阿里巴巴集团控股有限公司 一种商品搜索方法、装置以及系统
CN110472088A (zh) * 2019-08-13 2019-11-19 南京大学 一种基于草图的图像检索方法
CN110569761A (zh) * 2019-08-27 2019-12-13 武汉大学 一种基于对抗学习的手绘草图检索遥感图像的方法
CN110580302A (zh) * 2019-08-13 2019-12-17 天津大学 一种基于半异构联合嵌入网络的草图图像检索方法
CN111159063A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种面向多层Sketch网络测量的缓存分配方法
CN111178311A (zh) * 2020-01-02 2020-05-19 京东方科技集团股份有限公司 拍照辅助方法及终端设备
CN111930980A (zh) * 2020-08-21 2020-11-13 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
CN112069336A (zh) * 2020-08-04 2020-12-11 中国科学院软件研究所 一种基于场景草图的细粒度图像检索方法及系统
CN113157954A (zh) * 2021-04-20 2021-07-23 江西师范大学 一种基于跨域转换的草图交互式服装图像检索方法
CN113806582A (zh) * 2021-11-17 2021-12-17 腾讯科技（深圳）有限公司 图像检索方法、装置、电子设备和存储介质
WO2023115521A1 (en) * 2021-12-24 2023-06-29 Robert Bosch Gmbh Method and apparatus for enity alignment

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169677A1 (en) * 2012-12-19 2014-06-19 Hong Kong Applied Science and Technology Research Institute Company Limited Perceptual bias level estimation for hand-drawn sketches in sketch-photo matching
CN104850633A (zh) * 2015-05-22 2015-08-19 中山大学 一种基于手绘草图部件分割的三维模型检索系统及方法
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN105808665A (zh) * 2015-12-17 2016-07-27 北京航空航天大学 一种新的基于手绘草图的图像检索方法
CN105912611A (zh) * 2016-04-05 2016-08-31 中国科学技术大学 一种基于cnn的快速图像检索方法
CN106126581A (zh) * 2016-06-20 2016-11-16 复旦大学 基于深度学习的手绘草图图像检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169677A1 (en) * 2012-12-19 2014-06-19 Hong Kong Applied Science and Technology Research Institute Company Limited Perceptual bias level estimation for hand-drawn sketches in sketch-photo matching
CN104850633A (zh) * 2015-05-22 2015-08-19 中山大学 一种基于手绘草图部件分割的三维模型检索系统及方法
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN105808665A (zh) * 2015-12-17 2016-07-27 北京航空航天大学 一种新的基于手绘草图的图像检索方法
CN105912611A (zh) * 2016-04-05 2016-08-31 中国科学技术大学 一种基于cnn的快速图像检索方法
CN106126581A (zh) * 2016-06-20 2016-11-16 复旦大学 基于深度学习的手绘草图图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯刚: "基于内容的图像检索中特征表示与检索策略研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729143A (zh) * 2017-09-30 2018-02-23 广东欧珀移动通信有限公司 应用控制方法、装置、存储介质及电子设备
CN107729143B (zh) * 2017-09-30 2020-01-14 Oppo广东移动通信有限公司 应用控制方法、装置、存储介质及电子设备
CN108228325A (zh) * 2017-10-31 2018-06-29 深圳市商汤科技有限公司 应用管理方法和装置、电子设备、计算机存储介质
CN108228325B (zh) * 2017-10-31 2020-12-29 深圳市商汤科技有限公司 应用管理方法和装置、电子设备、计算机存储介质
CN107748798A (zh) * 2017-11-07 2018-03-02 中国石油大学(华东) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN110633745A (zh) * 2017-12-12 2019-12-31 腾讯科技（深圳）有限公司 一种基于人工智能的图像分类训练方法、装置及存储介质
CN108090508A (zh) * 2017-12-12 2018-05-29 腾讯科技（深圳）有限公司 一种分类训练方法、装置及存储介质
CN108090508B (zh) * 2017-12-12 2020-01-31 腾讯科技（深圳）有限公司 一种分类训练方法、装置及存储介质
CN110633745B (zh) * 2017-12-12 2022-11-29 腾讯科技（深圳）有限公司 一种基于人工智能的图像分类训练方法、装置及存储介质
US11017220B2 (en) 2017-12-12 2021-05-25 Tencent Technology (Shenzhen) Company Limited Classification model training method, server, and storage medium
WO2019114523A1 (zh) * 2017-12-12 2019-06-20 腾讯科技（深圳）有限公司 分类训练方法、服务器及存储介质
CN110110117A (zh) * 2017-12-20 2019-08-09 阿里巴巴集团控股有限公司 一种商品搜索方法、装置以及系统
CN108009286A (zh) * 2017-12-25 2018-05-08 合肥阿巴赛信息科技有限公司 一种基于深度学习的草图检索方法
CN108510456A (zh) * 2018-03-27 2018-09-07 华南理工大学 基于感知损失的深度卷积神经网络的草图简化方法
CN108510456B (zh) * 2018-03-27 2021-12-21 华南理工大学 基于感知损失的深度卷积神经网络的草图简化方法
CN108733749A (zh) * 2018-04-08 2018-11-02 天津大学 一种基于草图的图像检索方法
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法
CN108846358B (zh) * 2018-06-13 2021-10-26 浙江工业大学 一种基于孪生网络进行特征融合的目标跟踪方法
CN108846358A (zh) * 2018-06-13 2018-11-20 浙江工业大学 一种基于孪生网络进行特征融合的目标跟踪方法
CN109325529B (zh) * 2018-09-06 2021-07-30 安徽大学 一种草图识别方法以及该方法在商品检索中的应用
CN109325529A (zh) * 2018-09-06 2019-02-12 安徽大学 一种草图识别方法以及该方法在商品检索中的应用
CN109299294A (zh) * 2018-09-30 2019-02-01 北京金山安全软件有限公司 应用中的资源搜索方法、装置、计算机设备和存储介质
CN109299303B (zh) * 2018-10-19 2022-06-17 中国石油大学(华东) 基于可变形卷积与深度网络的手绘草图检索方法
CN109408655A (zh) * 2018-10-19 2019-03-01 中国石油大学(华东) 结合带孔卷积与多尺度感知网络的手绘草图检索方法
CN109299303A (zh) * 2018-10-19 2019-02-01 中国石油大学(华东) 基于可变形卷积与深度网络的手绘草图检索方法
CN109492120A (zh) * 2018-10-31 2019-03-19 四川大学 模型训练方法、检索方法、装置、电子设备及存储介质
CN110472088B (zh) * 2019-08-13 2023-06-27 南京大学 一种基于草图的图像检索方法
CN110580302B (zh) * 2019-08-13 2022-12-02 天津大学 一种基于半异构联合嵌入网络的草图图像检索方法
CN110472088A (zh) * 2019-08-13 2019-11-19 南京大学 一种基于草图的图像检索方法
CN110580302A (zh) * 2019-08-13 2019-12-17 天津大学 一种基于半异构联合嵌入网络的草图图像检索方法
CN110569761B (zh) * 2019-08-27 2021-04-02 武汉大学 一种基于对抗学习的手绘草图检索遥感图像的方法
CN110569761A (zh) * 2019-08-27 2019-12-13 武汉大学 一种基于对抗学习的手绘草图检索遥感图像的方法
CN111159063A (zh) * 2019-12-25 2020-05-15 大连理工大学 一种面向多层Sketch网络测量的缓存分配方法
CN111159063B (zh) * 2019-12-25 2022-10-21 大连理工大学 一种面向多层Sketch网络测量的缓存分配方法
CN111178311A (zh) * 2020-01-02 2020-05-19 京东方科技集团股份有限公司 拍照辅助方法及终端设备
CN112069336A (zh) * 2020-08-04 2020-12-11 中国科学院软件研究所 一种基于场景草图的细粒度图像检索方法及系统
CN111930980A (zh) * 2020-08-21 2020-11-13 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
CN113157954A (zh) * 2021-04-20 2021-07-23 江西师范大学 一种基于跨域转换的草图交互式服装图像检索方法
CN113157954B (zh) * 2021-04-20 2022-04-26 江西师范大学 一种基于跨域转换的草图交互式服装图像检索方法
CN113806582A (zh) * 2021-11-17 2021-12-17 腾讯科技（深圳）有限公司 图像检索方法、装置、电子设备和存储介质
WO2023115521A1 (en) * 2021-12-24 2023-06-29 Robert Bosch Gmbh Method and apparatus for enity alignment

Similar Documents

Publication Publication Date Title
CN107220277A (zh) 基于手绘草图的图像检索算法
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN106095893A (zh) 一种跨媒体检索方法
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN110414349A (zh) 引入感知模型的孪生卷积神经网络人脸识别算法
CN109582782A (zh) 一种基于用弱监督深度学习的文本聚类方法
CN107133651A (zh) 基于超网络判别子图的功能磁共振影像数据分类方法
CN109685121A (zh) 图像检索模型的训练方法、图像检索方法、计算机设备
CN107515877A (zh) 敏感主题词集的生成方法和装置
CN110674407A (zh) 基于图卷积神经网络的混合推荐方法
CN103258210B (zh) 一种基于字典学习的高清图像分类方法
CN106951498A (zh) 文本聚类方法
CN107291895B (zh) 一种快速的层次化文档查询方法
CN104751463B (zh) 一种基于草图轮廓特征的三维模型最佳视角选取方法
CN107563407A (zh) 一种面向网络空间多模态大数据的特征表示学习系统
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN106844518A (zh) 一种基于子空间学习的不完整跨模态检索方法
CN105320764A (zh) 一种基于增量慢特征的3d模型检索方法及其检索装置
Vallet et al. A multi-label convolutional neural network for automatic image annotation
CN112733602B (zh) 关系引导的行人属性识别方法
CN107133854A (zh) 信息推荐方法和装置
CN109325513A (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
Kollapudi et al. A New Method for Scene Classification from the Remote Sensing Images.
CN108717436A (zh) 一种基于显著性检测的商品目标快速检索方法
CN110472088A (zh) 一种基于草图的图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20210702

AD01 Patent right deemed abandoned