CN108846047A - 一种基于卷积特征的图片检索方法及系统 - Google Patents

一种基于卷积特征的图片检索方法及系统 Download PDF

Info

Publication number
CN108846047A
CN108846047A CN201810537665.4A CN201810537665A CN108846047A CN 108846047 A CN108846047 A CN 108846047A CN 201810537665 A CN201810537665 A CN 201810537665A CN 108846047 A CN108846047 A CN 108846047A
Authority
CN
China
Prior art keywords
picture
convolution feature
neural networks
convolutional neural
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810537665.4A
Other languages
English (en)
Inventor
吕晨
夏宇
房鹏展
王旻毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuo Zhuo Network Technology Co Ltd
Original Assignee
Zhuo Zhuo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuo Zhuo Network Technology Co Ltd filed Critical Zhuo Zhuo Network Technology Co Ltd
Priority to CN201810537665.4A priority Critical patent/CN108846047A/zh
Publication of CN108846047A publication Critical patent/CN108846047A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于卷积特征的图片检索方法及系统，其特征在于，利用图片库训练深度卷积神经网络模型，并以此提取图片库中图片的卷积特征和分类信息，利用卷积特征训练一个降维模型，在图片库中选定与待检索图片概率最大的m个类别的候选检索库，利用该降维模型对候选检索库图片和待检索图片的卷积特征压缩降维，选取相似度最高的n张图片作为检索结果，可以达到检索速度更快，准确性更高的有益效果。

Description

一种基于卷积特征的图片检索方法及系统
技术领域
本发明涉及领域图片检索，特别是涉及一种基于卷积特征的图片检索方法及系统。
背景技术
随着互联网的日益发展，图片在网络中的数目呈现指数级增长，传统基于关键词的图片检索方法已难以满足用户的需求，其局限性单纯的文字描述在于难以充分表达用户真实所想，因此基于图片内容的检索成为大家关注的重点。
基于图片内容的检索是一种参考图片内容的搜索方法，目的是找到与待检索图片尽可能相似的图片，从而迅速找到与待检索图片的产品等。基于图片内容的检索一般包括如下步骤：第一步，获取待检索图片的特征表示，传统的特征表示方法有Sift、Haar等。第二步，计算待检索图片的特征表示与检索库内图片的特征表示的相似度，找出最相似的n张图片。
传统的特征表示方法对图片的特征描述往往并不全面，对图片的描述并不完整，且特征表示维度过高，导致图片检索准确率不高，检索时间过长。
因此，需要一种准确率高且速度快的图片检索方法和系统。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种基于卷积特征的图片检索方法及系统。
为解决上述技术问题，本发明提供一种基于卷积特征的图片检索方法及系统，其特征在于，包括如下步骤：
步骤1，以分类为目标，利用百万级产品图片库训练一个深度卷积神经网络模型利用训练的深度卷积神经网络模型抽取出产品图片的卷积特征和分类信息，利用这些卷积特征训练一个降维模型，用来对高维度的卷积特征进行压缩并输出对应的卷积特征；
步骤2，待检索图片通过深度卷积神经网络模型抽取出卷积特征和分类信息，再通过降维模型将卷积特征压缩并输出对应的卷积特征，所述分类信息包括类别及相应的概率；
步骤3，通过待检索图片的分类信息，选择产品图片库中概率最大的m个类别作为候选检索库，计算压缩后的待检索图片卷积特征与候选检索库中图片的卷积特征的相似度，选取相似度最高的n张图片作为检索结果。
所述步骤1中，对图片库的图片进行预处理，将图片批量规范化处理成卷积神经网络需要的格式与大小，深度卷积神经网络模型是一个20层以上的卷积神经网络，其倒数第二层的卷积信息作为卷积特征表示；降维模型将高维卷积特征降低到128维，保留主要卷积特征，并将所有降维后的卷积特征保存到数据库中；所述步骤2中，对待检索图片进行预处理，将图片规范化处理成卷积神经网络需要的格式与大小，用户将待检索图片输入深层卷积神经网络模型，输出分类信息，并保存其卷积特征，利用训练好的降维模型将卷积特征降低到128维；所述步骤3中，根据待检索图片预测类别及其概率，选取概率最大的3个类别作为待选类别，将待检索图片的128维卷积特征向量与待选类别图片库中卷积特征向量计算相似度，返回相似度最高的10张相似图片。
所述步骤1中，百万级产品图片库是指由3000个类别物品，每个类别各2000张图片所组成的图片库，深度卷积神经网络模型包含多个卷积层、池化层；所述步骤3中，计算相似度的相似度度量公式为其中A,B分别为待检索图片特征向量与图片库图片特征向量。
一种基于卷积特征的图片检索系统，其特征在于，包括深度卷积神经网络模块、降维模块和相似度计算模块，所述深度卷积神经网络模块中包括特征表示层模块和类别概率层模块，所述特征表示层模块与降维模块相连，所述相似度计算模块同时连接降维模块和类别概率层模块。
本发明所达到的有益效果:通过提取图片库及待检索图片的卷积特征，并将其降维压缩，同时输出相应的分类类别概率，通过相似度计算对降维压缩后的特征表示向量和分类类别进行分析，得到所需的相似图片检索结果，相对于现有的基于传统特征图片检索方案，本方案速度更快，准确性更高。
附图说明
图1为本发明中基于卷积特征的图片检索方法的流程示意图；
图2为本发明中基于卷积特征的图片检索系统的结构示意图；
具体实施方式
下面结合附图和示例性实施例对本发明作进一步的说明：
图1是本发明基于卷积特征的图片检索方法及系统具体实施方式的检索流程图。在本实施方式中，主要包括以下步骤：
步骤1：以分类为目标，训练一个20层以上的卷积神经网络，将倒数第二层卷积信息作为特征表示，将图片库图片输入卷积神经网络，获取其卷积特征，利用所有图片的卷积特征训练一个降维模型，将高维卷积特征降低到128维，保留主要特征，并将所有降维后的特征保存到数据库中。
步骤2：用户将待检索图片输入卷积神经网络，输出预测类别及其概率，并保存其卷积特征，利用训练好的降维模型将卷积特征降低到128维。
步骤3：根据待检索图片预测类别及其概率，选取概率最大的3个类别作为待选类别，将待检索图片的128维特征向量与待选类别图片库中特征向量计算相似度，返回相似度最高的n张相似图片。
其中步骤1包含如下几个步骤：
步骤11：选取3000个类别物品，每个类别各2000张图片，以分类为目标，训练一个20层以上的卷积神经网络，包含多个卷积层、池化层等，将图片库图片批量规范化处理成卷积神经网络需要的格式与大小，方便特征提取。对于卷积神经网络层数选择超过20层，选择图片3000个类别各2000张，是为了保证样本均衡，使得卷积神经网络能充分学习各类别的差别特征。
步骤12：将卷积神经网络倒数第二层卷积输出作为特征表示，抽取图片的卷积特征向量。
步骤13：利用所有图片抽取的卷积特征训练一个降维模型，目的在于保留主要特征并减少计算量，将所有图片降维后的特征保存到数据库中。
步骤2包含如下几个步骤：
步骤21：用户将待检索图片处理成系统需要的格式与大小。
步骤22：将处理后的图片输入卷积神经网络，输出其预测类别及概率，
步骤23：:保存图片的卷积特征。
步骤24：利用训练好的降维模型，将待检索图片卷积特征降低到128维，方便与图片库图片特征向量计算相似度。将卷积特征降低到128维是为了降低运算量，同时保证卷积特征降维造成对检索准确率的影响尽可能小。
步骤3包含如下几个步骤：
步骤31：根据步骤22，选取预测概率最大的3个类别(即top3类别)作为待选类别，在检索库中抽取待选类别图片特征向量，并与待检索图片的卷积特征向量进行相似度计算，相似度度量的公式为：其中A,B分别为待检索图片特征向量与图片库图片特征向量。选择top3类别作为候选类别并在候选类别中进行检索，是为了缩小检索方位，加快检索速度。
步骤32：对计算结果进行排序，选取top 10结果返回，作为待检索图片的相似图片。
图2是本发明基于卷积特征的图片检索方法及系统具体实施方式的结构示意图。
模块21为，作用是抽取图片的卷积特征，输出图片的类别。训练该模块时以分类为目标，网络的最后两层包括一个特征表示层，一个类别概率层，分别用来输出新图片的卷积特征向量及可能的类别。
模块22为降维模块，作用是降低卷积特征向量的维度。训练该模块时需要利用大规模图片的卷积特征向量，选取出最具代表性的特征作为图片的特征表示。
模块23为相似度计算模块，作用是计算待检索图片特征向量与图片库图片特征向量的相似度，对相似度进行排序，选取top n作为结果返回。
本发明主要用于提供一种基于卷积特征的图片检索方法及系统，通过提取图片库及待检索图片的卷积特征，并将其降维压缩，同时输出相应的分类类别概率，通过相似度计算对降维压缩后的特征表示向量和分类类别进行分析，得到所需的相似图片检索结果，对于卷积神经网络层数选择超过20层，选择图片3000个类别各2000张，是为了保证样本均衡，使得卷积神经网络能充分学习各类别的差别特征，将卷积特征降低到128维是为了降低运算量，同时保证卷积特征降维造成对检索准确率的影响尽可能小，选择top3类别作为候选类别并在候选类别中进行检索，是为了缩小检索方位，加快检索速度，速度更快，准确性更高。
以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。

Claims (4)

1.一种基于卷积特征的图片检索方法，其特征在于，包括如下步骤：
步骤1，以分类为目标，利用百万级产品图片库训练一个深度卷积神经网络模型利用训练的深度卷积神经网络模型抽取出产品图片的卷积特征和分类信息，利用这些卷积特征训练一个降维模型，用来对高维度的卷积特征进行压缩并输出对应的卷积特征；
步骤2，待检索图片通过深度卷积神经网络模型抽取出卷积特征和分类信息，再通过降维模型将卷积特征压缩并输出对应的卷积特征，所述分类信息包括类别及相应的概率；
步骤3，通过待检索图片的分类信息，选择产品图片库中概率最大的m个类别作为候选检索库，计算压缩后的待检索图片卷积特征与候选检索库中图片的卷积特征的相似度，选取相似度最高的n张图片作为检索结果。
2.如权利要求1所述的一种基于卷积特征的图片检索方法，其特征在于：所述步骤1中，对图片库的图片进行预处理，将图片批量规范化处理成卷积神经网络需要的格式与大小，深度卷积神经网络模型是一个20层以上的卷积神经网络，其倒数第二层的卷积信息作为卷积特征表示；降维模型将高维卷积特征降低到128维，保留主要卷积特征，并将所有降维后的卷积特征保存到数据库中；所述步骤2中，对待检索图片进行预处理，将图片规范化处理成卷积神经网络需要的格式与大小，用户将待检索图片输入深层卷积神经网络模型，输出分类信息，并保存其卷积特征，利用训练好的降维模型将卷积特征降低到128维；所述步骤3中，根据待检索图片预测类别及其概率，选取概率最大的3个类别作为待选类别，将待检索图片的128维卷积特征向量与待选类别图片库中卷积特征向量计算相似度，返回相似度最高的10张相似图片。
3.如权利要求2所述的一种基于卷积特征的图片检索方法，其特征在于，所述步骤1中，百万级产品图片库是指由3000个类别物品，每个类别各2000张图片所组成的图片库，深度卷积神经网络模型包含多个卷积层、池化层；所述步骤3中，计算相似度的相似度度量公式为其中A,B分别为待检索图片特征向量与图片库图片特征向量。
4.一种用于实施权利要求1-3之一所述方法的基于卷积特征的图片检索系统，其特征在于，包括深度卷积神经网络模块、降维模块和相似度计算模块，所述深度卷积神经网络模块中包括特征表示层模块和类别概率层模块，所述特征表示层模块与降维模块相连，所述相似度计算模块同时连接降维模块和类别概率层模块。
CN201810537665.4A 2018-05-30 2018-05-30 一种基于卷积特征的图片检索方法及系统 Pending CN108846047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810537665.4A CN108846047A (zh) 2018-05-30 2018-05-30 一种基于卷积特征的图片检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810537665.4A CN108846047A (zh) 2018-05-30 2018-05-30 一种基于卷积特征的图片检索方法及系统

Publications (1)

Publication Number Publication Date
CN108846047A true CN108846047A (zh) 2018-11-20

Family

ID=64210052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810537665.4A Pending CN108846047A (zh) 2018-05-30 2018-05-30 一种基于卷积特征的图片检索方法及系统

Country Status (1)

Country Link
CN (1) CN108846047A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815357A (zh) * 2019-01-28 2019-05-28 辽宁工程技术大学 一种基于非线性降维及稀疏表示的遥感图像检索方法
CN109857893A (zh) * 2019-01-16 2019-06-07 平安科技（深圳）有限公司 图片检索方法、装置、计算机设备及存储介质
CN110188231A (zh) * 2019-06-11 2019-08-30 上海德拓信息技术股份有限公司 图片中相似物体检索方法及装置
CN110209863A (zh) * 2019-06-03 2019-09-06 上海蜜度信息技术有限公司 用于相似图片检索的方法与设备
CN110458107A (zh) * 2019-08-13 2019-11-15 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN112100412A (zh) * 2020-09-01 2020-12-18 深圳市欢太科技有限公司 图片检索方法、装置、计算机设备和存储介质
CN112214627A (zh) * 2019-07-12 2021-01-12 上海赜睿信息科技有限公司 搜索方法、可读存储介质和电子设备
CN114048341A (zh) * 2021-11-03 2022-02-15 北京中知智慧科技有限公司 外观设计产品的安全检索方法、系统、客户端及服务器
CN115049885A (zh) * 2022-08-16 2022-09-13 之江实验室 一种存算一体卷积神经网络图像分类装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
CN101196905A (zh) * 2007-12-05 2008-06-11 覃征 一种智能图形检索方法
CN104991959A (zh) * 2015-07-21 2015-10-21 北京京东尚科信息技术有限公司 一种基于内容检索相同或相似图像的方法与系统
CN105740891A (zh) * 2016-01-27 2016-07-06 北京工业大学 基于多层次特征提取和上下文模型的目标检测
CN106407986A (zh) * 2016-08-29 2017-02-15 电子科技大学 一种基于深度模型的合成孔径雷达图像目标识别方法
CN107330127A (zh) * 2017-07-21 2017-11-07 湘潭大学 一种基于文本图片检索的相似文本检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899999A (en) * 1996-10-16 1999-05-04 Microsoft Corporation Iterative convolution filter particularly suited for use in an image classification and retrieval system
CN101196905A (zh) * 2007-12-05 2008-06-11 覃征 一种智能图形检索方法
CN104991959A (zh) * 2015-07-21 2015-10-21 北京京东尚科信息技术有限公司 一种基于内容检索相同或相似图像的方法与系统
CN105740891A (zh) * 2016-01-27 2016-07-06 北京工业大学 基于多层次特征提取和上下文模型的目标检测
CN106407986A (zh) * 2016-08-29 2017-02-15 电子科技大学 一种基于深度模型的合成孔径雷达图像目标识别方法
CN107330127A (zh) * 2017-07-21 2017-11-07 湘潭大学 一种基于文本图片检索的相似文本检测方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857893A (zh) * 2019-01-16 2019-06-07 平安科技（深圳）有限公司 图片检索方法、装置、计算机设备及存储介质
CN109815357A (zh) * 2019-01-28 2019-05-28 辽宁工程技术大学 一种基于非线性降维及稀疏表示的遥感图像检索方法
CN109815357B (zh) * 2019-01-28 2022-12-06 辽宁工程技术大学 一种基于非线性降维及稀疏表示的遥感图像检索方法
CN110209863B (zh) * 2019-06-03 2021-01-01 上海蜜度信息技术有限公司 用于相似图片检索的方法与设备
CN110209863A (zh) * 2019-06-03 2019-09-06 上海蜜度信息技术有限公司 用于相似图片检索的方法与设备
CN110188231A (zh) * 2019-06-11 2019-08-30 上海德拓信息技术股份有限公司 图片中相似物体检索方法及装置
CN112214627A (zh) * 2019-07-12 2021-01-12 上海赜睿信息科技有限公司 搜索方法、可读存储介质和电子设备
CN110458107A (zh) * 2019-08-13 2019-11-15 北京百度网讯科技有限公司 用于图像识别的方法和装置
CN112100412A (zh) * 2020-09-01 2020-12-18 深圳市欢太科技有限公司 图片检索方法、装置、计算机设备和存储介质
CN112100412B (zh) * 2020-09-01 2024-04-12 深圳市欢太科技有限公司 图片检索方法、装置、计算机设备和存储介质
CN114048341A (zh) * 2021-11-03 2022-02-15 北京中知智慧科技有限公司 外观设计产品的安全检索方法、系统、客户端及服务器
CN114048341B (zh) * 2021-11-03 2023-04-07 北京中知智慧科技有限公司 外观设计产品的安全检索方法、系统、客户端及服务器
CN115049885A (zh) * 2022-08-16 2022-09-13 之江实验室 一种存算一体卷积神经网络图像分类装置及方法
CN115049885B (zh) * 2022-08-16 2022-12-27 之江实验室 一种存算一体卷积神经网络图像分类装置及方法

Similar Documents

Publication Publication Date Title
CN108846047A (zh) 一种基于卷积特征的图片检索方法及系统
CN107169035B (zh) 一种混合长短期记忆网络和卷积神经网络的文本分类方法
CN109241530B (zh) 一种基于N-gram向量和卷积神经网络的中文文本多分类方法
CN107608956B (zh) 一种基于cnn-grnn的读者情绪分布预测算法
CN106919951B (zh) 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN110825877A (zh) 一种基于文本聚类的语义相似度分析方法
CN108197109A (zh) 一种基于自然语言处理的多语言分析方法和装置
CN108363790A (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN110765260A (zh) 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN111159485B (zh) 尾实体链接方法、装置、服务器及存储介质
CN107943792B (zh) 一种语句分析方法、装置及终端设备、存储介质
CN110415071B (zh) 一种基于观点挖掘分析的汽车竞品对比方法
CN107895303B (zh) 一种基于ocean模型的个性化推荐的方法
CN114117213A (zh) 一种推荐模型训练、推荐方法、装置、介质和设备
CN110413791A (zh) 基于cnn-svm-knn组合模型的文本分类方法
CN112800249A (zh) 基于生成对抗网络的细粒度跨媒体检索方法
CN113254655B (zh) 文本分类方法、电子设备及计算机存储介质
CN106649276A (zh) 标题中核心产品词的识别方法以及装置
CN106569996B (zh) 一种面向中文微博的情感倾向分析方法
CN113312474A (zh) 一种基于深度学习的法律文书的相似案件智能检索系统
CN107818173B (zh) 一种基于向量空间模型的中文虚假评论过滤方法
CN110728144A (zh) 一种基于上下文语义感知的抽取式文档自动摘要方法
CN113378563B (zh) 一种基于遗传变异和半监督的案件特征提取方法及装置
CN116935411A (zh) 一种基于字符分解和重构的部首级古文字识别方法
CN117009521A (zh) 一种基于知识图谱的发动机智能工艺检索及匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120