CN107391599A - 基于风格特征的图像检索方法 - Google Patents

基于风格特征的图像检索方法 Download PDF

Info

Publication number
CN107391599A
CN107391599A CN201710523175.4A CN201710523175A CN107391599A CN 107391599 A CN107391599 A CN 107391599A CN 201710523175 A CN201710523175 A CN 201710523175A CN 107391599 A CN107391599 A CN 107391599A
Authority
CN
China
Prior art keywords
style
features
picture
vgg
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710523175.4A
Other languages
English (en)
Other versions
CN107391599B (zh
Inventor
陈长宝
杜红民
侯长生
孔晓阳
王茹川
郭振强
郧刚
王磊
王莹莹
肖进胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Plains Wisdom Urban Design Research Institute Co Ltd
Original Assignee
Central Plains Wisdom Urban Design Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Plains Wisdom Urban Design Research Institute Co Ltd filed Critical Central Plains Wisdom Urban Design Research Institute Co Ltd
Priority to CN201710523175.4A priority Critical patent/CN107391599B/zh
Publication of CN107391599A publication Critical patent/CN107391599A/zh
Application granted granted Critical
Publication of CN107391599B publication Critical patent/CN107391599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于风格特征的图像检索方法，采用格拉姆矩阵作为描述图像风格特征的算子，提取给定图片库的所有训练样本的风格特征并构建图片索引，提取待检测图片的风格特征，查找与待检测图片相似度最高的图片的索引号并根据索引号返回相似图片集，通过这种方法实现对抽象图片的检索，具有方法简单、检索效果好的优点。

Description

基于风格特征的图像检索方法
技术领域
本发明涉及一种图像检索方法，具体的说，涉及了一种基于风格特征的图像检索方法。
背景技术
图片检索有两类，一类是基于文本的图像检索TBIR，另一类是基于内容的图像检索CBIR。其中CBIR通过详细分析图像所包含的具体的对象或场景来进行检索，其实现的关键在于对图像特征的提取，常见的提取特征方式有基于颜色、形状和纹理特征的提取，通过匹配像之间的底层视觉特征达到检索目的。这种检索方法着重于探测图片中某一实际物体，而对于没有实际物体的抽象图片检索效果不佳。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，从而提供了一种基于风格特征的图像检索方法，方法简单、具有通用性。
为了实现上述目的，本发明所采用的技术方案是：一种基于风格特征的图像检索方法，包括以下步骤：
搭建平台
S1，利用基于Theano的框架Keras搭建处理平台；
构建图片索引
S2，大规模图像数据集ImageNet上训练一个卷积神经网络VGG-19，并使用给定图片库的训练样本对VGG-19进行参数微调，得到迁移学习后的卷积神经网络，记为VGG-19-FT；
S3，将给定图片库的训练样本依次输入VGG-19-FT中提取风格特征，并对提取出的风格特征进行降维处理，获得降维风格特征；
S4，将提取出的每个训练样本的降维风格特征存储在一个文件中，并根据每个训练样本的图片地址构建图片索引；
图片查询
S5，将待检索图片输入VGG-19-FT中进行风格特征提取，并进行降维处理；
S6，通过降维风格特征相似度比较方法,分别计算带检索图片的降维风格特征与图片索引内每个降维风格特征的相似度距离，并将相似度距离最近的降维风格特征所对应的图片的索引号作为结果返回给给定图片库；
S7，根据获得的索引号查找给定图片库，返回相似图片集。
基于上述，计算VGG-19-FT特定层的各个滤波器之间的相关性关系，生成格拉姆矩阵来描述图像的风格特征。
基于上述，特定层的层级越高，所提取的风格特征越接近图像的整体特征；特定层的层级越低，所提的风格特征越接近图像的细节特征。
基于上述，VGG-19包括16个卷积层和3个全连接层，迁移学习时保留原始VGG-16参数集的前16层参数，而只重新训练后3层的参数。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明用格拉姆矩阵作为描述图像风格特征的算子，提取给定图片库的所有训练样本的风格特征并构建图片索引，提取待检测图片的风格特征，查找与待检测图片相似度最高的图片的索引号并根据索引号返回相似图片集，通过这种方法实现对抽象图片的检索，具有方法简单、检索效果好的优点。
附图说明
图1是本发明的流程示意图。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1所示，一种基于风格特征的图像检索方法，包括以下步骤：
搭建平台
S1，利用基于Theano的框架Keras搭建处理平台：
（1）服务器配置
带有TitanX 显卡的服务器，至强四核处理器、32GB内存；
（2）操作系统：
采用Linux操作系统；
（3）开发环境
采用Python语言以及PyCharm IDE开发环境；
（4）框架搭建
采用Keras深度学习框架，底层封装Theano。Keras是一个极简化的第三方神经网络库，由于其具有高度模块化的特点，可以充分发挥GPU和CPU操作。
（5）客户端工具
支持HTML5的浏览器；
构建图片索引
S2，大规模图像数据集ImageNet上训练一个卷积神经网络VGG-19，并使用给定图片库的训练样本对VGG-19进行参数微调，得到迁移学习后的卷积神经网络，记为VGG-19-FT；具体的，给定图片库的训练样本个数为1000，VGG-19包括16个卷积层和3个全连接层；
S3，将给定图片库的训练样本依次输入VGG-19-FT中提取风格特征，并对提取出的风格特征进行降维处理，获得降维风格特征；具体的，图像的风格特征用VGG-19-FT特定层的格拉姆矩阵来描述，格拉姆矩阵描述的是各个滤波器之间的相关性关系；
S4，将提取出的每个训练样本的降维风格特征存储在一个文件中，并根据每个训练样本的图片地址构建图片索引；
图片查询
S5，将待检索图片输入VGG-19-FT中进行风格特征提取，并进行降维处理；
S6，通过降维风格特征相似度比较方法,分别计算带检索图片的降维风格特征与图片索引内每个降维风格特征的相似度距离，并将相似度距离最近的降维风格特征所对应的图片的索引号作为结果返回给给定图片库，优选的，相似度距离为欧式距离；
S7，根据获得的索引号查找给定图片库，返回相似图片集。
步骤3中，将给定图片库的训练样本依次输入VGG-19-FT中提取风格特征，经过提取的图像风格特征有4096维，相对于一些高维度的特征而言不算高，但是由于实际图像检索中图像库的数量巨大，这种维度大小仍然会降低系统性能，所以还是要降低维度。
具体的，机器学习中常采用的四大降维方位包括主成分分析算法(PrincipalComponent Analysis, PCA)、线性判别分析(Linear Discriminant Analysis, LDA)、局部线性嵌入(Locally linear embedding, LLE)、拉普拉斯特征映射(LaplacianEigenmaps)，优选的，本发明采用PCA主成分分析算法进行降维操作。
由于深层神经网络中越接近输入层的特征具备越高的普适性，越接近输出层的特征越具备针对某一数据集的特殊性。因此本发明在迁移学习中保留原始VGG-19参数集中的前16层的参数，而只重新训练后3层的参数。这样既可以充分利用原始参数集的普适性参数，又可以经过重新训练获得针对给定图片库的特殊性参数。
由于神经网络的特性，特定层的层级越高，所提取的风格特征越接近图像的整体特征；特定层的层级越低，所提的风格特征越接近图像的细节特征，如颜色、纹理等。
因此，在图像检索中，若采用低层神经网络的格拉姆矩阵描述图像的风格特征，则查询到的相似图片会在颜色、纹理等细节特征上和待查询图片相似，图像检索的查全率高；若采用高层神经网络的格拉姆矩阵描述图像的风格特征，则查询到的相似图片会在整体特征上和待查询图片相似，图像检索的查准率高；具体采用低层神经网络的进行图片检索还是采用高层神经网络进行图片检索，则需要根据对检索结果的查全率要求或查准率要求进行选取。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (4)

1.一种基于风格特征的图像检索方法，其特征在于，包括以下步骤：
搭建平台
S1，利用基于Theano的框架Keras搭建处理平台；
构建图片索引
S2，大规模图像数据集ImageNet上训练一个卷积神经网络VGG-19，并使用给定图片库的训练样本对VGG-19进行参数微调，得到迁移学习后的卷积神经网络，记为VGG-19-FT；
S3，将给定图片库的训练样本依次输入VGG-19-FT中提取风格特征，并对提取出的风格特征进行降维处理，获得降维风格特征；
S4，将提取出的每个训练样本的降维风格特征存储在一个文件中，并根据每个训练样本的图片地址构建图片索引；
图片查询
S5，将待检索图片输入VGG-19-FT中进行风格特征提取，并进行降维处理；
S6，通过降维风格特征相似度比较方法,分别计算带检索图片的降维风格特征与图片索引内每个降维风格特征的相似度距离，并将相似度距离最近的降维风格特征所对应的图片的索引号作为结果返回给给定图片库；
S7，根据获得的索引号查找给定图片库，返回相似图片集。
2.根据权利要求1所述的基于风格特征的图像检索方法，其特征在于：计算VGG-19-FT特定层的各个滤波器之间的相关性关系，生成格拉姆矩阵来描述图像的风格特征。
3.根据权利要求2所述的基于风格特征的图像检索方法，其特征在于：特定层的层级越高，所提取的风格特征越接近图像的整体特征；特定层的层级越低，所提的风格特征越接近图像的细节特征。
4.根据权利要求1或2或3所述的基于风格特征的图像检索方法，其特征在于：VGG-19包括16个卷积层和3个全连接层，迁移学习时保留原始VGG-19参数集的前16层参数，而只重新训练后3层的参数。
CN201710523175.4A 2017-06-30 2017-06-30 基于风格特征的图像检索方法 Active CN107391599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710523175.4A CN107391599B (zh) 2017-06-30 2017-06-30 基于风格特征的图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710523175.4A CN107391599B (zh) 2017-06-30 2017-06-30 基于风格特征的图像检索方法

Publications (2)

Publication Number Publication Date
CN107391599A true CN107391599A (zh) 2017-11-24
CN107391599B CN107391599B (zh) 2021-01-12

Family

ID=60334647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710523175.4A Active CN107391599B (zh) 2017-06-30 2017-06-30 基于风格特征的图像检索方法

Country Status (1)

Country Link
CN (1) CN107391599B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470209A (zh) * 2018-03-27 2018-08-31 北京工业大学 一种基于格拉姆矩阵正则化的卷积神经网可视化方法
CN109190641A (zh) * 2018-08-29 2019-01-11 哈尔滨理工大学 一种基于lda和迁移学习的宫颈细胞特征提取方法
CN109947976A (zh) * 2019-01-22 2019-06-28 湖南城市学院 分析中国传统元素在现代美术设计中的体现系统及方法
CN110516099A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663092A (zh) * 2012-04-11 2012-09-12 哈尔滨工业大学 一种基于服装组图的风格元素挖掘和推荐方法
US20130129210A1 (en) * 2010-11-02 2013-05-23 Sk Planet Co., Ltd. Recommendation system based on the recognition of a face and style, and method thereof
CN104346456A (zh) * 2014-10-31 2015-02-11 海南大学 基于空间依赖性度量的数字图像多语义标注方法
US20160260030A1 (en) * 2013-01-18 2016-09-08 International Business Machines Corporation Transductive lasso for high-dimensional data regression problems
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106886599A (zh) * 2017-02-28 2017-06-23 北京京东尚科信息技术有限公司 图像检索方法以及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130129210A1 (en) * 2010-11-02 2013-05-23 Sk Planet Co., Ltd. Recommendation system based on the recognition of a face and style, and method thereof
CN102663092A (zh) * 2012-04-11 2012-09-12 哈尔滨工业大学 一种基于服装组图的风格元素挖掘和推荐方法
US20160260030A1 (en) * 2013-01-18 2016-09-08 International Business Machines Corporation Transductive lasso for high-dimensional data regression problems
CN104346456A (zh) * 2014-10-31 2015-02-11 海南大学 基于空间依赖性度量的数字图像多语义标注方法
CN106709532A (zh) * 2017-01-25 2017-05-24 京东方科技集团股份有限公司 图像处理方法和装置
CN106886599A (zh) * 2017-02-28 2017-06-23 北京京东尚科信息技术有限公司 图像检索方法以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHIN MATSUO ET AL.: "CNN-based Style Vector for Style image Retrieval", 《ICMR "16: PROCEEDINGS OF THE 2016 ACM ON INTERNATIONAL CONFERENCE ON MULTIMEDIA RETRIEVAL》 *
李彦冬等: "卷积神经网络研究综述", 《计算机应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470209A (zh) * 2018-03-27 2018-08-31 北京工业大学 一种基于格拉姆矩阵正则化的卷积神经网可视化方法
CN108470209B (zh) * 2018-03-27 2021-06-04 北京工业大学 一种基于格拉姆矩阵正则化的卷积神经网可视化方法
CN109190641A (zh) * 2018-08-29 2019-01-11 哈尔滨理工大学 一种基于lda和迁移学习的宫颈细胞特征提取方法
CN109947976A (zh) * 2019-01-22 2019-06-28 湖南城市学院 分析中国传统元素在现代美术设计中的体现系统及方法
CN109947976B (zh) * 2019-01-22 2023-05-16 湖南城市学院 分析中国传统元素在现代美术设计中的体现系统及方法
CN110516099A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置
US11210563B2 (en) 2019-08-27 2021-12-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for processing image

Also Published As

Publication number Publication date
CN107391599B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
Zhuge et al. Salient object detection via integrity learning
US20210232813A1 (en) Person re-identification method combining reverse attention and multi-scale deep supervision
Yi et al. Learning face representation from scratch
Liu et al. Contextual hashing for large-scale image search
Xie et al. Sketch‐to‐design: Context‐based part assembly
Reddy Mopuri et al. Object level deep feature pooling for compact image representation
CN107391599A (zh) 基于风格特征的图像检索方法
Ahmad et al. Saliency-weighted graphs for efficient visual content description and their applications in real-time image retrieval systems
Yu et al. Stratified pooling based deep convolutional neural networks for human action recognition
CN106844518B (zh) 一种基于子空间学习的不完整跨模态检索方法
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
Avrithis et al. Feature map hashing: Sub-linear indexing of appearance and global geometry
Ma et al. Spatial-content image search in complex scenes
Papagiannopoulou et al. Concept-based image clustering and summarization of event-related image collections
Li et al. BViT: Broad attention-based vision transformer
CN107526772A (zh) Spark平台下基于SURF‑BIT算法的图像检索系统
Rao et al. Deep learning-based image retrieval system with clustering on attention-based representations
CN109857886A (zh) 一种基于极小极大值博弈理论视图逼近的三维模型检索方法
Gong et al. Multi-feature fusion network for facial expression recognition in the wild
CN111506754B (zh) 图片检索方法、装置、存储介质及处理器
Nie et al. Multi-scale CNNs for 3D model retrieval
Voronin et al. Action recognition using the 3D dense microblock difference
Peng et al. Deepcamera: A unified framework for recognizing places-of-interest based on deep convnets
Gupta et al. Comparative Analysis of Image Retrieval Techniques in Cyberspace
Rajkumar et al. Image retrieval system using residual neural network in a distributed environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant