CN109657084A - 一种基于图像处理的图书检索方法 - Google Patents

一种基于图像处理的图书检索方法 Download PDF

Info

Publication number
CN109657084A
CN109657084A CN201910011032.4A CN201910011032A CN109657084A CN 109657084 A CN109657084 A CN 109657084A CN 201910011032 A CN201910011032 A CN 201910011032A CN 109657084 A CN109657084 A CN 109657084A
Authority
CN
China
Prior art keywords
image
book
feature
checked
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910011032.4A
Other languages
English (en)
Inventor
徐军
王继霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201910011032.4A priority Critical patent/CN109657084A/zh
Publication of CN109657084A publication Critical patent/CN109657084A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图像处理的图书检索方法。包括以下几个步骤：1、对图书图像进行随机分类，分成待查询数据和要训练数据；2、用图像采集器采集图书页面图像并发送至图像预处理器；3、图像预处理器对图像进行灰度处理、去噪；4、构建去池化的深度卷积神经网络AlexNet模型，将每幅图像送入到该SPPC模型中进行特征提取，构建图像数据库；5、对待查询数据和图像数据库中的特征进行SimHash索引匹配，输出最相似性的检索结果。本发明采用的特征提取方法降低了对图片的要求，增加了特征提取精度，采用的相似性度量方法提升了索引速度，取得良好的图书检索效果。

Description

一种基于图像处理的图书检索方法
技术领域
本发明属于图像检索领域，具体为一种基于图像处理的图书检索方法。
背景技术
在大数据的当下时代，关于各大图书馆借阅图书时如何高效的、人性化的查找图书成为当下研究热点之一。
对于图像检索主要含有两大步骤：图像特征提取和图像的相似性度量。特征提取就是图像信息的提取，对图像上的点分析和变换，以表示图像的特征的过程及方法。目前，特征提取方法有基于文本和基于内容的，基于文本的特征提取需要人们手动标注图像的关键字，这种方法耗时长且具有主观色彩，不适用于高效检索图书要求。相似性度量是指两个图像之间的相似程度的一种度量，两图像越相似，它们的相似性度量也越大。传统的计算特征向量距离的方式和Hash索引算法难于查询大数据问题，效率低。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于图像处理的图书检索方法。
本发明所采用的技术方案是：一种基于图像处理的图书检索方法，包括以下步骤：
1、对图书图像进行随机分类，分成待查询数据和要训练数据；
2、用图像采集器采集图书页面图像并发送至图像预处理器；
3、图像预处理器对图像进行灰度处理、去噪；
4、构建去池化的深度卷积神经网络AlexNet模型，将每幅图像送入到该SPPC模型中进行特征提取，构建图像数据库；
5、对待查询数据和图像数据库中的特征进行SimHash索引匹配，输出最相似性的检索结果。
优选的，所述步骤4中图像特征提取方法如下：
a、将待查询的图书图像导入SPPC模型中进行选择性搜索，划分为2000个候选窗口；
b、将待查询的图书图像输入SPPC模型，在卷积层进行一次性特征提取，得到全局特征图；
c、在全局特征图中找到各个候选窗口，其步骤是建立二维坐标系，用(a,b)表示全局特征图上的点，(x,y)表示候选窗口长得点，设S为CNN中的所有步长的乘积，对坐标变换有：
d、对各个候选窗口采用金字塔池化，提取固定长度的特征向量，其步骤是对一张原图按照三种不同大小的刻度(4*4,2*2,1*1)，提取一个固定大小的21维特征向量；
e、将此固定特征向量输入至全连接层输出结果作为查询图书的深度特征。
优选的，所述步骤5中图像相似性度量方法如下：
a、对每个图书的深度特征向量分配权重wi，通过hash函数计算各个特征向量的hash值，编制成0和1的6位签名；
b、在hash值的基础上，给所有特征向量进行加权，即W＝Hash*weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘；
c、将上述各个特征向量的加权结果累加，变成一个序列串；
d、通过SimHash函数对序列串计算SimHash值，如果大于0则置1，否则置0，实现降维；
e、计算查询图书图像SimHash值与图像数据库中数据的汉明距离，从而判定相似图书，输出索引结果。
与现有技术相比，本发明的有益效果是：
本发明采用的去池化的深度卷积神经网络AlexNet模型提取特征能使得任意大小的特征图转换成固定大小的特征向量；采用SimHash算法进行相似性度量可以快速的处理大数据索引。
附图说明
图1图书图像检索流程图
图2SimHash索引流程图
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。
实施例一：
请参阅图1，本发明提供如下技术方案：一种基于图像处理的图书检索方法，包括以下步骤：
1、对图书图像进行随机分类，分成待查询数据和要训练数据；
2、用图像采集器采集图书页面图像并发送至图像预处理器；
3、图像预处理器对图像进行灰度处理、去噪；
4、构建去池化的深度卷积神经网络AlexNet模型，将每幅图像送入到该SPPC模型中进行特征提取，构建图像数据库；
5、对待查询数据和图像数据库中的特征进行SimHash索引匹配，输出最相似性的检索结果。
本实例中，步骤4中图像特征提取方法如下：
a、将待查询的图书图像导入SPPC模型中进行选择性搜索，划分为2000个候选窗口；
b、将待查询的图书图像输入SPPC模型，在卷积层进行一次性特征提取，得到全局特征图；
c、在全局特征图中找到各个候选窗口，其步骤是建立二维坐标系，用(a,b)表示全局特征图上的点，(x,y)表示候选窗口长得点，设S为中的所有步长的乘积，对坐标变换有：
d、对各个候选窗口采用金字塔池化，提取固定长度的特征向量，其步骤是对一张原图按照三种不同大小的刻度(4*4,2*2,1*1)，提取一个固定大小的21维特征向量；
e、将此固定特征向量输入至全连接层输出结果作为查询图书的深度特征。
本发明中的图像特征提取方法能使任意大小的特征图转换成固定大小的特征向量，增强图书检索的灵活性。
实施例二：
本发明提供如下技术方案：一种基于图像处理的图书检索方法，包括以下步骤：
1、对图书图像进行随机分类，分成待查询数据和要训练数据；
2、用图像采集器采集图书页面图像并发送至图像预处理器；
3、图像预处理器对图像进行灰度处理、去噪；
4、构建去池化的深度卷积神经网络AlexNet模型，将每幅图像送入到该SPPC模型中进行特征提取，构建图像数据库；
5、对待查询数据和图像数据库中的特征进行SimHash索引匹配，输出最相似性的检索结果。
本发明中，步骤4中图像特征提取方法如下：
a、将待查询的图书图像导入SPPC模型中进行选择性搜索，划分为2000个候选窗口；
b、将待查询的图书图像输入SPPC模型，在卷积层进行一次性特征提取，得到全局特征图；
c、在全局特征图中找到各个候选窗口，其步骤是建立二维坐标系，用(a,b)表示全局特征图上的点，(x,y)表示候选窗口长得点，设S为中的所有步长的乘积，对坐标变换有：
d、对各个候选窗口采用金字塔池化，提取固定长度的特征向量，其步骤是对一张原图按照三种不同大小的刻度(4*4,2*2,1*1)，提取一个固定大小的21维特征向量；
e、将此固定特征向量输入至全连接层输出结果作为查询图书的深度特征。
本发明中的图像特征提取方法能使任意大小的特征图转换成固定大小的特征向量，增强图书检索的灵活性。
本实例中，步骤5中图像相似性度量方法如下：
a、对每个图书的深度特征向量分配权重wi，通过hash函数计算各个特征向量的hash值，编制成0和1的6位签名；
b、在hash值的基础上，给所有特征向量进行加权，即W＝Hash*weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘；
c、将上述各个特征向量的加权结果累加，变成一个序列串；
d、通过SimHash函数对序列串计算SimHash值，如果大于0则置1，否则置0，实现降维；
e、计算查询图书图像SimHash值与图像数据库中数据的汉明距离，从而判定相似图书，输出索引结果。
本发明采用SimHash算法进行相似性度量可以快速的处理大数据索引。
综上所述，本发明中的图像特征提取方法能使任意大小的特征图转换成固定大小的特征向量，增强图书检索的灵活性，采用SimHash算法进行相似性度量可以快速的处理大数据索引。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于图像处理的图书检索方法，其特征在于：包括以下步骤：
1、对图书图像进行随机分类，分成待查询数据和要训练数据；
2、用图像采集器采集图书页面图像并发送至图像预处理器；
3、图像预处理器对图像进行灰度处理、去噪；
4、构建去池化的深度卷积神经网络AlexNet模型，将每幅图像送入到该SPPC模型中进行特征提取，构建图像数据库；
5、对待查询数据和图像数据库中的特征进行SimHash索引匹配，输出最相似性的检索结果。
2.根据权利要求书＜1＞所述的一种基于图像处理的图书检索方法，其特征在于：所述步骤4中图像特征提取方法如下：
a、将待查询的图书图像导入SPPC模型中进行选择性搜索，划分为2000个候选窗口；
b、将待查询的图书图像输入SPPC模型，在卷积层进行一次性特征提取，得到全局特征图；
c、在全局特征图中找到各个候选窗口，其步骤是建立二维坐标系，用(a,b)表示全局特征图上的点，(x,y)表示候选窗口长得点，设S为中的所有步长的乘积，对坐标变换有：
d、对各个候选窗口采用金字塔池化，提取固定长度的特征向量，其步骤是对一张原图按照三种不同大小的刻度(4*4,2*2,1*1)，提取一个固定大小的21维特征向量；
e、将此固定特征向量输入至全连接层输出结果作为查询图书的深度特征。
3.根据权利要求书＜1＞所述的一种基于图像处理的图书检索方法，其特征在于：所述步骤5中图像相似性度量方法如下：
a、对每个图书的深度特征向量分配权重wi，通过hash函数计算各个特征向量的hash值，编制成0和1的6位签名；
b、在hash值的基础上，给所有特征向量进行加权，即W＝Hash*weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘；
c、将上述各个特征向量的加权结果累加，变成一个序列串；
d、通过SimHash函数对序列串计算SimHash值，如果大于0则置1，否则置0，实现降维；
e、计算查询图书图像SimHash值与图像数据库中数据的汉明距离，从而判定相似图书，输出索引结果。
CN201910011032.4A 2019-01-07 2019-01-07 一种基于图像处理的图书检索方法 Pending CN109657084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910011032.4A CN109657084A (zh) 2019-01-07 2019-01-07 一种基于图像处理的图书检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910011032.4A CN109657084A (zh) 2019-01-07 2019-01-07 一种基于图像处理的图书检索方法

Publications (1)

Publication Number Publication Date
CN109657084A true CN109657084A (zh) 2019-04-19

Family

ID=66118917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910011032.4A Pending CN109657084A (zh) 2019-01-07 2019-01-07 一种基于图像处理的图书检索方法

Country Status (1)

Country Link
CN (1) CN109657084A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823220A (zh) * 2020-07-07 2020-10-27 陕西科技大学 一种智能取书机器人及其运行方法
CN114238553A (zh) * 2020-09-09 2022-03-25 福建天泉教育科技有限公司 一种文档查重方法及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887457A (zh) * 2010-07-02 2010-11-17 杭州电子科技大学 基于内容的复制图像检测方法
CN104636940A (zh) * 2013-11-07 2015-05-20 深圳市腾讯计算机系统有限公司 广告投放方法及系统、广告筛选方法及装置、服务器
CN105589938A (zh) * 2015-12-13 2016-05-18 公安部第三研究所 基于fpga的图像检索系统及检索方法
CN106570192A (zh) * 2016-11-18 2017-04-19 广东技术师范学院 一种基于深度学习的多视图图像检索方法
CN108446312A (zh) * 2018-02-06 2018-08-24 西安电子科技大学 基于深度卷积语义网的光学遥感图像检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887457A (zh) * 2010-07-02 2010-11-17 杭州电子科技大学 基于内容的复制图像检测方法
CN104636940A (zh) * 2013-11-07 2015-05-20 深圳市腾讯计算机系统有限公司 广告投放方法及系统、广告筛选方法及装置、服务器
CN105589938A (zh) * 2015-12-13 2016-05-18 公安部第三研究所 基于fpga的图像检索系统及检索方法
CN106570192A (zh) * 2016-11-18 2017-04-19 广东技术师范学院 一种基于深度学习的多视图图像检索方法
CN108446312A (zh) * 2018-02-06 2018-08-24 西安电子科技大学 基于深度卷积语义网的光学遥感图像检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
V1_VIVIAN: ""SPP-Net论文详解"", 《HTTPS://BLOG.CSDN.NET/V1_VIVIAN/ARTICLE/DETAILS/73275259》 *
V1_VIVIAN: ""SPP-Net论文详解"", 《HTTPS://BLOG.CSDN.NET/V1_VIVIAN/ARTICLE/DETAILS/73275259》, 18 June 2017 (2017-06-18), pages 1 - 6 *
米扑博客: ""文档去重算法：SimHash"", 《HTTPS://BLOG.MIMVP.COM/ARTICLE/25636.HTML》 *
米扑博客: ""文档去重算法：SimHash"", 《HTTPS://BLOG.MIMVP.COM/ARTICLE/25636.HTML》, 21 August 2018 (2018-08-21), pages 3 - 12 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823220A (zh) * 2020-07-07 2020-10-27 陕西科技大学 一种智能取书机器人及其运行方法
CN114238553A (zh) * 2020-09-09 2022-03-25 福建天泉教育科技有限公司 一种文档查重方法及终端

Similar Documents

Publication Publication Date Title
CN107256246B (zh) 基于卷积神经网络的印花织物图像检索方法
Xia et al. Multiview spectral embedding
CN104036012B (zh) 字典学习、视觉词袋特征提取方法及检索系统
WO2019071754A1 (zh) 一种基于深度学习的图像隐私感知方法
CN105912643A (zh) 一种基于内容改进型均值哈希的图像检索方法
CN105022752B (zh) 图像检索方法与装置
CN105447190B (zh) 基于卷积神经网络的图片检索方法、装置和服务器
CN105243154B (zh) 基于显著点特征和稀疏自编码的遥感图像检索方法及系统
CN110472652B (zh) 基于语义引导的少量样本分类方法
CN108733801B (zh) 一种面向数字人文的移动视觉检索方法
CN107301643B (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN104504406B (zh) 一种快速高效的近似重复图像匹配方法
CN109871454A (zh) 一种鲁棒离散监督跨媒体哈希检索方法
CN112132145A (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN109657084A (zh) 一种基于图像处理的图书检索方法
CN106951509B (zh) 多标签核化典型相关分析检索方法
Khalaf et al. Robust partitioning and indexing for iris biometric database based on local features
CN104216882B (zh) 文件标注方法及装置
CN104331717B (zh) 一种整合特征字典结构与视觉特征编码的图像分类方法
Gao et al. Efficient view-based 3-D object retrieval via hypergraph learning
CN109145140A (zh) 一种基于手绘轮廓图匹配的图像检索方法及系统
CN110490210B (zh) 一种基于紧致通道间t采样差分的彩色纹理分类方法
CN110705572B (zh) 一种图像识别方法
CN105844299B (zh) 一种基于词袋模型的图像分类方法
CN106529601A (zh) 基于稀疏子空间多任务学习的图像分类预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190419