CN111191058B - 一种图片检索方法 - Google Patents

一种图片检索方法 Download PDF

Info

Publication number
CN111191058B
CN111191058B CN201911380213.0A CN201911380213A CN111191058B CN 111191058 B CN111191058 B CN 111191058B CN 201911380213 A CN201911380213 A CN 201911380213A CN 111191058 B CN111191058 B CN 111191058B
Authority
CN
China
Prior art keywords
picture
calculation
hash codes
dwt
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911380213.0A
Other languages
English (en)
Other versions
CN111191058A (zh
Inventor
魏志强
殷波
苏育挺
聂为之
刘安安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Marine Science And Technology Center
Original Assignee
Qingdao Marine Science And Technology Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Marine Science And Technology Center filed Critical Qingdao Marine Science And Technology Center
Priority to CN201911380213.0A priority Critical patent/CN111191058B/zh
Publication of CN111191058A publication Critical patent/CN111191058A/zh
Application granted granted Critical
Publication of CN111191058B publication Critical patent/CN111191058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种图片检索方法，对处理图片分别进行DCT计算和DWT计算得到第一组哈希码，旋转处理图片分别在90°、180°和270°上进行DCT计算和DWT计算得到第二组哈希码、第三组哈希码和第四组哈希码，基于四组哈希码计算并构建NB+树，并组合成为随机森林模型，使用随机森林模型进行图片检索。使用了分块DCT和DWT技术来构造图片的感知哈希码，加速了哈希码的构造过程；依据不同旋转角度的图片来构造决策树，提高了图片检索的准确性；使用了归一化的B+树将高维输入向量减少至一维，显著改善了时间复杂度；使用随机森林模型，结合图片旋转、DCT和DWT的哈希码等多个决策来提高检索的速度和性能。

Description

一种图片检索方法
技术领域
本发明属于图像检索技术领域，具体地说，是涉及一种图片检索方法。
背景技术
随着图形硬件、计算机技术与互联网技术的高速发展，大规模的图片数据已经广泛应用于人类的各种生产活动之中，随之带来的问题是：如何加快图像检索速度，对海量图片数据进行高效的检索。
目前的图片检索技术主要分为两大类，一类是基于文本的图片检索，即利用文本标注的方式去描述图片信息，主要是通过人工去给图片加上标签，此种图片检索技术实质上是文字检索的方法，同时此类方法也带来一些弊病：人工标注主观性强、消耗大量人力物力等；另一类是基于内容的图片检索，该类方法利用图片的一些内容特征来进行检索，如图片的颜色、纹理、布局等信息，目前已取得了一些进展。另外，较为复杂的基于内容的图片检索开始使用神经网络提供的高维度的特征向量，在检索准确度方面也取得了进步。
基于内容的图片检索技术之规模，通常会远大于纯粹的文字标签信息，此时可以借助哈希算法；哈希算法可将高维度特征向量映射成紧凑而表达能力较强的二进制码，局部敏感哈希算法可以用于海量高维数据的近似最近邻快速查找，可以将相似度较高的特征向量映射成汉明距离较小的二进制码，可以极大地加速图片相似度计算过程。目前局部敏感哈希算法已在基于内容的图像检索领域取得了较大的发展，如：Google、Baidu、Bing、Yahoo等众多搜索引擎都已推出了自己的搜图引擎。
海量图片相似度计算问题一直是基于内容的图像检索领域的重要问题之一，即使使用局部敏感哈希算法可以极大地加速检索过程，但当数据量指数式上升时，依旧会严重地影响到检索效率，同时也会需要相当的硬件支持。当然也可以通过使用简单的浅层图片特征信息来提升检索速度，但此时检索速度的提升是以降低检索准确度为代价的。可以说目前还尚未拥有一个两全其美的解决方案。
大规模图片检索目前面临的挑战主要是：
1)如何对数据库中图片进行适当的描述并提取出区分度较高的特征，这将直接影响到对特征相似性的度量和检索结果的准确与否；
2)以在保证一定的检索准确度的前提下，还要考虑计算量和计算复杂度的问题，将检索速度控制在可以人们接受的范围内；
3)特别的，当图片数据量达到一定量级时，图片特征的复杂程度会极大地影响检索时间，同时也会对硬件提出更高的要求。
发明内容
本发明的目的在于提供一种图片检索方法，基于随机森林和图像感知哈希的图片检索框架，具有速度快、性能高等优点，并且该框架随着数据库的规模增加而保持快速缩放，使得海量图片检索更加高效。
本发明采用以下技术方案予以实现：
提出一种图片检索方法，包括：获取处理图片；对所述处理图片分别进行DCT计算和DWT计算得到第一组哈希码；旋转所述处理图片分别在90°、180°和270°上进行DCT计算和DWT计算得到第二组哈希码、第三组哈希码和第四组哈希码；基于四组哈希码计算并构建NB+树，并组合成为随机森林模型；使用所述随机森林模型进行图片检索。
进一步的，在获取处理图片之前，所述方法还包括：对图片进行预处理得到所述处理图片；所述预处理包括：转换为灰度图，以及以设定重叠率对图片进行分割。
进一步的，对所述处理图片分别进行DCT计算和DWT计算得到第一组哈希码，具体包括：对处理图片进行DCT和DWT变换，将所得到的除最低频率之外的所有低频系数求均值；基于得到哈希码；其中，Ai为第i块被分割的图的低频系数的平均值，m为各块低频系数平均值的中位数。
进一步的，基于四组哈希码计算并构建NB+树，并组合成为随机森林模型，具体为：对DWT计算得到的四组哈希码使用Kronecker张量积算子进行计算并得到Key值；对DCT计算得到的四组哈希码分别采样得到Key值；将得到的Key值插入到相应的NB+树中；用各组NB+树组合成为随机森林。
进一步的，将得到的Key值插入到相应的NB+树中，具体为：将Key值插入到NB+树的内部节点；以及，将哈希码插入到NB+树的叶节点。
进一步的，用各组NB+树组合成为随机森林，具体包括：使用DWT计算的哈希码的高位部分和低位部分构成2棵树；以及，使用四组哈希码构成4棵树。
进一步的，使用所述随机森林模型进行图片检索，具体包括：计算图片的哈希码和Key值；对随机森林中的各组内决策树的结果进行多数检测户取并集，得到检索结果。
进一步的，图片进行分割，具体为：对转换为灰度图的图片进行分割，分块数量分别为32块和128块；则对所述处理图片分别进行DCT计算和DWT计算得到第一组哈希码，具体为：对32块分割图进行DCT计算；以及，对128块分割图进行DWT计算。
与现有技术相比，本发明的优点和积极效果是：本发明提出的图片检索方法，使用了分块DCT技术和分块DWT技术来构造图片的感知哈希码，加速了哈希码的构造过程；将图片进行四个角度的旋转，依据不同旋转角度的图片来构造决策树，提高了图片检索的准确性；使用了归一化的B+树，也即NB+树，将高维输入向量减少至一维，显著改善了时间复杂度；使用随机森林模型，结合图片旋转、DCT和DWT的哈希码等多个决策来提高检索的速度和性能。
结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。
附图说明
图1为本发明提出的图片检索方法的流程图；
图2为基于本发明提出的图片检索方法中哈希码构造和Key值计算示意图；
图3为本发明提出的图片检索方法中构造的随机森林模型示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的说明。
下面以一个具体的实施例对本发明提出的图片检索方法做出详细说明。
首先是关于数据库索引构建的过程，也是图片检索的重要步骤之一，当给定待检索的数据库时，需要对数据库中数据进行处理和建立索引，使其可以量化并作为衡量检索效果的标准。如图1所示，
步骤S11：将图片进行预处理得到处理图片。
将数据库中图片进行预处理，调整图片格式、大小、比例，并对每张图片做灰度图转换。
对灰度图进行分割，分割时保证块与块之间具有设定重叠率，例如50％的重叠率，以减少分块带来的边界效应。分块大小由期望哈希码长度决定。
步骤S12：对处理图片分别进行DCT(离散余弦变换)计算和DWT(离散小波变换)计算得到第一组哈希码。
将灰度图分割为32块，对32块图进行分块DCT变换，每块得到变换后的低频系数，将除最低频率外的低频系数求取平均并连接成向量，再求取各个块低频系数平均值的中位数m，此时一张图片的哈希码可被如下算式计算为：
其中，Ai为第i块被分割的图的低频系数的平均值；将所有块的f(.)值连接起来即为期望得到的第一哈希码。
再将灰度图分割为128块，对128块图进行分块DWT变换，按照上述方式得到第二哈希码。
第一哈希码和第二哈希码组成第一组哈希码。
步骤S13：旋转处理图片分别在90°、180°和270°上进行DCT计算和DWT计算得到第二组哈希码、第三组哈希码和第四组哈希码。
在将图片旋转90°、180°和270°的位置上，分别按照步骤S12的方式，得到第二组哈希码、第三组哈希码和第四组哈希码。
步骤S14：基于四组哈希码计算并构建NB+树，并组合成为随机森林模型。
进行DWT变换得到的128bits哈希码，记为hIRn，n∈{1，2，3，4}，需要据此来计算Key值，用于构建NB+树，所依据公式如下：
其中为Kronecker张量积算子，Ψ(.)和Φ(.)分别为提取向量上半部分和下半部分的函数，en是相应的向量空间的生成器集，计算过程示意图如图2所示。
对于步骤S13中得到的4组32bits的哈希码，取哈希码中间16bits作为Key值，记为hId1，hId2，hId3，hId4，用于构建NB+树。
将这些Key值插入到相应的NB+树中，此时，NB+树的内部节点存储Key值，叶节点存储实际哈希码数据。
最终构建的随机森林模型结构如图3所示，随机森林模型由两部分组成，第一部分由HIh和HIl构成的两棵NB+树组成，对应于DWT计算的哈希码的高位部分和低位部分，Key值索引大小为128bits；第二部分由hId1，hId2，hId3，hId4构成的四棵NB+树组成，Key值索引大小为32bits。
最终形成的随机森林模型考虑了图像旋转，并且利用基于DCT和DWT技术的感知哈希码的多个决策树来提高速度和性能。
步骤S15：使用随机森林模型进行图片检索。
为了得到待检索图片的相似图片的排序列表，本实施例中主要利用了NB+树的叶节点是有序的这一特征，即在把索引插入NB+树之后，树在最后一级的叶节点可以看作是一个有序列表。
本实施例将对如何使用随机森林来进行检索进行说明，具体的，第一步：对待检索图片计算哈希码和相应的key值；第二步：给定一个查询半径r，即查询范围上限和下限为：
其中Qindex为待查询图片的Key值，R＝r。对应于输入HI□和HIl的决策树T1和T2，将得到两个候选列表L1和L2，取两者的并集得到随机森林第一部分的候选列表，即L＝L1∪L2。这里的R的范围足够大，同时T1和T2考虑了整段的哈希码，以保证了所有相似的图片会出现在L中。
第三步：获得随机森林第二部分的四个决策树t1，t2，t3，t4的四个候选列表lt1，lt2，lt3，lt4，然后使用多数检测来将列表中多次出现的图片存储在一个新的列表Ls中。
最终的检索结果可表示为：
应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (1)

1.一种图片检索方法，其特征在于，包括：
对图片进行预处理得到处理图片；所述预处理包括：转换为灰度图，以及以设定重叠率对图片进行分割；对图片进行分割，具体为：对转换为灰度图的图片进行分割，分块数量分别为32块和128块；
获取处理图片；
对所述处理图片分别进行DCT计算和DWT计算得到第一组哈希码；具体包括：对处理图片进行DCT和DWT变换，其中，对32块分割图进行DCT计算；以及，对128块分割图进行DWT计算；将所得到的除最低频率之外的所有低频系数求均值；基于得到哈希码；其中，/>为第/>块被分割的图的低频系数的平均值，m为各块低频系数平均值的中位数；
旋转所述处理图片分别在90°、180 °和270°上进行DCT计算和DWT计算得到第二组哈希码、第三组哈希码和第四组哈希码；
基于四组哈希码计算并构建NB+树，并组合成为随机森林模型；具体为：对进行DWT计算得到的四组128bits的哈希码使用Kronecker张量积算子和/>进行计算并得到Key值，其中，为Kronecker张量积算子，/>和/>分别为提取向量上半部分和下半部分的函数，/>是相应的向量空间的生成器集；对进行DCT计算得到的四组32bits的哈希码取中间16bits作为Key值，记为/>，/>，/>，/>；将得到的Key值插入到相应的NB+树中，其中，NB+树的内部节点存储Key值，NB+树的叶节点存储哈希码数据；用各组NB+树组合成为随机森林，随机森林模型由两部分组成，第一部分由/>和/>构成的两棵NB+树组成，对应于DWT计算的哈希码的高位部分和低位部分，Key值索引大小为128bits，第二部分由/>，/>，/>，构成的四棵NB+树组成，Key值索引大小为32bits；
使用所述随机森林模型进行图片检索；具体包括：对待检索图片计算哈希码和相应的Key值，给定一个查询范围上限和下限/>，其中/>为待查询图片的Key值，R为查询半径；对应于输入/>和/>的决策树/>和/>，得到两个候选列表/>和/>，取两者的并集得到随机森林第一部分的候选列表/>；对应于输入的四个决策树/>，/>，/>，/>，得到四个候选列表/>，/>，/>，/>，使用多数检测将列表中多次出现的图片存储在一个新的列表/>中；得到的检索结果表示为。
CN201911380213.0A 2019-12-27 2019-12-27 一种图片检索方法 Active CN111191058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911380213.0A CN111191058B (zh) 2019-12-27 2019-12-27 一种图片检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911380213.0A CN111191058B (zh) 2019-12-27 2019-12-27 一种图片检索方法

Publications (2)

Publication Number Publication Date
CN111191058A CN111191058A (zh) 2020-05-22
CN111191058B true CN111191058B (zh) 2023-08-29

Family

ID=70709542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911380213.0A Active CN111191058B (zh) 2019-12-27 2019-12-27 一种图片检索方法

Country Status (1)

Country Link
CN (1) CN111191058B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435485A (zh) * 2021-06-15 2021-09-24 北京百度网讯科技有限公司 图片检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239535A (zh) * 2017-05-31 2017-10-10 北京小米移动软件有限公司 相似图片检索方法及装置
CN108536827A (zh) * 2018-04-11 2018-09-14 南京理工大学 一种相似频谱图片搜索方法
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN110516100A (zh) * 2019-08-29 2019-11-29 武汉纺织大学 一种图像相似度的计算方法、系统、存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239535A (zh) * 2017-05-31 2017-10-10 北京小米移动软件有限公司 相似图片检索方法及装置
CN108536827A (zh) * 2018-04-11 2018-09-14 南京理工大学 一种相似频谱图片搜索方法
CN109166615A (zh) * 2018-07-11 2019-01-08 重庆邮电大学 一种随机森林哈希的医学ct图像存储与检索方法
CN110516100A (zh) * 2019-08-29 2019-11-29 武汉纺织大学 一种图像相似度的计算方法、系统、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhenjun Tang;Zhenjun Tang;《ICIC Express Letters》;全文 *

Also Published As

Publication number Publication date
CN111191058A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN108334574B (zh) 一种基于协同矩阵分解的跨模态检索方法
WO2017012491A1 (zh) 一种图像高维特征的相似比较方法及装置
CN106033426B (zh) 一种基于潜在语义最小哈希的图像检索方法
CN111428073B (zh) 一种深度监督量化哈希的图像检索方法
CN108984642B (zh) 一种基于哈希编码的印花织物图像检索方法
CN109166615B (zh) 一种随机森林哈希的医学ct图像存储与检索方法
Cui et al. Supervised discrete discriminant hashing for image retrieval
CN108763295B (zh) 一种基于深度学习的视频近似拷贝检索算法
WO2023108995A1 (zh) 向量相似度计算方法、装置、设备及存储介质
CN111782853B (zh) 基于注意力机制的语义图像检索方法
CN113836341B (zh) 基于无监督转换器平衡哈希的遥感图像检索方法
CN113656700A (zh) 基于多相似度一致矩阵分解的哈希检索方法
CN111191058B (zh) 一种图片检索方法
CN110110120B (zh) 一种基于深度学习的图像检索方法和装置
JP6368677B2 (ja) 写像学習方法、情報圧縮方法、装置、及びプログラム
CN117763185A (zh) 一种基于思考空间维度的哈希图像检索方法
Tian et al. Deep image retrieval of large-scale vessels images based on BoW model
CN110209895B (zh) 向量检索方法、装置和设备
Prasomphan Toward Fine-grained Image Retrieval with Adaptive Deep Learning for Cultural Heritage Image.
CN117171393A (zh) 一种面向多模态检索的自适应半配对询问哈希方法
CN111914108A (zh) 基于语义保持的离散监督跨模态哈希检索方法
Ameur et al. Hybrid descriptors and weighted PCA-EFMNet for face verification in the wild
Wang et al. Fractal image encoding with flexible classification sets
CN110704575B (zh) 一种动态自适应二元层次词汇树图像检索方法
Wu et al. Similar image retrieval in large-scale trademark databases based on regional and boundary fusion feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266000 No.1 weiwenhai Road, Aoshan, Jimo, Qingdao, Shandong Province

Applicant after: Qingdao Marine Science and Technology Center

Address before: 266000 No.1 weiwenhai Road, Aoshan, Jimo, Qingdao, Shandong Province

Applicant before: QINGDAO NATIONAL LABORATORY FOR MARINE SCIENCE AND TECHNOLOGY DEVELOPMENT CENTER

GR01 Patent grant
GR01 Patent grant