CN107402974B - 基于多种二进制HoG描述符的草图检索方法 - Google Patents

基于多种二进制HoG描述符的草图检索方法 Download PDF

Info

Publication number
CN107402974B
CN107402974B CN201710528818.4A CN201710528818A CN107402974B CN 107402974 B CN107402974 B CN 107402974B CN 201710528818 A CN201710528818 A CN 201710528818A CN 107402974 B CN107402974 B CN 107402974B
Authority
CN
China
Prior art keywords
distance
sketch
values
input
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710528818.4A
Other languages
English (en)
Other versions
CN107402974A (zh
Inventor
唐金辉
王天齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201710528818.4A priority Critical patent/CN107402974B/zh
Publication of CN107402974A publication Critical patent/CN107402974A/zh
Application granted granted Critical
Publication of CN107402974B publication Critical patent/CN107402974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于多种二进制HoG描述符的草图检索方法，包括：对数据库中的图像提取边缘图像；基于PBHoG特征描述符对边缘图像及输入草图进行特征提取并存储；基于DBHoG的描述符对边缘图像及输入草图进行特征提取并存储；设置一种草图的图像掩码mask作为查询的约束条件，并基于汉明距离对输入草图和边缘图像的两种特征进行距离计算；将两种特征求得的距离进行归一化并相加，得到最终的MBHoG特征描述符结果，选择MBHoG中最小的前N个值对应的图像作为查询结果；将单一的RGB值作为输入，通过一种设置权值的方法，得到多种RGB值，并形成一个4096维的颜色直方图；根据颜色直方图，对步骤5中得到的前N张图像重新排序，并显示结果。

Description

基于多种二进制HoG描述符的草图检索方法
技术领域
本发明涉及一种特征提取和图像检索技术，特别是一种一种基于多种二进制HoG描述符的草图检索方法。
背景技术
图像检索是计算机视觉领域一项非常重要的课题。在信息时代高度发展的今天，网络上的图像数量越来越多，内容也越来越丰富，如何找到一个有效的图像检索方法是个重要的问题。基于文本的检索方法对图像内容的描述不够清晰，对数据库中的图像进行文本标注也是一项费时费力的工作，所以基于内容的检索方法开始渐渐出现。传统的以图搜索的方法以自然图像作为查询输入，但很多时候我们并没有可以作为输入的图像。随着可触摸智能设备的普及，使用手绘草图作为输入进行图像检索是一个不错的选择。大量的对图像特征的表示方法及有效的检索方法支撑着草图检索的发展，但为了更好的检索效果和检索效率，我们必须对现有方法进行改进或提出新的方法。我们提出了一种基于多种二进制HoG描述符的检索方法，以此解决草图检索中的内存占用、时效性和准确率的问题。
发明内容
本发明的目的在于提供一种基于多种二进制HoG描述符的草图检索方法，包括以下步骤：
步骤1，对数据库中的图像提取边缘图像；
步骤2，基于BHoG特征描述符得到一种PBHoG特征描述符对边缘图像及输入草图进行特征提取并存储；
步骤3，基于传统的HoG特征描述符得到一种DBHoG的描述符对边缘图像及输入草图进行特征提取并存储；
步骤4，设置一种草图的图像掩码mask作为查询的约束条件，并基于汉明距离对步骤2、步骤3输入草图和边缘图像的两种特征进行距离计算；
步骤5，将两种特征求得的距离进行归一化并相加，得到最终的MBHoG特征描述符结果，选择MBHoG中最小的前N个值对应的图像作为查询结果；
步骤6，将单一的RGB值作为输入，通过一种设置权值的方法，得到多种RGB值，并形成一个4096维的颜色直方图；
步骤7，根据颜色直方图，对步骤5中得到的前N张图像重新排序，并显示结果。
本发明在存储特征时，采用二进制编码进行存储，占用内存空间少，并为之后的检索方法提供便利；本发明在图像检索时采用二进制的mask做为输入草图的约束，保证了结果的有效性和广泛的适应性，并结合特征存储的方法，采用汉明距离作为距离准则；本方法将颜色特征作为查询的参数，采用将RGB值变换为渐变图的方法，保证查询结果的鲁棒性。
下面结合说明书附图对本发明做进一步描述。
附图说明
图1是本发明基于多种二进制HoG描述符的草图检索方法流程图。
图2是基于多种二进制HoG描述符的草图检索系统演示的效果图，其中(a)为一般查询结果，(b)为以黄色作为参数的结果。
具体实施方式
结合图1，一种基于多种二进制HoG描述符的草图检索方法，包括以下步骤：
步骤1，对数据库中的图像提取边缘图像；
步骤2，基于BHoG特征描述符得到一种PBHoG特征描述符对边缘图像及输入草图进行特征提取并存储；
步骤3，基于传统的HoG特征描述符得到一种DBHoG的描述符对边缘图像及输入草图进行特征提取并存储；
步骤4，设置一种草图的图像掩码mask作为查询的约束条件，并基于汉明距离对步骤2、步骤3输入草图和边缘图像的两种特征进行距离计算；
步骤5，将两种特征求得的距离进行归一化并相加，得到最终的MBHoG特征描述符结果，选择MBHoG中最小的前N个值对应的图像作为查询结果；
步骤6，将单一的RGB值作为输入，通过一种设置权值的方法，得到多种RGB值，并形成一个4096维的颜色直方图；
步骤7，根据颜色直方图，对步骤5中得到的前N张图像重新排序，并显示结果。
步骤1中采用StructuredForests algorithm进行边缘提取。
步骤2的具体过程为：
步骤2.1，对图像划分cell时采用6×6的划分方法，并将2×2的cell联合起来形成一个block；
步骤2.2，PBHoG在提取特征时，对每个cell中边缘像素的梯度方向划分为8个范围，并形成梯度方向直方图，在每个cell中提取幅值最大的两个方向的编码值作为特征；
步骤2.3，使用8位的循环二进制编码进行方向信息的存储。
所述步骤3的具体过程在于：
对于每个cell的梯度方向划分为8个范围，cell的梯度方向直方图先归一化到[0,0.8]的范围，再对每个范围用一个8位的二进制编码表示，编码方式为：
范围 编码 范围 编码
[0,0.05) 00000000 [0.45,0.55) 00011111
[0.05,0.15) 00000001 [0.55,0.65) 00111111
[0.15,0.25) 00000011 [0.65,0.75) 01111111
[0.25,0.35) 00000111 [0.75,0.8] 11111111
[0.35,0.45) 00001111
每个cell用8个8位的二进制编码表示，每个编码表示一个方向的梯度值作为特征。
所述步骤4中草图的图像掩码mask作为查询的约束条件的具体设置方法为：
若查询草图的某个cell中有边缘图像，则mask中相应位置的cell值设置为1；
若查询草图某个cell为空，则mask中相应位置的cell值设置为0。
步骤4中基于汉明距离对步骤2、步骤3输入草图和边缘图像的两种特征进行距离计算的具体过程如下：
(1)PBHoG距离计算公式如下：
Figure BDA0001338956740000041
Figure BDA0001338956740000042
其中，i和j分别为参与计算的cell的位置，d1是两个cell中具有最大梯度值的方向之间的距离，d2是两个cell中具有次大梯度值的方向之间的距离，AP为两个由2×2的cell组成的block之间的距离，D1是两张图像之间的PBHoG距离；
(2)DBHoG的计算公式如下：
Figure BDA0001338956740000043
Figure BDA0001338956740000044
其中，i和j分别为参与计算的cell的位置，d是在不使用mask的情况下两个cell之间的距离，AD是以mask为约束时两个cell之间的距离，D2是两张图像之间的DBHoG距离。
步骤6的具体过程在于：
步骤6.1，将输入的单一RGB值的三个通道分别平均划分为16段，找到R、G和B值所在的分段，标记此段和输入的RGB距离为0；
步骤6.2，对于R、G和B通道分别进行如下处理：寻找距离R、G或B所在分段最近的分段，根据距离由小到大分别标记为1、1、2、2、3、3；
步骤6.3，设置一个4096维的全0矩阵，对RGB三个通道中设置了距离标记的分段进行赋予权值的处理，形成颜色直方图；
处理方法为：用一个三重循环扫描三个通道，取R、G和B中各一个有距离标记的分段，计算距离值的和，其结果的范围为0至9，分别对应数组[64,64,64,64,32,16,8,4,2,1]其中一个值，9对应最小值1；
此RGB分段映射到4096维的全0矩阵相应的位置，并以对应的数组中的值作为权值，形成一个4096维的颜色直方图。
步骤7采用巴氏距离对步骤5中得到的前N张图像重新排序，具体过程为：
数据库中根据步骤1至步骤5的方法得到的前N张图像和输入的查询颜色值形成的渐变图，对这些图像进行颜色直方图的提取；
计算草图的颜色直方图和这N张图像的颜色直方图之间的巴氏距离，距离值越大，该图像在查询结果中的排序越靠前。
步骤7得到的结果如图2的形式呈现于用户前。用于输入一幅草图，返回相应的查询结果，并可根据颜色值对查询结果进行优化。

Claims (7)

1.一种基于多种二进制HoG描述符的草图检索方法，其特征在于，包括以下步骤：
步骤1，对数据库中的图像提取边缘图像；
步骤2，基于BHoG特征描述符得到一种PBHoG特征描述符对边缘图像及输入草图进行特征提取并存储；
步骤3，基于传统的HoG特征描述符得到一种DBHoG的描述符对边缘图像及输入草图进行特征提取并存储；
步骤4，设置一种草图的图像掩码mask作为查询的约束条件，基于汉明距离计算步骤2获得的输入草图特征和所有边缘图像特征间的距离，基于汉明距离计算步骤3获得的输入草图特征和所有边缘图像特征间的距离；
步骤5，将两种特征求得的距离进行归一化并相加，得到最终的MBHoG特征描述符结果，选择MBHoG中最小的前N个值对应的图像作为查询结果；
步骤6，将单一的RGB值作为输入，通过一种设置权值的方法，得到多种RGB值，并形成一个4096维的颜色直方图；
步骤7，根据颜色直方图，对步骤5中得到的前N张图像重新排序，并显示结果；
步骤6的具体过程在于：
步骤6.1，将输入的单一RGB值的三个通道分别平均划分为16段，找到R、G和B值所在的分段，标记此段和输入的RGB距离为0；
步骤6.2，对于R、G和B通道分别进行如下处理：寻找距离R、G或B所在分段最近的分段，根据距离由小到大分别标记为1、1、2、2、3、3；
步骤6.3，设置一个4096维的全0矩阵，对RGB三个通道中设置了距离标记的分段进行赋予权值的处理，形成颜色直方图；
处理方法为：用一个三重循环扫描三个通道，取R、G和B中各一个有距离标记的分段，计算距离值的和，其结果的范围为0至9，分别对应数组[64,64,64,64,32,16,8,4,2,1]其中一个值，9对应最小值1；
此RGB分段映射到4096维的全0矩阵相应的位置，并以对应的数组中的值作为权值，形成一个4096维的颜色直方图。
2.根据权利要求1所述的方法，其特征在于，步骤1中采用StructuredForestsalgorithm进行边缘提取。
3.根据权利要求1所述的方法，其特征在于，步骤2的具体过程为：
步骤2.1，对图像划分cell时采用6×6的划分方法，并将2×2的cell联合起来形成一个block；
步骤2.2，PBHoG在提取特征时，对每个cell中边缘像素的梯度方向划分为8个范围，并形成梯度方向直方图，在每个cell中提取幅值最大的两个方向的编码值作为特征；
步骤2.3，使用8位的循环二进制编码进行方向信息的存储。
4.根据权利要求1所述的方法，其特征在于，所述步骤3的具体过程在于：
对于每个cell的梯度方向划分为9个范围，cell的梯度方向直方图先归一化到[0,0.8]的范围，再对每个范围用一个8位的二进制编码表示，编码方式为：
Figure DEST_PATH_IMAGE001
每个cell用9个8位的二进制编码表示，每个编码表示一个方向的梯度值作为特征。
5.根据权利要求1所述的方法，其特征在于，所述步骤4中草图的图像掩码mask作为查询的约束条件的具体设置方法为：
若查询草图的某个cell中有边缘图像，则mask中相应位置的cell值设置为1；
若查询草图某个cell为空，则mask中相应位置的cell值设置为0。
6.根据权利要求5所述的方法，其特征在于，步骤4中基于汉明距离对步骤2、步骤3输入草图和边缘图像的两种特征进行距离计算的具体过程如下：
(1)PBHoG距离计算公式如下：
Figure DEST_PATH_IMAGE002
其中，i和j分别为参与计算的cell的位置，d1是两个cell中具有最大梯度值的方向之间的距离，d2是两个cell中具有次大梯度值的方向之间的距离，AP为两个由2×2的cell组成的block之间的距离，D1是两张图像之间的PBHoG距离；
(2)DBHoG的计算公式如下：
Figure DEST_PATH_IMAGE003
其中，i和j分别为参与计算的cell的位置，d是在不使用mask的情况下两个cell之间的距离，AD是以mask为约束时两个cell之间的距离，D2是两张图像之间的DBHoG距离。
7.根据权利要求1所述的方法，其特征在于，步骤7采用巴氏距离对步骤5中得到的前N张图像重新排序，具体过程为：
数据库中根据步骤1至步骤5的方法得到的前N张图像和输入的查询颜色值形成的渐变图，对这些图像进行颜色直方图的提取；
计算草图的颜色直方图和这N张图像的颜色直方图之间的巴氏距离，距离值越大，该图像在查询结果中的排序越靠前。
CN201710528818.4A 2017-07-01 2017-07-01 基于多种二进制HoG描述符的草图检索方法 Active CN107402974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710528818.4A CN107402974B (zh) 2017-07-01 2017-07-01 基于多种二进制HoG描述符的草图检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710528818.4A CN107402974B (zh) 2017-07-01 2017-07-01 基于多种二进制HoG描述符的草图检索方法

Publications (2)

Publication Number Publication Date
CN107402974A CN107402974A (zh) 2017-11-28
CN107402974B true CN107402974B (zh) 2021-01-26

Family

ID=60405010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710528818.4A Active CN107402974B (zh) 2017-07-01 2017-07-01 基于多种二进制HoG描述符的草图检索方法

Country Status (1)

Country Link
CN (1) CN107402974B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009286A (zh) * 2017-12-25 2018-05-08 合肥阿巴赛信息科技有限公司 一种基于深度学习的草图检索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744903A (zh) * 2013-12-25 2014-04-23 中国科学技术大学 一种基于草图的场景图像检索方法
CN104200240A (zh) * 2014-09-24 2014-12-10 梁爽 一种基于内容自适应哈希编码的草图检索方法
CN104778242A (zh) * 2015-04-09 2015-07-15 复旦大学 基于图像动态分割的手绘草图图像检索方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150363660A1 (en) * 2014-06-12 2015-12-17 Asap54.Com Ltd System for automated segmentation of images through layout classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744903A (zh) * 2013-12-25 2014-04-23 中国科学技术大学 一种基于草图的场景图像检索方法
CN104200240A (zh) * 2014-09-24 2014-12-10 梁爽 一种基于内容自适应哈希编码的草图检索方法
CN104778242A (zh) * 2015-04-09 2015-07-15 复旦大学 基于图像动态分割的手绘草图图像检索方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于多尺度HOG的草图检索";李思思等;《计算机工程与科学》;20160331;第38卷(第3期);520-527 *

Also Published As

Publication number Publication date
CN107402974A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
Zhang et al. Vector of locally and adaptively aggregated descriptors for image feature representation
CN101710334B (zh) 基于图像哈希的大规模图像库检索方法
CN106682233B (zh) 一种基于深度学习与局部特征融合的哈希图像检索方法
CN108573045B (zh) 一种基于多阶指纹的比对矩阵相似度检索方法
US11288324B2 (en) Chart question answering
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
CN109871454B (zh) 一种鲁棒离散监督跨媒体哈希检索方法
Wei et al. Projected residual vector quantization for ANN search
US20160210333A1 (en) Method and device for mining data regular expression
CN105335469A (zh) 一种图像匹配、检索方法和装置
CN105718532A (zh) 一种基于多深度网络结构的跨媒体排序方法
CN113377981B (zh) 基于多任务深度哈希学习的大规模物流商品图像检索方法
CN104881449A (zh) 基于流形学习数据压缩哈希的图像检索方法
CN103699691A (zh) 生成图像指纹及基于此进行相似图像检索的方法
CN109213886B (zh) 基于图像分割和模糊模式识别的图像检索方法及系统
CN112949476A (zh) 基于图卷积神经网络的文本关系检测方法、装置及存储介质
Mathan Kumar et al. Multiple kernel scale invariant feature transform and cross indexing for image search and retrieval
Jayaswal et al. A hybrid approach for image retrieval using visual descriptors
CN109344276B (zh) 一种图像指纹生成方法、图像相似度比较方法及存储介质
CN110110120B (zh) 一种基于深度学习的图像检索方法和装置
CN113901214B (zh) 表格信息的提取方法、装置、电子设备及存储介质
CN107402974B (zh) 基于多种二进制HoG描述符的草图检索方法
CN107861965A (zh) 数据智能识别方法及系统
US11914641B2 (en) Text to color palette generator
CN109670071B (zh) 一种序列化多特征指导的跨媒体哈希检索方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant