CN110807110B - 结合局部和全局特征的图片搜索方法、装置及电子设备 - Google Patents

结合局部和全局特征的图片搜索方法、装置及电子设备 Download PDF

Info

Publication number
CN110807110B
CN110807110B CN201910943890.2A CN201910943890A CN110807110B CN 110807110 B CN110807110 B CN 110807110B CN 201910943890 A CN201910943890 A CN 201910943890A CN 110807110 B CN110807110 B CN 110807110B
Authority
CN
China
Prior art keywords
picture
feature
search
feature point
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910943890.2A
Other languages
English (en)
Other versions
CN110807110A (zh
Inventor
禹庆华
李斌
李国辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qianxin Technology Group Co Ltd
Secworld Information Technology Beijing Co Ltd
Original Assignee
Qianxin Technology Group Co Ltd
Secworld Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qianxin Technology Group Co Ltd, Secworld Information Technology Beijing Co Ltd filed Critical Qianxin Technology Group Co Ltd
Priority to CN201910943890.2A priority Critical patent/CN110807110B/zh
Publication of CN110807110A publication Critical patent/CN110807110A/zh
Application granted granted Critical
Publication of CN110807110B publication Critical patent/CN110807110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种结合局部和全局特征的图片搜索方法、装置及电子设备，根据图片的全局特征和局部特征分别进行搜索，得到和搜索图片相似的全局相似图片和局部相似图片。将通过这两种方式搜索的图片输出。通过多种方式对图片进行搜索，避免了通过某一单一方式进行搜索导致的漏搜索，使得既能搜索到整体和搜索图片相似的全局相似图片，也能搜索到局部与搜索图片相似的局部相似图片，搜索结果实现了对所有相似图像的全面覆盖。

Description

结合局部和全局特征的图片搜索方法、装置及电子设备
技术领域
本发明涉及计算机视觉和机器学习技术领域，尤其是涉及一种结合局部和全局特征的图片搜索方法、装置及电子设备。
背景技术
图片搜索的目的是搜索出与某一图片相似或者局部与某一图片相似的图片，图片搜索通常应用在以图搜图的过程中。例如，在购物网站上，输入图片，搜索出与该图片相似的其它图片或者存在局部与该图片相似的图片。
现有的以图搜图通常根据某一单一特征，以某一单一的方式进行搜索，由于搜索方式单一，会漏掉某些相似图片。例如，某些图片是由多个图像组合形成的，需要搜索的图像与这多个图像中的某一个相似，现有的搜索方式中会认为该由多个图像组合的图片和需要搜索的图像不相同，从而漏掉该图片。
由此，在实际应用过程中，通过单一的方式进行图片搜索导致漏搜索。
发明内容
本发明实施例提供一种结合局部和全局特征的图片搜索方法、装置及电子设备，用以解决现有技术中的现有的通过单一的方式进行图片搜索导致漏搜索的问题。
针对以上技术问题，第一方面，本发明的实施例提供了一种结合局部和全局特征的图片搜索方法，包括：
接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；
从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；
输出所述全局相似图片和所述局部相似图片。
可选地，所述根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片，包括：
对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；
对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；
计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片。
可选地，所述根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点，包括：
根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；
若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；
其中，所述预设参数为大于0且小于1的值。
可选地，所述根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，包括：
对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；
根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；
若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。
可选地，全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；
局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。
第二方面，本发明的实施例提供了一种结合局部和全局特征的图片搜索装置，包括：
接收模块，用于接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；
搜索模块，用于从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；
输出模块，用于输出所述全局相似图片和所述局部相似图片。
可选地，所述搜索模块还用于：
对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；
对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；
计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片。
可选地，所述搜索模块还用于：
根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；
若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；
其中，所述预设参数为大于0且小于1的值。
可选地，所述搜索模块还用于：
对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；
根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；
若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。
可选地，全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；
局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。
第三方面，本发明的实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的结合局部和全局特征的图片搜索方法的步骤。
第四方面，本发明的实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上所述的结合局部和全局特征的图片搜索方法的步骤。
本发明的实施例提供了一种结合局部和全局特征的图片搜索方法、装置及电子设备，根据图片的全局特征和局部特征分别进行搜索，得到和搜索图片相似的全局相似图片和局部相似图片。将通过这两种方式搜索的图片输出。通过多种方式对图片进行搜索，避免了通过某一单一方式进行搜索导致的漏搜索，使得既能搜索到整体和搜索图片相似的全局相似图片，也能搜索到局部与搜索图片相似的局部相似图片，搜索结果实现了对所有相似图像的全面覆盖。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的结合局部和全局特征的图片搜索方法的流程示意图；
图2是本发明另一个实施例提供的结合图像局部搜索和整体相似度比较的图像搜索示意图；
图3是本发明另一个实施例提供的图片搜索时，局部特征中特征点的匹配示意图；
图4是本发明另一个实施例提供的结合局部和全局特征的图片搜索装置的结构框图；
图5是本发明另一个实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本实施例提供的结合局部和全局特征的图片搜索方法的流程示意图，参见图1，该方法包括以下步骤：
步骤101：接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；
步骤102：从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；
步骤103：输出所述全局相似图片和所述局部相似图片。
本实施例提供的方法由服务器、计算机或者专用于进行图片搜索的设备执行。例如，用户通过手机上传一张搜索图片到某购物网站的搜索窗口后，手机将向该购物网站的服务器发送搜索指令和搜索图片。服务器执行上述步骤101-103，根据该搜索图片通过全局特征和局部特征分别进行搜索，得到全局相似图片和局部相似图片，将该全局相似图片和局部相似图片输出到手机，以在手机上进行显示。
需要说明的是，全局特征指的是指图像整体呈现的特征，例如，整体的颜色特征、整体的纹理特征和整体的形状特征等等，这些特征可以用强度直方图HOG、局部二值模式LBP或者神经网络提取的特征向量等来表示。全局特征具有良好的不变性、计算简单、表示直观等特点。局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线等曲线的特征等，常见的局部特征包括角点类和区域类两大类描述方式。局部特征可以通过尺度不变特征变换SIFT提取或者加速稳健特征SURF提取。
数据库中预先存储了大量的图片，本实施例提供的方法旨在从数据中找到与搜索图片整体相似的全局相似图片，或者仅在某一局部区域与搜索图片相似的局部相似图片。例如，搜索图片中为一顶帽子，则一方面从数据库中找到图片内容也是一顶与搜索图片相似的帽子的图片，作为全局相似图片。另一方面，从数据库中找到图片的某一局部区域包括了一顶与搜索图片相似的帽子的图片，作为局部相似图片。
本实施例提供了一种结合局部和全局特征的图片搜索方法，根据图片的全局特征和局部特征分别进行搜索，得到和搜索图片相似的全局相似图片和局部相似图片。将通过这两种方式搜索的图片输出。通过多种方式对图片进行搜索，避免了通过某一单一方式进行搜索导致的漏搜索，使得既能搜索到整体和搜索图片相似的全局相似图片，也能搜索到局部与搜索图片相似的局部相似图片，搜索结果实现了对所有相似图像的全面覆盖。
进一步地，在上述实施例的基础上，所述根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片，包括：
对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；
对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；
计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片。
进一步地，对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量，包括：
对所述数据库中的任一存储图片，通过SIFT提取所述存储图片的局部特征，并获取所述存储图片的局部特征中各第一特征点的特征向量。
需要说明的是，局部特征可以通过SIFT或SURF来提取，通过SIFT或SURF可以从图片中提取关键点，并生成表示每一特征点(或者叫极值点)特征的向量。
SIFT在图像中检测出关键点，是一种局部特征描述子。以下对SIFT提取图片的局部特征进行简单介绍：SIFT提取局部特征包括：(1)对输入的图片进行差分高斯尺度空间构造。(2)在差分高斯尺度空间内部进行特征点搜索与定位。(3)为了寻找尺度空间的极值点，每个像素点要和其图像域(同一尺度空间)和尺度域(相邻的尺度空间)的所有相邻点进行比较，当其大于(或者小于)所有相邻点时，该点就是极值点(或特征点)。(4)经过上面的步骤已经找到了在不同尺度下都存在的特征点，为了实现图像旋转不变性，需要给特征点的方向进行赋值。利用特征点邻域像素的梯度分布特性来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向。(5)通过以上的步骤已经找到了SIFT特征点位置、尺度和方向信息，生成表示位置、尺度和方向信息的向量，即为该特征点的特征向量。
通过局部特征搜索局部相似图片时，根据存储图片中各第一特征点的特征向量和第二特征点的特征向量，来判断是否有和第二特征点匹配的点。最后，统计在存储图片中存在匹配特征点的第二特征点对应的数量，通过该数量占第二特征点总数的比值判断该存储图片是否与搜索图片存在局部的相似。预设阈值为设定值，例如，预设阈值为50％。
本实施例提供了一种结合局部和全局特征的图片搜索方法，提供了一种利用提取的局部特征判断两个图片是否存在局部相似的方法，通过该实施例提供的方法能够快速判断两个图片是否存在局部相似。
进一步地，在上述各实施例的基础上，所述根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点，包括：
根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；
若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；
其中，所述预设参数为大于0且小于1的值。
本实施例提供的判断某一存储图片的各第一特征点中是否存在与某一第二特征点匹配的匹配特征点的方法中，分别计算每一特征点和第二特征点的第一欧式距离，取第一欧式距离最小的两个第一特征点。然后，判断较小的第一欧式距离是否小于较大的第一欧式距离与预设参数的乘积，若是，则第一特征点中存在与第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与第二特征点相匹配的匹配特征点。预设参数为设定值，例如，预设参数为0.5。
以下提供一种具体地判断某一存储图片和搜索图片是否在局部相似的方法：
在判断数据库中的某一存储图片B是否与搜索图片A在局部相似时，通过SIFT在存储图片B中提取了38个第一特征点，通过SIFT在搜索图片A中提取了20个第二特征点。
对搜索图片A中的每一第二特征点，比如第二特征点a1，分别计算存储图片B中38个第一特征点与第二特征点a1的第一欧式距离。
第一欧式距离最小的两个点为b5和b2，且第一特征点b5与第二特征点a1的第一欧式距离为d5，第一特征点b2与第二特征点a1的第一欧式距离为d2，由于d5<d2，所以第一特征点b5是与第二特征点a1最靠近的特征点。
设定预设参数为1/2。若d5小于d2*(1/2)，则第一特征点b5是第二特征点a1的匹配特征点，若d5大于或等于d2*(1/2)，则第一特征点中不存在第二特征点a1的匹配特征点。
设定预设阈值为50％。统计在第一特征点中存在匹配特征点的第二特征点数量，例如，搜索图片A中有15个第二特征点存在匹配特征点，则存在匹配特征点第二特征点数量与第二特征点总数的比值为15/20，大于50％，所以该存储图片B与搜索图片A在局部相似，存储图片B是搜索图片A的局部相似图片。若上述比值小于或等于50％，则该存储图片B与搜索图片A不存在局部相似，存储图片B不是搜索图片A的局部相似图片。
本实施例提供了一种结合局部和全局特征的图片搜索方法，提供了一种简单的判断匹配特征点的方法，能够快速进行匹配特征点的判断，为后续判断是否是局部相似图片奠定了基础。
进一步地，在上述各实施例的基础上，所述根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，包括：
对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；
根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；
若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。
进一步地，在上述各实施例的基础上，全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；
局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。
对图片提取全局特征后，根据全局特征计算欧式距离，通过欧式距离判断两个图片是否相似，实现了对全局特征相似的图片进行快速判断。
其中，特征向量之间的相似度测量主要是采用距离度量来实现，距离度量的方法有很多种，例如欧式距离、余弦相似度、马氏距离等，本实施例对此不做具体限定。
具体来说，本实施例提供的方法分为两大部分，第一部分是提取图像的全局特征，然后利用高效的相似度搜索框架寻找相似图像。第二部分，提取图像的多个局部特征点特征(主要是SIFT、SURF特征)，然后寻找两个图像之间相似特征点匹配对，并统计相似匹配对数目。相似点匹配对多则图像相似。
一方面，提取图片全局特征的方法有很多，例如，HOG、LBP、神经网络(比如vgg-19网络模型提取特征)等方式。每一图片都有对应的全局特征，然后利用高效的相似度搜索框架(Faiss、FLANN等)来寻找特征相似的图片。这种方式可以用来寻找那些相似度很高的图片。
另一方面，提取图片内局部特征。提取局部特征的方法以SIFT/SURF为主。其中，SIFT(Scale-invariant feature transform)是一种计算机视觉的算法，它用来侦测与描述图像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变的特征向量，这些特性能够很好地提高搜索的鲁棒性，能应对图像的各种尺度、旋转等变化。每一个图像有很多特征点，利用相似度搜索寻找两幅图像之间的相似的特征点匹配对，统计配对数目，根据是否超过设定阈值来判断两幅图像是否相似。该方法能够注重图像之间的局部区域匹配，避免了其他不相关区域的干扰，也解决了图像变化(旋转、亮度变化等)或局部区域修改(缺失)导致不匹配的问题。
图2为本实施例提供的结合图像局部搜索和整体相似度比较的图像搜索示意图，参见图2，对存储图片的数据库，先提取图片的全局和局部特征，并将提取的全局特征和局部特征存入数据库。对输入的搜索图片，也分别提取全局特征和局部特征，然后根据全局特征从数据库搜索与搜索图片相似的图片，并根据局部特征从数据库搜索与搜索图片存在局部相似的图片，最后得到搜索结果。
图3为本实施例提供的图片搜索时，局部特征中特征点的匹配示意图，参见图3，输入的搜索图片是包含中国石化图标的图片。数据库中存储有各种不同类型的图片。通过局部特征从数据库中搜索与搜索图片存在局部相似的图片时，使用SIFT算法来提取数据库中各存储图片的特征点，以及搜索图片的特征点。比较检测图像的特征点集合与图像库中每一幅图像的特征点集合的相似度，根据自己设定的相似匹配规则，统计匹配的对数。匹配对数大于一定阈值，则图像相似，否则不相似。把通过全局特征和局部特征这两种方式匹配的图片结合在一起作为最终的图像搜索的结果。
图4为本实施例提供的一种结合局部和全局特征的图片搜索装置的结构框图，参见图4，该装置包括接收模块401、搜索模块402和输出模块403，其中，
接收模块401，用于接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；
搜索模块402，用于从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；
输出模块403，用于输出所述全局相似图片和所述局部相似图片。
本实施例提供的结合局部和全局特征的图片搜索装置适用于上述实施例中提供的结合局部和全局特征的图片搜索方法，在此不再赘述。
本实施例提供了结合局部和全局特征的图片搜索装置，根据图片的全局特征和局部特征分别进行搜索，得到和搜索图片相似的全局相似图片和局部相似图片。将通过这两种方式搜索的图片输出。通过多种方式对图片进行搜索，避免了通过某一单一方式进行搜索导致的漏搜索，使得既能搜索到整体和搜索图片相似的全局相似图片，也能搜索到局部与搜索图片相似的局部相似图片，搜索结果实现了对所有相似图像的全面覆盖。
进一步地，在上述实施例的基础上，所述搜索模块还用于：
对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；
对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；
计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片。
进一步地，在上述各实施例的基础上，所述搜索模块还用于：
根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；
若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；
其中，所述预设参数为大于0且小于1的值。
进一步地，在上述各实施例的基础上，所述搜索模块还用于：
对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；
根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；
若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。
进一步地，在上述各实施例的基础上，全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；
局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。
图5是示出本实施例提供的电子设备的结构框图。
参照图5，所述电子设备包括：处理器(processor)501、通信接口(CommunicationsInterface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行如下方法：接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；输出所述全局相似图片和所述局部相似图片。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行如下方法：接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；输出所述全局相似图片和所述局部相似图片。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；输出所述全局相似图片和所述局部相似图片。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (8)

1.一种结合局部和全局特征的图片搜索方法，其特征在于，包括：
接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；
从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；
输出所述全局相似图片和所述局部相似图片；
其中，所述根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片，包括：
对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；
对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；
计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片；
所述根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，包括：
对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；
根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；
若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。
2.根据权利要求1所述的结合局部和全局特征的图片搜索方法，其特征在于，所述根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点，包括：
根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；
若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；
其中，所述预设参数为大于0且小于1的值。
3.根据权利要求1所述的结合局部和全局特征的图片搜索方法，其特征在于，
全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；
局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。
4.一种结合局部和全局特征的图片搜索装置，其特征在于，包括：
接收模块，用于接收搜索指令和搜索图片；所述搜索指令用于指示搜索与所述搜索图片相似的图片；
搜索模块，用于从数据库中，根据图片的全局特征搜索与所述搜索图片相似的全局相似图片，并根据图片的局部特征搜索存在局部与所述搜索图片相似的局部相似图片；
输出模块，用于输出所述全局相似图片和所述局部相似图片；
其中，所述搜索模块还用于：
对所述数据库中的任一存储图片，获取所述存储图片的局部特征中各第一特征点的特征向量；
对所述搜索图片的局部特征中的任一第二特征点，根据各第一特征点的特征向量和所述第二特征点的特征向量，判断第一特征点中是否存在与所述第二特征点相匹配的匹配特征点；
计算存在所述匹配特征点的第二特征点对应的数量，与所述搜索图片中第二特征点总数的比值，若所述比值大于预设阈值，则将所述存储图片作为所述局部相似图片；
对所述数据库中的任一存储图片，通过神经网络获取所述存储图片的全局特征，并通过所述神经网络获取所述搜索图片的全局特征；
根据所述存储图片的全局特征和所述搜索图片的全局特征计算所述存储图片和所述搜索图片的第二欧式距离；
若第二欧式距离小于预设阈值，则所述存储图片为与所述搜索图片相似的全局相似图片。
5.根据权利要求4所述的结合局部和全局特征的图片搜索装置，其特征在于，所述搜索模块还用于：
根据各第一特征点的特征向量和所述第二特征点的特征向量，计算各第一特征点与所述第二特征点的第一欧式距离，获取与所述第二特征点的第一欧式距离最小的两个第一特征点；
若两个第一特征点中，较小的第一欧式距离小于较大的第一欧式距离与预设参数的乘积，较小的第一欧式距离对应的第一特征点为与所述第二特征点相匹配的匹配特征点，否则，第一特征点中不存在与所述第二特征点相匹配的匹配特征点；
其中，所述预设参数为大于0且小于1的值。
6.根据权利要求4所述的结合局部和全局特征的图片搜索装置，其特征在于，
全局特征为方向梯度直方图HOG特征、局部二值模式LBP特征或者通过神经网络提取的特征；
局部特征为通过尺度不变特征变换SIFT提取的特征或者通过加速稳健特征SURF提取的特征。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的结合局部和全局特征的图片搜索方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述的结合局部和全局特征的图片搜索方法的步骤。
CN201910943890.2A 2019-09-30 2019-09-30 结合局部和全局特征的图片搜索方法、装置及电子设备 Active CN110807110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910943890.2A CN110807110B (zh) 2019-09-30 2019-09-30 结合局部和全局特征的图片搜索方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910943890.2A CN110807110B (zh) 2019-09-30 2019-09-30 结合局部和全局特征的图片搜索方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110807110A CN110807110A (zh) 2020-02-18
CN110807110B true CN110807110B (zh) 2023-02-28

Family

ID=69488051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910943890.2A Active CN110807110B (zh) 2019-09-30 2019-09-30 结合局部和全局特征的图片搜索方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110807110B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507921B (zh) * 2020-12-16 2024-03-19 平安银行股份有限公司 基于目标区域的图形搜索方法、系统、电子装置及存储介质
WO2023272659A1 (zh) * 2021-06-30 2023-01-05 东莞市小精灵教育软件有限公司 封面图像的识别方法、装置、存储介质及识别设备
CN113343920A (zh) * 2021-07-01 2021-09-03 中诚信征信有限公司 人脸识别照片的分类方法、装置、电子设备和存储介质
CN113742504A (zh) * 2021-09-13 2021-12-03 城云科技（中国）有限公司 以图搜图方法、装置、计算机程序产品和计算机程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
CN102436491A (zh) * 2011-11-08 2012-05-02 张三明 一种基于BigBase的海量图片搜索系统及方法
US20140092244A1 (en) * 2012-09-29 2014-04-03 Nec (China) Co., Ltd. Object search method, search verification method and apparatuses thereof
CN104318259A (zh) * 2014-10-20 2015-01-28 北京齐尔布莱特科技有限公司 一种识别目标图片的设备、方法以及计算设备
CN109697240A (zh) * 2017-10-24 2019-04-30 中移（杭州）信息技术有限公司 一种基于特征的图像检索方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
CN102436491A (zh) * 2011-11-08 2012-05-02 张三明 一种基于BigBase的海量图片搜索系统及方法
US20140092244A1 (en) * 2012-09-29 2014-04-03 Nec (China) Co., Ltd. Object search method, search verification method and apparatuses thereof
CN104318259A (zh) * 2014-10-20 2015-01-28 北京齐尔布莱特科技有限公司 一种识别目标图片的设备、方法以及计算设备
CN109697240A (zh) * 2017-10-24 2019-04-30 中移（杭州）信息技术有限公司 一种基于特征的图像检索方法及装置

Also Published As

Publication number Publication date
CN110807110A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807110B (zh) 结合局部和全局特征的图片搜索方法、装置及电子设备
US20150030239A1 (en) Training classifiers for deblurring images
CN109116129B (zh) 终端检测方法、检测设备、系统及存储介质
CN107545049B (zh) 图片处理方法及相关产品
WO2022134771A1 (zh) 表格处理方法、装置、电子设备及存储介质
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN111062426A (zh) 一种建立训练集的方法、装置、电子设备以及介质
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN112084904A (zh) 人脸搜索方法、装置及存储介质
CN113657370B (zh) 一种文字识别方法及其相关设备
CN109871249B (zh) 一种远程桌面操作方法、装置、可读存储介质及终端设备
CN111260655A (zh) 基于深度神经网络模型的图像生成方法与装置
US20210042565A1 (en) Method and device for updating database, electronic device, and computer storage medium
JP5500404B1 (ja) 画像処理装置及びそのプログラム
CN109857897B (zh) 一种商标图像检索方法、装置、计算机设备及存储介质
CN109325489B (zh) 图像的识别方法及装置、存储介质、电子装置
CN114511862B (zh) 表格识别方法、装置及电子设备
CN116229098A (zh) 一种基于掩模轮廓跟踪的图像识别方法及相关产品
CN113569070A (zh) 图像检测方法和装置、电子设备、存储介质
CN114648751A (zh) 一种处理视频字幕的方法、装置、终端及存储介质
JP6717769B2 (ja) 情報処理装置及びプログラム
JP2011076575A (ja) 画像処理装置、画像処理方法及びプログラム
JP7369247B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN116704513B (zh) 文本质量检测方法、装置、计算机设备和存储介质
CN112016554B (zh) 语义分割方法、装置、电子设备与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Applicant after: Qianxin Technology Group Co.,Ltd.

Applicant after: Qianxin Wangshen information technology (Beijing) Co.,Ltd.

Address before: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Applicant before: Qianxin Technology Group Co.,Ltd.

Applicant before: LEGENDSEC INFORMATION TECHNOLOGY (BEIJING) Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant