CN112015935A - 图像搜索方法、装置、电子设备及存储介质 - Google Patents

图像搜索方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112015935A
CN112015935A CN202010917732.2A CN202010917732A CN112015935A CN 112015935 A CN112015935 A CN 112015935A CN 202010917732 A CN202010917732 A CN 202010917732A CN 112015935 A CN112015935 A CN 112015935A
Authority
CN
China
Prior art keywords
image
feature
candidate
feature point
searched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010917732.2A
Other languages
English (en)
Other versions
CN112015935B (zh
Inventor
谭昶
贾若然
李梓赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202010917732.2A priority Critical patent/CN112015935B/zh
Publication of CN112015935A publication Critical patent/CN112015935A/zh
Application granted granted Critical
Publication of CN112015935B publication Critical patent/CN112015935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种图像搜索方法、装置、电子设备及存储介质，所述方法包括：基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对；基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果。本发明实施例提供的方法、装置、电子设备及存储介质，能够有效地滤除错误匹配的特征点匹配对，提高了搜索结果的准确性。

Description

图像搜索方法、装置、电子设备及存储介质
技术领域
本发明涉及数据搜索技术领域，尤其涉及一种图像搜索方法、装置、电子设备及存储介质。
背景技术
随着计算机的普及和电子信息技术的快速发展，纸质文档也逐渐电子化，在纸质文档电子化管理过程中，可以将文档作为图像，采用图像搜索方法实现相似文档的查找。
现有的图像搜索方法是基于图像内容进行搜索的，对于图像内容丰富的自然图像，具有不错的效果。但是文档图像通常只有黑白两种颜色，图像内容单一，且不同的文档图像之间图像内容重复率高，现有的图像搜索方法难以区分不同的文档图像，搜索结果中存在大量误判、准确性较低。
发明内容
本发明实施例提供一种图像搜索方法、装置、电子设备及存储介质，用以解决现有技术中搜索结果中存在大量误判、准确性较低的缺陷。
本发明实施例提供一种图像搜索方法，包括：
基于待搜索图像的特征点，确定所述待搜索图像与任一候选图像之间的若干个候选特征点匹配对；
基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，所述特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；
基于所述待搜索图像与每一候选图像之间的最终特征点匹配对，确定所述待搜索图像的搜索结果。
本发明实施例提供一种图像搜索方法，所述待搜索图像的特征点是基于如下步骤确定的：
确定所述待搜索图像的每一候选特征点；
基于每一候选特征点的第一邻域区域中的至少第一预设数量个连续边缘像素点分别与对应候选特征点的像素值之差，从若干个候选特征点中选取若干个特征点，所述第一预设数量小于所述第一邻域区域的边缘像素点总数。
本发明实施例提供一种图像搜索方法，所述确定所述待搜索图像的每一候选特征点，具体包括：
基于所述待搜索图像的每一像素点的第二邻域区域中的第二预设数量个方位像素点分别与对应像素点的像素值之差，从所述待搜索图像的所有像素点中选取所述若干个候选特征点。
本发明实施例提供一种图像搜索方法，所述从所述若干个候选特征点中选取若干个特征点，之后还包括：
若任一特征点的第三邻域区域内存在多个特征点，则基于所述任一特征点的第三邻域区域内每一特征点的特征点得分，对所述多个特征点进行筛选；
其中，所述任一特征点的特征点得分是基于所述任一特征点的第三邻域区域中的第三预设数量个边缘像素点分别与所述任一特征点的像素值之差确定的。
本发明实施例提供一种图像搜索方法，所述基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对，具体包括：
基于所有候选特征点匹配对的特征角度差值的分布情况中的集中分布范围和/或离散程度，确定特征角度差值有效范围；
基于所述特征角度差值有效范围，对所有候选特征点匹配对进行筛选，得到所述若干个特征角度差值集中分布的最终特征点匹配对。
本发明实施例提供一种图像搜索方法，所述基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对，具体包括：
将所述待搜索图像的每一特征点的特征向量与多个视觉单词进行匹配，得到所述待搜索图像的每一特征点对应的视觉单词；其中，所述多个视觉单词是对样本图像的特征点的特征向量进行聚类得到的；
基于所述待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与所述待搜索图像共有至少一个视觉单词的候选图像，并得到所述待搜索图像与每一候选图像之间的若干个对应同一视觉单词的候选特征点匹配对。
本发明实施例提供一种图像搜索方法，所述基于所述待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与所述待搜索图像共有至少一个视觉单词的候选图像，具体包括：
基于所述待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与所述待搜索图像共有至少一个视觉单词的初选图像；
基于所述待搜索图像与任一初选图像之间的共有视觉单词，确定所述待搜索图像与所述任一初选图像之间的相似度；
基于所述待搜索图像与每一初选图像之间的相似度，从每一初选图像中选取若干个候选图像。
本发明实施例提供一种图像搜索方法，所述基于所述待搜索图像与每一候选图像之间的最终特征点匹配对，确定所述待搜索图像的搜索结果，具体包括：
基于所述任一候选图像与所述待搜索图像之间所有最终特征点匹配对的数量，确定所述待搜索图像与所述任一候选图像之间的相似度；
基于所述待搜索图像分别与每一候选图像之间的相似度，确定所述待搜索图像的搜索结果。
本发明实施例提供一种图像搜索方法，所述特征角度是基于如下步骤确定的：
基于所述任一特征点所属图像的所有像素点，以及所述任一特征点，确定以所述任一特征点为参照的质心点；
基于以所述任一特征点为参照的质心点，确定所述任一特征点的特征角度。
本发明实施例还提供一种图像搜索装置，包括：
候选特征点匹配对确定单元，用于基于待搜索图像的特征点，确定所述待搜索图像与任一候选图像之间的若干个候选特征点匹配对；
最终特征点匹配对确定单元，用于基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，所述特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；
搜索结果确定单元，用于基于所述待搜索图像与每一候选图像之间的最终特征点匹配对，确定所述待搜索图像的搜索结果。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像搜索方法的步骤。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像搜索方法的步骤。
本发明实施例提供的图像搜索方法、装置、电子设备及存储介质，通过基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对，并基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果，能够有效地滤除文档图像中因特征点难以区分造成的错误匹配的特征点匹配对，提高了特征点匹配的准确性，进而提高了待搜索图像的搜索结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像搜索方法的流程示意图；
图2为本发明实施例提供的特征点确定方法的流程示意图；
图3为本发明实施例提供的像素点的第二邻域区域的示意图；
图4为本发明实施例提供的最终特征点匹配对确定方法的流程示意图；
图5为本发明实施例提供的候选特征点匹配对确定方法的流程示意图；
图6为本发明实施例提供的候选图像确定方法的流程示意图；
图7为本发明另一实施例提供的图像搜索方法的流程示意图；
图8为本发明实施例提供的图像搜索装置的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着计算机的普及和电子信息技术的快速发展，纸质文档也逐渐电子化，在纸质文档电子化管理过程中，可以将文档作为图像，采用图像搜索方法实现相似文档的查找。
现有的图像搜索方法是基于图像内容进行搜索的，图像内容包括图像的色彩、纹理和形状等。对于图像内容丰富的自然图像，具有不错的效果。但是文档图像通常只有黑白两种颜色，图像内容单一，且不同的文档图像之间图像内容重复率高。在信访、档案管理等应用场景下，大量文档图像的内容上是基本相同的，只有少量内容存在差异，例如落款被修改、人名不同、或者拍照光线、角度、背景不同。
现有的图像搜索方法难以区分不同的文档图像，搜索结果中存在大量误判、准确性较低。
对此，本发明实施例提供一种图像搜索方法，图1为本发明实施例提供的图像搜索方法的流程示意图，如图1所示，该方法包括：
步骤110，基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对。
具体地，待搜索图像可以为需要进行搜索的文档图像，待搜索图像可以通过扫描仪对待搜索的纸质文档扫描得到，也可以通过相机对待搜索的纸质文档拍照得到，本发明实施例对此不作具体限定。若干个候选图像可以是预先筛选得到的。
在执行步骤110之前，可以预先提取待搜索图像和每一候选图像的特征点。此处，特征点提取方法可以是SIFT(Scale Invariant Feature Transform)算法、GLOH(GradientLocation-Orientation Histogram)算法、SUSAN(Small Univalue Segment AssimilatingNucleus)算法或SURF(Speeded Up Robust Features)算法，本发明实施例对此不作具体限定。
在得到待搜索图像和每一候选图像的特征点之后，将待搜索图像的任一特征点和任一候选图像中可能与该特征点对应的特征点，组成待搜索图像与该候选图像之间的若干个候选特征点匹配对。此处，候选特征点匹配对可以是基于特征点的特征向量进行匹配得到的，特征点的特征向量可以为特征点的图像内容的特征表示。
例如，待搜索图像的特征点包括A、B、C，候选图像1的特征点包括D、E、F，其中，A可能对应D，B可能对应E、F，C在候选图像1中没有与其对应的特征点，则待搜索图像与候选图像1之间的若干个候选特征点匹配对为(A,D)、(B,E)、(B,F)。
步骤120，基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位。
具体地，由于文档图像通常只有黑白两种颜色，图像内容单一，且不同的文档图像之间图像内容重复率高，不同特征点的特征向量差异较小，候选特征点匹配对中可能存在大量误判，即将不匹配的两个特征点组成候选特征点匹配对，或没有将匹配的两个特征点组成候选特征点。为提高特征点匹配对的准确性，本发明实施例中，基于特征点在所属图像中的分布方位，对所有候选特征点匹配对进行筛选。
在得到待搜索图像与任一候选图像之间的所有候选特征点匹配对之后，计算每一候选特征点匹配对的特征角度差值，其中，特征角度差值为对应候选特征点匹配对中两个特征点的特征角度之差，特征角度用于表示对应特征点在所属图像中的分布方位，即对应特征点与该特征点所属图像中所有像素点的相对位置关系。此处，特征角度可以是基于特征点的坐标和该特征点所属图像的图像质心点的坐标确定的。
由于特征点的特征角度表示的是该特征点在所属图像中的相对分布方位，待搜索图像中的文档的放置方位与每一候选图像中的文档的放置方位可能是不一致的，对于待搜索图像和任一候选图像，正确匹配的特征点匹配对中，属于待搜索图像的特征点在待搜索图像中的分布方位和属于该候选图像的特征点在该候选图像中的分布方位的相对位置关系，与待搜索图像中的文档和该候选图像中的文档的相位位置关系应该是一致的。而特征点匹配对的特征角度差值所反映的正是两个特征点分别在对应图像中的分布方位之间的相对位置关系，所有正确匹配的特征点匹配对的特征角度差值应该是一致的。
所有候选特征点匹配对的特征角度差值的分布情况具体可以表示为在每个特征角度差值范围内的候选特征点匹配对的数量，或者在每个特征角度差值范围内的候选特征点匹配对的占比等，其中特征角度差值集中分布的候选特征点匹配对可以是若干个包含的候选特征点匹配对数量最多或者占比最高的特征点角度差值范围内的候选特征点匹配对。
例如，所有候选特征点匹配对的特征角度差值的分布情况具体为80％的候选特征点匹配对的特征角度差值在[20°，30°]的范围内，10％的候选特征点匹配对的特征角度差值在[0°，20°]的范围内，10％的候选特征点匹配对的特征角度差值在[30°，50°]的范围内，则将在[20°，30°]的范围内的候选特征点匹配对作为最终特征点匹配对。
其中，特征角度差值集中分布的候选特征点匹配对大概率为正确匹配的特征点匹配对，因此滤除特征角度差值分布不集中的候选特征点匹配对，仅将特征角度差值集中分布的候选特征点匹配对作为最终特征点匹配对。
通过所有候选特征点匹配对的特征角度差值的分布情况，对所有候选特征点匹配对进行筛选，能够有效地滤除文档图像中因特征点难以区分造成的错误匹配的候选特征点匹配对，提高了最终特征点匹配对的准确性，进而提高了待搜索图像的搜索结果的准确性。
步骤130，基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果。
具体地，在得到所有最终特征点匹配对之后，基于每一候选图像与待搜索图像之间的最终特征点匹配对，确定待搜索图像的搜索结果，其中，待搜索图像的搜索结果可以包括若干个与待搜索图像相似的图像，也可以包括若干个与待搜索图像相似的图像以及各自的相似度。
此处，待搜索图像的搜索结果的确定方式可以为：基于每一候选图像与待搜索图像之间的最终特征点匹配对的数量，确定待搜索图像的搜索结果，例如，可以按照最终特征点匹配对的数量从大到小的顺序对所有候选图像进行排序，并根据排序结果将排序靠前的若干个候选图像作为待搜索图像的搜索结果。
待搜索图像的搜索结果的确定方式还可以为：基于每一候选图像与待搜索图像之间的最终特征点匹配对的特征相似度，确定待搜索图像的搜索结果。例如，可以计算任一最终特征点匹配对中的两个特征点的特征向量之差，作为该最终特征点匹配对的特征相似度。然后将任一候选图像的所有最终特征点匹配对的特征相似度相加，得到该候选图像的相似度，并按照相似度从大到小的顺序对所有候选图像进行排序，根据排序结果将排序靠前的若干个候选图像作为待搜索图像的搜索结果。
本发明实施例提供的图像搜索方法，通过基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对，并基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果，能够有效地滤除文档图像中因特征点难以区分造成的错误匹配的特征点匹配对，提高了特征点匹配的准确性，进而提高了待搜索图像的搜索结果的准确性。
现有的特征点提取方法是针对自然图像，自然图像的色彩丰富且变化大，为了有效地提取自然图像的特征点，现有的特征点提取方法中要求特征点与其近邻像素点存在显著差异，特征点的判定方式往往比较严格。文档图像的色彩单一，像素值通常只有0和255两个像素值，文档图像中的特征点与其近邻像素点的差异并不是很大，现有的特征点提取方法会遗漏文档图像中一些具有特点的笔画对应的特征点，无法有效地提取文档图像的全部特征点。
此外，现有的特征点提取方法，例如SIFT算法，需要基于图像的不同尺度构建图像金字塔，但是对于文档图像进行图像金字塔的构建会导致文档图像严重失真，进而影响提取到的特征点的准确性。
对此，基于上述实施例，图2为本发明实施例提供的特征点确定方法的流程示意图，如图2所示，特征点确定方法具体包括：
步骤210，确定待搜索图像的每一候选特征点；
步骤220，基于每一候选特征点的第一邻域区域中的至少第一预设数量个连续边缘像素点分别与对应候选特征点的像素值之差，从若干个候选特征点中选取若干个特征点，第一预设数量小于第一邻域区域的边缘像素点总数。
具体地，基于待搜索图像的每一像素点，确定待搜索图像的每一候选特征点，此处，可以直接将一个像素点作为一个候选特征点，也可以从所有像素点中选取若干个候选特征点，本发明实施例对此不作具体限定。
在确定若干个候选特征点之后，对于任一候选特征点，确定该候选特征点的第一邻域区域，其中，该候选特征点的第一邻域区域可以为以该候选特征点为中心，以预设长度为边长的正方形区域。
在确定该候选特征点的第一邻域区域之后，计算该候选特征点的第一邻域区域中的所有边缘像素点分别与该候选特征点的像素值之差，其中，边缘像素点可以为对应候选特征点的第一邻域区域边缘的像素点。
若所有边缘像素点中至少第一预设数量个连续边缘像素点与该候选特征点的像素值之差的绝对值均大于第一预设阈值，则将该候选特征点作为特征点。其中，第一预设数量小于第一邻域区域的边缘像素点总数，第一预设数量可以根据第一邻域区域的大小进行具体设定，例如，对于5×5的第一邻域区域，边缘像素点总数为16，第一预设数量可以设置为8。
由于文档图像中笔画是具有连续性的，通过连续多个边缘像素点与候选特征点的像素值之差，对候选特征点进行筛选，避免了离散的噪声点的干扰。
进一步地，特征点是基于至少第一预设数量个连续边缘像素点进行判定，现有技术通常是基于所有边缘像素点进行判定，相较于现有技术，本发明实施例中，特征点的判定方式更为宽松，避免了对文档图像中部分特征点的遗漏，同时不需要构建图像金字塔，避免了构建图像金字塔导致的图像严重失真的问题。
本发明实施例提供的图像搜索方法，基于每一候选特征点的至少第一预设数量个连续边缘像素点，从若干个候选特征点中选取若干个特征点，不仅保证了提取的特征点与其近邻像素点的差异性，而且避免了对文档图像中部分特征点的遗漏，以及构建图像金字塔导致的图像严重失真的问题。
基于上述任一实施例，该方法中，步骤210具体包括：
基于待搜索图像的每一像素点的第二邻域区域中的第二预设数量个方位像素点分别与对应像素点的像素值之差，从待搜索图像的所有像素点中选取若干个候选特征点。
具体地，对于待搜索图像的任一像素点，确定该像素点的第二邻域区域，其中，该像素点的第二邻域区域可以为以该像素点为中心，以预设长度为边长的正方形区域。图3为本发明实施例提供的像素点的第二邻域区域的示意图，如图3所示，像素点P的第二邻域区域可以为以P为中心的5×5的正方形区域，第二邻域区域的边缘包括16个像素点(N1，N2，……，N16)。此处，像素点的第二邻域区域的大小可以与候选特征点的第一邻域区域的大小相同，也可以不同，本发明实施例对此不作具体限定。
在确定该像素点的第二邻域区域之后，确定该像素点的第二邻域区域中第二预设数量个方位像素点，其中，方位像素点可以为对应像素点的第二邻域区域边缘在各个方位的像素点，第二预设数量可以根据第二邻域区域的大小进行设定，例如，对于5×5的第二邻域区域，第二预设数量可以设置为4。以图3为例，方位像素点可以为上、下、左、右四个方位的像素点(N3，N7，N11，N15)，也可以为对角线方位的四个像素点(N1，N5，N9，N13)，本发明实施例对方位像素点的确定方式不作具体限定。
在确定第二预设数量个方位像素点之后，计算每一方位像素点与该像素点的像素值之差，若至少一个方位像素点与该像素点的像素值之差的绝对值大于第二预设阈值，则将该像素点作为候选特征点。
需要说明的是，由于特征点的选取是以候选特征点为基础的，可以预先设定第一预设阈值小于第二预设阈值。
对于处于待搜索图像边缘的像素点，由于没有足够的方位像素点无法进行候选特征点的判断，不将此类像素点作为候选特征点；对待搜索图像中处于非边缘位置的像素点均执行上述步骤，从中选取若干个候选特征点。
本发明实施例提供的图像搜索方法，基于每一像素点的第二预设数量个方位像素点，从待搜索图像的所有像素点中选取若干个候选特征点，以供从若干个候选特征点中选取若干个特征点，无需对每一像素点逐一进行特征点的判定，大大减小了特征点提取的运算量。
基于上述任一实施例，该方法中，步骤220之后还包括：
步骤230，若任一特征点的第三邻域区域内存在多个特征点，则基于该特征点的第三邻域区域内每一特征点的特征点得分，对多个特征点进行筛选；
其中，该特征点的特征点得分是基于该特征点的第三邻域区域中的第三预设数量个边缘像素点分别与该特征点的像素值之差确定的。
具体地，若图像中的一个局部区域存在多个特征点，表示该多个特征点均可以表示该局部区域的图像内容，因此，需要对该多个特征点进行筛选，选取其中最能表示该局部区域的图像内容的特征点。
对于任一特征点，确定该特征点的第三邻域区域，此处，特征点的第三邻域区域的大小可以与候选特征点的第一邻域区域或像素点的第二邻域区域的大小相同，也可以不同。
若该特征点的第三邻域区域内不存在其他特征点，则将该特征点保留；若该特征点的第三邻域区域内存在多个特征点，则基于该特征点的第三邻域区域内每一特征点得分，将特征点得分最高的特征点保留，并将其他特征点去除。其中，特征点得分用于表征对应特征点与该特征点近邻像素点的差异程度。
在执行步骤230之前，可以预先计算每一特征点的特征点得分，任一特征点的特征点得分是基于该特征点的第三邻域区域中的第三预设数量个边缘像素点分别与该特征点的像素值之差确定的，第三预设数量可以根据第三邻域区域的大小进行具体设定，例如，对于5×5的第三邻域区域，第三预设数量可以设置为16。
可选地，基于任一特征点的第三邻域区域中的第三预设数量个边缘像素点分别与该特征点的像素值之差的绝对值之和，确定该特征点的特征点得分。例如，特征点P″的第三邻域区域为一个5×5的正方形区域，P″的特征点得分可以为
Figure BDA0002665618370000141
ni为第i个边缘像素点的像素值，p″为特征点P″的像素值。
可选地，基于任一特征点的第三邻域区域中的第三预设数量个边缘像素点分别与该特征点的像素值之差的绝对值的平均值，确定该特征点的特征点得分。例如，特征点P″的第三邻域区域为一个5×5的正方形区域，P″的特征点得分可以为
Figure BDA0002665618370000142
ni为第i个边缘像素点的像素值，p″为特征点P″的像素值。
本发明实施例提供的图像搜索方法，通过基于任一特征点的第三邻域区域内每一特征点的特征点得分，对特征点进行筛选，不仅提高了特征点表征的准确性，而且减少了提取的特征点的数量，进而减小了后续处理的运算量。
基于上述任一实施例，图4为本发明实施例提供的最终特征点匹配对确定方法的流程示意图，如图4所示，该方法包括：
步骤410，基于所有候选特征点匹配对的特征角度差值的分布情况中的集中分布范围和/或离散程度，确定特征角度差值有效范围。
具体地，为筛选出所有候选特征点匹配对中特征角度差值集中分布的特征点匹配对，基于所有候选特征点匹配对的特征角度差值的分布情况中的集中分布范围和/或离散程度，确定特征角度差值有效范围，其中，特征角度差值有效范围可以为正确匹配的特征点匹配对的特征角度差值的范围，集中分布范围是指所有候选特征点匹配对的特征角度差值聚集的范围，离散程度是指所有候选特征点匹配对的特征角度差值分布的离散性。
例如，所有候选特征点匹配对的特征角度差值的分布情况可以表示为所有候选特征点匹配对的特征角度差值的直方图，可以将直方图中频数最高的直方对应的范围，或者直方图中频数最高的直方及其左右直方对应的范围作为集中分布范围，进而将集中分布范围作为特征角度差值有效范围。
又例如，所有候选特征点匹配对的特征角度差值的分布情况可以表示为所有候选特征点匹配对的特征角度差值的直方图，并基于直方图，可以将直方图的标准差作为分布情况的离散程度。在此基础上，构建一个长度为离散程度的窗口，将该窗口在直方图中水平滑动，并计算在该窗口范围内的直方的频数之和。将频数之和最大的若干个直方对应的范围，作为特征角度差值有效范围。
再例如，当特征点匹配对的特征角度差值的范围为[－180°，180°]时，基于所有候选特征点匹配对的特征角度差值的分布情况，建立一个36位的直方图，直方图的位大小bin＝360°/36＝10°，将直方图中频数最多的直方对应的范围[L，H]作为集中分布范围，将直方图的标准差s作为离散程度，标准差s越大，数据分布越离散，标准差s越小，数据分布越集中。基于集中分布范围[L，H]和离散程度s，特征角度差值的有效范围可以为：[L－(bin/s)，H+(bin/s)]。
步骤420，基于特征角度差值有效范围，对所有候选特征点匹配对进行筛选，得到若干个特征角度差值集中分布的最终特征点匹配对。
具体地，若任一候选特征点匹配对的特征角度差值在特征角度差值有效范围内，则将该候选特征点匹配对作为最终特征点匹配对；若任一候选特征点匹配对的特征角度差值在特征角度差值有效范围外，则将该候选特征点匹配对滤除。
基于特征角度差值的有效范围，从所有候选特征点匹配对中选取若干个特征角度差值集中分布的最终特征点匹配对，有效地滤除了错误匹配的特征点匹配对。
基于上述任一实施例，图5为本发明实施例提供的候选特征点匹配对确定方法的流程示意图，如图5所示，候选特征点匹配对确定方法包括：
步骤510，将待搜索图像的每一特征点的特征向量与多个视觉单词进行匹配，得到待搜索图像的每一特征点对应的视觉单词；其中，多个视觉单词是对样本图像的特征点的特征向量进行聚类得到的。
具体地，基于待搜索图像的任一特征点，确定该特征点的特征向量，其中，特征向量用于表征对应特征点的图像内容。
可选地，选取以任一特征点m为中心的S×S的邻域窗口，在窗口内随机选取一对像素点a、b，基于两个像素点的像素值，进行如下二进制赋值：
Figure BDA0002665618370000161
式中，τ(m；a,b)为特征点m的二进制编码，p(m)、p(a)、p(b)分别为特征点m、像素点a、b的像素值。
在窗口中随机选取若干对随机点，对每一对随机点执行上述二进制赋值的步骤，得到任一特征点的一个二进制编码，将该二进制编码作为该特征点的特征向量。例如，在窗口中随机选取64对随机点，得到的一个特征点的二进制编码即为一个64维的向量。
在确定待搜索图像的每一特征点的特征向量之后，计算任一特征点的特征向量与多个视觉单词的距离，将距离该特征点的特征向量最近的视觉单词，作为该特征点对应的视觉单词。其中，视觉单词可以为表征一类特征点的特征向量。
在执行步骤510之前，还可以预先获取多个视觉单词，具体可以通过如下步骤获取多个视觉单词：首先收集大量样本图像，并提取每一样本图像的特征点的特征向量，此处特征点的提取方法可以与上述实施例相同，本发明实施例在此不再赘述。
随即，对所有样本图像的特征点的特征向量进行聚类，得到多个聚类中心，一个聚类中心即为一个视觉单词。此处应用的聚类算法可以是EM算法(Expectation-maximization algorithm，最大期望值算法)，也可以是K-Means(K均值)聚类算法或层次聚类算法等，本发明实施例对此不作具体限定。
步骤520，基于待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与待搜索图像共有至少一个视觉单词的候选图像，并得到待搜索图像与每一候选图像之间的若干个对应同一视觉单词的候选特征点匹配对。
具体地，在得到待搜索图像每一特征点对应的视觉单词之后，将图像检索库中与待搜索图像共有至少一个视觉单词的图像作为候选图像，例如，待搜索图像的视觉单词包括：W1、W2、W3，图像1的视觉单词包括：W1、W4、W5，图像2的视觉单词包括：W2、W3、W6，图像3的视觉单词包括：W4、W5、W6，待搜索图像与图像1的共有视觉单词为W1，待搜索图像与图像2的共有视觉单词为W2、W3，待搜索图像与图像3没有共有视觉单词，则图像1和图像2可以作为待搜索图像的候选图像。
基于待搜索图像与任一候选图像的共有视觉单词，确定待搜索图像与该候选图像之间的候选特征点匹配对。例如，待搜索图像的视觉单词包括：W1、W2、W3，待搜索图像的特征点A、B对应视觉单词W1，候选图像1的视觉单词包括：W1、W4、W5，候选图像1的特征点C、D对应视觉单词W1，则待搜索图像与候选图像1的若干个候选特征点匹配对包括：(A,C)、(A,D)、(B,C)、(B,D)。
在执行步骤520之前，还可以预先构建图像检索库，具体可以通过如下步骤构建图像检索库：首先收集大量样本图像，并对样本图像进行预处理，此处，预处理的方法可以为通过透视变换进行角度矫正、通过自适用阈值二值化算法进行光线矫正，通过纸张裁剪算法裁去文档图像中背景信息中的至少一种。
经过图像预处理之后，提取样本图像的每一特征点以及每一特征点的特征向量和特征角度。此处特征点的提取方法可以与上述实施例相同，本发明实施例在此不再赘述。基于每一特征点的特征向量，确定每一特征点对应的视觉单词，并建立任一特征点与该特征点对应的视觉单词的倒排索引关系。对每一样本图像执行上述步骤，即可完成图像检索库的构建。
基于上述任一实施例，图6为本发明实施例提供的候选图像确定方法的流程示意图，如图6所示，候选图像确定方法包括：
步骤610，基于待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与待搜索图像共有至少一个视觉单词的初选图像；
步骤620，基于待搜索图像与每一初选图像之间的相似度，从每一初选图像中选取若干个候选图像。
具体地，基于待搜索图像的每一特征点对应的视觉单词，将图像检索库中与待搜索图像共有至少一个视觉单词的图像作为初选图像。在得到若干个初选图像之后，基于待搜索图像与任一初选图像之间的共有视觉单词，确定待搜索图像与该初选图像之间的相似度。
待搜索图像与任一初选图像之间的相似度可以是基于待搜索图像的视觉向量与该初选图像的视觉向量的距离确定的，其中，视觉向量可以为一个维数与视觉单词的数目相同的列向量，视觉向量可以是基于对应图像中的特征点与视觉单词的对应关系确定的，视觉向量中每一元素可以为每一视觉单词对应的特征点的数目。例如，待搜索图像包括视觉单词：W1、W2、W3，视觉单词W1对应10个特征点，视觉单词W2对应30个特征点，视觉单词W3对应5个特征点，则待搜索图像的视觉向量为[10,30,5]。
视觉向量还可以是基于每一视觉单词以及对应的权重确定的，例如，待搜索图像包括视觉单词：W1、W2、W3，视觉单词W1、W2、W3的权重分别对应η1，η2，η3则待搜索图像的视觉向量为[(W1,η1),(W2,η2),(W3,η3)]。此处，任一视觉单词的权重可以是基于TF-IDF(TermFrequency-Inverse Document Frequency，频率-逆文档频率)指数确定的。
在得到待搜索图像与每一初选图像之间的相似度之后，按照相似度从大到小的顺序对所有初选图像进行排序，根据排序结果将排序靠前的若干个初选图像作为若干个候选图像。
基于上述任一实施例，该方法中，步骤130具体包括：
基于该候选图像与待搜索图像之间所有最终特征点匹配对的数量，确定待搜索图像与该候选图像之间的相似度；
基于待搜索图像分别与每一候选图像之间的相似度，确定待搜索图像的搜索结果。
具体地，待搜索图像与任一候选图像之间的相似度是基于待搜索图像与该候选图像之间所有最终特征点匹配对的数量确定的。假设待搜索图像的特征点的数量为num1，待搜索图像与任一候选图像之间所有最终特征点匹配对的数量为num2，则待搜索图像与该候选图像的相似度可以为num2/num1。
在得到待搜索图像与每一候选图像之间的相似度之后，可以按照相似度从大到小的顺序对所有候选图像进行排序，根据排序结果将排序靠前的若干个候选图像作为待搜索图像的搜索结果。
基于上述任一实施例，该方法中，特征角度是基于如下步骤确定的：
基于该特征点所属图像的所有像素点，以及该特征点，确定以该特征点为参照的质心点；
基于以该特征点为参照的质心点，确定该特征点的特征角度。
具体地，任一特征点对应一个以该特征点为参照的质心点，基于该特征点所属图像的所有像素点与该特征点的横坐标之差，以及所有像素点与该特征点的像素值之差，确定以该特征点为参照的质心点的横坐标。基于该特征点所属图像的所有像素点与该特征点的纵坐标之差，以及所有像素点与该特征点的像素值之差，确定以该特征点为参照的质心点的纵坐标。
具体可以通过如下公式，计算以任一特征点为参照的质心点的坐标：
Figure BDA0002665618370000201
Figure BDA0002665618370000202
式中，xq,yq分别为以特征点C为参照的质心点的横坐标、纵坐标，xc,yc分别为特征点C的横坐标、纵坐标，xi,yi分别为第i个像素点的横坐标、纵坐标，pc为特征点C的像素值，pi为第i个像素点的像素值，M为特征点C所属图像中像素点的数量。
由于任一特征点对应的质心点的坐标是在以该特征点为原点的坐标系中计算的，该特征点的特征角度可以基于以该特征点为参照的质心点的坐标确定。该特征点对应的质心点坐标为(xq,yq)，则该特征点的特征角度为arctan(yq/xq)。
基于上述任一实施例，图7为本发明实施例提供的图像搜索方法的流程示意图，如图7所示，该方法包括以下步骤：
首先，确定待搜索图像，并对待搜索图像进行图像预处理。图像预处理的步骤可以为：先通过纸张裁剪算法裁去待搜索图像中桌面等背景信息，然后通过透视变换对待搜索图像进行角度矫正，最后通过自适用阈值二值化算法对待搜索图像进行光线矫正。
待搜索图像经过预处理之后，提取待搜索图像的特征点。计算待搜索图像的每一像素点的5×5邻域区域中的对角线方位的4个方位像素点分别与对应像素点的像素值之差，若至少一个方位像素点与该像素点的像素值之差的绝对值大于阈值1，则将该像素点作为候选特征点。
对于处于待搜索图像边缘的像素点，由于没有足够的方位像素点无法进行候选特征点的判断，不将此类像素点作为候选特征点；对待搜索图像中处于非边缘位置的像素点均执行上述步骤，从中选取若干个候选特征点。
在得到若干个候选特征点之后，基于每一候选特征点的5×5邻域区域中所有边缘像素点分别与对应候选特征点的像素值之差，若至少8个连续边缘像素点与该候选特征点的像素值之差的绝对值均大于阈值2，则将该候选特征点作为特征点。需要说明的是，由于特征点的选取是以候选特征点为基础的，可以预先设定阈值1大于阈值2。
在得到若干个特征点之后，计算每一特征点的特征点得分，其中，任一特征点的得分可以为该特征点的5×5邻域区域中的16个边缘像素点分别与该特征点的像素值之差的和。对于任一特征点，若该特征点的5×5邻域区域内不存在其他特征点，则将该特征点保留；若该特征点的5×5邻域区域内存在多个特征点，则基于该特征点的5×5邻域区域内每一特征点得分，将特征点得分最高的特征点保留，并将其他特征点去除。
在得到待搜索图像的所有特征点之后，计算每一特征点的特征向量和特征角度，并基于每一特征点的特征向量，确定每一特征点对应的视觉单词。基于待搜索图像的每一特征点对应的视觉单词，从图像检索库中通过倒排索引查询到与待搜索图像共有至少一个视觉单词的初选图像。
基于待搜索图像与每一初选图像之间的相似度，按照相似度从大到小的顺序进行排序，并将排序靠前的若干个初选图像作为若干个候选图像。此处，待搜索图像与任一初选图像之间的相似度可以是基于每一视觉单词以及对应的权重确定的，任一视觉单词的权重可以是基于TF-IDF指数确定的。
基于待搜索图像与任一候选图像的共有视觉单词，确定待搜索图像与该候选图像之间的若干个候选特征点匹配对。
在得到若干个候选特征点匹配对之后，基于所有候选特征点匹配对的特征角度差值的分布情况，确定所有候选特征点匹配对的特征角度差值的直方图，并基于直方图，确定集中分布范围和离散程度。基于集中分布范围和离散程度，确定特征角度差值有效范围。其中，集中分布范围可以为直方图中频数最高的直方对应的范围，离散程度可以表示为直方图的标准差。
若任一候选特征点匹配对的特征角度差值在特征角度差值有效范围内，则将该候选特征点匹配对作为最终特征点匹配对；若任一候选特征点匹配对的特征角度差值在特征角度差值有效范围外，则将该候选特征点匹配对滤除。
基于待搜索图像与任一候选图像之间所有最终特征点匹配对的数量，确定待搜索图像与该候选图像之间的相似度，并按照相似度从大到小的顺序对所有候选图像进行排序，根据排序结果将排序靠前的若干个候选图像及其对应的相似度作为待搜索图像的搜索结果。
由于文档图像通常只有黑白两种颜色，图像内容单一，且不同的文档图像之间图像内容重复率高，不同特征点的特征向量差异较小，对应同一视觉单词的特征点并不一定是正确匹配的，候选特征点匹配对中可能存在大量误判。
本发明实施例中，通过所有候选特征点匹配对的特征角度差值的分布情况，对所有候选特征点匹配对进行筛选，能够有效地滤除错误匹配的候选特征点匹配对，提高了最终特征点匹配对的准确性，进而提高了待搜索图像的搜索结果的准确性。此外，特征点的判定方式更为宽松，避免了对文档图像中部分特征点的遗漏，同时不需要构建图像金字塔，避免了构建图像金字塔导致的图像严重失真的问题。
基于上述任一实施例，图8为本发明实施例提供的图像搜索装置的结构示意图，如图8所示，该装置包括：
候选特征点匹配对确定单元810，用于基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对；
最终特征点匹配对确定单元820，用于基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；
搜索结果确定单元830，用于基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果。
本发明实施例提供的图像搜索装置，通过基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对，并基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果，能够有效地滤除文档图像中因特征点难以区分造成的错误匹配的特征点匹配对，提高了特征点匹配的准确性，进而提高了待搜索图像的搜索结果的准确性。
基于上述任一实施例，该装置还包括：
候选特征点确定单元，用于确定待搜索图像的每一候选特征点；
特征点确定单元，用于基于每一候选特征点的第一邻域区域中的至少第一预设数量个连续边缘像素点分别与对应候选特征点的像素值之差，从若干个候选特征点中选取若干个特征点，第一预设数量小于第一邻域区域的边缘像素点总数。
基于上述任一实施例，该装置中，候选特征点确定单元具体用于：
基于待搜索图像的每一像素点的第二邻域区域中的第二预设数量个方位像素点分别与对应像素点的像素值之差，从待搜索图像的所有像素点中选取若干个候选特征点。
基于上述任一实施例，该装置还包括：
特征点筛选单元，用于若任一特征点的第三邻域区域内存在多个特征点，则基于该特征点的第三邻域区域内每一特征点的特征点得分，对多个特征点进行筛选；
其中，该特征点的特征点得分是基于该特征点的第三邻域区域中的第三预设数量个边缘像素点分别与该特征点的像素值之差确定的。
基于上述任一实施例，该装置中，最终特征点匹配对确定单元820具体用于：
基于所有候选特征点匹配对的特征角度差值的分布情况中的集中分布范围和/或离散程度，确定特征角度差值有效范围；
基于特征角度差值有效范围，对所有候选特征点匹配对进行筛选，得到若干个特征角度差值集中分布的最终特征点匹配对。
基于上述任一实施例，该装置中，候选特征点匹配对确定单元810具体包括：
视觉单词确定子单元，用于将待搜索图像的每一特征点的特征向量与多个视觉单词进行匹配，得到待搜索图像的每一特征点对应的视觉单词；其中，多个视觉单词是对样本图像的特征点的特征向量进行聚类得到的；
候选特征点匹配对确定子单元，用于基于待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与待搜索图像共有至少一个视觉单词的候选图像，并得到待搜索图像与每一候选图像之间的若干个对应同一视觉单词的候选特征点匹配对。
基于上述任一实施例，该装置中，候选特征点匹配对确定子单元具体用于：
基于待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与待搜索图像共有至少一个视觉单词的初选图像；
基于待搜索图像与每一初选图像之间的相似度，从每一初选图像中选取若干个候选图像。
基于上述任一实施例，该装置中，搜索结果确定单元830具体用于：
基于该候选图像与待搜索图像之间所有最终特征点匹配对的数量，确定待搜索图像与该候选图像之间的相似度；
基于待搜索图像分别与每一候选图像之间的相似度，确定待搜索图像的搜索结果。
基于上述任一实施例，该装置还包括：
特征角度确定单元，用于基于该特征点所属图像的所有像素点，以及该特征点，确定以该特征点为参照的质心点；
基于以该特征点为参照的质心点，确定该特征点的特征角度。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行图像搜索方法，该方法包括：基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对；基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的图像搜索方法，该方法包括：基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对；基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的图像搜索方法，该方法包括：基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对；基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；基于待搜索图像与每一候选图像之间的最终特征点匹配对，确定待搜索图像的搜索结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种图像搜索方法，其特征在于，包括：
基于待搜索图像的特征点，确定所述待搜索图像与任一候选图像之间的若干个候选特征点匹配对；
基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，所述特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；
基于所述待搜索图像与每一候选图像之间的最终特征点匹配对，确定所述待搜索图像的搜索结果。
2.根据权利要求1所述的图像搜索方法，其特征在于，所述待搜索图像的特征点是基于如下步骤确定的：
确定所述待搜索图像的每一候选特征点；
基于每一候选特征点的第一邻域区域中的至少第一预设数量个连续边缘像素点分别与对应候选特征点的像素值之差，从若干个候选特征点中选取若干个特征点；
所述第一预设数量小于所述第一邻域区域的边缘像素点总数。
3.根据权利要求2所述的图像搜索方法，其特征在于，所述确定所述待搜索图像的每一候选特征点，具体包括：
基于所述待搜索图像的每一像素点的第二邻域区域中的第二预设数量个方位像素点分别与对应像素点的像素值之差，从所述待搜索图像的所有像素点中选取所述若干个候选特征点。
4.根据权利要求2所述的图像搜索方法，其特征在于，所述从所述若干个候选特征点中选取若干个特征点，之后还包括：
若任一特征点的第三邻域区域内存在多个特征点，则基于所述任一特征点的第三邻域区域内每一特征点的特征点得分，对所述多个特征点进行筛选；
其中，所述任一特征点的特征点得分是基于所述任一特征点的第三邻域区域中的第三预设数量个边缘像素点分别与所述任一特征点的像素值之差确定的。
5.根据权利要求1-4任一项所述的图像搜索方法，其特征在于，所述基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对，具体包括：
基于所有候选特征点匹配对的特征角度差值的分布情况中的集中分布范围和/或离散程度，确定特征角度差值有效范围；
基于所述特征角度差值有效范围，对所有候选特征点匹配对进行筛选，得到所述若干个特征角度差值集中分布的最终特征点匹配对。
6.根据权利要求1-4任一项所述的图像搜索方法，其特征在于，所述基于待搜索图像的特征点，确定待搜索图像与任一候选图像之间的若干个候选特征点匹配对，具体包括：
将所述待搜索图像的每一特征点的特征向量与多个视觉单词进行匹配，得到所述待搜索图像的每一特征点对应的视觉单词；其中，所述多个视觉单词是对样本图像的特征点的特征向量进行聚类得到的；
基于所述待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与所述待搜索图像共有至少一个视觉单词的候选图像，并得到所述待搜索图像与每一候选图像之间的若干个对应同一视觉单词的候选特征点匹配对。
7.根据权利要求6所述的图像搜索方法，其特征在于，所述基于所述待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与所述待搜索图像共有至少一个视觉单词的候选图像，具体包括：
基于所述待搜索图像的每一特征点对应的视觉单词，从图像检索库中选取与所述待搜索图像共有至少一个视觉单词的初选图像；
基于所述待搜索图像与每一初选图像之间的相似度，从每一初选图像中选取若干个候选图像。
8.根据权利要求1-4任一项所述的图像搜索方法，其特征在于，所述基于所述待搜索图像与每一候选图像之间的最终特征点匹配对，确定所述待搜索图像的搜索结果，具体包括：
基于所述任一候选图像与所述待搜索图像之间所有最终特征点匹配对数量，确定所述待搜索图像与所述任一候选图像之间的相似度；
基于所述待搜索图像分别与每一候选图像之间的相似度，确定所述待搜索图像的搜索结果。
9.根据权利要求1-4任一项所述的图像搜索方法，其特征在于，所述特征角度是基于如下步骤确定的：
基于所述任一特征点所属图像的所有像素点，以及所述任一特征点，确定以所述任一特征点为参照的质心点；
基于以所述任一特征点为参照的质心点，确定所述任一特征点的特征角度。
10.一种图像搜索装置，其特征在于，包括：
候选特征点匹配对确定单元，用于基于待搜索图像的特征点，确定所述待搜索图像与任一候选图像之间的若干个候选特征点匹配对；
最终特征点匹配对确定单元，用于基于所有候选特征点匹配对的特征角度差值的分布情况，从所有候选特征点匹配对中筛选出若干个特征角度差值集中分布的最终特征点匹配对；其中，所述特征角度差值为对应候选特征点匹配对中的两个特征点的特征角度的差值，特征角度表示对应特征点在所属图像中的分布方位；
搜索结果确定单元，用于基于所述待搜索图像与每一候选图像之间的最终特征点匹配对，确定所述待搜索图像的搜索结果。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任一项所述图像搜索方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9任一项所述图像搜索方法的步骤。
CN202010917732.2A 2020-09-03 2020-09-03 图像搜索方法、装置、电子设备及存储介质 Active CN112015935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010917732.2A CN112015935B (zh) 2020-09-03 2020-09-03 图像搜索方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010917732.2A CN112015935B (zh) 2020-09-03 2020-09-03 图像搜索方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112015935A true CN112015935A (zh) 2020-12-01
CN112015935B CN112015935B (zh) 2022-12-06

Family

ID=73515712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010917732.2A Active CN112015935B (zh) 2020-09-03 2020-09-03 图像搜索方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112015935B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269894A (zh) * 2020-12-03 2021-01-26 北京沃东天骏信息技术有限公司 物品池生成方法、图片搜索方法、装置、电子设备及介质
CN112911303A (zh) * 2021-01-27 2021-06-04 浙江商汤科技开发有限公司 图像编码方法、解码方法、装置、电子设备及存储介质
CN116684701A (zh) * 2023-06-20 2023-09-01 深圳市视壮科技有限公司 一种机顶盒节目搜索方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872475A (zh) * 2009-04-22 2010-10-27 中国科学院自动化研究所 一种扫描文档图像自动配准方法
JP2011039974A (ja) * 2009-08-18 2011-02-24 Kddi Corp 画像検索方法およびシステム
CN103970769A (zh) * 2013-01-29 2014-08-06 华为技术有限公司 图像检索方法及装置
JP2015032248A (ja) * 2013-08-06 2015-02-16 富士ゼロックス株式会社 画像検索装置、データ検索システム及びプログラム
CN104915673A (zh) * 2014-03-11 2015-09-16 株式会社理光 一种基于视觉词袋模型的目标分类方法和系统
CN105468596A (zh) * 2014-08-12 2016-04-06 腾讯科技（深圳）有限公司 图片检索方法和装置
CN108491498A (zh) * 2018-03-20 2018-09-04 山东神博数字技术有限公司 一种基于多特征检测的卡口图像目标搜索方法
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872475A (zh) * 2009-04-22 2010-10-27 中国科学院自动化研究所 一种扫描文档图像自动配准方法
JP2011039974A (ja) * 2009-08-18 2011-02-24 Kddi Corp 画像検索方法およびシステム
CN103970769A (zh) * 2013-01-29 2014-08-06 华为技术有限公司 图像检索方法及装置
JP2015032248A (ja) * 2013-08-06 2015-02-16 富士ゼロックス株式会社 画像検索装置、データ検索システム及びプログラム
CN104915673A (zh) * 2014-03-11 2015-09-16 株式会社理光 一种基于视觉词袋模型的目标分类方法和系统
CN105468596A (zh) * 2014-08-12 2016-04-06 腾讯科技（深圳）有限公司 图片检索方法和装置
CN108491498A (zh) * 2018-03-20 2018-09-04 山东神博数字技术有限公司 一种基于多特征检测的卡口图像目标搜索方法
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、系统及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN,SY ETC.: "Structured document classification by matching local salient features", 《PROCEEDINGS OF THE 21ST INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR2012)》 *
CHENG HUI ETC.: "A Novel SAR Image Matching Algorithm Based on Support Feature Point", 《 2006 8TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING》 *
阿丽亚·巴吐尔 等: "改进SURF特征的维吾尔文复杂文档图像匹配检索", 《智能系统学报》 *
顾征 等: "采用邻域差值特征模板的立体匹配方法", 《光电工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269894A (zh) * 2020-12-03 2021-01-26 北京沃东天骏信息技术有限公司 物品池生成方法、图片搜索方法、装置、电子设备及介质
CN112269894B (zh) * 2020-12-03 2021-07-13 北京沃东天骏信息技术有限公司 物品池生成方法、图片搜索方法、装置、电子设备及介质
CN112911303A (zh) * 2021-01-27 2021-06-04 浙江商汤科技开发有限公司 图像编码方法、解码方法、装置、电子设备及存储介质
CN112911303B (zh) * 2021-01-27 2024-03-29 浙江商汤科技开发有限公司 图像编码方法、解码方法、装置、电子设备及存储介质
CN116684701A (zh) * 2023-06-20 2023-09-01 深圳市视壮科技有限公司 一种机顶盒节目搜索方法及系统

Also Published As

Publication number Publication date
CN112015935B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN112015935B (zh) 图像搜索方法、装置、电子设备及存储介质
CN109086714B (zh) 表格识别方法、识别系统及计算机装置
CN110298376B (zh) 一种基于改进b-cnn的银行票据图像分类方法
CN110458078B (zh) 一种人脸图像数据聚类方法、系统及设备
Yu et al. Automatic interesting object extraction from images using complementary saliency maps
CN110807110B (zh) 结合局部和全局特征的图片搜索方法、装置及电子设备
US7370059B2 (en) Model of documents and method for automatically classifying a document
CN110717492A (zh) 基于联合特征的图纸中字符串方向校正方法
CN112926601A (zh) 基于深度学习的图像识别方法、装置、设备及存储介质
CN115131590A (zh) 目标检测模型的训练方法、目标检测方法及相关设备
CN113792659B (zh) 文档识别方法、装置及电子设备
Chen et al. Efficient text localization in born-digital images by local contrast-based segmentation
CN108764245B (zh) 一种提高商标图形相似度判定准确性的方法
CN113918744A (zh) 相似图像检索方法、装置、存储介质及计算机程序产品
CN110942062B (zh) 图像验证码生成方法、介质、装置和计算设备
CN111259894B (zh) 一种证件信息鉴别方法、装置及计算机设备
CN112200789A (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN110378337B (zh) 金属切削刀具图纸标识信息视觉输入方法及系统
KR102565485B1 (ko) 도시 거리 검색 서비스 제공 서버 및 방법
Zhong et al. Copy-move forgery detection using adaptive keypoint filtering and iterative region merging
CN111832497A (zh) 一种基于几何特征的文本检测后处理方法
CN111814801A (zh) 一种机械图中标注串的提取方法
CN110705569A (zh) 一种基于纹理特征的图像局部特征描述子提取方法
CN114723791A (zh) 特征点匹配方法、装置、电子设备和存储介质
JP2006221525A (ja) オブジェクト検索システムおよび方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant