CN109447173A - 一种基于图像全局特征和局部特征的图像匹配方法 - Google Patents

一种基于图像全局特征和局部特征的图像匹配方法 Download PDF

Info

Publication number
CN109447173A
CN109447173A CN201811318995.0A CN201811318995A CN109447173A CN 109447173 A CN109447173 A CN 109447173A CN 201811318995 A CN201811318995 A CN 201811318995A CN 109447173 A CN109447173 A CN 109447173A
Authority
CN
China
Prior art keywords
image
feature
point
matching
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811318995.0A
Other languages
English (en)
Inventor
田海
陆玉传
吴馨
吴沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING XUNSIYA INFORMATION TECHNOLOGY Co Ltd
Original Assignee
NANJING XUNSIYA INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING XUNSIYA INFORMATION TECHNOLOGY Co Ltd filed Critical NANJING XUNSIYA INFORMATION TECHNOLOGY Co Ltd
Priority to CN201811318995.0A priority Critical patent/CN109447173A/zh
Publication of CN109447173A publication Critical patent/CN109447173A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明公开了一种基于图像全局特征和局部特征的图像匹配方法。该方法基于图像尺度空间对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征，并利用深度学习的图像分类方法，创造性的设计了局部特征压缩算法和索引算法，成功的将局部特征集成到CBIR框架中，形成了基于图像和视频内容识别的指纹技术，应用于图片和视频匹配。与现有技术相比，具有抗干扰能力强、通用性强，处理速度快、匹配准确率高的优点。

Description

一种基于图像全局特征和局部特征的图像匹配方法
技术领域
本发明涉及计算机视觉领域，尤其涉及图像匹配技术领域。
背景技术
图像匹配在近几十年来一直是人们研究的热点和难点，它是在变换空间中寻找一种或多种变换，使来自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像在空间上一致，目前已经应用于许多领域。
图像匹配分以灰度为基础的匹配和以特征为基础的匹配，但是利用灰度信息匹配方法的计算量太大，这些方法很少被使用，而基于图像特征的匹配在实际中的应用越来越广泛。在特征匹配中分全局特征匹配与局部特征匹配，全局特征主要提取的是边缘和颜色信息来描述一幅图像的内容，或用一个字符串或是数组作为一幅图像的hash值，对于那些前景背景分明、颜色区别度高的图像有较好的匹配结果；局部特征是主要检测图像中的局部细节信息,对于存在旋转遮挡等具有局部不变性的图像有好的匹配结果。局部特征相对全局特征，图像匹配精度高、匹配正确率高和抗干扰性强(翻转、翻拍、颜色变换、背景干扰等)，基本可以满足正常目标匹配需求，但是在需要在千万甚至上亿级别的图像数据库中检索图像时，局部特征的时间开销和空间开销变得无法接受。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征，并利用深度学习的图像分类方法，该方法创造性的设计了局部特征压缩算法和索引算法，成功的将局部特征集成到CBIR框架中，形成了基于图像和视频内容识别的指纹技术，应用于图片和视频匹配。
本发明为了解决以上技术问题，采用以下技术手段：
一种基于图像全局特征和局部特征的图像匹配方法，通过求一幅图中的特征点及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，特征匹配包括2个阶段：图像指纹的生成和图像指纹的匹配，其中：
A、图像指纹的生成具体步骤如下：
步骤（1）、通过图像局部特征相关算法提取局部特征点；
步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；
步骤（3）、为特征点分配方向值；
步骤（4）、生成局部特征描述子，即特征向量；
步骤（5）、对局部特征描述子进行压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；
步骤（6）、利用fisher vector生成全局描述子，在执行点集到点集匹配之前进行过滤；
B、特征向量的匹配具体步骤如下：
步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；
步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点，这两个关键点如果次近距离除以最近距离小于预设阙值，则判定为一对匹配点；
步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；
步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。
进一步的，本发明所提出的图像匹配方法，所述步骤（1）中，是采用SIFT算法、SURF算法提取局部特征点；在提取特征点时，使用基于不同高斯分布的关键点检测和每个关键点的SIFT特征描述，通过选择一个关键点子集并压缩结果特征及其坐标，生成压缩的本地描述符，最后生成一个紧凑的全局描述符，通过聚合的未压缩SIFT特性来描述整个图像。
进一步的，本发明所提出的图像匹配方法，所述步骤（2）中，对于给定一幅图像，选择检测到的SIFT特征的子集来生成SCFV描述符，在每个操作点上为每张图像选择300个SIFT特征，当一个图像包含小于300个SIFT的特征时，选择所有的特征。
进一步的，本发明所提出的图像匹配方法，所述步骤（3）中，从查询/参考图像的关键点选择阶段为每个选中的局部特征生成Fisher向量。
进一步的，本发明所提出的图像匹配方法，所述步骤（4）中，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。
进一步的，本发明所提出的图像匹配方法，所述步骤（9）中，对于全局描述符的匹配，给定两个图像X和Y，相似度得分是它们的全局描述符之间的加权相关性，通过使用按位XOR和POPCNT计算汉明距离来快速计算，并且从一个小型查找表中读取权重，如果相似度得分超过阈值，则将此图像对确定为匹配，否则为非匹配。
相比现有技术，本发明的具有以下有益效果：
1、抗干扰能力强，能屏蔽翻转、翻拍、颜色变换、背景干扰、放大、缩小、扭曲等场景带来的干扰；
2、通用性强，适应通过预设图片查找包含这些预设内容的图片及视频、相似的图像或视频在经过变化后的检索匹配、在图像库中搜索具有相同特征的特定物体等场景；
3、本发明处理速度快，在千万级图像库中匹配图像速度小于1秒；
4、本发明匹配准确率高，准确率可达99%。
附图说明
图1是图像指纹的生成示意图。
图2是特征向量的匹配流程图。
图3是全局描述子和局部描述子生成示意图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明：
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明提出一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征并利用深度学习的图像分类方法，通过求一幅图中的特征点（interestpoints,or corner points）及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，特征匹配主要包括2个阶段：图像指纹的生成和图像指纹的匹配。
如图1所示，图像指纹的生成具体步骤如下：
步骤（1）、通过SIFT算法、SURF算法等图像局部特征相关算法提取局部特征点；
步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；
步骤（3）、为特征点分配方向值；
步骤（4）、生成局部特征描述子，即特征向量；
步骤（5）、局部描述子压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；
步骤（6）、利用 fisher vector 生成全局描述子，在执行点集到点集匹配之前进行过滤。
参考图2所示，特征向量的匹配具体步骤如下：
步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；
步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点。这两个关键点如果次近距离除以最近距离小于某个阙值，则判定为一对匹配点；
步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；
步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。
作为本发明的进一步优选方案， 所述步骤（1）中，在提取特征点时，使用基于不同高斯分布（DoG）的关键点检测和每个关键点的SIFT特征描述，通过选择一个关键点子集并压缩结果特征及其坐标，生成压缩的本地描述符。最后生成一个紧凑的全局描述符，通过聚合的未压缩SIFT特性来描述整个图像。
作为本发明的进一步优选方案， 所述步骤（2）中，对于给定一幅图像，选择检测到的SIFT特征的子集来生成SCFV描述符。我们在每个操作点上为每张图像选择300个SIFT特征。当一个图像包含小于300个SIFT的特征时，我们选择所有的特征。
作为本发明的进一步优选方案， 所述步骤（3）中，从查询/参考图像的关键点选择阶段为每个选中的局部特征生成Fisher向量。
作为本发明的进一步优选方案， 所述步骤（4）中，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。
作为本发明的进一步优选方案， 所述步骤（9）中，对于全局描述符的匹配，给定两个图像X和Y，相似度得分是它们的全局描述符之间的加权相关性，可以通过使用按位XOR和POPCNT计算汉明距离来快速计算，并且从一个小型查找表中读取权重。如果相似度得分超过阈值，则将此图像对确定为匹配，否则为非匹配。
下面结合图1、图3对本发明的技术方案做进一步的详细说明：
步骤100中为图像的输入；
步骤101中为局部特征点的提取，可以通过SIFT算法或SURF算法等局部特征点提取算法进行提取局部特征点；
步骤102中为特征点的选取，根据特征点的分布和重要性进行筛选，保留固定数据的特征点，选择检测到的SIFT特征的子集来生成SCFV描述符。在每个操作点上为每张图像选择300个SIFT特征。当一个图像包含小于300个SIFT的特征时，我们选择所有的特征；
步骤103中为局部描述子压缩，对于带有箱h0的梯度h的SIFT直方图，它的转换依赖于简单到计算的bin关系来捕获关于直方图形状的信息。例如两组关系A和B，发现A和B的关系集对随后的粗标量量化具有鲁棒性，并提供了较高的识别性能。对于SIFT本地描述符，空间相邻的直方图(尤其是水平或垂直连接的直方图)显示了显著的相关性，这在转换后的描述符中也得到了维护。因此，以相同的方式处理空间相邻的直方图，再加上随后的粗量化，导致相邻描述符具有相同元素的概率增加。部署不同的函数缓解了这个问题，增加了描述符的区分能力。在TM(16KB)支持的最高描述符长度下，未压缩的SIFT描述符按照上面的描述进行转换，从而产生128维描述符。低的描述符的长度,采用局部描述符,使用元素的一个子集,使用的元素每个长度是相同。一般来说，抽取的关键点是中心对称的，中心直方图比边界直方图更有分量。转换后的描述符的128个元素分别被量化为3个值，-1、0和+1，使用一个单独的量化阈值对来平衡元素值在三个量化容器中的长期分布。对于每个元素，阈值都是固定的。然后三元元素被直接写到位流中，对于三元0来说是“0”，对于三元-1来说是“10”，对于三元+1来说是“11”。在编码过程中，TM动态地决定可能被打包在图像描述符中的局部描述符的数量，以满足规定的描述符长度；
步骤104中对特征点坐标编码，利用算数编码从128维的浮点数组转化为二进制值数组；
步骤105中生成局部描述子，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。
本技术领域技术人员可以理解的是，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。
上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于图像全局特征和局部特征的图像匹配方法，其特征在于，通过求一幅图中的特征点及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，特征匹配包括2个阶段：图像指纹的生成和图像指纹的匹配，其中：
A、图像指纹的生成具体步骤如下：
步骤（1）、通过图像局部特征相关算法提取局部特征点；
步骤（2）、根据特征点的分布和重要性进行筛选，保留固定数据的特征点；
步骤（3）、为特征点分配方向值；
步骤（4）、生成局部特征描述子，即特征向量；
步骤（5）、对局部特征描述子进行压缩，利用算数编码对描述子进行编码，从128维的浮点数组转化为二进制值数组；
步骤（6）、利用fisher vector生成全局描述子，在执行点集到点集匹配之前进行过滤；
B、特征向量的匹配具体步骤如下：
步骤（7）、基于视觉和图像不变特性，采用关键点特征向量的欧式距离来作为关键点的相似性判定度量；
步骤（8）、取图像1的某个关键点，遍历寻找图像2中的距离最近的两个关键点，这两个关键点如果次近距离除以最近距离小于预设阙值，则判定为一对匹配点；
步骤（9）、建立数据库索引，利用全局描述子快速筛选出可能相似的图像；
步骤（10）、利用局部描述子进一步计算对比图像的相似度，将结果根据相似度从高到低返回。
2.根据权利要求1所述的图像匹配方法，其特征在于，所述步骤（1）中，是采用SIFT算法、SURF算法提取局部特征点；在提取特征点时，使用基于不同高斯分布的关键点检测和每个关键点的SIFT特征描述，通过选择一个关键点子集并压缩结果特征及其坐标，生成压缩的本地描述符，最后生成一个紧凑的全局描述符，通过聚合的未压缩SIFT特性来描述整个图像。
3.根据权利要求2所述的图像匹配方法，其特征在于，所述步骤（2）中，对于给定一幅图像，选择检测到的SIFT特征的子集来生成SCFV描述符，在每个操作点上为每张图像选择300个SIFT特征，当一个图像包含小于300个SIFT的特征时，选择所有的特征。
4.根据权利要求2所述的图像匹配方法，其特征在于，所述步骤（3）中，从查询/参考图像的关键点选择阶段为每个选中的局部特征生成Fisher向量。
5.根据权利要求2所述的图像匹配方法，其特征在于，所述步骤（4）中，以特征点为中心取16×16的邻域作为采样窗口，将采样点与特征点的相对方向通过高斯加权后归入包含8个bin的方向直方图，最后获得4×4×8的128维特征描述子。
6.根据权利要求2所述的图像匹配方法，其特征在于，所述步骤（9）中，对于全局描述符的匹配，给定两个图像X和Y，相似度得分是它们的全局描述符之间的加权相关性，通过使用按位XOR和POPCNT计算汉明距离来快速计算，并且从一个小型查找表中读取权重，如果相似度得分超过阈值，则将此图像对确定为匹配，否则为非匹配。
CN201811318995.0A 2018-11-07 2018-11-07 一种基于图像全局特征和局部特征的图像匹配方法 Pending CN109447173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811318995.0A CN109447173A (zh) 2018-11-07 2018-11-07 一种基于图像全局特征和局部特征的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811318995.0A CN109447173A (zh) 2018-11-07 2018-11-07 一种基于图像全局特征和局部特征的图像匹配方法

Publications (1)

Publication Number Publication Date
CN109447173A true CN109447173A (zh) 2019-03-08

Family

ID=65550722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811318995.0A Pending CN109447173A (zh) 2018-11-07 2018-11-07 一种基于图像全局特征和局部特征的图像匹配方法

Country Status (1)

Country Link
CN (1) CN109447173A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070714A (zh) * 2020-07-29 2020-12-11 西安工业大学 一种基于局部三元计数特征的翻拍图像检测方法
CN112767394A (zh) * 2021-03-04 2021-05-07 重庆赛迪奇智人工智能科技有限公司 图像检测方法、装置和设备
CN113095385A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN116128945A (zh) * 2023-04-18 2023-05-16 南京邮电大学 一种改进的akaze图像配准方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968632A (zh) * 2012-10-15 2013-03-13 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法
CN103226589A (zh) * 2012-10-15 2013-07-31 北京大学 获取图像的紧凑全局特征描述子的方法及图像检索方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070714A (zh) * 2020-07-29 2020-12-11 西安工业大学 一种基于局部三元计数特征的翻拍图像检测方法
CN112070714B (zh) * 2020-07-29 2024-02-20 西安工业大学 一种基于局部三元计数特征的翻拍图像检测方法
CN112767394A (zh) * 2021-03-04 2021-05-07 重庆赛迪奇智人工智能科技有限公司 图像检测方法、装置和设备
CN113095385A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN113095385B (zh) * 2021-03-31 2023-04-18 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN116128945A (zh) * 2023-04-18 2023-05-16 南京邮电大学 一种改进的akaze图像配准方法
CN116128945B (zh) * 2023-04-18 2023-10-13 南京邮电大学 一种改进的akaze图像配准方法

Similar Documents

Publication Publication Date Title
Wu et al. Recent advances in deep learning for object detection
Pietikäinen et al. Local binary patterns for still images
Ren et al. A convolutional neural network-based chinese text detection algorithm via text structure modeling
CN109447173A (zh) 一种基于图像全局特征和局部特征的图像匹配方法
Obdrzalek et al. Sub-linear Indexing for Large Scale Object Recognition.
Caetano et al. A mid-level video representation based on binary descriptors: A case study for pornography detection
CN110427517B (zh) 一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质
Sun et al. Detection of exact and similar partial copies for copyright protection of manga
Yamauchi et al. Relational HOG feature with wild-card for object detection
Jiang et al. Self-attention Learning for Person Re-identification.
Trichet et al. Dataset optimization for real-time pedestrian detection
Gopal et al. Content based image retrieval using enhanced surf
Wu et al. A content-based video copy detection method with randomly projected binary features
Himeur et al. Joint color and texture descriptor using ring decomposition for robust video copy detection in large databases
Ghosh et al. Efficient indexing for query by string text retrieval
CN113963164A (zh) 一种基于分组邻域强度差异编码的纹理特征提取方法
Chen et al. Big Visual Data Analysis: Scene Classification and Geometric Labeling
Peng et al. Learning to multimodal hash for robust video copy detection
Lakshmi et al. A novel sketch based face recognition in unconstrained video for criminal investigation
Su et al. Analysis of feature fusion based on HIK SVM and its application for pedestrian detection
Liu et al. Person re-identification by local feature based on super pixel
Bilquees et al. Noise resilient local gradient orientation for content-based image retrieval
Bhunia et al. Query-based Logo Segmentation
Safonov et al. Document image classification on the basis of layout information
Hu et al. Pedestrian Detection Based on Deep Neural Network in Video Surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308

RJ01 Rejection of invention patent application after publication