CN106778775B - 一种基于sift特征软匹配的图像分类方法 - Google Patents

一种基于sift特征软匹配的图像分类方法 Download PDF

Info

Publication number
CN106778775B
CN106778775B CN201611074826.8A CN201611074826A CN106778775B CN 106778775 B CN106778775 B CN 106778775B CN 201611074826 A CN201611074826 A CN 201611074826A CN 106778775 B CN106778775 B CN 106778775B
Authority
CN
China
Prior art keywords
image
matching
images
algorithm
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611074826.8A
Other languages
English (en)
Other versions
CN106778775A (zh
Inventor
吴晓富
张婉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201611074826.8A priority Critical patent/CN106778775B/zh
Publication of CN106778775A publication Critical patent/CN106778775A/zh
Application granted granted Critical
Publication of CN106778775B publication Critical patent/CN106778775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于SIFT特征软匹配的图像分类方法，该方法主要包括如下步骤：使用SIFT特征提取算法对每个待分类图像提取特征；将提取出来的SIFT特征在每两个图像之间进行软匹配；根据图像之间匹配后的结果定义一种相似度度量标准；将上述图像之间的相似度作为后续分类算法的输入，进行分类。该方法定义了一种基于SIFT特征的相似度度量标准，很好地保证了算法的可行性。该方法不需要训练大量的样本，能够直接对输入的图像进行分类，很好地提高了图像分类的准确度。

Description

一种基于SIFT特征软匹配的图像分类方法
技术领域
本发明涉及一种基于SIFT特征软匹配的图像分类方法，属于图像分类技术领域。
背景技术
随着社会科技的飞速发展，全球每天都会产生海量的图片，作为一种信息的载体，这些图像是一种巨大的数据资源，为了充分利用这些资源，必须要对这些图像进行分析处理，而对这些大量的图像进行分类则是后续分析处理的基础，也是必须要做的重要的一步。
很多领域都会涉及图像分类，例如数据挖掘，模式识别，图像检索，计算机视觉等等。而人工对这些大量的图像进行分类显然是不可行的，尤其是在人工智能火热发展的今天，这种繁重的工作自然是让机器代替人工来完成，以提高工作效率。这就需要人们设计出各种图像分类方法，让计算机更加准确高效的完成图像分类的工作。
关于图像分类的方法有很多，一类方法是用一些事先人工分好类的图像来训练算法(称为有监督的方法)，以达到分类更精确的目标。然而，这种方法需要大量的训练图像，实现起来非常困难。还有一类方法是不需要训练，直接对待分类图像进行分类的方法(称为无监督的方法)。这种方法一般先要对图像提取特征及一些预处理，然后送入到分类器中进行分类。这类方法中包含各种图像特征提取技术和多种分类器，不同的特征提取技术与不同的分类器相结合都可能成为一种图像分类方法，但是也不能随意结合，要考虑最终实现的可行性和分类的性能，相对第一类有监督的分类方法，该类方法较容易实现，但是分类准确率有待提高。
发明内容
本发明目的在于针对上述现有技术的不足，提出了一种基于SIFT特征软匹配的图像分类方法，该方法很好地提高了图像分类的准确度。
本发明解决其技术问题所采取的技术方案是：一种基于SIFT特征软匹配的图像分类方法，该方法包括以下步骤：
步骤1：对待分类的图像分别进行SIFT特征提取操作。
步骤2：将步骤1中提取出来的SIFT特征在每两个图像之间进行“软匹配”。
软匹配的含义是指：将图像i与图像j提取出来的特征逐个关键点进行比较计算，用欧氏距离来度量图像i中第k个关键点与图像j中所有关键点的距离，找出最近和第二近的两个距离，把这两个距离的比值记为
Figure BDA0001164640880000021
步骤3：根据步骤2中计算出的图像i，j之间的匹配程度
Figure BDA0001164640880000022
定义一种相似度度量标准。
步骤4：将步骤3中计算所得的相似度
Figure BDA0001164640880000023
作为AP聚类算法的输入，进行最终的分类。
有益效果：
1、本发明在SIFT特征提取算法与分类算法相结合实现图像分类的过程中，提出SIFT特征“软匹配”的方法，该方法定义了一种基于SIFT特征的相似度度量标准，很好地保证了算法的可行性。
2、本发明不需要训练大量的样本，能够直接对输入的图像进行分类，很好地提高了图像分类的准确度。
附图说明
图1是本发明图像分类的方法流程图。
图2是参数β取不同数值时对应的函数sigmoid(β，x)的曲线。
图3是本发明具体实施例的曲线示意图。
具体实施方式
下面结合说明书附图对本发明创造作进一步的详细说明。
如图1所示，本发明提供了一种基于SIFT特征软匹配的图像分类方法，该方法包括如下步骤：
步骤1：对待分类的图像分别进行SIFT特征提取操作。
下面结合说明书附图对本发明创造作进一步的详细说明。
SIFT(scale invariant feature transform)是一种常用的图像局部特征提取技术，该方法提取出来的特征具有尺度和旋转不变性，而且对光照和拍摄视角的变化也有一定的鲁棒性。
经过SIFT特征提取操作，每一个图像会提取出若干关键点和相应的特征描述子，实施例中每一个关键点对应一个128维的矢量(即特征描述子)。若一个图像提取出K个关键点，则该图像的特征描述为(K x 128)维向量。
步骤2：将步骤1中提取出来的SIFT特征在每两个图像之间进行“软匹配”。
匹配的含义是指：将图像i与图像j提取出来的特征逐个关键点进行比较计算，用欧氏距离来度量图像i中第k个关键点与图像j中所有关键点的距离，找出最近和第二近的两个距离，把这两个距离的比值记为
Figure BDA0001164640880000031
在传统的匹配步骤中，都是采用硬判决的方法，即给定一个阈值δ，当距离之比
Figure BDA0001164640880000032
的值比该阈值δ大时，说明匹配不成功，记为0；对应地，当比值小于阈值δ时，匹配成功，记为1。则图像i与图像j的匹配程度就是这些0，1的累加和，记为m(i,j)。这种方法本发明称为硬匹配。
上述硬匹配方法显然丢弃了很多有用信息，针对该问题，本发明提出了一种“软匹配”的方法。该“软匹配”即与硬匹配相对应，充分利用所有的比值信息。本发明保留全部的比值信息
Figure BDA0001164640880000033
并根据下式计算图像i中第k个关键点与图像j中关键点的匹配度
Figure BDA0001164640880000034
Figure BDA0001164640880000035
其中，
Figure BDA0001164640880000036
δ表示设定的阈值；
Ki表示图像i的关键点的总数；
β是一个调节参数，当β→∞时，该方法退化为硬匹配。图2显示了β取不同数值时函数sigmoid(β，x)的曲线。
那么图像i与图像j之间的匹配程度
Figure BDA0001164640880000037
按如下公式计算：
Figure BDA0001164640880000041
当β→∞时，
Figure BDA0001164640880000042
需要指出的是，m(i，j)≠m(j，i)，
Figure BDA0001164640880000043
且计算结果m(i，j)一定是个整数，而
Figure BDA0001164640880000044
不一定是整数。
步骤3：根据步骤2中计算出的图像i，j之间的匹配程度
Figure BDA0001164640880000045
定义一种相似度度量标准。
按照下式定义图像i与图像j之间的相似度
Figure BDA0001164640880000046
Figure BDA0001164640880000047
其中，
Figure BDA0001164640880000048
是对图像i与图像j的匹配程度
Figure BDA0001164640880000049
的归一化；
N表示待分类图像的总个数；
由于μ(i，j)＝μ(j，i)，所以
Figure BDA00011646408800000410
因此称之为对称相似度。
步骤4：将步骤3中计算所得的相似度
Figure BDA00011646408800000411
作为AP聚类算法的输入，进行最终的分类。
AP(Affinity Propagation)聚类算法是一种根据数据之间的相似度进行聚类的算法，其特点是快速高效，不必事先人为指定聚类数目且能够解决大规模稀疏矩阵计算问题，已经被用于人脸识别、基因发现、搜索最优航线以及实物图像识别等领域。
聚类算法把图像间的相似度作为输入，经过算法后生成几个类代表图像以及每个图像类的划分情况。假设图像i与图像j之间的相似度记为s(i，j)，i，j∈[1，N]，N表示待分类图像的个数。若i＝j，则记pj＝s(i，j)，代表图像j被选为类代表的参考度。算法的输入也包括每一个数据的参考度pj，拥有较大参考度的图像就有更大的机会被选为类代表。
聚类算法的主要过程是在数据之间来回传递两种信息，一个是“responsibility”r(i，k)，是图像i向可能的类代表图像k传递的信息，反应图像i选择图像k作为代表的可能性；另一个是“availability”a(i，k)，是从可能的类代表图像k传递给图像i的信息，表示图像k能够作为图像i的代表的可信度。AP聚类算法的大致流程可用如下步骤表示：
1)初始化：
r(i，k)＝0
Figure BDA0001164640880000051
2)更新responsibility：
Figure BDA0001164640880000052
3)更新availability：
Figure BDA0001164640880000053
Figure BDA0001164640880000054
4)筛选类代表：
Figure BDA0001164640880000055
ci表示图像i对应的类代表图像。上述过程中很容易会出现振荡，一般会在更新过程中加入阻尼系数λ，一般λ∈[0.5，1]。
经过上述步骤的迭代进行，直至满足迭代停止的条件，算法结束，输出图像分类结果。
将上述整个过程在matlab中实现，该实施例所用图像库是Olivetti人脸数据库，实验用40个人的400张灰度图像(即每人10张不同表情的图像)，每个图像大小为64x64。图3显示了本发明对分类准确度的显著提高，图中“hard matching”对应硬匹配的分类结果；“soft matching”对应软匹配的分类结果；纵坐标“Accuracy”指分类准确度，是正确分类的图像占全部图像的比例；由本实施例的结果可以看出，本发明的分类精确度得到了很大的提升，充分证明了本发明的有效性。
本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，凡是利用本发明说明书及附图内容所做的等效变换，或直接或间接运用在其他相关的技术领域，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (1)

1.一种基于SIFT特征软匹配的图像分类方法，其特征在于，所述方法包括如下步骤：
步骤1：对待分类的图像分别进行SIFT特征提取操作；
步骤2：将步骤1中提取出来的SIFT特征在每两个图像之间进行软匹配，软匹配的含义是指：将图像i与图像j提取出来的特征逐个关键点进行比较计算，用欧氏距离来度量图像i中第k个关键点与图像j中所有关键点的距离，找出最近和第二近的两个距离，把这两个距离的比值记为
Figure FDA0002496348240000011
软匹配是与硬匹配相对应，利用所有的比值信息，保留全部的比值信息
Figure FDA0002496348240000012
并根据下式计算图像i中第k个关键点与图像j中关键点的匹配度
Figure FDA0002496348240000013
Figure FDA0002496348240000014
其中，
Figure FDA0002496348240000015
δ表示设定的阈值；
Ki表示图像i的关键点的总数；
β是一个调节参数，当β→∞时，退化为硬匹配，β取不同数值时函数sigmoid(β，x)的曲线，那么图像i与图像j之间的匹配程度
Figure FDA0002496348240000016
按如下公式计算：
Figure FDA0002496348240000017
当β→∞时，
Figure FDA0002496348240000018
需要指出的是，m(i，j)≠m(j，i)，
Figure FDA0002496348240000019
且计算结果m(i，j)一定是个整数，而
Figure FDA00024963482400000110
不一定是整数；
步骤3：根据步骤2中计算出的图像i，j之间的匹配程度
Figure FDA00024963482400000111
定义一种相似度度量标准，按照下式定义图像i与图像j之间的相似度
Figure FDA00024963482400000112
Figure FDA00024963482400000113
其中，
Figure FDA0002496348240000021
是对图像i与图像j的匹配程度
Figure FDA0002496348240000022
的归一化；
N表示待分类图像的总个数；
由于μ(i，j)＝μ(j，i)，所以
Figure FDA0002496348240000023
因此称之为对称相似度；
步骤4：将步骤3中计算所得的相似度
Figure FDA0002496348240000024
作为AP聚类算法的输入，进行最终的分类，聚类算法把图像间的相似度作为输入，经过算法后生成几个类代表图像以及每个图像类的划分情况，若图像i与图像j之间的相似度记为s(i，j)，i，j∈[1，N]，N表示待分类图像的个数，若i＝j，则记pj＝s(i，j)，代表图像j被选为类代表的参考度，算法的输入也包括每一个数据的参考度pj，拥有较大参考度的图像就有更大的机会被选为类代表；
聚类算法的过程是在数据之间来回传递两种信息，一个是“responsibility”r(i，k)，是图像i向可能的类代表图像k传递的信息，反应图像i选择图像k作为代表的可能性；另一个是“availability”a(i，k)，是从可能的类代表图像k传递给图像i的信息，表示图像k能够作为图像i的代表的可信度，AP聚类算法的大致流程能用如下步骤表示：
1)初始化：
r(i，k)＝0
Figure FDA0002496348240000025
2)更新responsibility：
Figure FDA0002496348240000026
3)更新availability：
Figure FDA0002496348240000027
Figure FDA0002496348240000028
4)筛选类代表：
Figure FDA0002496348240000031
ci表示图像i对应的类代表图像，上述过程中很容易会出现振荡，会在更新过程中加入阻尼系数λ，λ∈[0.5，1]；
经过上述步骤的迭代进行，直至满足迭代停止的条件，算法结束，输出图像分类结果。
CN201611074826.8A 2016-11-29 2016-11-29 一种基于sift特征软匹配的图像分类方法 Active CN106778775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611074826.8A CN106778775B (zh) 2016-11-29 2016-11-29 一种基于sift特征软匹配的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611074826.8A CN106778775B (zh) 2016-11-29 2016-11-29 一种基于sift特征软匹配的图像分类方法

Publications (2)

Publication Number Publication Date
CN106778775A CN106778775A (zh) 2017-05-31
CN106778775B true CN106778775B (zh) 2020-08-18

Family

ID=58900693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611074826.8A Active CN106778775B (zh) 2016-11-29 2016-11-29 一种基于sift特征软匹配的图像分类方法

Country Status (1)

Country Link
CN (1) CN106778775B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657415B2 (en) * 2017-06-02 2020-05-19 Htc Corporation Image correspondence determining method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254697B2 (en) * 2009-02-02 2012-08-28 Microsoft Corporation Scalable near duplicate image search with geometric constraints
CN104899607A (zh) * 2015-06-18 2015-09-09 江南大学 一种传统云纹图案的自动分类方法
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN105550657A (zh) * 2015-12-23 2016-05-04 北京化工大学 基于关键点的改进sift人脸特征提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254697B2 (en) * 2009-02-02 2012-08-28 Microsoft Corporation Scalable near duplicate image search with geometric constraints
CN104899607A (zh) * 2015-06-18 2015-09-09 江南大学 一种传统云纹图案的自动分类方法
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN105550657A (zh) * 2015-12-23 2016-05-04 北京化工大学 基于关键点的改进sift人脸特征提取方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Clustering by Passing Messages between data points;Brendan等;《SCIENCE》;20070216;第315卷;全文 *
Distinctive Image Features from Scale-Invariant Keypoints;DAVID G. LOWE;《International Journal of Computer Vision》;20041130;第60卷(第2期);全文 *
Multi-Exemplar Affinity Propagation;Chang-Dong Wang 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20130930;第35卷(第9期);全文 *
Non-metric Affinity Propagation for Unsupervised Image Categorization;Delbert Dueck 等;《Proc of 11th International Conference on IEEE Computer Vision.Toronto,Canada》;20071231;全文 *
基于SIFT的图像检索技术研究;朱玉滨;《中国优秀硕士学位论文全文数据库》;20140930;全文 *
多子类中心AP聚类算法的研究与应用;陈雷雷;《中国优秀硕士学位论文全文数据库》;20151231;第41-44页第五章第二节 *
改进的SIFT特征人脸识别方法ADSIFT;林哲，闫敬文;《汕头大学学报（自然科学版）》;20130531;第28卷(第2期);全文 *

Also Published As

Publication number Publication date
CN106778775A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
US10747989B2 (en) Systems and/or methods for accelerating facial feature vector matching with supervised machine learning
Lin et al. Discriminatively trained and-or graph models for object shape detection
Ibrahim et al. Cluster representation of the structural description of images for effective classification
Tarawneh et al. Invoice classification using deep features and machine learning techniques
CN112949780A (zh) 特征模型训练方法、装置、设备及存储介质
CN103425996B (zh) 一种并行分布式的大规模图像识别方法
CN107239741B (zh) 一种基于稀疏重构的单样本人脸识别方法
US10423817B2 (en) Latent fingerprint ridge flow map improvement
CN110008365B (zh) 一种图像处理方法、装置、设备及可读存储介质
Kucer et al. DeepPatent: Large scale patent drawing recognition and retrieval
Gabryel The Bag-of-Words Method with Different Types of Image Features and Dictionary Analysis.
CN115497124A (zh) 身份识别方法和装置及存储介质
An et al. Multi-level common space learning for person re-identification
CN115203408A (zh) 一种多模态试验数据智能标注方法
Ansari et al. An optimized feature selection technique in diversified natural scene text for classification using genetic algorithm
CN106778775B (zh) 一种基于sift特征软匹配的图像分类方法
Dong et al. A supervised dictionary learning and discriminative weighting model for action recognition
Xiao et al. An improved siamese network model for handwritten signature verification
CN113920573B (zh) 基于对抗学习的人脸变化解耦的亲属关系验证方法
Mahdi et al. 3D facial matching by spiral convolutional metric learning and a biometric fusion-net of demographic properties
CN112381149B (zh) 一种基于深度学习用于源相机识别的合理对抗分析方法
Dalara et al. Entity Recognition in Indian Sculpture using CLAHE and machine learning
Dandekar et al. Verification of family relation from parents and child facial images
Bakheet et al. Content-based image retrieval using brisk and surf as bag-of-visual-words for naïve Bayes classifier
Altintakan et al. An improved BOW approach using fuzzy feature encoding and visual-word weighting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant