CN111652239B - 一种图像局部特征对整体特征贡献度的评估方法及系统 - Google Patents

一种图像局部特征对整体特征贡献度的评估方法及系统 Download PDF

Info

Publication number
CN111652239B
CN111652239B CN201910364881.8A CN201910364881A CN111652239B CN 111652239 B CN111652239 B CN 111652239B CN 201910364881 A CN201910364881 A CN 201910364881A CN 111652239 B CN111652239 B CN 111652239B
Authority
CN
China
Prior art keywords
feature
image
sample set
local
image sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910364881.8A
Other languages
English (en)
Other versions
CN111652239A (zh
Inventor
薛圆圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Re Sr Information Technology Co ltd
Original Assignee
Shanghai Re Sr Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Re Sr Information Technology Co ltd filed Critical Shanghai Re Sr Information Technology Co ltd
Priority to CN201910364881.8A priority Critical patent/CN111652239B/zh
Publication of CN111652239A publication Critical patent/CN111652239A/zh
Application granted granted Critical
Publication of CN111652239B publication Critical patent/CN111652239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器学习技术领域，公开了一种图像局部特征对整体特征贡献度的评估方法，所述方法包括：构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集；分别获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组；计算所述第一特征向量组和第二特征向量组的相关性；分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离；获取所述局部特征对整体特征贡献度。相应的，本发明还公开了一种图像局部特征对整体特征贡献度的评估系统。本发明通过综合评价局部特征对整体特征贡献度，可以定量地衡量局部特征的重要性。

Description

一种图像局部特征对整体特征贡献度的评估方法及系统
技术领域
本发明涉及机器学习技术领域，尤其涉及一种图像局部特征对整体特征贡献度的评估方法及系统。
背景技术
在图像检测和图像识别的技术领域中，图像的特征至关重要。图像的整体特征是指图像的整体属性，包括颜色特征、纹理特征、形状特征、直方图等。图像局部特征反映图像局部的特殊性，局部特征数量丰富，特征间相关度小，不容易受到部分遮挡、光照等噪声的干扰，因此不会因为部分特征的消失而影响其他特征的检测和匹配。公布号为CN109447173A的专利申请，公布了一种基于图像全局特征和局部特征的图像匹配方法，该方法基于图像尺度空间对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征，并利用深度学习的图像分类方法，创造性的设计了局部特征压缩法和索引算法，成功的将局部特征集成到框架中，形成了基于图像和视频内容识别的指纹技术。
因此，如何评估图像的局部特征对整体特征的贡献度，以及从众多局部特征中找到重要的特征，成为有必要解决的技术问题。
发明内容
本发明的目的在于提供一种图像的局部特征对整体特征的贡献度的评估方法及系统，获取了各个局部特征对整体特征的贡献度，进而找到各个局部特征中的重要特征。
为实现上述目的，本发明提供了一种图像局部特征对整体特征贡献度的评估方法，所述方法包括：构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集；分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组；计算所述第一特征向量组和第二特征向量组的相关性；分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离；根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征贡献度。基于该技术方案，通过计算局部特征对整体特征贡献度，综合评价局部特征对整体特征贡献度，定量地衡量局部特征的重要性。
优选的，所述步骤S1中的构建不具有一局部特征的第二图像样本集的步骤包括：根据所述第一图像样本集中的图像，标注该图像中的一局部特征；将所述第一图像样本集中的每一个图像中对应所述局部特征的像素值清零，生成新的图像，并将所有的新的图像构建为不具有所述局部特征的第二图像样本集。
优选的，所述步骤S2包括：根据卷积神经网络模型，对所述第一图像样本集中的每一个图像进行卷积和特征提取，获取每一个图像对应的特征向量，并生成所述第一图像样本集对应的第一特征向量组；根据卷积神经网络模型，对所述第二图像样本集中的每一个图像进行卷积和特征提取，获取每一个图像对应的特征向量，并生成所述第二图像样本集对应的第二特征向量组。
优选的，所述步骤S3包括：
S301、计算所述第一特征向量组和第二特征向量组的相关系数，所述相关系数的计算公式为式1：
Figure SMS_1
其中，var(vecX)为第一组特征向量vecX的方差，
var(vecY)为第二组特征向量vecY的方差，
cov(vecX,vecY)为第一组特征向量vecX与第二组特征向量vecY的协方差；
S302、所述第一特征向量组和第二特征向量组的相关性通过算式2得到，式2为：
Figure SMS_2
其中，ri为所述相关系数r在第i维上的相关系数，
m为512维，是所述相关系数的维数，
Relevance为所述第一特征向量组和第二特征向量组的相关性。
优选的，所述步骤S301包括：
S3011、所述第一组特征向量vecX的方差var(vecX)通过式3计算得到：
Figure SMS_3
其中，n表示第一图像样本集中的图像数量，
vecxi表示第一图像样本集中第i个样本的特征向量；
S3012、所述第二组特征向量vecY的方差var(vecY)通过式4计算得到：
Figure SMS_4
其中，n表示第二图像样本集中的图像数量，
vecyi表示第二图像样本集中第i个样本的特征向量；
S3013、所述第一组特征向量与第二组特征向量的协方差cov(vecX,vecY)通过式5计算得到：
Figure SMS_5
其中，n表示第一图像样本集中的图像数量，以及第二图像样本集中的图像数量，
vecxi表示第一图像样本集中第i个样本的特征向量，
vecyi表示第二图像样本集中第i个样本的特征向量。通过该技术方案，综合局部特征与整体特征的相关性以及缺少局部特征引起的特征中心位置的偏移量，全面地评价了局部特征对整体特征贡献度，准确性比较高。
优选的，所述步骤S4包括：对所述第一特征向量组进行K均值聚类，得到对应的第一聚类中心；对所述第二特征向量组进行K均值聚类，得到对应的第二聚类中心；计算所述第一聚类中心与第二聚类中心之间的余弦距离。
优选的，所述步骤S5包括：通过算式6计算得到所述局部特征对整体特征贡献度：
Contribution＝a*Relevance+(1-a)*dist 式6，
其中，a为平价系数，取值范围为[0，1]，Relevance为所述第一特征向量组和第二特征向量组的相关性，dist为所述第一聚类中心和第二聚中心之间的余弦距离；Contribution为所述局部特征对整体特征贡献度。所述a的取值为0.5。
优选的，所述方法还包括：获取图像中的每一个局部特征；重复执行步骤S1-S5，获取每一个局部特征对整体特征贡献度；将每一个贡献度依次从大到小依次排列，获取所述多个局部特征中的重要特征。根据贡献度的大小，找到局部特征中的重要特征，对图像的特征选用具有指导意义。
为实现上述目的，本发明提供了一种图像局部特征对整体特征贡献度的评估系统，所述系统包括：样本模块，用于构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集；向量模块，用于分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组；相关模块，用于计算所述第一特征向量组和第二特征向量组的相关性；聚类模块，用于分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离；贡献度模块，用于根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征贡献度。通过该技术方案，综合评价局部特征对整体特征贡献度，定量地衡量局部特征的重要性。
与现有技术相比，本发明一种图像局部特征对整体特征贡献度的评估方法及系统所带来的有益效果为：通过计算局部特征对整体特征贡献度，综合评价局部特征对整体特征贡献度，定量地衡量局部特征的重要性。综合局部特征与整体特征的相关性以及缺少局部特征引起的特征中心位置的偏移量，全面地评价了局部特征对整体特征贡献度，准确性比较高。根据贡献度的大小，找到局部特征中的重要特征，对图像的特征选用具有指导意义，可以广泛应用于各种图像识别技术领域，其应用范围广、应用性强。
附图说明
图1为根据本发明的一个实施例中图像局部特征对整体特征贡献度的评估方法的流程示意图。
图2为根据本发明的一个实施例中图像局部特征对整体特征贡献度的评估系统的组成结构图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图1所示的本发明的一实施例，本发明提供一种图像局部特征对整体特征贡献度的评估方法，所述方法包括：
S1、构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集；
S2、分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组；
S3、计算所述第一特征向量组和第二特征向量组的相关性；
S4、分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离；
S5、根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征贡献度。
在步骤S1中，构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集。构建第一图像样本集，所述第一图像样本集中的每一个图像都具有图像的整体特征，即第一图像样本集的图像的特征是完整的，并且第一图像样本集中的图像类别是相同的，比如，第一图像样本集都是完整人脸的图像样本。根据第一图像样本集中的图像，获取该图像中的一局部特征，构建不具有所述局部特征的第二图像样本集。根据本发明的一具体实施例，所述步骤S1中的构建不具有一局部特征的第二图像样本集的步骤包括：根据所述第一图像样本集中的图像，标注该图像中的一局部特征；将所述第一图像样本集中的每一个图像中对应所述局部特征的像素值清零，生成新的图像，将所有的新的图像构建为不具有所述局部特征的第二图像样本集。比如，第一图像样本集为完整人脸的图像样本，局部特征标注为眼睛，将第一图像样本集中的每一个样本中的眼睛部位的像素值清零，就构建缺少眼睛的第二图像样本集。同样的，标注局部特征为嘴巴，就构建缺少嘴巴的图像样本集。
在步骤S2中，分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组。具体地，根据卷积神经网络模型，对所述第一图像样本集中的每一个图像进行卷积和特征提取，获取每一个图像对应的特征向量，并生成所述第一图像样本集对应的第一特征向量组。同样地，根据卷积神经网络模型，对所述第二图像样本集中的每一个图像进行卷积和特征提取，获取每一个图像对应的特征向量，并生成所述第二图像样本集对应的第二特征向量组。
在步骤S3中，计算所述第一特征向量组和第二特征向量组的相关性。根据本发明的一具体实施例，所述步骤S3包括：
S301、计算所述第一特征向量组和第二特征向量组的相关系数，所述相关系数的计算公式为式1：
Figure SMS_6
其中，var(vecX)为第一组特征向量vecX的方差，
var(vecY)为第二组特征向量vecY的方差，
cov(vecX,vecY)为第一组特征向量vecX与第二组特征向量vecY的协方差；
S302、所述第一特征向量组和第二特征向量组的相关性通过算式2得到，式2为：
Figure SMS_7
其中，ri为所述相关系数r在第i维上的相关系数，m为512维，是所述相关系数的维数，Relevance为所述第一特征向量组和第二特征向量组的相关性。每一个图像对应的特征向量是512维，因此所述第一特征向量组和第二特征向量组的相关系数是512维，相关系数的第i维表示所述第一特征向量组和第二特征向量组在第i维上的相关性，用ri来表示。本发明用相关系数的均方根来表示所述第一特征向量组和第二特征向量组的相关性。
根据本发明的一具体实施例，所述步骤S301包括：
S3011、所述第一组特征向量vecX的方差var(vecX)通过式3计算得到：
Figure SMS_8
其中，n表示第一图像样本集中的图像数量，vecxi表示第一图像样本集中第i个样本的特征向量；
S3012、所述第二组特征向量vecY的方差var(vecY)通过式4计算得到：
Figure SMS_9
其中，n表示第二图像样本集中的图像数量，vecyi表示第二图像样本集中第i个样本的特征向量；
S3013、所述第一组特征向量与第二组特征向量的协方差cov(vecX,vecY)通过式5计算得到：
Figure SMS_10
其中，n表示第一图像样本集中的图像数量，以及第二图像样本集中的图像数量，vecxi表示第一图像样本集中第i个样本的特征向量，vecyi表示第二图像样本集中第i个样本的特征向量。
在步骤S4中，分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离。具体地，对所述第一特征向量组进行K均值聚类，得到对应的第一聚类中心。对所述第二特征向量组进行K均值聚类，得到对应的第二聚类中心。根据上述实施例中得知，每一个图像对应的特征向量是512维。所述第一聚类中心与所述第二聚类中心均为1*512的矩阵。计算所述第一聚类中心与第二聚类中心之间的余弦距离。所述余弦距离表明所述第一图像样本集的聚类中心与所述第二样本图像集的聚类中心的距离，即缺少的局部特征引起特征中心位置的偏移量。余弦距离可以用来衡量两个个体之间的差异，其值越大，说明差异越大。在本发明中，余弦距离越大，说明缺少的局部特征的贡献度越大。
在步骤S5中，根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征贡献度。根据本发明的一具体实施例，所述步骤S5包括：通过算式6计算得到所述局部特征对整体特征贡献度：
Contribution＝a*Relevance+(1-a)*dist 式6，
其中，a为平价系数，取值范围为[0，1]，Relevance为所述第一特征向量组和第二特征向量组的相关性，dist为所述第一聚类中心和第二聚中心之间的余弦距离，Contribution为所述局部特征对整体特征贡献度。根据本发明的一具体实施例，如果a的取值大于0.5，贡献度侧重于局部特征和整体特征的相关性因素；如果a的取值小于0.5，贡献度侧重于局部特征引起整体特征的中心位置偏移量的因素。因此，综合考虑上述两个因素，a的取值为0.5。基于该技术方案，通过计算局部特征对整体特征贡献度，综合评价局部特征对整体特征贡献度，定量地衡量局部特征的重要性。
根据本发明的一具体实施例，所述方法还包括：获取图像中的每一个局部特征；重复执行步骤S1-S5，获取每一个局部特征对整体特征贡献度；将每一个贡献度依次从大到小依次排列，获取所述多个局部特征中的重要特征。贡献度大对应的局部特征为重要的局部特征。根据该技术方案，计算每一个局部特征对整体特征贡献度，根据每一个贡献度的大小，从多个局部特征中获取重要的特征。根据本发明的一具体实施例，通过计算得到眼睛和嘴巴对整个人脸特征的贡献度，如下表所示，
局部特征 a 相关性 余弦距离 贡献度
眼睛 0.5 0.3394 0.1965 0.2697
嘴巴 0.5 0.1454 0.1430 0.1442
从上表中可以看出，局部特征眼睛对整体特征的贡献度要大于局部特征嘴巴对整体特征的的贡献度，说明眼睛的局部特征更为重要。
根据该技术方案，通过计算局部特征对整体特征贡献度，综合评价局部特征对整体特征贡献度，定量地衡量局部特征的重要性。综合局部特征与整体特征的相关性以及缺少局部特征引起的特征中心位置的偏移量，全面地评价了局部特征对整体特征贡献度，准确性比较高。根据贡献度的大小，找到局部特征中的重要特征，对图像的特征选用具有指导意义，可以广泛应用于各种图像识别技术领域，其应用范围广、应用性强。
图2所示，在另外一个实施例中，本发明还提供一种图像局部特征对整体特征贡献度的评估系统，所述系统包括：
样本模块20，用于构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集；
向量模块21，用于分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组；
相关模块22，用于计算所述第一特征向量组和第二特征向量组的相关性；
聚类模块23，用于分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离；
贡献度模块24，用于根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征贡献度。
样本模块20用于构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集。在所述样本模块中，所述第一图像样本集中的每一个图像都具有图像的整体特征，第一图像样本集中的图像类别是相同的。所述样本模块标注该图像中的一局部特征，将所述第一图像样本集中的每一个图像中对应所述局部特征的像素值清零，生成新的图像，将所有的新的图像构建为不具有所述局部特征的第二图像样本集。
向量模块21用于分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组。向量模块采用卷积神经网络模型，对图像进行卷积和特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组。
相关模块22用于计算所述第一特征向量组和第二特征向量组的相关性。关于相关性的计算步骤，在对应方法的实施例中已经详细描述。本实施例中，同所述方法实施例中的计算步骤一致。
聚类模块23用于分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离。在所述聚类模块中，采用K均值聚类的技术方案。所述余弦距离表明所述第一图像样本集的聚类中心与所述第二样本图像集的聚类中心的距离，即缺少的局部特征引起的特征中心位置的偏移量。在本发明中，余弦距离越大，说明缺少的局部特征的贡献度越大。
贡献度模块24用于根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征贡献度。所述局部特征对整体特征贡献度的计算与对应方法的实施例中的计算步骤一致。基于该技术方案，通过计算局部特征对整体特征贡献度，综合评价局部特征对整体特征贡献度，定量地衡量局部特征的重要性。所述贡献度模块还用于获取图像中的每一个局部特征；获取每一个局部特征对整体特征贡献度；将每一个贡献度依次从大到小依次排列，获取所述多个局部特征中的重要特征。贡献度大对应的局部特征为重要的局部特征。根据该技术方案，计算每一个局部特征对整体特征贡献度，根据每一个贡献度的大小，从多个局部特征中获取重要的特征。
根据该技术方案，综合评价局部特征对整体特征贡献度，定量地衡量局部特征的重要性。全面地评价了局部特征对整体特征贡献度，准确性比较高。根据贡献度的大小，找到局部特征中的重要特征，对图像的特征选用具有指导意义，可以广泛应用于各种图像识别技术领域，其应用范围广、应用性强。
虽然以上通过附图和实施例对本发明进行了详细描述，但是这样的图示和描述应被理解为是说明性或示例性而非限制性的。本发明并不局限于所公开的实施例。在权利要求中，词语“包括”并不排除其它部件或步骤，并且“一个”或特定“多个”应当被理解为至少一个或至少特定多个。权利要求中的任何参考标记都不应当被理解为对其范围加以限制。通过研习附图、说明书和所附权利要求，针对上述实施例的其它变化形式可以由本领域技术人员在无需创造性劳动即可理解并实施，而这些实施方式仍将落入本发明所附权利要求书的范围之内。

Claims (9)

1.一种图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述方法包括步骤：
S1、构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集；
S2、分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组；
S3、计算所述第一特征向量组和第二特征向量组的相关性；
S4、分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离；
S5、根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征的贡献度；所述步骤S5包括：
通过算式6计算得到所述局部特征对整体特征的贡献度：
Contribution＝a*Relevance+(1-a)*dist 式6，
其中，a为平价系数，取值范围为[0，1]，
Relevance为所述第一特征向量组和第二特征向量组的相关性，
dist为所述第一聚类中心和第二聚中心之间的余弦距离；
Contribution为所述局部特征对整体特征的贡献度。
2.如权利要求1所述的图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述步骤S1中的构建不具有一局部特征的第二图像样本集的步骤包括：
根据所述第一图像样本集中的图像，标注该图像中的一局部特征；
将所述第一图像样本集中的每一个图像中对应所述局部特征的像素值清零，生成新的图像，并将所有的新的图像构建为不具有所述局部特征的第二图像样本集。
3.如权利要求1所述的图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述步骤S2包括：
根据卷积神经网络模型，对所述第一图像样本集中的每一个图像进行卷积和特征提取，获取每一个图像对应的特征向量，并生成所述第一图像样本集对应的第一特征向量组；
根据卷积神经网络模型，对所述第二图像样本集中的每一个图像进行卷积和特征提取，获取每一个图像对应的特征向量，并生成所述第二图像样本集对应的第二特征向量组。
4.如权利要求1所述的图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述步骤S3包括：
S301、计算所述第一特征向量组和第二特征向量组的相关系数，所述相关系数的计算公式为式1：
Figure FDA0004155188270000021
其中，var(vecX)为第一组特征向量vecX的方差，
var(vecY)为第二组特征向量vecY的方差，
cov(vecX,vecY)为第一组特征向量vecX与第二组特征向量vecY的协方差；
S302、所述第一特征向量组和第二特征向量组的相关性通过算式2得到，式2为：
Figure FDA0004155188270000022
其中，ri为所述相关系数r在第i维上的相关系数，
m为512维，是所述相关系数的维数，
Relevance为所述第一特征向量组和第二特征向量组的相关性。
5.如权利要求4所述的图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述步骤S301包括：
S3011、所述第一组特征向量vecX的方差var(vecX)通过式3计算得到：
Figure FDA0004155188270000031
其中，n表示第一图像样本集中的图像数量，
vecxi表示第一图像样本集中第i个样本的特征向量；
S3012、所述第二组特征向量vecY的方差var(vecY)通过式4计算得到：
Figure FDA0004155188270000032
其中，n表示第二图像样本集中的图像数量，
vecyi表示第二图像样本集中第i个样本的特征向量；
S3013、所述第一组特征向量与第二组特征向量的协方差cov(vecX,vecY)通过式5计算得到：
Figure FDA0004155188270000033
其中，n表示第一图像样本集中的图像数量，以及第二图像样本集中的图像数量，
vecxi表示第一图像样本集中第i个样本的特征向量，
vecyi表示第二图像样本集中第i个样本的特征向量。
6.如权利要求5所述的图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述步骤S4包括：
对所述第一特征向量组进行K均值聚类，得到对应的第一聚类中心；
对所述第二特征向量组进行K均值聚类，得到对应的第二聚类中心；
计算所述第一聚类中心与第二聚类中心之间的余弦距离。
7.如权利要求6所述的图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述a的取值为0.5。
8.如权利要求1所述的图像的局部特征对整体特征的贡献度的评估方法，其特征在于，所述方法还包括：
获取图像中的每一个局部特征；
重复执行步骤S1-S5，获取每一个局部特征对整体特征的贡献度；
将每一个贡献度依次从大到小依次排列，获取所述多个局部特征中的重要特征。
9.一种图像的局部特征对整体特征的贡献度的评估系统，其特征在于，所述系统包括：
样本模块，用于构建一具有整体特征的第一图像样本集，并构建不具有一局部特征的第二图像样本集；
向量模块，用于分别对所述第一图像样本集和第二图像样本集中的每一个图像进行特征提取，获取所述第一图像样本集对应的第一特征向量组，以及所述第二图像样本集对应的第二特征向量组；
相关模块，用于计算所述第一特征向量组和第二特征向量组的相关性；
聚类模块，用于分别对所述第一特征向量组和第二特征向量组进行聚类，分别获取对应的第一聚类中心和第二聚中心，并计算所述第一聚类中心和第二聚中心之间的余弦距离；
贡献度模块，用于根据所述第一特征向量组和第二特征向量组的相关性以及第一聚类中心和第二聚中心之间的余弦距离，获取所述局部特征对整体特征的贡献度，其中，通过算式6计算得到所述局部特征对整体特征的贡献度：
Contribution＝a*Relevance+(1-a)*dist 式6，
其中，a为平价系数，取值范围为[0，1]，
Relevance为所述第一特征向量组和第二特征向量组的相关性，
dist为所述第一聚类中心和第二聚中心之间的余弦距离；
Contribution为所述局部特征对整体特征的贡献度。
CN201910364881.8A 2019-04-30 2019-04-30 一种图像局部特征对整体特征贡献度的评估方法及系统 Active CN111652239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910364881.8A CN111652239B (zh) 2019-04-30 2019-04-30 一种图像局部特征对整体特征贡献度的评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910364881.8A CN111652239B (zh) 2019-04-30 2019-04-30 一种图像局部特征对整体特征贡献度的评估方法及系统

Publications (2)

Publication Number Publication Date
CN111652239A CN111652239A (zh) 2020-09-11
CN111652239B true CN111652239B (zh) 2023-06-20

Family

ID=72348160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910364881.8A Active CN111652239B (zh) 2019-04-30 2019-04-30 一种图像局部特征对整体特征贡献度的评估方法及系统

Country Status (1)

Country Link
CN (1) CN111652239B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109625A1 (en) * 2012-01-17 2013-07-25 Alibaba Group Holding Limited Image index generation based on similarities of image features
CN107122712A (zh) * 2017-03-27 2017-09-01 大连大学 基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法
CN108415958A (zh) * 2018-02-06 2018-08-17 北京陌上花科技有限公司 指数权重vlad特征的权重处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170249547A1 (en) * 2016-02-26 2017-08-31 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Holistic Extraction of Features from Neural Networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013109625A1 (en) * 2012-01-17 2013-07-25 Alibaba Group Holding Limited Image index generation based on similarities of image features
CN107122712A (zh) * 2017-03-27 2017-09-01 大连大学 基于卷积神经网络和双向局部特征聚合描述向量的掌纹图像识别方法
CN108415958A (zh) * 2018-02-06 2018-08-17 北京陌上花科技有限公司 指数权重vlad特征的权重处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
曹来成 ; 赵建军 ; 崔翔 ; 李可 ; .基于余弦测度下K-means的网络空间终端设备识别.中国科学院大学学报.2016,(04),全文. *
郜晓晶 ; 潘新 ; 王亮 ; .基于GLOH算子和局部特征融合的人脸识别.计算机应用与软件.2013,(05),全文. *

Also Published As

Publication number Publication date
CN111652239A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN104239862B (zh) 一种人脸识别方法
CN109725721B (zh) 用于裸眼3d显示系统的人眼定位方法及系统
CN109003266B (zh) 一种基于模糊聚类统计图像质量主观评价结果的方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN106599833B (zh) 一种基于领域适应和流形距离度量的人脸识别方法
CN109919901B (zh) 一种基于集成学习与随机森林的图像质量评价方法
WO2016145571A1 (zh) 基于条件直方图码书的盲图像质量评价方法
CN110399814B (zh) 一种基于局部线性表示领域适应度量的人脸识别方法
CN110874576B (zh) 一种基于典型相关分析融合特征的行人再识别方法
CN108664941A (zh) 基于测地映射分析的核稀疏描述人脸识别方法
CN116912674A (zh) 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统
Jin et al. Perceptual Gradient Similarity Deviation for Full Reference Image Quality Assessment.
CN114965316A (zh) 一种基于高光谱多参数的水质监测方法、计算机程序产品
CN110766657A (zh) 一种激光干扰图像质量评价方法
CN112966735B (zh) 一种基于谱重建的监督多集相关特征融合方法
CN111652260A (zh) 一种人脸聚类样本数量的选择方法及系统
CN111652239B (zh) 一种图像局部特征对整体特征贡献度的评估方法及系统
CN104462826B (zh) 基于矩阵奇异值分解的多传感器证据冲突检测与度量方法
CN116401528A (zh) 一种基于全局-局部散度的多元时间序列无监督降维方法
CN116205863A (zh) 一种检测高光谱图像异常目标的方法
Gu et al. Learning deep vector regression model for no-reference image quality assessment
CN109886212A (zh) 从滚动指纹合成现场指纹的方法和装置
CN106326827A (zh) 掌静脉识别系统
CN108021874A (zh) 一种基于空-谱结合的高光谱端元提取预处理方法
CN112329654B (zh) 基于多流形学习算法的高光谱影像数据分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant