CN111027609B - 一种图像数据加权分类方法和系统 - Google Patents

一种图像数据加权分类方法和系统 Download PDF

Info

Publication number
CN111027609B
CN111027609B CN201911214509.5A CN201911214509A CN111027609B CN 111027609 B CN111027609 B CN 111027609B CN 201911214509 A CN201911214509 A CN 201911214509A CN 111027609 B CN111027609 B CN 111027609B
Authority
CN
China
Prior art keywords
sample
training
data
class
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911214509.5A
Other languages
English (en)
Other versions
CN111027609A (zh
Inventor
徐承俊
朱国宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201911214509.5A priority Critical patent/CN111027609B/zh
Publication of CN111027609A publication Critical patent/CN111027609A/zh
Application granted granted Critical
Publication of CN111027609B publication Critical patent/CN111027609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像数据加权分类方法和系统，首先从数据库中获取数据集，并将数据集分为测试集和训练集；设置近邻参数K值；根据LDA(Linear Discriminant Analysis)算法求出投影向量w；由训练集构造近邻图G(V，E)；对于测试集中的每一个数据样本xtext，根据近邻图找到数据样本xtext在训练集中的K个近邻，对K个近邻的贡献加权，将较大权值赋值给较近的近邻；返回对数据样本xtext的估计值
Figure DDA0002299109370000011
并进行样本类别的判定。本发明具有如下优点：(1)本发明对包含噪声的数据具有很好的抗噪性，能够解决传统KNN对于噪声产生错误分类的敏感问题。(2)本发明采用加权改进的Euclid距离替代传统KNN采用的Euclid距离度量，能找到相似度高贡献大的样本，更能区分样本，提高分类的准确率。

Description

一种图像数据加权分类方法和系统
技术领域
本发明涉及数据分类技术领域，尤其是涉及一种图像数据加权分类方法和系统。
背景技术
随着互联网的高速发展，各类数据呈指数倍增长。产生了各种各样的数据，数据的规模大、类型多、范围广，需要对数据进行处理和分类，以便为后续研究和学习提供数据支撑和服务。KNN算法是常用的对数据进行分类处理的方法之一，KNN算法的核心思想是：对于任意给定的待分类样本的最近的K个近邻，然后根据这K个近邻的分类属性投票确定其类别。KNN算法的距离度量方法，主要的距离采用计算待测样本与训练样本的Euclid距离(欧氏距离)。KNN算法假定所有样本对应于n维空间Rn中的点，一个样本的最近邻是根据标准的Euclid距离定义的。KNN算法在类别判定时，只与极少量的相邻样本有关，其主要依赖周围有限的邻近的样本，而不是靠判别类域的方法来确定所述类别的，因此，对于类域的重叠或交叉较多的待测样本集，对于包含噪声的待测样本集，KNN算法较其他分类方法实现更为简单。
由于KNN算法是惰性学习方法，存在分类速度慢、样本库容量依赖性较强，传统KNN算法中特征的作用不明显，由于KNN算法采用Euclid度量，这种计算距离的度量标准对噪声特征比较敏感，样本数据量大时，特别是样本含有噪声的情况下，容易造成分类错误、数据处理准确率降低等问题。
发明内容
本发明提供了一种图像数据加权分类方法，用以解决上述背景技术中Euclid距离计算的度量对包含噪声特征样本敏感、分类准确率降低等问题。
为了实现上述目标，本发明一种图像数据加权分类方法的具体步骤如下：
Step1、从数据库中获取数据集，将数据集分为测试集和训练集；
Step2、设置近邻参数K值；
Step3、根据Linear Discriminant Analysis算法求出训练集投影向量w；
Step4、根据训练集构造近邻图G(V，E)，其中G表示近邻图，V表示节点，即为训练集中的各个训练样本，E表示连接各个训练样本之间的边；
Step5、对于测试集中的每一个数据样本xtext，根据近邻图找到数据样本xtext在训练集中的K个近邻；
Step6、返回对数据样本xtext的估计值
Figure BDA0002299109350000021
其中，
Figure BDA0002299109350000022
Figure BDA0002299109350000023
f(xi)表示分类的问题函数，xi表示第i个训练样本，
Figure BDA0002299109350000024
表示第i个训练样本的第l个特征向量，
Figure BDA0002299109350000025
表示数据样本xtext的第l个特征向量，t表示任意常数，m为特征向量的个数，w表示投影向量，v表示训练样本对应的类别，V＝{v1,v2,···,vs}，V表示数据类别的集合，
Figure BDA0002299109350000026
即为数据样本xtext的最终类别，
Figure BDA0002299109350000027
进一步的，所述步骤Step2设置K取1,3,5,7,9,11,13,15。
进一步的，步骤Step3中投影向量w的计算方式如下，
以二分类为例，定量分析求解最佳的投影向量w：
给定特征为d维的N个训练样本
Figure BDA0002299109350000028
首先寻找每类训练样本的均值，即中心点，此时i＝1,2，
Figure BDA0002299109350000029
具体的，有N1个训练样本属于类别w1，有N2个训练样本属于类别w2，N＝N1+N2，μi表示第i类训练样本的均值；
训练样本x到w上的投影用y＝wTx计算，训练样本x到w投影后的样本点均值表示为：
Figure BDA00022991093500000210
由此可知，投影后的均值也就是样本中心点的投影；
能够使投影后的两类样本中心点尽量分离的直线是最好的直线，定量表示为：
Figure BDA00022991093500000211
对投影后的类求散列值，具体：
Figure BDA00022991093500000212
最终通过度量公式
Figure BDA00022991093500000213
度量投影向量w；
根据上述公式，寻找使J(w)最大的w即可，求解过程如下：
将散列值公式展开：
Figure BDA0002299109350000031
其中令
Figure BDA0002299109350000032
即散列矩阵；
接着，令Sw＝S1+S2，Sw称为类内离散程度矩阵，SB＝(μ1-μ2)(μ1-μ2)T，SB称为类间离散程度矩阵；
J(w)最终表示为：
Figure BDA0002299109350000033
对其进行求导，在求导之前，先对分母进行归一化处理；然后令||wTSWW||＝1，加入拉格朗日乘子后，求导：
Figure BDA0002299109350000034
由此可见w是矩阵
Figure BDA0002299109350000035
的特征向量；
具体的，因为SBw＝(μ1-μ2)(μ1-μ2)Tw，其中，后面两项的积是一个常数，记为λw，则
Figure BDA0002299109350000036
由于对w扩大或缩小任何倍数都不影响其结果，因此为了简单起见约去两边的未知常数λ,λw，得到
Figure BDA0002299109350000037
故只需要求出原始训练样本的均值和方程即求出最佳的w。
进一步的，所述Step4中，近邻图中边的大小具体由公式：
Figure BDA0002299109350000038
确定，其中，xl表示训练样本x的第l个特征向量，xi,xj分别表示第i个训练样本和第j个训练样本，m为特征向量的个数，t表示任意常数，w表示步骤2求得的投影向量。
进一步的，m的取值为5，分别包括图像的笔画、轮廓、交叉点、端点、灰度特征向量。
本发明还提供一种图像数据加权分类系统，包括以下模块：
数据集获取模块，用于从数据库中获取数据集，将数据集分为测试集和训练集；
参数设置模块，用于设置近邻参数K值；
投影向量w求解模块，用于根据Linear Discriminant Analysis算法求出训练集投影向量w；
近邻图构造模块，用于根据训练集构造近邻图G(V，E)，其中G表示近邻图，V表示节点，即为训练集中的各个训练样本，E表示连接各个训练样本之间的边；
K个近邻搜索模块，对于测试集中的每一个数据样本xtext，根据近邻图找到数据样本xtext在训练集中的K个近邻；
样本类别判定模块，用于返回对数据样本xtext的估计值
Figure BDA0002299109350000041
其中，
Figure BDA0002299109350000042
表示分类的问题函数，xi表示第i个训练样本，
Figure BDA0002299109350000043
表示第i个训练样本的第l个特征向量，
Figure BDA0002299109350000044
表示数据样本xtext的第l个特征向量，t表示任意常数，m为特征向量的个数，w表示投影向量，v表示训练样本对应的类别，V＝{v1,v2,···,vs}，V表示数据类别的集合，
Figure BDA0002299109350000045
即为数据样本xtext的最终类别，
Figure BDA0002299109350000046
进一步的，所述步骤Step2设置K取1,3,5,7,9,11,13,15。
进一步的，步骤Step3中投影向量w的计算方式如下，
以二分类为例，定量分析求解最佳的投影向量w：
给定特征为d维的N个训练样本
Figure BDA0002299109350000047
首先寻找每类训练样本的均值，即中心点，此时i＝1,2，
Figure BDA0002299109350000048
具体的，有N1个训练样本属于类别w1，有N2个训练样本属于类别w2，N＝N1+N2，μi表示第i类训练样本的均值；
训练样本x到w上的投影用y＝wTx计算，训练样本x到w投影后的样本点均值表示为：
Figure BDA0002299109350000049
由此可知，投影后的均值也就是样本中心点的投影；
能够使投影后的两类样本中心点尽量分离的直线是最好的直线，定量表示为：
Figure BDA00022991093500000410
对投影后的类求散列值，具体：
Figure BDA00022991093500000411
最终通过度量公式
Figure BDA00022991093500000412
度量投影向量w；
根据上述公式，寻找使J(w)最大的w即可，求解过程如下：
将散列值公式展开：
Figure BDA0002299109350000051
其中令
Figure BDA0002299109350000052
即散列矩阵；
接着，令Sw＝S1+S2，Sw称为类内离散程度矩阵，SB＝(μ1-μ2)(μ1-μ2)T，SB称为类间离散程度矩阵；
J(w)最终表示为：
Figure BDA0002299109350000053
对其进行求导，在求导之前，先对分母进行归一化处理；然后令||wTSWW||＝1，加入拉格朗日乘子后，求导：
Figure BDA0002299109350000054
由此可见w是矩阵
Figure BDA0002299109350000055
的特征向量；
具体的，因为SBw＝(μ1-μ2)(μ1-μ2)Tw，其中，后面两项的积是一个常数，记为λw，则
Figure BDA0002299109350000056
由于对w扩大或缩小任何倍数都不影响其结果，因此为了简单起见约去两边的未知常数λ,λw，得到
Figure BDA0002299109350000057
故只需要求出原始训练样本的均值和方程即求出最佳的w。
进一步的，所述Step4中，近邻图中边的大小具体由公式：
Figure BDA0002299109350000058
确定，其中，xl表示训练样本x的第l个特征向量，xi,xj分别表示第i个训练样本和第j个训练样本，m为特征向量的个数，t表示任意常数，w表示步骤2求得的投影向量。
进一步的，m的取值为5，分别包括图像的笔画、轮廓、交叉点、端点、灰度特征向量。
本发明与现有技术相比，具有的有益效果是：本发明提供的图像数据加权分类方法，通过预先设置近邻参数K，根据LDA(Linear Discriminant Analysis)算法求出投影向量w，将训练数据集构造近邻图G(V，E)，其中G表示近邻图，V表示节点，即为各个数据样本，E表示连接各个数据样本之间的边，边的大小具体由公式：
Figure BDA0002299109350000059
其中，任意的样本x表示特征向量x＝(x1,x2,···,xm)，xl表示样本x的第l个特征的值，xi,xj分别表示第i个样本和第j个样本，t表示任意常数，w表示上述投影向量，对于测试集中的每一个数据样本xtext，找到在训练集中的K个近邻，此时，对K个近邻的贡献加权，将较大权值赋给较近的近邻，即样本距离越近，相似度越高，贡献度就越大。然后，KNN算法的返回值
Figure BDA0002299109350000061
就是对f(xtext)的估计，即距离样本xtext最近的K个训练样本中最普遍的f值进行类别判定。由于传统的KNN算法采用Euclid度量，这种计算距离的度量标准对噪声特征较敏感，所以本发明方法将加权改进的Euclid距离替代传统的Euclid距离，对KNN算法进行改进。本发明具有很好的抗噪性，能够区分包含有噪声的数据，并且LDA算法的投影向量具有鲁棒性，能区分多维数据，该方法既区分贡献度大的数据，快速找到相似度高的数据，保持较高的分辨率又具有很好的计算性能，可以为今后类似分类研究提供参考。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面结合附图和实施例对本发明进一步说明。
图1为本发明方法流程简图；
图2为本发明样本投影到直线上的示意图；
图3为本发明样本中心投影的示意图；
图4为本发明使用LDA求解最佳投影向量w的示意图；
图5为本发明在红酒数据集的分类性能示意图；
图6为本发明在CIFAR-10数据集的分类性能示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明的实施例的详细描述并非旨在限制要求包含的本发明的范围，而是仅仅表示本发明的选定实施例。
应注意到：相似的符号在下面附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参照图1，图1为本发明所提供的一种图像数据加权分类方法流程简图。本实施例尤其适用于数据的分类，且本发明实施例在李群机器学习的开发环境中执行。
Step1，本实施案例通过在网络下载红酒数据集，该数据集包含3个类别，一共包含178张图片。通过在网络下载CIFAR-10数据集，该数据集包含10个类别，一共包含60000张图片。进一步的，本发明将在这两个数据集下进行分类测试，使用matlab语言进行编程分别将两个数据集分成训练数据集和测试数据集。
需要说明的是，本实施例中的图片数据具有以下优点：(1)数据量大、类别多，这对于李群机器学习而言是十分必要的。(2)样本图像的多样性，本实施例中采用的为标准数据集，涵盖各种数据特征，样本图像具有多样性，数据集中图像对于不同的角度和清晰度都做了严格的筛选，从而使得每个类别图像的观测角度等有较大的差异。
Step2、设置近邻参数K值，本发明中K取1,3,5,7,9,11,13,15；
Step3、根据LDA(Linear Discriminant Analysis)算法求出训练集的投影向量w；
给定特征为d维的N个训练样本
Figure BDA0002299109350000071
其中有N1个训练样本属于类别w1，有N2个训练样本属于类别w2，N＝N1+N2；
将d维特征降维，并且保证降维后不损失数据特征信息，即降维后仍然可以能确定每个样例的类别，将最佳的向量称为w(d维)，训练样本x(d维)到w上的投影可以用y＝wTx计算。
为了简单易懂，在本发明中，我们首先看看训练样本x是二维的情况，从直观上来看，如图2，圆圈和三角形分表表示两类不同的训练样本，训练样本x是二维的，包含两个特征值，x1表示一个特征值，x2表示另一个特征值，所求的直线是能使两类训练样本分离的直线，图2中的直线y＝wTx可以很好地将不同类别的训练样本分离。这实际上就是LDA的思想：最大化类间方差与最小化类内方差，即减少分类内部之间的差异，而扩大不同分类之间的差异。
下面说明定量分析求解最佳的w的具体过程。
首先寻找每类训练样本的均值(中心点)，此时i只有两个(i＝1,2)：
Figure BDA0002299109350000072
具体的，有N1个训练样本属于类别w1，有N2个训练样本属于类别w2，N＝N1+N2，μi表示第i类训练样本的均值；
x到w投影后的样本点均值由：
Figure BDA0002299109350000081
各符号含义与上述描述一致，由此可知，投影后的均值也就是训练样本中心点的投影。
能够使投影后的两类样本中心点尽量分离的直线是最好的直线，定量表示为：
Figure BDA0002299109350000082
J(w)越大越好。
在实际应用中，J(w)并不是越大越好，如图3所示，样本点均匀分布在椭圆里，投影到横轴x1上时能够获得更大的中心点间距J(w)，但是由于有重叠，x轴上不能分离样本点。投影到纵轴x2上，虽然J(w)较小，但是能够分离样本点。因此，我们还必须考虑样本点之间的方差，方差越大，样本点越难以分离。
使用另外一个度量值，称作散列值(scatter)，对投影后的类求散列值，具体：
Figure BDA0002299109350000083
散列值的几何意义是样本点的密集程度，值越大，越分散，反之，越集中。
在本发明中，需要将不同的样本点越分开越好，同类的越聚集越好，即均值差越大越好，散列值越小越好。使用J(w)和S来度量，度量公式：
Figure BDA0002299109350000084
根据上述公式，需要寻找使J(w)最大的w即可。
将散列值公式展开：
Figure BDA0002299109350000085
其中令
Figure BDA0002299109350000086
即散列矩阵。
接着，令Sw＝S1+S2，Sw称为类内离散程度矩阵(Within-class scatter matrix)。SB＝(μ1-μ2)(μ1-μ2)T，SB称为类间离散程度矩阵(Between-class scatter matrix)。
J(w)最终表示为：
Figure BDA0002299109350000087
对其进行求导，在求导之前，先对分母进行归一化处理，如果不做归一化处理，w扩大任意倍数，公式都成立，则无法确定w。因此，在本发明中，令||wTSWW||＝1，加入拉格朗日乘子后，求导：
Figure BDA0002299109350000091
由此可见w是矩阵
Figure BDA0002299109350000092
的特征向量。
具体的，因为SBw＝(μ1-μ2)(μ1-μ2)Tw，其中，后面两项的积是一个常数，记为λw，则
Figure BDA0002299109350000093
由于对w扩大或缩小任何倍数都不影响其结果，因此为了简单起见可以约去两边的未知常数λ,λw，得到
Figure BDA0002299109350000094
故我们只需要求出原始样本的均值和方程就可以求出最佳的w，如图4所示。
上述结论虽然来自2维，但对于多维也是成立的。大特征值所对应的特征向量分割性能最好。
Step4、根据训练集构造近邻图G(V，E)；
根据训练集构造近邻图G(V，E)，其中G表示近邻图，V表示节点，即为各个数据样本，E表示连接各个数据样本之间的边，边的大小具体由公式：
Figure BDA0002299109350000095
其中，xl表示训练样本x的第l个特征向量，m是指特征向量的个数，m的取值与数据集的选取有关，本发明中特征向量主要取图像的笔画、轮廓、交叉点、端点、灰度，共计5个，m＝5，上述特征向量的求解均为现有技术，本发明不予撰述；xi,xj分别表示第i个样本和第j个样本，t表示任意常数，w表示上述投影向量。
Step5、对于测试集中的的每一个数据样本xtext，根据近邻图找到数据样本xtext在训练集中的K个近邻；
Step6、返回对数据样本xtext的估计值
Figure BDA0002299109350000096
并进行样本类别的判定。
本发明讨论目标函数为离散值(分类问题)的情况，即分类问题可以描述为：f:Rn→V，其中V＝{v1,v2,···,vs}，对应s个分类。KNN算法的返回值
Figure BDA0002299109350000097
就是对数据样本xtext类别的估计，即距离样本xtext最近的K个训练样本中最普遍的f值：
Figure BDA0002299109350000098
其中，
Figure BDA0002299109350000099
其中，
Figure BDA00022991093500000910
即为数据样本xtext的最终类别，f(xi)表示分类的问题函数，xi表示第i个训练样本，v表示训练样本对应的类别，
Figure BDA0002299109350000101
表1是对该发明方法与传统KNN分类方法在红酒数据集上进行分类性能对比。从表中可以看到，本发明的分类准确率明显高于传统KNN分类方法。
表1本发明方法与其他方法在红酒数据集上进行分类性能对比
Figure BDA0002299109350000102
表2是对该发明方法与传统KNN分类方法在CIFAR-10数据集上进行分类性能对比。从表中可以看到，本发明的分类准确率明显高于传统KNN分类方法。
表2本发明方法与其他方法在CIFAR-10数据集上进行分类性能对比
Figure BDA0002299109350000111
结合图5～图6，图5为本发明实施例在红酒数据集的分类性能图，图6为本发明实施例在CIFAR-10数据集的分类性能图。图5应用于红酒数据集，其平均分类准确度达到95％，而传统KNN平均分类准确度为75％，本发明提出的方法高出20％；图6应用于CIFAR-10数据集，其平均分类准确度达到83％，而传统KNN平均分类准确度为81％，本发明提出的方法高出2％。从统计结果可以看出，本发明的方法明显优于传统KNN方法，具有很强的实用性。
本发明还提供一种图像数据加权分类系统，包括如下模块：
数据集获取模块，用于从数据库中获取数据集，将数据集分为测试集和训练集；
参数设置模块，用于设置近邻参数K值；
投影向量w求解模块，用于根据Linear Discriminant Analysis算法求出训练集投影向量w；
近邻图构造模块，用于根据训练集构造近邻图G(V，E)，其中G表示近邻图，V表示节点，即为训练集中的各个训练样本，E表示连接各个训练样本之间的边；
K个近邻搜索模块，对于测试集中的每一个数据样本xtext，根据近邻图找到数据样本xtext在训练集中的K个近邻；
样本类别判定模块，用于返回对数据样本xtext的估计值
Figure BDA0002299109350000112
其中，
Figure BDA0002299109350000113
Figure BDA0002299109350000121
f(xi)表示分类的问题函数，xi表示第i个训练样本，
Figure BDA0002299109350000122
表示第i个训练样本的第l个特征向量，
Figure BDA0002299109350000123
表示数据样本xtext的第l个特征向量，t表示任意常数，m为特征向量的个数，w表示投影向量，v表示训练样本对应的类别，V＝{v1,v2,···,vs}，V表示数据类别的集合，
Figure BDA0002299109350000124
即为数据样本xtext的最终类别，
Figure BDA0002299109350000125
其中，参数设置模块中设置K取1,3,5,7,9,11,13,15。
其中，投影向量w求解模块中投影向量w的计算方式如下，
以二分类为例，定量分析求解最佳的投影向量w：
给定特征为d维的N个训练样本
Figure BDA0002299109350000126
首先寻找每类训练样本的均值，即中心点，此时i＝1,2，
Figure BDA0002299109350000127
具体的，有N1个训练样本属于类别w1，有N2个训练样本属于类别w2，N＝N1+N2，μi表示第i类训练样本的均值；
训练样本x到w上的投影用y＝wTx计算，训练样本x到w投影后的样本点均值表示为：
Figure BDA0002299109350000128
由此可知，投影后的均值也就是样本中心点的投影；
能够使投影后的两类样本中心点尽量分离的直线是最好的直线，定量表示为：
Figure BDA0002299109350000129
对投影后的类求散列值，具体：
Figure BDA00022991093500001210
最终通过度量公式
Figure BDA00022991093500001211
度量投影向量w；
根据上述公式，寻找使J(w)最大的w即可，求解过程如下：
将散列值公式展开：
Figure BDA00022991093500001212
其中令
Figure BDA00022991093500001213
即散列矩阵；
接着，令Sw＝S1+S2，Sw称为类内离散程度矩阵，SB＝(μ1-μ2)(μ1-μ2)T，SB称为类间离散程度矩阵；
J(w)最终表示为：
Figure BDA0002299109350000131
对其进行求导，在求导之前，先对分母进行归一化处理；然后令||wTSWW||＝1，加入拉格朗日乘子后，求导：
Figure BDA0002299109350000132
由此可见w是矩阵
Figure BDA0002299109350000133
的特征向量；
具体的，因为SBw＝(μ1-μ2)(μ1-μ2)Tw，其中，后面两项的积是一个常数，记为λw，则
Figure BDA0002299109350000134
由于对w扩大或缩小任何倍数都不影响其结果，因此为了简单起见约去两边的未知常数λ,λw，得到
Figure BDA0002299109350000135
故只需要求出原始训练样本的均值和方程即求出最佳的w。
其中，近邻图构造模块中，近邻图中边的大小具体由公式：
Figure BDA0002299109350000136
确定，其中，xl表示训练样本x的第l个特征向量，xi,xj分别表示第i个训练样本和第j个训练样本，m为特征向量的个数，t表示任意常数，w表示步骤2求得的投影向量。
其中，m的取值为5，分别包括图像的笔画、轮廓、交叉点、端点、灰度特征向量。
各模块的具体实现和各步骤相应，本发明不予撰述。
以上所述仅为本发明的部分实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种改变。凡在本发明的精神和原则之内，所做的任何改变、等价替换或改进等，均应包含在本发明的包含范围之内。注意，相似的标号和字母在下面的附图中表示类似项。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进一步定义和解释。

Claims (8)

1.一种图像数据加权分类方法，其特征在于，包括以下步骤：
Step1、从数据库中获取数据集，将数据集分为测试集和训练集；
Step2、设置近邻参数K值；
Step3、根据Linear Discriminant Analysis算法求出训练集投影向量w；
Step4、根据训练集构造近邻图G(V，E)，其中G表示近邻图，V表示节点，即为训练集中的各个训练样本，E表示连接各个训练样本之间的边；
所述Step4中，近邻图中边的大小具体由公式：
Figure FDA0003590081300000011
确定，其中，xl表示训练样本x的第l个特征向量，xi,xj分别表示第i个训练样本和第j个训练样本，m为特征向量的个数，t表示任意常数，w表示Step3求得的投影向量；
Step5、对于测试集中的每一个数据样本xtext，根据近邻图找到数据样本xtext在训练集中的K个近邻；
Step6、返回对数据样本xtext的估计值
Figure FDA0003590081300000012
其中，
Figure FDA0003590081300000013
Figure FDA0003590081300000014
f(xi)表示分类的问题函数，xi表示第i个训练样本，
Figure FDA0003590081300000015
表示第i个训练样本的第l个特征向量，
Figure FDA0003590081300000016
表示数据样本xtext的第l个特征向量，t表示任意常数，m为特征向量的个数，w表示投影向量，v表示训练样本对应的类别，V’表示数据类别的集合，
Figure FDA0003590081300000017
即为数据样本xtext的最终类别，
Figure FDA0003590081300000018
2.如权利要求1所述的一种图像数据加权分类方法，其特征在于：所述步骤Step2设置K的取值范围为{1,3,5,7,9,11,13,15}。
3.如权利要求1所述的一种图像数据加权分类方法，其特征在于：步骤Step3中投影向量w的计算方式如下，
以二分类为例，定量分析求解最佳的投影向量w：
给定特征为d维的N个训练样本
Figure FDA0003590081300000021
首先寻找每类训练样本的均值，即中心点，此时z＝1,2，
Figure FDA0003590081300000022
具体的，有N1个训练样本属于类别v1，有N2个训练样本属于类别v2，N＝N1+N2，μz表示第z类训练样本的均值；
训练样本x到w上的投影用y＝wTx计算，训练样本x到w投影后的样本点均值表示为：
Figure FDA0003590081300000023
由此可知，投影后的均值也就是样本中心点的投影；
能够使投影后的两类样本中心点尽量分离的直线是最好的直线，定量表示为：
Figure FDA0003590081300000024
对投影后的类求散列值，具体：
Figure FDA0003590081300000025
最终通过度量公式
Figure FDA0003590081300000026
度量投影向量w；
根据上述公式，寻找使J(w)最大的w即可，求解过程如下：
将散列值公式展开：
Figure FDA0003590081300000027
其中令
Figure FDA0003590081300000028
即散列矩阵；
接着，令Sw＝S1+S2，Sw称为类内离散程度矩阵，SB＝(μ1-μ2)(μ1-μ2)T，SB称为类间离散程度矩阵；
J(w)最终表示为：
Figure FDA0003590081300000029
对其进行求导，在求导之前，先对分母进行归一化处理；然后令||wTSWW||＝1，加入拉格朗日乘子后，求导：
Figure FDA00035900813000000210
由此可见w是矩阵
Figure FDA00035900813000000211
的特征向量；
具体的，因为SBw＝(μ1-μ2)(μ1-μ2)Tw，其中，后面两项的积是一个常数，记为λw，则
Figure FDA00035900813000000212
由于对w扩大或缩小任何倍数都不影响其结果，因此为了简单起见约去两边的未知常数λ,λw，得到
Figure FDA00035900813000000213
故只需要求出原始训练样本的均值和方程即求出最佳的w。
4.如权利要求1所述的一种图像数据加权分类方法，其特征在于：m的取值为5，分别包括图像的笔画、轮廓、交叉点、端点、灰度特征向量。
5.一种图像数据加权分类系统，其特征在于，包括以下模块：
数据集获取模块，用于从数据库中获取数据集，将数据集分为测试集和训练集；
参数设置模块，用于设置近邻参数K值；
投影向量w求解模块，用于根据Linear Discriminant Analysis算法求出训练集投影向量w；
近邻图构造模块，用于根据训练集构造近邻图G(V，E)，其中G表示近邻图，V表示节点，即为训练集中的各个训练样本，E表示连接各个训练样本之间的边；
所述近邻图构造模块中，近邻图中边的大小具体由公式：
Figure FDA0003590081300000031
确定，其中，xl表示训练样本x的第l个特征向量，xi,xj分别表示第i个训练样本和第j个训练样本，m为特征向量的个数，t表示任意常数，w表示投影向量w求解模块求得的投影向量；
K个近邻搜索模块，对于测试集中的每一个数据样本xtext，根据近邻图找到数据样本xtext在训练集中的K个近邻；
样本类别判定模块，用于返回对数据样本xtext的估计值
Figure FDA0003590081300000032
其中，
Figure FDA0003590081300000033
f(xi)表示分类的问题函数，xi表示第i个训练样本，
Figure FDA0003590081300000034
表示第i个训练样本的第l个特征向量，
Figure FDA0003590081300000035
表示数据样本xtext的第l个特征向量，t表示任意常数，m为特征向量的个数，w表示投影向量，v表示训练样本对应的类别，V’表示数据类别的集合，
Figure FDA0003590081300000036
即为数据样本xtext的最终类别，
Figure FDA0003590081300000037
6.如权利要求5所述的一种图像数据加权分类系统，其特征在于：所述参数设置模块中设置K的取值范围为{1,3,5,7,9,11,13,15}。
7.如权利要求5所述的一种图像数据加权分类系统，其特征在于：投影向量w求解模块中投影向量w的计算方式如下，
以二分类为例，定量分析求解最佳的投影向量w：
给定特征为d维的N个训练样本
Figure FDA0003590081300000041
首先寻找每类训练样本的均值，即中心点，此时z＝1,2，
Figure FDA0003590081300000042
具体的，有N1个训练样本属于类别v1，有N2个训练样本属于类别v2，N＝N1+N2，μz表示第z类训练样本的均值；
训练样本x到w上的投影用y＝wTx计算，训练样本x到w投影后的样本点均值表示为：
Figure FDA0003590081300000043
由此可知，投影后的均值也就是样本中心点的投影；
能够使投影后的两类样本中心点尽量分离的直线是最好的直线，定量表示为：
Figure FDA0003590081300000044
对投影后的类求散列值，具体：
Figure FDA0003590081300000045
最终通过度量公式
Figure FDA0003590081300000046
度量投影向量w；
根据上述公式，寻找使J(w)最大的w即可，求解过程如下：
将散列值公式展开：
Figure FDA0003590081300000047
其中令
Figure FDA0003590081300000048
即散列矩阵；
接着，令Sw＝S1+S2，Sw称为类内离散程度矩阵，SB＝(μ1-μ2)(μ1-μ2)T，SB称为类间离散程度矩阵；
J(w)最终表示为：
Figure FDA0003590081300000049
对其进行求导，在求导之前，先对分母进行归一化处理；然后令||wTSWW||＝1，加入拉格朗日乘子后，求导：
Figure FDA00035900813000000410
由此可见w是矩阵
Figure FDA00035900813000000411
的特征向量；
具体的，因为SBw＝(μ1-μ2)(μ1-μ2)Tw，其中，后面两项的积是一个常数，记为λw，则
Figure FDA0003590081300000051
由于对w扩大或缩小任何倍数都不影响其结果，因此为了简单起见约去两边的未知常数λ,λw，得到
Figure FDA0003590081300000052
故只需要求出原始训练样本的均值和方程即求出最佳的w。
8.如权利要求5所述的一种图像数据加权分类系统，其特征在于：m的取值为5，分别包括图像的笔画、轮廓、交叉点、端点、灰度特征向量。
CN201911214509.5A 2019-12-02 2019-12-02 一种图像数据加权分类方法和系统 Active CN111027609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911214509.5A CN111027609B (zh) 2019-12-02 2019-12-02 一种图像数据加权分类方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911214509.5A CN111027609B (zh) 2019-12-02 2019-12-02 一种图像数据加权分类方法和系统

Publications (2)

Publication Number Publication Date
CN111027609A CN111027609A (zh) 2020-04-17
CN111027609B true CN111027609B (zh) 2022-06-03

Family

ID=70203907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911214509.5A Active CN111027609B (zh) 2019-12-02 2019-12-02 一种图像数据加权分类方法和系统

Country Status (1)

Country Link
CN (1) CN111027609B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985550B (zh) * 2020-08-13 2024-02-27 杭州电子科技大学 基于Gap度量下的工业化工数据预处理的分类方法
CN112051493A (zh) * 2020-09-17 2020-12-08 海南电网有限责任公司琼海供电局 一种配电网设备的隐患类型识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030051554A (ko) * 2003-06-07 2003-06-25 전명근 퍼지 소속도를 갖는 얼굴인식 방법
CN101673348A (zh) * 2009-10-20 2010-03-17 哈尔滨工程大学 基于监督等度规投影的人脸识别方法
CN102073799A (zh) * 2011-01-28 2011-05-25 重庆大学 基于基因表达谱的肿瘤基因识别方法
CN103679207A (zh) * 2014-01-02 2014-03-26 苏州大学 一种手写体数字识别方法及系统
CN103854645A (zh) * 2014-03-05 2014-06-11 东南大学 一种基于说话人惩罚的独立于说话人语音情感识别方法
CN107045621A (zh) * 2016-10-28 2017-08-15 北京联合大学 基于lbp与lda的人脸表情识别方法
CN107463920A (zh) * 2017-08-21 2017-12-12 吉林大学 一种消除局部遮挡物影响的人脸识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030051554A (ko) * 2003-06-07 2003-06-25 전명근 퍼지 소속도를 갖는 얼굴인식 방법
CN101673348A (zh) * 2009-10-20 2010-03-17 哈尔滨工程大学 基于监督等度规投影的人脸识别方法
CN102073799A (zh) * 2011-01-28 2011-05-25 重庆大学 基于基因表达谱的肿瘤基因识别方法
CN103679207A (zh) * 2014-01-02 2014-03-26 苏州大学 一种手写体数字识别方法及系统
CN103854645A (zh) * 2014-03-05 2014-06-11 东南大学 一种基于说话人惩罚的独立于说话人语音情感识别方法
CN107045621A (zh) * 2016-10-28 2017-08-15 北京联合大学 基于lbp与lda的人脸表情识别方法
CN107463920A (zh) * 2017-08-21 2017-12-12 吉林大学 一种消除局部遮挡物影响的人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Euclidean Distance based KNN Computational Method for Assessing Degree of Liver Damage;Aman Singh，Babita Pandey;《2016 International Conference on inventive Computation Technologies(ICICT)》;20170119;第1-4页 *
Expressions Recognition of North-East Indian (NEI) Faces;Priya Saha et al.;《Springer Science+Business Media New York 2015》;20150925;第16781-16807页 *
基于核主量和线性鉴别分析的人脸识别算法研究;唐晓培, 李力争;《微型机与应用》;20101231;第29卷(第20期);第39-42页 *
模式分类的k-近邻方法;苟建平;《中国优秀博硕士学位论文全文数据库（博士） 信息科技辑》;20130515;I138-21 *

Also Published As

Publication number Publication date
CN111027609A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN107515895B (zh) 一种基于目标检测的视觉目标检索方法与系统
CN110443281B (zh) 基于hdbscan聚类的文本分类自适应过采样方法
Niu et al. Meta-metric for saliency detection evaluation metrics based on application preference
WO2020114378A1 (zh) 视频水印的识别方法、装置、设备及存储介质
Ling et al. How many clusters? A robust PSO-based local density model
CN109993236A (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
JP4376145B2 (ja) 画像分類学習処理システム及び画像識別処理システム
US9165184B2 (en) Identifying matching images
CN107451562B (zh) 一种基于混沌二进制引力搜索算法的波段选择方法
CN111027609B (zh) 一种图像数据加权分类方法和系统
Araújo et al. Self-organizing subspace clustering for high-dimensional and multi-view data
WO2022166363A1 (zh) 一种基于近邻子空间划分高光谱影像波段选择方法及系统
CN110929801B (zh) 一种基于改进的Euclid距离KNN分类方法和系统
CN114503131A (zh) 检索装置、检索方法、检索程序和学习模型检索系统
CN111738319A (zh) 一种基于大规模样本的聚类结果评价方法及装置
CN114463587A (zh) 一种异常数据检测方法、装置、设备及存储介质
WO2022162427A1 (en) Annotation-efficient image anomaly detection
Ming et al. Visual detection of sprouting in potatoes using ensemble‐based classifier
CN104123382B (zh) 一种社会媒体下的图像集摘要生成方法
CN115908419A (zh) 一种利用贝叶斯网络优化伪标签的无监督高光谱图像变化检测方法
CN112579783B (zh) 基于拉普拉斯图谱的短文本聚类方法
CN112131962B (zh) 基于电磁散射特征和深度网络特征的sar图像识别方法
Ren et al. Multivariate functional data clustering using adaptive density peak detection
Yang et al. Adaptive density peak clustering for determinging cluster center
Vathy-Fogarassy et al. Local and global mappings of topology representing networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant