CN113642623A - 基于酉空间多特征融合的复数支持向量机分类方法 - Google Patents

基于酉空间多特征融合的复数支持向量机分类方法 Download PDF

Info

Publication number
CN113642623A
CN113642623A CN202110897134.8A CN202110897134A CN113642623A CN 113642623 A CN113642623 A CN 113642623A CN 202110897134 A CN202110897134 A CN 202110897134A CN 113642623 A CN113642623 A CN 113642623A
Authority
CN
China
Prior art keywords
features
feature
classified
target
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110897134.8A
Other languages
English (en)
Other versions
CN113642623B (zh
Inventor
徐颖
郑润晓
蔡大森
唐文涛
陈晓清
张文杰
庾名星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110897134.8A priority Critical patent/CN113642623B/zh
Publication of CN113642623A publication Critical patent/CN113642623A/zh
Application granted granted Critical
Publication of CN113642623B publication Critical patent/CN113642623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于酉空间多特征融合的复数支持向量机分类方法，方法包括：提取待分类对象的初始特征，其中，所述初始特征包括第一特征和第二特征；将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特作为虚部，组合得到所述待分类对象对应的复数特征；根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征；将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别。本发明通过结合不同的特征，可以提高分类的准确率，并且在输入至分类向量机之前对提取的不同的特征结合后的特征进行特征选取，降低分类向量机训练和检测时间。

Description

基于酉空间多特征融合的复数支持向量机分类方法
技术领域
本发明涉及分类技术领域，特别涉及一种基于酉空间多特征融合的复数支持向量机分类方法。
背景技术
分类任务在生活中十分常见，精准且高效的分类算法一直为研究热点，现有的分类算法中SVM(支持向量机)算法应用广泛，基于SVM的分类算法通过提取分类对象的特征并输入至支持向量机中进行分类，但是，现有技术中基于SVM的分类算法的准确度有待提高。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种基于酉空间多特征融合的复数支持向量机分类方法，旨在解决现有技术中基于SVM的分类准确度不高的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
本发明的第一方面，提供一种基于酉空间多特征融合的复数支持向量机分类方法，所述方法包括：
提取待分类对象的第一特征和第二特征；
将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特作为虚部，组合得到所述待分类对象对应的复数特征；
根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征；
将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别。
所述的基于酉空间多特征融合的复数支持向量机分类方法，其中，所述分类向量机是根据多组训练数据得到，每组训练数据包括样本对象的目标特征和样本对象对应的类别。
所述的基于酉空间多特征融合的复数支持向量机分类方法，其中，所述预设矩阵是通过训练集得到，所述训练集中包括类别为第一类的多个样本对象和类别为第二类的多个样本对象；所述根据预设矩阵对所述待分类对象对应的复数特征进行特征选择之前，包括：
分别提取所述预设训练集中各个样本对象分别对应的第一特征和第二特征；
根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征；
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征确定所述预设矩阵。
所述的基于酉空间多特征融合的复数支持向量机分类方法，其中，所述根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征，包括：
分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征；
将所述多个中间第一特征中的目标中间第一特征作为实部，将所述多个中间第二特征中与所述目标中间第一特征对应的目标中间第二特征作为虚部，组合得到所述目标样本对象对应的目标复数特征。
所述的基于酉空间多特征融合的复数支持向量机分类方法，其中，所述分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征，包括：
基于所述目标样本对象对应的第一特征和所述目标样本对象所属的类别的所有样本对象对应的第一特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第一特征；
基于所述目标样本对象对应的第二特征和所述目标样本对象所属的类别的所有样本对象对应的第二特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第二特征。
所述的基于酉空间多特征融合的复数支持向量机分类方法，其中，所述根据类别为第一类的样本对象对应的复数特征和类别为第二类的样本对象对应的复数特征确定所述预设矩阵，包括：
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征，融合至少一种目标降维方法的目标函数构建第一目标函数；
求解所述第一目标函数得到所述预设矩阵；
其中，所述目标降维方法包括：典型相关分析法、主成分分析法和线性判别分析法。
所述的基于酉空间多特征融合的复数支持向量机分类方法，其中，所述分类向量机的训练目标函数为：
Figure BDA0003198316380000031
其中，其中，λ为步长，n为训练集中样本对象的数量，K为训练数据的数量，
Figure BDA0003198316380000032
表示训练集中第i个样本特征对应的第k个复数特征real(·)表示对实部部分运算，w、b为所述分类向量机的参数。
本发明的第二方面，提供一种分类装置，包括：
初始特征提取模块，所述初始特征提取模块用于提取待分类对象的第一特征和第二特征；
特征融合模块，所述特征融合模块用于将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特作为虚部，组合得到所述待分类对象对应的复数特征；
特征选择模块，所述特征选择模块用于根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征；
分类模块，所述分类模块用于将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别。
本发明的第三方面，提供一种终端，所述终端包括处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述任一项所述的分类方法的步骤。
本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的分类方法的步骤。
与现有技术相比，本发明提供了一种基于酉空间多特征融合的复数支持向量机分类方法、装置、终端及存储介质，所述的基于酉空间多特征融合的复数支持向量机分类方法，对待分类对象提取两种特征，将两种特征进行结合得到复数特征，并对复数特征进行特征选择再使用分类向量机实现对待分类对象的类别，通过结合不同的特征，可以提高分类的准确率，并且在输入至分类向量机之前对提取的不同的特征结合后的特征进行特征选取，降低分类向量机训练和检测时间。
附图说明
图1为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例的流程图；
图2为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图一；
图3为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图二；
图4为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图三；
图5为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图四；
图6为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图五；
图7为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图六；
图8为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图七；
图9为本发明提供的基于酉空间多特征融合的复数支持向量机分类方法的实施例中对训练集的样本对象的初始特征进行扩充的效果示意图八；
图10为本发明提供的分类装置的实施例的结构原理图；
图11为本发明提供的终端的实施例的原理示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的基于酉空间多特征融合的复数支持向量机分类方法，可以应用于具有计算能力的终端中，终端可以执行本发明提供的分类方法对待分类对象进行分类，终端可以但不限于是各种计算机、移动终端、智能家电、可穿戴式设备等。
实施例一
如图1所示，所述分类方法的一个实施例中，包括步骤：
S100、提取待分类对象的第一特征和第二特征。
所述待分类对象可以为图像、文本等，第一特征和第二特征分别是采用不同的特征提取方式提取的特征，即第一特征是采用第一特征提取方式提取的特征，第二特征是采用第二特征提取方式提取的特征，以所述待分类对象为图像为例，第一特征可以为LBP(局部二值模式)特征，第二特征可以为SURF(加速鲁棒)特征，或者，第一特征为SURF特征，第二特征为LBP特征。LBP特征作为一个全局特征，对于旋转和灰度都是不变的，但是在某些情况下，比如关键部分丢失或者遮挡时，识别率较低，通过SURF特征与LBP特征进行结合，可以提高识别精度。当然，本领域技术人员可以理解，本发明并不限定第一特征和第二特征的类别，例如对于图像来说，可以采取HOG特征、SIFT特征、ORB特征、HAAR特征等作为第一特征或第二特征。
S200、将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特征作为虚部，组合得到所述待分类对象对应的复数特征。
在获取到所述待分类对象的第一特征和第二特征后，对所述待分类对象的第一特征和第二特征进行结合以得到最终输入至分类向量机进行分类的目标特征。
具体地，首先将所述待分类对象的第一特征和第二特征组合得到所述待分类对象的复数特征。所述待分类对象的复数特征的实部为所述待分类对象的第一特征，虚部为所述待分类对象的第二特征。
S300、根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征。
由两类特征结合得到的所述待分类对象的复数特征中存在冗余，若不进行特征选择以实现降维，会导致输入至分类向量机进行处理以进行分类时的计算时间变长，分类向量机的训练和检测效率降低。在本实施例中，在得到所述待分类对象的复数特征后，根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征，所述待分类对象对应的目标特征是最终输入至分类向量机中用于输出所述待分类对象的类别的特征。
具体地，所述预设矩阵是根据用于训练分类向量机的训练集得到的，所述训练集中包括类别为第一类的多个样本对象和的类别为第二类的多个样本对象。所述根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征之前，包括步骤：
分别提取所述预设训练集中各个样本对象分别对应的第一特征和第二特征；
根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征；
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征确定所述预设矩阵。
本实施例提供的基于酉空间多特征融合的复数支持向量机分类方法，用于将对象分为两类，例如图像中的物体是公交车或不是公交车。所述训练集中包括类别已知的多个样本对象，即，所述训练集中包括类别为第一类的多个样本对象和类别为类别为第二类的多个样本对象。
对于所述训练集中的每个样本对象，可以分别提取第一特征和第二特征，再将每个样本对象对应的第一特征和第二特征组合得到该样本对象对应的复数特征，采用预设矩阵对该样本对象对应的复数特征进行特征选择后，得到该样本对象对应的目标特征，将该样本对象对应的目标特征和该样本对象的类别作为一组训练数据训练分类向量机，从而使得分类向量机能够根据输入的对象的目标特征输出对象的类别。
所述预设矩阵可以是根据所述训练集中的各个样本对象分别提取对应的第一特征和第二特征得到，而在一种可能的实现方式中，为了降低样本噪声的影响，提升训练后得到的分类向量机的准确性，在提取所述训练集中个样本对象分别对应的第一特征和第二特征后，对每个样本对象分别对应的第一特征和第二特征进行扩充，生成每个样本对象对应的多个中间第一特征和多个中间第二特征，从而实现对样本对象的扩充，降低样本噪声带来的影响。
所述预设矩阵可以是对所述训练集中的各个样本对象进行扩充后得到的每个样本对象对应的多个中间第一特征和多个中间第二特征得到。具体地，所述根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征，包括步骤：
分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征；
将所述多个中间第一特征中的目标中间第一特征作为实部，将所述多个中间第二特征中与所述目标中间第一特征对应的目标中间第二特征作为虚部，组合得到所述目标样本对象对应的目标复数特征。
具体地，所述目标样本对象为所述训练集中的一个样本对象，对于所述目标样本对象，首先提取所述目标样本对象的第一特征和第二特征，根据所述目标样本对象的第一特征进行扩充，得到多个中间第一特征，根据所述目标样本对象的第二特征进行扩充，得到多个中间第二特征。
所述分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征，具体包括：
基于所述目标样本对象对应的第一特征和所述目标样本对象所属的类别的所有样本对象对应的第一特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第一特征；
基于所述目标样本对象对应的第二特征和所述目标样本对象所属的类别的所有样本对象对应的第二特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第二特征。
所述训练集可以表示为：A＝{(xi,yi,zi):xi∈Rd,yi∈Rd,zi∈{±1},i＝1,...N}，其中，N为训练集A中的样本对象的数量，xi表示训练集A中第i个样本对象的d维的第一特征，
Figure BDA0003198316380000081
yi表示训练集A中第i个样本对象的d维的第二特征，
Figure BDA0003198316380000082
zi表示训练集A中第i个样本对象所属的类别。所述目标样本对象所属的类别的所有样本对象对应的第一特征的均值作为所述目标样本对象所属的类别的中心点。设所述目标样本对象为训练集中的第i个样本，
Figure BDA0003198316380000091
为所述训练集中的第i个样本所属的类的第一特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第一特征可以用公式表示为：
Figure BDA0003198316380000092
Figure BDA0003198316380000093
其中，
Figure BDA0003198316380000094
为根据所述训练集中第i个样本对象的第一特征中的第l维数生成的第j个中间第一特征中的第l维数，
Figure BDA0003198316380000095
为所述目标样本对象的第一特征的第l维数，{u1,u2,...,uk}是均匀分布的参数，k为每个样本对象对应的所述中间第一特征的个数。
根据高斯分布生成所述目标样本对象对应的所述多个中间第二特征也可以采用同样的方法得到，即可以用公式表示为：
Figure BDA0003198316380000096
Figure BDA0003198316380000097
其中，
Figure BDA0003198316380000098
为根据所述训练集中第i个样本对象的第一特征中的第l维数生成的第j个中间第一特征中的第l维数，
Figure BDA0003198316380000099
为所述目标样本对象的第一特征的第l维数，{u1,u2,...,uk}是均匀分布的参数，k为每个样本对象对应的所述中间第二特征的个数。
对于所述训练集中的每一个样本对象分别生成对应的多个中间第一特征和多个中间第二特征后，所述训练集可以表示为：XS＝{(xij,yij,zi),xij∈Rd,yij∈Rd,zi∈{±1},i＝1,...,N,j＝1,...k}，
Figure BDA00031983163800000910
Figure BDA00031983163800000911
可以看出，这样实质上是对训练集中的样本对象的特征进行了扩充，实现了由一个样本特征生成多个样本特征。
在得到所述目标样本对象对应的多个中间第一特征和多个中间第二特征后，将所述多个中间第一特征中的目标中间第一特征作为实部，将所述多个中间第二特征中与所述目标中间第一特征对应的目标中间第二特征作为虚部，组合得到所述目标样本对象对应的目标复数特征。所述中间第二特征中与所述目标中间第一特征对应的目标中间第二特征可以为根据与生成所述中间第一特征时均匀分布中序号相同的参数生成的中间第二特征，即可以理解为所述目标中间第一特征和所述目标中间第二特征的j值相等。
将所述目标样本对象对应的每个目标复数特征采用所述预设矩阵进行处理后，可以得到所述目标样本对象对应的一个目标特征，即所述目标样本对象可以生成多个目标特征，将所述目标样本对象的一个目标特征和所述目标样本对象的类别组成一组用于训练分类向量机的训练数据，采用扩充后的训练集对分类向量机进行训练，可以在分类器中建模样本的不确定性，降低样本噪声的影响，提升分类向量机的分类准确率。对分别采用本发明提供的方法对训练集的特征进行扩充、和采用均匀分布对训练集的特征进行扩充、采用相同高斯分布对训练集的特征进行扩充、不对训练集的特征进行扩充的四种处理方法进行了比较，每种扩充方法分别应用于公交数据集和汽车数据集，为了避免偶然性，试验重复100次，四种处理方法分别对于LBP特征和SURF特征进行扩充处理，结果如2-9所示，图2为四种扩充方法对公交数据集的LBP特征进行扩充的召回率比较结果，图3为四种扩充方法对公交数据集的LBP特征进行扩充的准确率比较结果，图4为四种扩充方法对汽车数据集的LBP特征进行扩充的召回率比较结果，图5四种扩充方法对汽车数据集的LBP特征进行扩充的准确率比较结果，图6为四种扩充方法对公交数据集的SURF特征进行扩充的召回率比较结果，图7为四种扩充方法对公交数据集的SURF特征进行扩充的准确率比较结果，图8为四种扩充方法对汽车数据集的SURF特征进行扩充的召回率比较结果，图9四种扩充方法对汽车数据集的SURF特征进行扩充的准确率比较结果。实验结果表面，本发明中的训练集特征扩充方法的召回率和准确率均最好。
若不对所述训练集的特征进行扩充，那么可以直接将所述目标样本对象对应的第一特征和第二特征进行组合得到复数特征后采用所述预设矩阵进行处理后得到所述目标样本对象对应的目标特征，从而每个所述目标样本对象生成一组用于训练分类向量机的训练数据。
所述根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征确定所述预设矩阵，包括：
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征，融合至少一种目标降维方法的目标函数构建第一目标函数；
求解所述第一目标函数得到所述预设矩阵；
其中，所述目标降维方法包括：典型相关分析法、主成分分析法和线性判别分析法。
典型相关分析法(CCA)、主成分分析法(PCA)、线性判别分析法(LDA)是常见的选择特征实现降维的方法，在本实施例中，为了实现复数特征的选择，所述预设矩阵为酉变换矩阵，将这三种降维方法的目标函数融合构建第一目标函数来得到用于对复数特征进行选择的所述预设矩阵，所述第一目标函数为：
Figure BDA0003198316380000111
其中，WH为所述预设矩阵，WH为对矩阵W进行酉变换后得到的矩阵，α、β、γ分别为线性判别分析、主成分分析、典型相关性分析的权重，通过调节α、β、γ的值，可以平衡线性判别分析、主成分分析和典型相关性分析之间的优势问题，SW为类内散点矩阵，Sb为类间散点矩阵，I为单位矩阵，x1为所属类别为第一类的样本对象对应的复数特征，x2为所属类别为第二类的样本对象对应的复数特征，Scov(x,x)表示x与x间的协方差矩阵。
类内散点矩阵和类间散点矩阵的计算方式如下：
Figure BDA0003198316380000121
Sb＝(μ1-μ2)(μ1-μ2)T
其中，
Figure BDA0003198316380000122
为所属类别为第一类的样本对象对应的复数特征中的第i个复数特征，
Figure BDA0003198316380000123
为所属类别为第二类的样本对象对应的复数特征中的第i个复数特征，M1为所属类别为第一类的样本对象对应的复数特征的总数，M2为所属类别为第二类的样本对象对应的复数特征的总数，μ1为所属类别为第一类的样本对象对应的复数特征的均值，μ2为所属类别为第二类的样本对象对应的复数特征的均值。
求解所述第一目标函数，可以得到所述预设矩阵WH。具体地，根据广义瑞利商的解，可以得到所述第一目标函数的解为：W＝[v1,v2,...vg]。其中，vi是特征值ηi,i＝1,2,...,g中的特征向量，特征值集(η1,η2,...,ηg)是矩阵
Figure BDA0003198316380000124
的非增量有序特征值集。
通过所述预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征可以用公式表示为：
Figure BDA0003198316380000125
其中，
Figure BDA0003198316380000126
为所述待分类对象对应的目标特征，
Figure BDA0003198316380000127
为所述待分类对象对应的复数特征，这样，可以实现将所述待分类对象对应的复数特征从d维降到g维。
所述预设矩阵可以是基于所述训练集中的样本对象的第一特征和第二二特征得到，即不对所述训练集进行特征扩充的状态下得到，也可以是基于进行了特征扩充的所述训练集得到。也就是说，当基于不进行特征扩充的所述训练集得到所述预设矩阵时，样本对象对应的复数特征为样本对象的第一特征和第二特征组合得到，当基于进行特征扩充的所述训练集得到所述预设矩阵时，样本对象对应的复数特征为样本对象对应的中间第一特征和中间第二特征组合得到。
采用本发明中提供的特征选择方法与现有的特征选择方法进行比较，现有的特征选择方法有PCA、LDA、CCA以及PCA和LDA融合的HDA，结果如表一所示：
Figure BDA0003198316380000131
Figure BDA0003198316380000141
表一
从表一可以看出，采用本发明提供的特征选择方法进行特征选择后分类向量机的召回率、精确率和F1指标均优于其他特征选择方法，而相对于不进行特征选择，本发明提供的特征选择方法在公交数据集上的训练时间减少了39.99％，在汽车数据集上的训练时间减少了44.61％。
请再次参阅图1，本实施例提供的基于酉空间多特征融合的复数支持向量机分类方法，还包括步骤：
S400、将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别。
所述分类向量机输出二分类结果，即输出所述待分类对象是第一类还是第二类。所述分类向量机是根据多组训练数据得到，每组训练数据包括样本对象的目标特征和样本对象对应的类别。正如前文所说明的，可以将训练集中的样本对象的第一特征和第二特征进行组合得到复数特征后再采用所述预设矩阵进行特征选择后得到该样本对象的目标特征，从而得到一组训练数据，或者根据训练集中的样本对象的第一特征和第二特征生成多个中间第一特征和多个中间第二特征后，将中间第一特征和中间第二特征一一对应组合后得到多个目标复数特征，再使用所述预设矩阵对多个目标复数特征分别进行特征选择后得到该样本对象的多个目标特征，从而得到多组训练数据。
所述分类向量机在训练过程中的目标函数为：
Figure BDA0003198316380000151
其中，λ为步长，n为训练集中样本对象的数量，K为训练数据的数量，
Figure BDA0003198316380000152
表示训练集中第i个样本特征对应的第k个复数特征，real(·)表示对实部部分运算，w、b为所述分类向量机的参数。所述分类向量机的训练过程的伪代码可以如表二所示：
Figure BDA0003198316380000153
Figure BDA0003198316380000161
表二
Figure BDA0003198316380000162
Figure BDA0003198316380000171
表三
从表三可以看出，在原始的MINIST数据集D0中，对于单独的特征v1，加上分类器SVM，准确率达到0.879，而单独的特征v2加上分类器SVM，准确率达到0.855，而传统的将特征v1和v2进行序列融合的方法精度达到0.944，而本文提出的特征并行融合的分类方法精度达到了0.952，并且随着噪声级tp从40提高到200，精度分别提高了0.8％、0.9％、1.6％、2.6％、4.3％。此外，根据标准差的变化，本发明提供的方法中的分类器的鲁棒性随着噪声级tp的增加而增强。
将本发明提供过的方法与baseline支持向量机、功率支持向量机、本算法与baseline支持向量机、功率支持向量机、SVM-gsu支持向量机、GEP-SVM和FLST-SVM进行了比较。结果见表四。
Figure BDA0003198316380000172
表四
结果表明，本发明提供的方法在分类性能上优于传统的支持向量机方法，相对于对比基线支持向量机(baseline SVM)、PSVM、GEP-SVM、FLST-SVM和SVM-gsu，本发明提供的方法的准确率分别提高了2.04％、0.81％、0.55％、1.58％、0.19％，标准差分别减小了4.8％、3.4％、3.7％、2.4％、3.0％，显示了本发明提供的方法中的分类器的稳定性。
综上所述，本实施例提供一种分类方法，对待分类对象提取两种特征，将两种特征进行结合得到复数特征，并对复数特征进行特征选择再使用分类向量机实现对待分类对象的类别，通过结合不同的特征，可以提高分类的准确率，并且在输入至分类向量机之前对提取的不同的特征结合后的特征进行特征选取，降低分类向量机训练和检测时间。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取计算机可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例，本发明还相应提供了一种分类装置，如图10所示，所述分类装置包括：
初始特征提取模块，所述初始特征提取模块用于提取待分类对象的第一特征和第二特征，具体如实施例一中所述；
特征融合模块，所述特征融合模块用于将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特作为虚部，组合得到所述待分类对象对应的复数特征，具体如实施例一中所述；
特征选择模块，所述特征选择模块用于根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征，具体如实施例一中所述；
分类模块，所述分类模块用于将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别，具体如实施例一中所述。
实施例三
基于上述实施例，本发明还相应提供了一种终端，如图11所示，所述终端包括处理器10以及存储器20。图11仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于酉空间多特征融合的复数支持向量机分类程序30，该基于酉空间多特征融合的复数支持向量机分类程序30可被处理器10所执行，从而实现本申请中基于酉空间多特征融合的复数支持向量机分类方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述分类方法等。
在一实施例中，当处理器10执行所述存储器20中基于酉空间多特征融合的复数支持向量机分类程序30时实现以下步骤：
提取待分类对象的第一特征和第二特征；
将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特作为虚部，组合得到所述待分类对象对应的复数特征；
根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征；
将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别。
其中，所述分类向量机是根据多组训练数据得到，每组训练数据包括样本对象的目标特征和样本对象对应的类别。
其中，所述预设矩阵是通过训练集得到，所述训练集中包括类别为第一类的多个样本对象和类别为第二类的多个样本对象；所述根据预设矩阵对所述待分类对象对应的复数特征进行特征选择之前，包括：
分别提取所述预设训练集中各个样本对象分别对应的第一特征和第二特征；
根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征；
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征确定所述预设矩阵。
其中，所述根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征，包括：
分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征；
将所述多个中间第一特征中的目标中间第一特征作为实部，将所述多个中间第二特征中与所述目标中间第一特征对应的目标中间第二特征作为虚部，组合得到所述目标样本对象对应的目标复数特征。
其中，所述分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征，包括：
基于所述目标样本对象对应的第一特征和所述目标样本对象所属的类别的所有样本对象对应的第一特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第一特征；
基于所述目标样本对象对应的第二特征和所述目标样本对象所属的类别的所有样本对象对应的第二特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第二特征。
其中，所述根据类别为第一类的样本对象对应的复数特征和类别为第二类的样本对象对应的复数特征确定所述预设矩阵，包括：
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征，融合至少一种目标降维方法的目标函数构建第一目标函数；
求解所述第一目标函数得到所述预设矩阵；
其中，所述目标降维方法包括：典型相关分析法、主成分分析法和线性判别分析法。
其中，所述分类向量机的训练目标函数为：
Figure BDA0003198316380000221
其中，其中，λ为步长，n为训练集中样本对象的数量，K为训练数据的数量，
Figure BDA0003198316380000222
表示训练集中第i个样本特征对应的第k个复数特征real(·)表示对实部部分运算，w、b为所述分类向量机的参数。
实施例四
本发明还提供一种计算机可读存储介质，其中，存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的基于酉空间多特征融合的复数支持向量机分类方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于酉空间多特征融合的复数支持向量机分类方法，其特征在于，所述方法包括：
提取待分类对象的初始特征，其中，所述初始特征包括第一特征和第二特征；
将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特作为虚部，组合得到所述待分类对象对应的复数特征；
根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征；
将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别。
2.根据权利要求1所述的基于酉空间多特征融合的复数支持向量机分类方法，其特征在于，所述分类向量机是根据多组训练数据得到，每组训练数据包括样本对象的目标特征和样本对象对应的类别。
3.根据权利要求1所述的基于酉空间多特征融合的复数支持向量机分类方法，其特征在于，所述预设矩阵是通过训练集得到，所述训练集中包括类别为第一类的多个样本对象和类别为第二类的多个样本对象；所述根据预设矩阵对所述待分类对象对应的复数特征进行特征选择之前，包括：
分别提取所述预设训练集中各个样本对象分别对应的第一特征和第二特征；
根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征；
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征确定所述预设矩阵。
4.根据权利要求3所述的基于酉空间多特征融合的复数支持向量机分类方法，其特征在于，所述根据所述各个样本对象分别对应的第一特征和第二特征确定所述各个样本对象分别对应的复数特征，包括：
分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征；
将所述多个中间第一特征中的目标中间第一特征作为实部，将所述多个中间第二特征中与所述目标中间第一特征对应的目标中间第二特征作为虚部，组合得到所述目标样本对象对应的目标复数特征。
5.根据权利要求4所述的基于酉空间多特征融合的复数支持向量机分类方法，其特征在于，所述分别根据目标样本对象的第一特征和第二特征，生成所述目标样本对象对应的多个中间第一特征和多个中间第二特征，包括：
基于所述目标样本对象对应的第一特征和所述目标样本对象所属的类别的所有样本对象对应的第一特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第一特征；
基于所述目标样本对象对应的第二特征和所述目标样本对象所属的类别的所有样本对象对应的第二特征的均值，根据高斯分布生成所述目标样本对象对应的所述多个中间第二特征。
6.根据权利要求3所述的基于酉空间多特征融合的复数支持向量机分类方法，其特征在于，所述根据类别为第一类的样本对象对应的复数特征和类别为第二类的样本对象对应的复数特征确定所述预设矩阵，包括：
根据类别为第一类的样本对象分别对应的复数特征和类别为第二类的样本对象分别对应的复数特征，融合至少一种目标降维方法的目标函数构建第一目标函数；
求解所述第一目标函数得到所述预设矩阵；
其中，所述目标降维方法包括：典型相关分析法、主成分分析法和线性判别分析法。
7.根据权利要求1-6任一项所述的基于酉空间多特征融合的复数支持向量机分类方法，其特征在于，所述分类向量机的训练目标函数为：
Figure FDA0003198316370000031
其中，其中，λ为步长，n为训练集中样本对象的数量，K为训练数据的数量，
Figure FDA0003198316370000032
表示训练集中第i个样本特征对应的第k个复数特征real(·)表示对实部部分运算，w、b为所述分类向量机的参数。
8.一种分类装置，其特征在于，包括：
初始特征提取模块，所述初始特征提取模块用于提取待分类对象的第一特征和第二特征；
特征融合模块，所述特征融合模块用于将所述待分类对象的第一特征作为实部，将所述待分类对象的第二特作为虚部，组合得到所述待分类对象对应的复数特征；
特征选择模块，所述特征选择模块用于根据预设矩阵对所述待分类对象对应的复数特征进行特征选择，提取所述待分类对象对应的目标特征；
分类模块，所述分类模块用于将所述待分类对象对应的所述目标特征输入至已训练的分类向量机，得到所述待分类对象的类别。
9.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的计算机可读存储介质，所述计算机可读存储介质适于存储多条指令，所述处理器适于调用所述计算机可读存储介质中的指令，以执行实现上述权利要求1-7任一项所述的基于酉空间多特征融合的复数支持向量机分类方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项所述的基于酉空间多特征融合的复数支持向量机分类方法的步骤。
CN202110897134.8A 2021-08-05 2021-08-05 基于酉空间多特征融合的复数支持向量机分类方法 Active CN113642623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110897134.8A CN113642623B (zh) 2021-08-05 2021-08-05 基于酉空间多特征融合的复数支持向量机分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110897134.8A CN113642623B (zh) 2021-08-05 2021-08-05 基于酉空间多特征融合的复数支持向量机分类方法

Publications (2)

Publication Number Publication Date
CN113642623A true CN113642623A (zh) 2021-11-12
CN113642623B CN113642623B (zh) 2023-08-18

Family

ID=78419686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110897134.8A Active CN113642623B (zh) 2021-08-05 2021-08-05 基于酉空间多特征融合的复数支持向量机分类方法

Country Status (1)

Country Link
CN (1) CN113642623B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
CN102426606A (zh) * 2011-11-11 2012-04-25 南京财经大学 一种基于粒子群算法的多特征图像检索方法
CN102592150A (zh) * 2012-01-16 2012-07-18 河南科技大学 基于模糊理论决策的双向二维主成分分析的步态识别方法
CN104408440A (zh) * 2014-12-10 2015-03-11 重庆邮电大学 一种基于两步降维和并行特征融合的人脸表情识别方法
CN107563410A (zh) * 2017-08-04 2018-01-09 中国科学院自动化研究所 基于局部类别一致聚类和多任务学习的分类方法及设备
CN111914915A (zh) * 2020-07-21 2020-11-10 湖北大学 基于支持向量机的数据分类器集成方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281545A (zh) * 2008-05-30 2008-10-08 清华大学 一种基于多特征相关反馈的三维模型检索方法
CN102426606A (zh) * 2011-11-11 2012-04-25 南京财经大学 一种基于粒子群算法的多特征图像检索方法
CN102592150A (zh) * 2012-01-16 2012-07-18 河南科技大学 基于模糊理论决策的双向二维主成分分析的步态识别方法
CN104408440A (zh) * 2014-12-10 2015-03-11 重庆邮电大学 一种基于两步降维和并行特征融合的人脸表情识别方法
CN107563410A (zh) * 2017-08-04 2018-01-09 中国科学院自动化研究所 基于局部类别一致聚类和多任务学习的分类方法及设备
CN111914915A (zh) * 2020-07-21 2020-11-10 湖北大学 基于支持向量机的数据分类器集成方法、装置及存储介质

Also Published As

Publication number Publication date
CN113642623B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Leibe et al. Efficient clustering and matching for object class recognition.
Badrinath et al. An efficient finger-knuckle-print based recognition system fusing sift and surf matching scores
Shen et al. AdaBoost Gabor feature selection for classification
EP2050043A2 (en) Face recognition with combined pca-based datasets
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
CN111476100B (zh) 基于主成分分析的数据处理方法、装置及存储介质
CN105740808A (zh) 人脸识别方法和装置
CN111738270B (zh) 模型生成方法、装置、设备和可读存储介质
KR20170109304A (ko) 객체 인식을 위한 캐스케이드 분류기의 병렬 학습 방법
CN110738222B (zh) 图像匹配方法、装置、计算机设备和存储介质
Amato et al. Aggregating binary local descriptors for image retrieval
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN113642623B (zh) 基于酉空间多特征融合的复数支持向量机分类方法
Choi Spatial pyramid face feature representation and weighted dissimilarity matching for improved face recognition
CN113159211B (zh) 用于相似图像检索的方法、计算设备和计算机存储介质
CN113487320A (zh) 欺诈交易检测方法、装置、计算机设备和存储介质
Ventura et al. Fast and scalable keypoint recognition and image retrieval using binary codes
JP2556477B2 (ja) パタン照合装置
Marini et al. Feature Selection for Enhanced Spectral Shape Comparison.
Yifrach et al. Improved nuisance attribute projection for face recognition
Qun et al. Automatic fingerprint identification using cluster algorithm
CN113569934B (zh) Logo分类模型构建方法、系统、电子设备及存储介质
CN117292304B (zh) 一种多媒体数据传输控制方法及系统
Aldavert et al. Efficient object pixel-level categorization using bag of features
Maiorana et al. Feature selection and binarization for on-line signature recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant