CN110991500A - 一种基于嵌套式集成深度支持向量机的小样本多分类方法 - Google Patents

一种基于嵌套式集成深度支持向量机的小样本多分类方法 Download PDF

Info

Publication number
CN110991500A
CN110991500A CN201911130762.2A CN201911130762A CN110991500A CN 110991500 A CN110991500 A CN 110991500A CN 201911130762 A CN201911130762 A CN 201911130762A CN 110991500 A CN110991500 A CN 110991500A
Authority
CN
China
Prior art keywords
classification
data
sample
support vector
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911130762.2A
Other languages
English (en)
Inventor
王为
张丽
王志雄
张梦君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Tianjin Normal University
Original Assignee
Tianjin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Normal University filed Critical Tianjin Normal University
Priority to CN201911130762.2A priority Critical patent/CN110991500A/zh
Publication of CN110991500A publication Critical patent/CN110991500A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于嵌套式集成深度支持向量机的小样本多分类方法。它采用两层集成分类技术，对小样本情况下的多类别分类任务进行分析；对于内部层，将三个不同的单核函数（径向基核函数、Sigmod核函数、多项式核函数）分别赋予给子分类器深度支持向量机（Deep Support Vector Machine,DSVM），并通过集成分类构建基分类器；对于外部层，将使用“一对其余”策略将多类别分类问题转换为多个二分类问题。最后，将利用AdaBoost框架来完成多分类任务。该方法可以有效地避免小样本情况下的“过拟合”现象，从而提高了小样本情况下穿墙人体目标识别的准确率。

Description

一种基于嵌套式集成深度支持向量机的小样本多分类方法
本申请得到了国家自然科学基金项目No.61501326、No.61971310的资助。
技术领域
本发明涉及一种小样本情况下数据挖掘的技术，该方法结合嵌套式集成分类技术思想、深度学习理论和支持向量机在消除过拟合方面的优势，实现了小样本条件下的多类别分类。
背景技术
随着人工智能技术的飞速发展，深度学习算法在诸如计算机视觉、自然语言处理、语音识别、图像分类与检测等众多领域上均取得了令人瞩目的成绩。但是，这些案例的成功往往依赖于收集到的大量的昂贵的标签数据。这在实际应用场景中存在着一定的困难。进而，如何在小样本条件下进行有效地学习，成为一个重要的研究方向并且已经取得了一些成果。（1）基于数据层面，即数据的扩充。例如：Qi H等人提出了一种合成样本的新技术，用于实现多标签小样本分类任务。Alfassy A等人试图在特征空间中组合成对存在的实例，其目的是使合成的特征向量与标签集相对应。（2）基于度量学习方案，它试图学习具有更好泛化能力的特征表示，以便它仍可以很好地应用到新任务中。Li W等人探索了一种有效的称为“深度最近邻神经网络”（Deep Nearest Neighbor Neural Network, DN4)的框架，用于进行小样本学习。它在卷积特征图的深层局部描述符上利用了k近邻搜索来进行在线测量。Wertheimer D等人引入了三个无参数的改进，包括通过使交叉验证适应元学习来优化训练过程，设置体系结构以定位对象以及扩展自由参数。（3）基于该方案集中在模型的超参数和参数上，以便可以在小样本下轻松完成新对象。 Lee K等人研究了一种名为MetaOptNet的方法，该方法使用这些预测变量作为基分类器来学习新颖类别的特征嵌入。Sun Q等人利用深度神经网络训练多任务并学习识别对象的特征权重。然而，在不考虑训练样本任务和数据属性的情况下，改进数据层面往往会导致样本分布估计值出现偏差，这可能会影响分类的真实性。通过先验知识训练的改进生成模型需要大量数据和高计算成本。同时，元学习方法无法避免无关的任务污染学习者。
发明内容
本发明是为解决上述问题进行的研究，其目的是将小样本条件下的多类别分类问题转换为多个二分类问题，利用AdaBoost框架来真实反映分类效果；并用嵌套式集成深度支持向量机有效地避免过度拟合现象。
为实现上述目的，本发明公开了如下的技术方案：
一种基于嵌套式集成深度支持向量机的小样本多分类方法。该方法采用了两层集成分类技术。对于内部层，将三个不同的单核函数（径向基核函数、Sigmod核函数、多项式核函数）分别赋予给深度支持向量机（Support Vector Machine, DSVM），并通过集成分类构建基分类器；对于外部层，将使用“一对其余”策略将多类别分类问题转换为多个二分类问题。最后，将利用AdaBoost框架来完成多分类任务。本发明利用DSVM算法具有强正则化能力，换取核函数比较灵活，且能有效地提取到输入数据集的相应特征来构建基分类器。并结合AdaBoost框架来有效地避免小样本情况下的“过拟合”现象，从而提高了小样本情况下穿墙人体目标识别的准确率。主要包括：
（1）子分类器权重的计算
设
Figure 452768DEST_PATH_IMAGE001
是数据集，
Figure 496947DEST_PATH_IMAGE002
是数据集中元素的个数。首先，求取单核函数
Figure 302092DEST_PATH_IMAGE003
的权重值。使用相同的训练、测试数据对每个SVM模型进行训练和测试，得到每个SVM模型的相关系数和超平面方程表达式；根据参数值来求取每个测试数据到超平面的几何距离
Figure 89920DEST_PATH_IMAGE004
：
Figure 664121DEST_PATH_IMAGE005
(1)
其中，
Figure 128469DEST_PATH_IMAGE006
为SVM算法中每个样本点
Figure 155331DEST_PATH_IMAGE007
引进的一个松弛变量，且
Figure 481270DEST_PATH_IMAGE008
为超平面的法向量；
计算测试数据到超平面的距离和
Figure 909977DEST_PATH_IMAGE009
：
Figure 295959DEST_PATH_IMAGE010
(2)
计算从所有测试数据到超平面的平均距离
Figure 75696DEST_PATH_IMAGE011
：
Figure 205326DEST_PATH_IMAGE012
(3)
计算超平面的所有分类正确测试数据的均方误差（MSE）：
Figure 737808DEST_PATH_IMAGE013
(4)
其中，
Figure 560270DEST_PATH_IMAGE014
表示从测试正确的数据到超平面的距离，
Figure 561724DEST_PATH_IMAGE015
为测试正确的数据正确个数
获得内核函数的权重
Figure 229466DEST_PATH_IMAGE016
：
Figure 632765DEST_PATH_IMAGE017
(5)
分别替换单核函数
Figure 626129DEST_PATH_IMAGE018
，重复上述公式(1)-(5)，得到每个核函数对应的权重值；将此权重值赋予给子分类器DSVM1、DSVM2、DSVM3；
（2）嵌套式集成基分类器的权重
设带有标签数据的
Figure 849300DEST_PATH_IMAGE019
个训练样本为
Figure 586312DEST_PATH_IMAGE020
，其中，
Figure 827806DEST_PATH_IMAGE021
为样本实例，
Figure 726492DEST_PATH_IMAGE022
为样本标签，初始化训练数据集的样本权重
Figure 702539DEST_PATH_IMAGE023
。将具有权重分布的训练样本代入上述（1）中的基本分类器函数
Figure 977662DEST_PATH_IMAGE024
以获取基本分类器的结果
Figure 89975DEST_PATH_IMAGE025
：
Figure 425141DEST_PATH_IMAGE026
(6)
其中，
Figure 622904DEST_PATH_IMAGE027
为所选取的内核函数的权重值，
Figure 950986DEST_PATH_IMAGE028
为DSVM1、DSVM2、DSVM3的错误率；
求取基分类器权重值
Figure 183384DEST_PATH_IMAGE029
：
Figure 423873DEST_PATH_IMAGE030
(7)
更新训练样本的权重
Figure 374511DEST_PATH_IMAGE031
：
Figure 991437DEST_PATH_IMAGE032
(8)
其中
Figure 78342DEST_PATH_IMAGE033
是归一化常数，
Figure 489732DEST_PATH_IMAGE034
，其中，
Figure 662087DEST_PATH_IMAGE035
为基分类器的预测标签的结果。
更改训练样本类型，然后重复上述公式以获取下一个类型的基分类器权重。最后，将测试样本代入基本分类器中并进行线性组合以获得最终结果。
本发明进一步公开了基于嵌套式集成深度支持向量机的小样本多分类方法应用于小样本情况下的数据挖掘领域；该条件下的数据挖掘指的是：由于涉及隐私、安全、道德等原因，数据获取困难，进而需要建立适当的模型从少量的数据中提取有用信息。
实验结果表明：嵌套式集成分类方法可以解决小样本情况下的多分类问题，并提高了分类精度，降低了过拟合风险。该方法可以在实际中得到应用与推广。
本发明主要解决了：
（1）降低小样本情况下过拟合的风险；
（2）根据DSVM算法具有核函数换取灵活，输出层具有强正则化的优点，可从少量样本提取有效的数据特征，更加真实地达到分类目的。
（3）该方法借助DSVM、“一对多”策略与AdaBoost框架各自的优势，使分类结果直观地表现出来。
本发明公开的基于嵌套式集成深度支持向量机多类别分类的小样本学习方法的有益效果是：
（1）本发明基于嵌套式集成深度支持向量机多类别分类的小样本学习方法进行分类，使数据挖掘算法有效地实现。
（2）利用DSVM算法具有强正则化能力，换取核函数比较灵活，且能有效地提取到输入数据集的相应特征来构建基分类器。并结合 AdaBoost框架来有效地避免小样本情况下的“过拟合”现象，从而提高了小样本情况下的分类准确率。
附图说明
图1是本发明的两层DSVM的结构示意图；
图2是本发明的基分类器的构建与组合的结构示意图；
图3是本发明的嵌套式集成DSVM算法的结构示意图；
图4为五次交叉验证实验在测试样本N30的结果；
图5为五次交叉验证实验在测试样本B30的结果；
图6为五次交叉验证实验在测试样本S30的结果；
图7为在测试样本N30上四种算法的分类精度；
图8为在测试样本B30上四种算法的分类精度；
图9为在测试样本S30上四种算法的分类精度；
图中主要部件符号说明：
Figure 343691DEST_PATH_IMAGE036
为输入样本实例;
Figure 285102DEST_PATH_IMAGE037
为核心层SVM；
Figure 132972DEST_PATH_IMAGE038
代表特征层SVM； M：为输出层SVM；
Figure 527044DEST_PATH_IMAGE039
：为输出目标函数；
Figure 485773DEST_PATH_IMAGE040
：径向基核函数；
Figure 547270DEST_PATH_IMAGE041
：Sigmod核函数；
Figure 566042DEST_PATH_IMAGE042
：多项式核函数
BC：基分类器；
Figure 696678DEST_PATH_IMAGE043
为训练样本；
Figure 459097DEST_PATH_IMAGE044
分别代表两类中的一类；
N30：30个无人状态的测试样本；
B30：30个一人急促呼吸状态的测试样本；
S20：30个两人缓慢行驶状态的测试样本；
N200B100S100：训练样本中200个无人状态，100个一人急促呼吸状态，100个两人缓慢行驶状态；
N200B40S40：训练样本中200个无人状态，40个一人急促呼吸状态，40个两人缓慢行驶状态；
N200B20S20：训练样本中200个无人状态，20个一人急促呼吸状态，20个两人缓慢行驶状态;
SVM:支持向量机算法；
DSVM-RBF：具有径向基内核函数的DSVM算法。
具体实施方式
下面通过具体的实施方案叙述本发明。除非特别说明，本发明中所用的技术手段均为本领域技术人员所公知的方法。另外，实施方案应理解为说明性的，而非限制本发明的范围，本发明的实质和范围仅由权利要求书所限定。对于本领域技术人员而言，在不背离本发明实质和范围的前提下，对这些实施方案中的物料成分和用量进行的各种改变或改动也属于本发明的保护范围。
实施例1
一种基于嵌套式集成深度支持向量机的小样本多分类方法,如图1嵌套式集成DSVM算法的结构示意图所示。它是将三个不同单核函数的深度支持向量机（Deep Support VectorMachine, DSVM）算法作为子分类器来构建基分类器；将使用“一对其余”策略将多类别分类问题转换为多个二分类问题；通过 AdaBoost框架来完成多分类任务，包括：
（1）子分类器模型
图1描述了两层DSVM的原理，设输入带有标签的
Figure 375101DEST_PATH_IMAGE045
个训练数据为
Figure 564773DEST_PATH_IMAGE046
，
Figure 199017DEST_PATH_IMAGE047
；式中，
Figure 499548DEST_PATH_IMAGE048
称为训练样本点；将这些训练样本，经过含有
Figure 270058DEST_PATH_IMAGE049
个DSVM核心层中的
Figure 630633DEST_PATH_IMAGE050
来提取对应特征，给予给
Figure 735861DEST_PATH_IMAGE051
；最后，由一个命名为M的主要SVM，将上述特征值经过处理，进行预测；
对于特征层的计算，采用公式(1)：
Figure 840083DEST_PATH_IMAGE052
(1)
其中
Figure 730678DEST_PATH_IMAGE053
为第
Figure 262154DEST_PATH_IMAGE054
个SVM的系数，
Figure 605411DEST_PATH_IMAGE055
是选取的核函数，
Figure 247745DEST_PATH_IMAGE056
是其对应的偏差
特征层的SVM
Figure 992847DEST_PATH_IMAGE057
采用类似反向传播技术来获得下一个新的输入样本，且利用公式(2)来减少误差：
Figure 678912DEST_PATH_IMAGE058
(2)
对于
Figure 509465DEST_PATH_IMAGE059
的输出计算公式(3)为：
Figure 955489DEST_PATH_IMAGE060
(3)
经过上述计算，得到一个新的最小最大优化目标问题，其函数(4)为：
Figure 820677DEST_PATH_IMAGE061
(4)
其中
Figure 693955DEST_PATH_IMAGE062
表示
Figure 746225DEST_PATH_IMAGE063
的双重目标的最大最小函数，
Figure 995941DEST_PATH_IMAGE064
代表特征层，其求取方法采用梯度下降算法，
Figure 715635DEST_PATH_IMAGE065
表示全部SVM涉及到的
Figure 9082DEST_PATH_IMAGE066
这里，
Figure 548648DEST_PATH_IMAGE067
更新规则是：
Figure 336475DEST_PATH_IMAGE068
(5)
Figure 645097DEST_PATH_IMAGE069
是学习速率；
关于
Figure 860177DEST_PATH_IMAGE070
的计算方式，采用梯度上升算法，具体如下：
Figure 152618DEST_PATH_IMAGE071
(6)
其中
Figure 478558DEST_PATH_IMAGE072
是损失函数的容错值。
本发明采用的两层架构的DSVM算法在选取核函数时具有很强地灵活性，采用梯度上升算法、梯度下降算法容易实现。对于小样本而言，有效地避免了过度拟合现象。
（2）子分类器权重的计算
图2 是本发明的基分类器构建与组合结构示意图；它是根据图1所示的原理，设计的基分类器；如图2所示，本发明的基分类器包括三个不同单核函数依次是：（1）径向基核函数记为
Figure 422112DEST_PATH_IMAGE073
，（2）Sigmod核函数记为
Figure 808094DEST_PATH_IMAGE074
（3）多项式核函数记为
Figure 322252DEST_PATH_IMAGE075
；将它们赋予给三个DSVM，构成DSVM1、DSVM2、DSVM3；结合之后的模型，记为基分类器BC；对于基分类器权重的分配求取，我们设
Figure 451882DEST_PATH_IMAGE076
是数据集，
Figure 675DEST_PATH_IMAGE077
是数据集中元素的个数，首先，求取单核函数
Figure 291979DEST_PATH_IMAGE078
的权重值。使用相同的训练、测试数据对每个SVM模型进行训练和测试，得到每个SVM模型的相关系数和超平面方程表达式；根据参数值来求取每个测试数据到超平面的几何距离
Figure 339438DEST_PATH_IMAGE079
：
Figure 272759DEST_PATH_IMAGE080
(7)
其中
Figure 676058DEST_PATH_IMAGE081
为SVM算法中每个样本点
Figure 403843DEST_PATH_IMAGE082
引进的一个松弛变量，且
Figure 141861DEST_PATH_IMAGE083
为超平面的法向量；
计算测试数据到超平面的距离和
Figure 878873DEST_PATH_IMAGE084
：
Figure 136679DEST_PATH_IMAGE085
(8)
计算从所有测试数据到超平面的平均距离
Figure 35365DEST_PATH_IMAGE086
：
Figure 11411DEST_PATH_IMAGE087
(9)
计算超平面的所有分类正确测试数据的均方误差（MSE）：
Figure 286534DEST_PATH_IMAGE088
(10)
其中
Figure 133268DEST_PATH_IMAGE089
表示从测试正确的数据到超平面的距离（
Figure 717702DEST_PATH_IMAGE090
为测试正确的数据正确个数）
获得内核函数的权重
Figure 915465DEST_PATH_IMAGE091
：
Figure 994279DEST_PATH_IMAGE092
(11)
分别替换单核函数
Figure 961098DEST_PATH_IMAGE093
，重复上述公式(7)-(11)，得到每个核函数对应的权重值。将此权重值赋予给子分类器DSVM1、DSVM2、DSVM3；
（3）嵌套式集成基分类器的权重
图3是本发明的嵌套式集成DSVM算法的结构示意图；如图3所示，将原始数据集
Figure 467166DEST_PATH_IMAGE094
进行
Figure 152225DEST_PATH_IMAGE095
种抽样来得到
Figure 769151DEST_PATH_IMAGE095
个适用于不同分类器的训练数据集；利用“一对其余”策略，将多类分类任务拆分成多个二值分类子任务，即：
Figure 856056DEST_PATH_IMAGE096
类与
Figure 782292DEST_PATH_IMAGE097
类；其中，
Figure 954648DEST_PATH_IMAGE096
类记为正类，
Figure 375265DEST_PATH_IMAGE097
类记为负类。初始化训练数据集的样本权重，并将具有权值分布的训练样本分别代入到图1的子分类器来得到对应的错误率。利用AdaBoost框架，根据基分类器在训练数据集上的误差率得到该基分类器的权重。然后根据此权重更新训练样本的权重值。改变训练样本类型，重复上述步骤得到下一个类型的基分类器权重值。最终，将测试样本代入，通过加权组合得到测试结果。具体实施细节为：
设带有标签数据的个训练样本为
Figure 316676DEST_PATH_IMAGE098
，其中，
Figure 164546DEST_PATH_IMAGE099
为样本实例，
Figure 558619DEST_PATH_IMAGE100
为样本标签，初始化训练数据集的样本权重
Figure 517347DEST_PATH_IMAGE101
，将具有权重分布的训练样本代入上述标题1中的基本分类器函数
Figure 828112DEST_PATH_IMAGE102
并求取错误率
Figure 581304DEST_PATH_IMAGE103
：
Figure 728252DEST_PATH_IMAGE104
(12)
其中
Figure 490671DEST_PATH_IMAGE105
为所选取的内核函数的权重值，
Figure 406675DEST_PATH_IMAGE106
为DSVM1、DSVM2、DSVM3的错误率；
求取基分类器权重值
Figure 596348DEST_PATH_IMAGE107
：
Figure 965012DEST_PATH_IMAGE108
(13)
更新训练样本的权重
Figure 265543DEST_PATH_IMAGE109
：
Figure 550900DEST_PATH_IMAGE110
(14)
其中
Figure 911474DEST_PATH_IMAGE111
是归一化常数，
Figure 767435DEST_PATH_IMAGE112
，其中
Figure 871657DEST_PATH_IMAGE113
为基分类器的预测标签结果；
更改训练样本类型，然后重复上述公式(12)-(14)以获取下一个类型的基分类器权重。最后，将测试样本代入基本分类器中并进行线性组合以获得最终结果。
实施例2
我们选取一个单独的SVM分别赋予其三种同子分类器DSVM相同的核函数，即径向基核函数、Sigmod核函数、多项式核函数；采用相同的训练数据与测试数据对该SVM所选取的核函数进行训练与测试，得到需要被求取的相关系数与超平面方程表达式；根据求取的参数值来计算所有测试样本到这个超平面的几何平均距离；利用所有求取正确的测试样本的距离与所有测试样本的几何平均距离的均方误差的倒数作为选取该核函数对应的权重值，并将此赋予给基分类器DSVM1、DSVM2、DSVM3；表 1：
Figure 762253DEST_PATH_IMAGE114
从表1中，可以看出每个子分类器
Figure 293728DEST_PATH_IMAGE115
选取核函数后的权重值
Figure 636985DEST_PATH_IMAGE116
。其中，将径向基核函数
Figure 279319DEST_PATH_IMAGE117
赋予的子分类器DSVM1取得效果最好。
实施例3
我们搭建了一个穿墙人体目标检测系统。该系统使用的实验设备是一种小型、低功耗、操作简单的P410MRM单基站雷达模块。它配备了用于双天线操作的天线端口。在实验中，系统使用该模块检测墙后的人类目标并获取反射后的人类状态信号。同时，设计了三种室内实验方案。包括墙后无人状态，墙后一人快速呼吸状态以及墙后0.1m /s的两人慢走状态。实验涉及的墙体是砖墙。砖墙的厚度是25厘米。人体目标与墙壁的距离为100厘米。雷达设备与墙壁之间的距离为60厘米，与人体目标隔着砖墙相对。在上述实验系统的基础上，我们根据三种实验场景收集了三个原始数据集，分别是：无人状态数据集，一人快速呼吸状态数据集和两人缓慢行走状态数据集。为了降低计算复杂度，我们使用台湾大学林教授开发的LibSVM工具箱中的维数预处理函数pcaForSVM来处理原始数据集。最后，将特征属性值设置为37。
选择的训练数据为：N200B100S100，N200B40S40，N200B20S20。选取的测试数据，分别是N30，B30，S30。其中字母N表示墙后无人状态，字母B表示一人快速呼吸状态，字母S表示两人缓慢行走状态。每个字母后面的数字为选取该状态下的数目。图4为五次交叉验证实验在测试样本N30的结果；图5为五次交叉验证实验在测试样本B30的结果；图6为五次交叉验证实验在测试样本S30的结果。可以看出：提出的嵌套式集成DSVM方法不仅减少了过拟合现象，而且取得了较好的效果。
实施例4
我们在实施例3的基础上进一步实施了与其他常规算法在相同训练与测试数据上的实验。其中，选定的算法包括：支持向量机（Support Vector Machine, SVM）算法、具有径向基内核函数的DSVM算法，简称DSVM-RBF，以及AdaBoost-SVM算法。最后，图7-图9显示了这四种算法在相同测试集上的实验结果。此外，与SVM算法相比，本发明的实验结果增加了11.21%至13.16%的范围。与 DSVM-RBF 算法相比，本发明得到了从 7.02% 到 8.57%的改进。与AdaBoost-SVM算法 相比，本发明的分类精度从 3.1% 提高到 5.81%。
实验结果表明，本发明提出的基于嵌套式集成深度支持向量机的小样本多分类算法可以有效地避免小样本情况下的“过拟合”现象，从而提高了小样本情况下穿墙人体目标识别的准确率。

Claims (2)

1.一种基于嵌套式集成深度支持向量机的小样本多分类方法，其特征在于它是将三个不同单核函数的深度支持向量机，Deep Support Vector Machine，DSVM算法作为子分类器来构建基分类器；将使用“一对其余”策略将多类别分类问题转换为多个二分类问题；通过AdaBoost框架来完成多分类任务，主要包括：
（1）子分类器权重的计算
设
Figure 408100DEST_PATH_IMAGE002
是数据集，
Figure 784592DEST_PATH_IMAGE003
是数据集中元素的个数；首先，求取单核函数
Figure 714502DEST_PATH_IMAGE004
的权重值，使用相同的训练、测试数据对每个支持向量机Support Vector Machine,SVM模型进行训练和测试，得到每个SVM模型的相关系数和超平面方程表达式；根据参数值来求取每个测试数据到超平面的几何距离
Figure 927702DEST_PATH_IMAGE006
Figure 310273DEST_PATH_IMAGE008
(1)
其中，
Figure 224877DEST_PATH_IMAGE010
为SVM算法中每个样本点
Figure 399507DEST_PATH_IMAGE012
引进的一个松弛变量，且
Figure 875619DEST_PATH_IMAGE014
为超平面的法向量；
计算测试数据到超平面的距离和
Figure 246950DEST_PATH_IMAGE015
：
Figure DEST_PATH_IMAGE017
(2)
计算从所有测试数据到超平面的平均距离
Figure 247136DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE019
(3)
计算超平面的所有分类正确测试数据的均方误差（MSE）：
Figure 682797DEST_PATH_IMAGE020
(4)
其中，
Figure 237800DEST_PATH_IMAGE022
表示从测试正确的数据到超平面的距离，
Figure DEST_PATH_IMAGE023
为测试正确的数据个数
获得内核函数的权重
Figure 234443DEST_PATH_IMAGE024
：
Figure DEST_PATH_IMAGE025
(5)
分别替换单核函数
Figure 54632DEST_PATH_IMAGE026
，重复上述公式(1)-(5)，得到每个核函数对应的权重值；将此权重值赋予给子分类器DSVM1、DSVM2、DSVM3；
（2）嵌套式集成基分类器的权重
设带有标签数据的
Figure 190471DEST_PATH_IMAGE028
个训练样本为
Figure DEST_PATH_IMAGE029
，其中，
Figure 805123DEST_PATH_IMAGE030
为样本实例，
Figure DEST_PATH_IMAGE031
为样本标签，初始化训练数据集的样本权重
Figure 289063DEST_PATH_IMAGE032
；将具有权重分布的训练样本代入上述标题1中的基分类器函数
Figure DEST_PATH_IMAGE033
以获取基分类器错误率
Figure 899561DEST_PATH_IMAGE034
：
Figure DEST_PATH_IMAGE035
(6)
其中，
Figure 542769DEST_PATH_IMAGE036
为所选取的内核函数的权重值，
Figure DEST_PATH_IMAGE037
为子分类器DSVM1、DSVM2、DSVM3的错误率；
求取基分类器权重值
Figure 580520DEST_PATH_IMAGE038
：
Figure DEST_PATH_IMAGE039
(7)
更新训练样本的权重
Figure 443434DEST_PATH_IMAGE040
：
Figure DEST_PATH_IMAGE041
(8)
其中，
Figure 589113DEST_PATH_IMAGE042
是归一化常数
Figure DEST_PATH_IMAGE043
，为基分类器的预测标签结果；
更改训练样本类型，然后重复上述公式(6)-(8)以获取下一个类型的基分类器权重；最后，将测试样本代入基分类器中并进行线性组合以获得最终结果。
2.权利要求1所述基于嵌套式集成深度支持向量机的小样本多分类方法在用于数据有限情况下的挖掘方面的应用；所述的数据有限情况下的挖掘指的是用于解决小样本情况下的多分类问题中的分类精度，保证避免过度拟合现象发生。
CN201911130762.2A 2019-11-19 2019-11-19 一种基于嵌套式集成深度支持向量机的小样本多分类方法 Pending CN110991500A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911130762.2A CN110991500A (zh) 2019-11-19 2019-11-19 一种基于嵌套式集成深度支持向量机的小样本多分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911130762.2A CN110991500A (zh) 2019-11-19 2019-11-19 一种基于嵌套式集成深度支持向量机的小样本多分类方法

Publications (1)

Publication Number Publication Date
CN110991500A true CN110991500A (zh) 2020-04-10

Family

ID=70084911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911130762.2A Pending CN110991500A (zh) 2019-11-19 2019-11-19 一种基于嵌套式集成深度支持向量机的小样本多分类方法

Country Status (1)

Country Link
CN (1) CN110991500A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837677A (zh) * 2020-10-13 2021-05-25 讯飞智元信息科技有限公司 一种有害音频检测方法及装置
CN112949740A (zh) * 2021-03-17 2021-06-11 重庆邮电大学 一种基于多级度量的小样本图像分类方法
CN114881110A (zh) * 2022-04-02 2022-08-09 西安交通大学 一种在轨航天器舱内总压变化模式的实时检测方法
CN116343915A (zh) * 2023-03-15 2023-06-27 电子科技大学长三角研究院(衢州) 生物序列集成分类器的构建方法及生物序列预测分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040111453A1 (en) * 2002-12-06 2004-06-10 Harris Christopher K. Effective multi-class support vector machine classification
US20050049985A1 (en) * 2003-08-28 2005-03-03 Mangasarian Olvi L. Input feature and kernel selection for support vector machine classification
CN103886330A (zh) * 2014-03-27 2014-06-25 西安电子科技大学 基于半监督svm集成学习的分类方法
CN104239900A (zh) * 2014-09-11 2014-12-24 西安电子科技大学 基于k均值和深度svm的极化sar图像分类方法
CN109256773A (zh) * 2018-10-19 2019-01-22 东北大学 降噪自编码和深度支持向量机的电力系统状态估计方法
CN109472302A (zh) * 2018-10-29 2019-03-15 中国石油大学(华东) 一种基于AdaBoost的支持向量机集成学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040111453A1 (en) * 2002-12-06 2004-06-10 Harris Christopher K. Effective multi-class support vector machine classification
US20050049985A1 (en) * 2003-08-28 2005-03-03 Mangasarian Olvi L. Input feature and kernel selection for support vector machine classification
CN103886330A (zh) * 2014-03-27 2014-06-25 西安电子科技大学 基于半监督svm集成学习的分类方法
CN104239900A (zh) * 2014-09-11 2014-12-24 西安电子科技大学 基于k均值和深度svm的极化sar图像分类方法
CN109256773A (zh) * 2018-10-19 2019-01-22 东北大学 降噪自编码和深度支持向量机的电力系统状态估计方法
CN109472302A (zh) * 2018-10-29 2019-03-15 中国石油大学(华东) 一种基于AdaBoost的支持向量机集成学习方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837677A (zh) * 2020-10-13 2021-05-25 讯飞智元信息科技有限公司 一种有害音频检测方法及装置
CN112949740A (zh) * 2021-03-17 2021-06-11 重庆邮电大学 一种基于多级度量的小样本图像分类方法
CN114881110A (zh) * 2022-04-02 2022-08-09 西安交通大学 一种在轨航天器舱内总压变化模式的实时检测方法
CN116343915A (zh) * 2023-03-15 2023-06-27 电子科技大学长三角研究院(衢州) 生物序列集成分类器的构建方法及生物序列预测分类方法
CN116343915B (zh) * 2023-03-15 2023-11-24 电子科技大学长三角研究院(衢州) 生物序列集成分类器的构建方法及生物序列预测分类方法

Similar Documents

Publication Publication Date Title
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
CN110991500A (zh) 一种基于嵌套式集成深度支持向量机的小样本多分类方法
CN111507378A (zh) 训练图像处理模型的方法和装置
US20160224903A1 (en) Hyper-parameter selection for deep convolutional networks
US11816149B2 (en) Electronic device and control method thereof
CN107251059A (zh) 用于深度学习的稀疏推理模块
Xi et al. Deep prototypical networks with hybrid residual attention for hyperspectral image classification
Waheed et al. Deep learning algorithms-based object detection and localization revisited
Bansal et al. mRMR-PSO: a hybrid feature selection technique with a multiobjective approach for sign language recognition
CN114444600A (zh) 基于记忆增强原型网络的小样本图像分类方法
Li et al. Robust deep neural networks for road extraction from remote sensing images
CN104376308B (zh) 一种基于多任务学习的人体动作识别方法
Menaga et al. Deep learning: a recent computing platform for multimedia information retrieval
Li et al. Transformer helps identify kiwifruit diseases in complex natural environments
Tian et al. Object localization via evaluation multi-task learning
Al Zorgani et al. Comparative study of image classification using machine learning algorithms
CN115827954A (zh) 动态加权的跨模态融合网络检索方法、系统、电子设备
Wang et al. A novel multiface recognition method with short training time and lightweight based on ABASNet and H-softmax
CN113516118B (zh) 一种图像与文本联合嵌入的多模态文化资源加工方法
Hu et al. Siamese network object tracking algorithm combining attention mechanism and correlation filter theory
Zheng et al. 3D texture-based face recognition system using fine-tuned deep residual networks
Dalara et al. Entity Recognition in Indian Sculpture using CLAHE and machine learning
Yu et al. An efficient prototype-based model for handwritten text recognition with multi-loss fusion
CN111931788A (zh) 基于复值的图像特征提取方法
MUNSARIF et al. An improved convolutional neural networks based on variation types of optimizers for handwritten digit recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200410