CN109325535A - 一种分类器及其设计方法和增量学习方法 - Google Patents
一种分类器及其设计方法和增量学习方法 Download PDFInfo
- Publication number
- CN109325535A CN109325535A CN201811115982.3A CN201811115982A CN109325535A CN 109325535 A CN109325535 A CN 109325535A CN 201811115982 A CN201811115982 A CN 201811115982A CN 109325535 A CN109325535 A CN 109325535A
- Authority
- CN
- China
- Prior art keywords
- classifier
- equal
- curved surface
- solving
- rejection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000013461 design Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 title abstract description 7
- 230000006870 function Effects 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000012938 design process Methods 0.000 claims 1
- 230000007423 decrease Effects 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 2
- 244000287680 Garcinia dulcis Species 0.000 abstract 1
- 238000012706 support-vector machine Methods 0.000 description 21
- 230000003247 decreasing effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- NAXKFVIRJICPAO-LHNWDKRHSA-N [(1R,3S,4R,6R,7R,9S,10S,12R,13S,15S,16R,18S,19S,21S,22S,24S,25S,27S,28R,30R,31R,33S,34S,36R,37R,39R,40S,42R,44R,46S,48S,50R,52S,54S,56S)-46,48,50,52,54,56-hexakis(hydroxymethyl)-2,8,14,20,26,32,38,43,45,47,49,51,53,55-tetradecaoxa-5,11,17,23,29,35,41-heptathiapentadecacyclo[37.3.2.23,7.29,13.215,19.221,25.227,31.233,37.04,6.010,12.016,18.022,24.028,30.034,36.040,42]hexapentacontan-44-yl]methanol Chemical compound OC[C@H]1O[C@H]2O[C@H]3[C@H](CO)O[C@H](O[C@H]4[C@H](CO)O[C@H](O[C@@H]5[C@@H](CO)O[C@H](O[C@H]6[C@H](CO)O[C@H](O[C@H]7[C@H](CO)O[C@@H](O[C@H]8[C@H](CO)O[C@@H](O[C@@H]1[C@@H]1S[C@@H]21)[C@@H]1S[C@H]81)[C@H]1S[C@@H]71)[C@H]1S[C@H]61)[C@H]1S[C@@H]51)[C@H]1S[C@@H]41)[C@H]1S[C@H]31 NAXKFVIRJICPAO-LHNWDKRHSA-N 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种具有拒识机制的分类器设计方法及其增量学习方法，包括构造同类特征集合的紧密包裹集，其包括优化致密性参数，以及构造紧密包裹集；求解同类特征区域紧密包裹曲面，其包括求解分类决策函数和分类决策曲面；设置分类器的拒识机制，其包括求出每类样本对应的判别函数和分类决策紧密包裹曲面，然后将紧密包裹曲面之外的公共区域设置为分类器的拒识区域。同时，基于上述分类器设计方法提出了当增加新类别、增减训练样本时的增量学习方法。最终得到了一种具有合适拒识机制分类器设计方法，提高了正确识别率，增量学习功能的引入在提高工作效率的同时节约了资源。
Description
技术领域
本发明涉及分类技术领域，具体涉及一种分类器及其设计方法，并涉及一种增量学习方法。
背景技术
在做重大疾病认证识别、通过生物特征对人身份认证识别、钞票认证识别、票据认证识别、恐怖分子认证识别等分类器设计时，往往需要引入合适拒识机制，以便分类器工作时，要么拒识，要么分类绝对正确。也即要求(1)拒识率很小，拒识率即，在公共测试样本库中，拒识的样本个数与测试样本库的总样本个数之比；(2)正确识别率为100％或逼近100％，正确识别率即，在去掉拒识的样本之后的测试样本库中，正确分类样本个数与总样本数的比例。若拒识率较大，则分类器的实用范围和场合受到限制。若正确识别率不能逼近100％的话，则人们不敢直接仅用该识别器去认证一些特别重要事物或事件。显然拒识率小与正确识别率高是矛盾事件，解决该矛盾十分困难。
要做到拒识率小、正确识别率高实际上就是要设计识别器，使该识别器确定的同Cw类样本的特征区域(把区域内的任一点视为w类样本点，而把区域之外点视为别的类点或拒识点)几乎包含了w类所有样本点形成的实际特征区域(几乎不损失自己领域)，同时几乎不侵占别的已知类的特征区域和未知可能类的特征区域。
一个很好的识别系统应该有增量学习功能。增量学习功能使识别系统更正训练样本、增减训练样本和增减识别类时，识别系统能继承系统已有的大部分知识，能不断优化和升级。
支持向量机(SVM)思想是支持向量机将所有特征向量映射到一个很高维的空间里，在这个空间里建立有一个最大间隔超平面，该超平面对应的原始空间曲面就是分类决策面。在分开两类特征向量(数据)的超平面的两边建有两个互相平行的超平面，分隔超平面使两个平行超平面的距离最大化。显然，SVM确定的同一类特征区域往往是无界区域，而实际的同类特征区域是有界的。因此SVM确定的同一类特征区域侵占了别的其他类的实际特征区域或未知类的特征区域，而且侵占较严重，有较大错分样本的风险。因此不适合直接用于做重大疾病认证识别、通过生物特征对人身份认证识别、钞票认证识别、票据认证识别、恐怖分子认证识别等分类器设计工作。又由于当增加训练样本或增加新类别时，求解SVM分类决策面的工作需要重新进行，因此SVM没有增量学习功能。在多分类的SVM分类器设计中，改变一个训练样本或增加一个类别，相应分类器学习训练过程需要重头开始，分类器无法继承以前训练学习的任何结果，因此SVM多分类器也没有增量学习功能。考虑到有时不同类特征区域不平衡等特性，在许多改进的SVM方法中，也存在些许问题，(1)没有引入合适拒识机制：实际上是不方便确定拒识区域，因为当前方法下，确定了拒识区域并不一定带来正确识别率提高；(2)SVM确定的同一类特征区域会侵占未知类的特征区域，有把未知类样本错判为某已知类的风险，SVM确定的已知类特征区域都尽可能最大化占据未知特征空间，以至于SVM分类器正确识别率不能逼近100％；(3)SVM分类器没有增量学习功能：当增减类别时，学习训练工作要彻底重来，当任一增加或减少训练样本时，学习训练工作也要彻底重来。
系列有代表性超球SVM分类算法思想是将所有特征向量映射到一个很高维的空间里，在这个空间里建立一个满足某种约束的半径最小超球面，超球面包裹几乎所有同类样本点，则该超球面或同心超球面对应的原始空间曲面就是分类决策面。在具体应用中很多实施例都表明，超球SVM分类决策面包裹区域侵占了未知类别的特征区域，即分类决策面没有紧密包裹同类样本实际特征区域。在上述超球SVM分类器中，也存在问题：(1)没有引入合适拒识机制：因为不方便确定恰当的拒识区域，或者勉强确定了拒识区域，但并不一定带来正确识别率提高；(2)分类决策面包裹区域侵占未知类的特征区域，有把未知类错判为某已知类的风险，分类器正确识别率不能逼近100％；(3)分类器没有增量学习功能：当增减类别时，学习训练工作要彻底重来，当任一增加或减少训练样本时，学习训练工作也基本上要彻底重来。
在大数据时代，各种深度学习分类器不断改进提高正确识别率。以前街景文字识别几乎是不可能的事情，现在街景文字正确识别率已经到达相当高。但遗憾的是，这些分类器不适合直接用于做重大疾病认证识别、通过生物特征对人身份认证识别、钞票认证识别、票据认证识别、恐怖分子认证识别等分类器设计工作，也很难通过引入拒识机制等方法改造它们，然后用于以上分类器设计工作。实际上，在以上分类器中存在问题：(1)很难确定恰当的拒识区域：分类决策面很难表达，恰当拒识区域也无法描述；(2)分类决策面包裹区域会侵占未知类的特征区域，有把未知类错判为某已知类的风险，分类器正确识别率不能逼近100％；(3)增量学习功能有限：当增减类别时，学习训练工作要基本上重来，当增加或减少一些训练样本时，学习训练的很多工作也要重来。
发明内容
针对上述已有技术存在的缺陷，本发明所要解决的技术问题在于提供一种具有拒识机制的分类器设计方法，并基于该方法提供了一种增量学习方法。
根据本申请的第一方面，本申请提供了一种分类器设计方法，包括：构造同类特征集合的紧密包裹集，其包括优化致密性参数，以及构造紧密包裹集；求解同类特征区域紧密包裹曲面，其包括求解分类决策函数和分类决策曲面；设置分类器的拒识机制，其包括求出每类样本对应的判别函数和分类决策紧密包裹曲面，然后将紧密包裹曲面之外的公共区域设置为分类器的拒识区域。
根据本申请的第二方面，本申请提供了一种增量学习方法，包括：求解样本集的紧密包裹集；求解样本集的分类决策函数和分类决策紧密包裹曲面；根据分类器的拒识机制调整拒识区域。
依据上述实施例的一种具有拒识机制的分类器设计方法，引入了恰当的拒识机制，提高了分类器的正确识别率，同时在该分类器设计方法的基础上引入了增量学习方法，使得当增减类别时，可以保留已经学习训练过且没有错分或拒识的结果，节约了资源且提高了工作效率。
附图说明
图1为一种实施例的分类器设计方法流程图；
图2为超球支持向量机分类决策面不紧密包裹同类特征示例的示意图；
图3为证明同类特征集合的紧密包裹集存在的示意图；
图4为求解同类特征区域紧密包裹曲面的示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
在本发明实施例中提供了一种具有拒识机制的分类器设计方法，通过构造同类特征集合的紧密包裹集，然后求解同类特征区域的分类决策函数和分类决策曲面，并在此基础上设置分类器的拒识机制。在此基础上引入的增量学习算法，用于在增加新类别、增减训练样本时对样本的训练。
为了便于对本实施例涉及的分类器设计方法的描述，首先给出不紧密包裹同类特征的例子。在二维平面有两个区域，一个区域是半径为1的圆盘，以其圆心为坐标原点简历坐标系XOY，则圆心为(0,0)；另一个区域是上述圆盘的内切三角形区域，三角形其中一个顶点位于Y轴(0,1)点上。对于两区域做均匀采样，三角形区域采样点用“*”表示。则在超球支持向量机(SVM)模型中，取高斯函数，惩罚函数取1000，训练“*”点集超球面，映射到原始空间得到如图2的类似圆。很明显，类似圆与三角形区域之间有很大空隙，即类似圆包裹三角形区域不紧密，例如，图中“*”所示区域，和在X轴方向区间[2/3,5/6]等区域都位于类似圆与三角形区域形成的空隙内，即分类决策曲面包裹的区域侵占了未知类特征区域。
以上说明仅给出了SVM分类决策面不紧密包裹同类特征的例子，但并不否定同类特征集合的紧密包裹集的存在性，下面对其存在性进行证明。
设C是N维特征空间RN的一点集，ε是大于零的小常数,r是大于1的常数。若对于C中任意两点X，Y，总存在C中不同点X1,…,Xh，使距离δ(X,X1)，δ(X1,X2)，…，δ(Xh,Y)，δ(X,Y)都不大于则称C是致密连通。设是C加上所有RN中到C的距离不大于的点的区域，当是数学意义上的单连通区域时，则称C是致密单连通。形象地说，单连通即为没有“洞”的区域。若以C中任意两点为端点的连线都在中，且这些不同连线(段)上任一两点连线也在中，则称C是致密凸集。这时称C中到的边界的距离等于的点叫做C的致密边界点。令Cε是C加上所有RN中到C的距离不大于ε的点的区域。
设C是N维特征空间RN的一个致密单连通点集，且C是致密凸集。令C的致密边界点个数为Γ，对于任意点X＝(x1,…,xi,…,xN)∈C,定义2N个点(x1±ε,x2,…,xi,…,xN)，......，(x1,…,xi-1,xi±ε,xi+1,…,xN)，......，(x1,…,xi,…,xN-1,xN±ε)。设紧密包裹集为则当时,I(C)至少有Γ个点，且对应于每一个C的边界点，至少有上述2N个点中一个点在I(C)中，而且X＝(x1,…,xi,…,xN)∈C到内的一立体表面距离大于
具体证明过程如下：
设X＝(x1,…,xi,…,xN)是C的一个致密边界点，它到边界的距离为如图3，以点X＝(x1,…,xi,…,xN)∈C为原点建立新的坐标系，将过X＝(x1,…,xi,…,xN)和(x1,…,xi+ε,…,xN)的坐标轴记为XXi,i＝1,…,N。再以(x1,…,xi-1,xi±ε,xi+1,…,xN)为中心,作半径为的球B(x1,…,xi-1,xi±ε,xi+1,…,xN)，则该球B与坐标轴有等交点。由的定义知，一定有C中点(x1',…,xi-1',(xi'±ε)',xi+1',…,xN')包含在球B(x1,…,xi-1,xi±ε,xi+1,…,xN)中。当作垂直于坐标面XiXXj…,i,j＝1,…,N的球B(x1,…,xi-1,xi+ε,xi+1,…,xN)和B(x1,…,xj-1,xj+ε,xj+1,…,xN)切平面Πij…,i,j＝1,…,N时，则Πij…与坐标轴分别有和两交点。
由高维空间的超平面定义知，当N个点不共N-2维超平面时，他们一定决定一个N-1面维超平面且共该超平面。如 决定过等点的N-1维超平面。因此2N个点 中有种N个点的组合方式，其中有些组合方式：N个点共一个N-1面维超平面且确定该超平面(即不共N-2维超平面)。由排列组合公式知，不过原点X＝(x1,…,xi,…,xN)∈C和不同时过的以上N-1维超平面的个数为个。且易知，这些超平面所围立体是凸多面体，该凸多面体是以2N个点 为顶点的最小体积凸多面体Ω。X＝(x1,…,xi,…,xN)∈C是凸多面体中心，是一内点。
反证，假设2N个点(x1±ε,x2,…,xi,…,xN)，...，(x1,…,xi-1,xi±ε,xi+1,…,xN)，...，(x1,…,xi,…,xN-1,xN±ε)全在中。
记2N个点(x1',…,xi-1',(xi±ε)',xi+1',…,xN')，i＝1,…,N为顶点的最小凸多面体为Ω'。由于C是致密凸集，因此显然X＝(x1,…,xi,…,xN)∈Ω'，以(x1',…,xi-1',(xi±ε)',xi+1',…,xN')，i＝1,…,N为顶点的最小体积凸多面体Ω'也由2N个超平面所围成。共顶点(x1',…,xi-1',(xi+ε)',xi+1',…,xN')的每个超平面与XXi轴的交点不在X＝(x1,…,xi,…,xN)与的连接线段上，而在线段的外延长线上。因此Ω'的以(x1',…,xi-1',(xi+ε)',xi+1',…,xN')为顶点的顶角盖住了 完全类似可证明于是有最小凸集定义知
下面证明当时，X＝(x1,…,xi,…,xN)到Ω表面的距离大于
可验证过 的超平面(注：Ω的一个边界面之一)方程为
由点到平面距离公式得，X＝(x1,…,xi,…,xN)到Ω表面的距离为：
这与和X＝(x1,…,xi,…,xN)是C的致密边界点矛盾。证毕。其中，是N的递减数，不大于5.8289。
基于上述说明得知同类特征集合的紧密包裹集是存在的，下面对分类器的设计方法进行介绍，如图1，步骤1为同类特征集合的紧密包裹集构造方法，其中，步骤11为对致密性参数ε进行优化过程：
设有从同类特征区域采集的同类特征点集合为C，该集合是致密凸集。在包含C的同类特征区域T固定的情况下，ε越小，C中点越多，C中点分布越紧密(即从T中采集的样本越多)。已知T是凸集和给定ε，我们构造满足致密凸集性质的C并不困难。但是，已知点集C且假定C有某致密凸集性，要求出最小的ε却十分困难。本文根据RN中不在同一超平面上N+1个点决定的单纯形是一个包含这N+1点的最小体积凸多面体的理论，给出一种估计ε的算法。设C有M个点，用X1,X2,…,XM表示。则估计ε的算法为：
第一步，计算Xj的第一近邻
第二步，计算Xj的第二近邻
......
第N+1步，计算Xj的第N+1近邻
第N+2步，计算Xj与近邻的最大距离：
第N+3步，计算ε的次优估计：
按照以上算法计算出来的ε，即满足C是致密凸集。
步骤12，构造紧密包裹集
第一步，构造M个点的超球邻域判别函数：
这里当fj(X)≥0时，可以判断X在以Xj为中心，为半径的超球邻域Π(Xj)内。
第二步，由每一个Xj＝(xj1,…,xji,…,xjN),1≤j≤M派生出2N个点(xj1,…,xji±ε,…,xjN),1≤i≤N；
第三步，检测所有派生点(xj1,…,xji±ε,…,xjN),1≤i≤N，1≤j≤M是否在Π(Xj)，1≤j≤M中，把不在任何一个超球邻域Π(Xj)，1≤j≤M内的派生点集合起来就得紧密包裹集I(C)。
故由前面定理可知，I(C)中点的个数多于C的边界点个数。
下面进一步介绍基于同类特征点集和包裹点集的同类特征区域紧密包裹曲面的求解过程，即步骤2，其包括步骤21求解分类决策函数和步骤22求解分类决策曲面，具体如下所述：
作变换φ:RN→H，以把特征空间映射为更高维空间，k:RN×RN→R是对应核函数。如图4为两个同心超球的界面示意图，其中，小超球半径为r，同心大超球半径为小超球内的点“*”是C中点变换到高维空间的对应点，大超球外的点“+”是I(C)中点变换到高维空间的对应点。我们的目标是要找到合适变换φ:RN→H使小超球几乎包含所有的点“*”且r最小，最大，即ρ2最大。这样对应于高维空间小超球面的原始空间曲面就是C的紧密包裹曲面。
为了方便描述，设C中有m1个点，I(C)中有m2＝n-m1个点，c是高维空间的球心。我们建立以下优化模型，通过求解优化解来构造同类特征区域紧密包裹曲面。
0≤ξk，1≤k≤n,
其中ξi,ξj为松弛变量，为惩罚系数。为求解该模型，引入拉格朗日(Lagrange)函数：
Lagrange函数的极值点应满足：
因此
这样得对偶问题模型：
用K(Xi,Xj)替代φ(Xi)·φ(Xj)，由可核函数性质知
对偶问题是一个二次优化问题，可用二次优化问题求解方法求解。在求解以上问题之后，为求出r、ρ2和r2+ρ2，考虑两集合：
令n1＝|S1|,n2＝|S2|,由KKT条件知
其中
则步骤21，分类决策函数为：
步骤22，分类决策曲面为
该曲面(曲面上点求解可用数值计算方法求近似解)紧密包裹同类特征区域。特征区域边界到分类决策边界的距离小于ε。
针对现有分类方法中不方便确定恰当拒识区域，或即使勉强确定了拒识区域但并不一定带来正确识别率提高的问题，下面将基于上述同类特征区域紧密包裹曲面的求解方法设置适合多类分类器的合适拒识机制，即步骤3：
对于η类ω1,…,ωη分类问题，用上述方法找到尽可能小的参数ε。用上面介绍的方法求出每类样本对应的判别函数
和分类决策紧密包裹曲面
当jf(X)≥0时，判定X是ωj类。为了防止出现同一点属于不同类(即不同紧密包裹区域有重叠)现象出现，规定jf(X)有优先级，标号越小优先级越高。当时，判定X是ωj类。另外，当对同一点X，存在多个j使jf(X)≥0时，也可用近邻方法类分类。
则，设置所有紧密包裹曲面之外的公共区域为分类器的拒识区域，即当时，分类器拒识X。
现有分类方法存在的问题还在于，当增加新类别样本或样本类别减少时，学习训练工作就要彻底重来，也就是当增加或减少一个训练样本时，即使前面已对大量的样本学习训练过，也要重新在对所有的样本进行学习训练。也就是说现有分类方法没有增量学习方法，在本发明的另一个实施例中，以上述过程方法为基础，引入增量学习方法，具体步骤如下：
(1)求解样本集的紧密包裹集，样本集包括增加的新类别样本的集合、增加训练样本时错分和拒识样本所对应类别的集合和减去的错分样本所对应类别的集合；
(2)基于样本集对应类别和得到的紧密包裹集，求解所述样本集的分类决策函数和分类决策紧密包裹曲面；
(3)根据分类器的拒识机制调整拒识区域。
下面分三种情况对增量学习方法进行分别描述：
当增加新类别时，以前的所有训练学习的工作结果都可保留。只需要对增加的新类别样本的集合求解包裹集和基于新类别样本集和包裹集求解新类别的分类决策函数和分类决策紧密包裹曲面，同时根据分类器的拒识机制，对拒识区域做相应调整。
当增加训练样本时，且原来分类器能正确分类时，分类器不需要做任何调整。否则仅对错分和拒识样本(注：可以判断是新边界点)所对应类别集合重新求解包裹集(注：以前大部分计算结果可以用上)和基于该新类别样本集和包裹集求解新类别的分类决策函数和分类决策紧密包裹曲面，同时根据分类器的拒识机制，对拒识区域做相应调整。
当减去错分样本时，仅对错分样本(注：可以判断边界点)所对应类别集合重新求解包裹集(注：以前大部分计算结果可以用上)和基于该新类别样本集和包裹集求解新类别的分类决策函数和分类决策紧密包裹曲面，同时根据分类器的拒识机制，对拒识区域做相应调整。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (11)
1.一种分类器设计方法,其特征在于，包括：
构造同类特征集合的紧密包裹集，其包括优化致密性参数，以及构造所述紧密包裹集；
求解同类特征区域紧密包裹曲面，其包括求解分类决策函数和分类决策曲面；
设置分类器的拒识机制，其包括求出每类样本对应的判别函数和分类决策紧密包裹曲面，然后将所述紧密包裹曲面之外的公共区域设置为分类器的拒识区域。
2.根据权利要求1所述的方法，从同类特征区域采集同类特征点集合C,C有M个点，用X1,X2,…,XM表示，其特征在于，所述致密性参数优化方法包括：
计算Xj的第一近邻
计算Xj的第二近邻
......
计算Xj的第N+1近邻
计算Xj与近邻的最大距离：
计算ε的次优估计：其中，ε为致密性参数，N为特征空间维度。
3.根据权利要求2所述的方法，其特征在于，所述紧密包裹集的构造步骤为：
构造M个点的超球邻域判别函数：
由每一个Xj＝(xj1,…,xji,…,xjN),1≤j≤M派生出2N个点(xj1,…,xji±ε,…,xjN),1≤i≤N；
检测所有派生点(xj1,…,xji±ε,…,xjN),1≤i≤N，1≤j≤M是否在Π(Xj)，1≤j≤M中，把不在任何一个超球邻域Π(Xj)，1≤j≤M内的所述派生点集合起来就得—ε紧密包裹集I(C)。
4.根据权利要求1所述的方法，其特征在于，同类特征区域紧密包裹曲面求解过程包括：
把特征空间变换至更高的维度并建立优化模型；
引入拉格朗日函数对优化模型进行求解；
用二次优化问题求解方法求解对偶问题；
求解分类决策函数和分类决策曲面。
5.根据权利要求1所述的方法，其特征在于，在优化所述致密性参数之后设置分类器的拒识机制，在用所述判别函数进行分类处理时，采用优先级分类或近邻方法分类，以防止将同一点分类到不同类中。
6.一种增量学习方法，用于分类器设计过程，其特征在于，所述增量学习方法采用如权利要求1所述的分类器设计方法，所述增量学习方法包括：
求解样本集的紧密包裹集；
求解所述样本集的分类决策函数和分类决策紧密包裹曲面；
根据分类器的拒识机制调整拒识区域。
7.根据权利要求6所述的方法，其特征在于，所述样本集包括增加的新类别样本的集合，此时保留之前的计算结果，对新类别样本集执行增量学习过程。
8.根据权利要求6所述的方法，其特征在于，所述样本集还包括增加训练样本时错分和拒识样本所对应类别的集合，此时没有错分和拒识样本所对应类别集合的计算结果保留。
9.根据权利要求6所述的方法，其特征在于，所述样本集还包括减去的错分样本所对应类别的集合，此时剩余类别集合的计算结果保留。
10.一种分类器，其特征在于，所述分类器包括：
存储器，用于存储程序；
处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-9中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811115982.3A CN109325535A (zh) | 2018-09-25 | 2018-09-25 | 一种分类器及其设计方法和增量学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811115982.3A CN109325535A (zh) | 2018-09-25 | 2018-09-25 | 一种分类器及其设计方法和增量学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109325535A true CN109325535A (zh) | 2019-02-12 |
Family
ID=65265737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811115982.3A Pending CN109325535A (zh) | 2018-09-25 | 2018-09-25 | 一种分类器及其设计方法和增量学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109325535A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705631A (zh) * | 2019-09-27 | 2020-01-17 | 中国船舶工业系统工程研究院 | 一种基于svm的散货船舶设备状态检测方法 |
-
2018
- 2018-09-25 CN CN201811115982.3A patent/CN109325535A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705631A (zh) * | 2019-09-27 | 2020-01-17 | 中国船舶工业系统工程研究院 | 一种基于svm的散货船舶设备状态检测方法 |
| CN110705631B (zh) * | 2019-09-27 | 2022-12-09 | 中国船舶工业系统工程研究院 | 一种基于svm的散货船舶设备状态检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108280491B (zh) | 一种面向差分隐私保护的k均值聚类方法 | |
| Liu et al. | Credal c-means clustering method based on belief functions | |
| Cheng et al. | Classification logit two-sample testing by neural networks for differentiating near manifold densities | |
| Zhang et al. | An Improved Fuzzy c‐Means Clustering Algorithm Based on Shadowed Sets and PSO | |
| Tian et al. | Learning the distribution preserving semantic subspace for clustering | |
| CN109325536B (zh) | 一种仿生模式识别方法及其装置 | |
| Lin et al. | Twin SVM with a reject option through ROC curve | |
| Mehrkanoon et al. | Large scale semi-supervised learning using KSC based model | |
| Pham et al. | Feature extraction using conformal geometric algebra for AdaBoost algorithm based in-plane rotated face detection | |
| Loka et al. | Long range correlation of preceded pixels relations and application to off‐line signature verification | |
| Sitawarin et al. | Adversarial examples for k-nearest neighbor classifiers based on higher-order voronoi diagrams | |
| CN109325535A (zh) | 一种分类器及其设计方法和增量学习方法 | |
| Teixeira et al. | Unsupervised feature extraction via kernel subspace techniques | |
| Nancy et al. | A comparative study of feature selection methods for cancer classification using gene expression dataset | |
| Stubendek et al. | Shape recognition based on projected edges and global statistical features | |
| Li et al. | Adaptive multi-objective swarm crossover optimization for imbalanced data classification | |
| Zhang et al. | A robust density-based clustering algorithm for multi-manifold structure | |
| Jain et al. | An unsupervised band selection method for hyperspectral images using mutual information based dependence index | |
| Zhu et al. | A Three‐step Method for Three‐way Clustering by Similarity‐based Sample’s Stability | |
| Menon et al. | Document Cluster Analysis Based on Parameter Tuning of Spectral Graphs | |
| Chattopadhyay et al. | Independent component analysis for dimension reduction classification: Hough transform and cash algorithm | |
| Batool | Optimum Average Silhouette Width Clustering Methods | |
| Reeves | Design of Data-Driven Mathematical Laws for Optimal Statistical Classification Systems | |
| US11853974B2 (en) | Apparatuses and methods for assorter quantification | |
| Koyama et al. | Feature Selection Using Distance from Classification Boundary and Monte Carlo Simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190212 |
|
| RJ01 | Rejection of invention patent application after publication |