CN109344910A - 数据分类方法及装置 - Google Patents
数据分类方法及装置 Download PDFInfo
- Publication number
- CN109344910A CN109344910A CN201811276025.9A CN201811276025A CN109344910A CN 109344910 A CN109344910 A CN 109344910A CN 201811276025 A CN201811276025 A CN 201811276025A CN 109344910 A CN109344910 A CN 109344910A
- Authority
- CN
- China
- Prior art keywords
- data
- training data
- training
- weight
- support vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供的一种数据分类方法及装置,属于数据处理领域。该方法包括:获取训练样本集,然后取i为1到N,从训练样本集中提取第i个训练数据,判断第i个训练数据满足预设条件,在为是时,将第i个训练数据添加至支持向量机集合中,再计算所述第i个训练数据的权重,获得第i个权重值,将所述第i个权重值添加至权值集合中,基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。本方案中,可对训练样本集中的训练数据基于训练数据的类别分别赋予不同的权重,则能够从训练样本集中各类训练数据分布情况进行考虑,由此,在数据量不均衡的情况下,可达到较好的分类效果。
Description
技术领域
本发明涉及数据处理领域,具体而言,涉及一种数据分类方法及装置。
背景技术
在大数据环境下,越来越多的数据分类方法在应用上从小规模的数据集变迁到大规模的数据集上。不同的数据分类方法在大数据环境下均有不同的优缺点,但这些优缺点大部分都是从分类算法本身的适应条件出发的,例如:邻近算法(k-NearestNeighbor,KNN)对低维空间的数据分类效果比较好,但不适合高维空间的数据集;决策树和分水岭算法容易陷入局部最小值的情况;朴素贝叶斯分类器在NB条件相互独立性成立时只需要较少的训练数据即可达到比较好的分类效果,但它不能学习不同特征之间的相互作用。
为了能有效避免数据分类方法本身出现的缺点,近年来出现了很多针对分类方法本身使用条件进行改进的数据分类方法,这些改进方法通常是利用两种不同的算法进行融合,这两种算法通常是一种数据预处理算法或者特征提取算法与一种数据分类算法进行结合,例如:用PCA算法对高维空间的数据进行数据降维,针对降维后的数据用KNN进行分类。但是由于这些改进的方法大都是默认各类数据均衡的条件下进行的,在大数据环境下,数据集中很容易出现某一类数据在数据量上比其他类别的数据多达几十倍甚至上百倍的情况,此时就会导致数据分类效果会急剧下降。由此,在对于数据量不均衡的情况下,采用上述的方法对数据的分类效果较差。
发明内容
有鉴于此,本发明实施例的目的在于提供一种数据分类方法及装置,以改善上述问题。
第一方面,本发明实施例提供了一种数据分类方法,所述方法包括:获取训练样本集,所述训练样本集中包括有N个训练数据,N为大于等于2的正整数;取i为1到N,从所述训练样本集中提取第i个训练数据;判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中;基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值;将所述第i个权重值添加至权值集合中;基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。
可选地,判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中,包括:判断所述第i个训练数据是否为第一次提取的数据;在为是时,将所述第i个训练数据添加至支持向量机集合中。
可选地,判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中,包括:判断所述第i个训练数据是否为第一次提取的数据;在为否时,判断所述第i个训练数据是否满足支持向量条件;在为是时,将所述第i个训练数据添加至所述支持向量机集合中。
可选地,基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值,包括:统计所述支持向量机集合中所述第i个训练数据所属的数据类别的训练数据的数量;计算所述数量的倒数作为所述第i个训练数据的权重。
可选地,基于所述支持向量机集合和所述权值集合生成决策函数之后,所述方法还包括:获取待分类数据;将所述待分类数据输入至所述决策函数中,输出分类后的数据。
第二方面,本发明实施例提供了一种数据分类装置,所述装置包括:训练数据获取模块,用于获取训练样本集,所述训练样本集中包括有N个训练数据,N为大于等于2的正整数;训练数据提取模块,用于取i为1到N,从所述训练样本集中提取第i个训练数据;判断模块,用于判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中;权重计算模块,用于基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值;权值添加模块,用于将所述第i个权重值添加至权值集合中;决策函数生成模块,用于基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。
可选地,所述判断模块,具体用于:判断所述第i个训练数据是否为第一次提取的数据;在为是时,将所述第i个训练数据添加至支持向量机集合中。
可选地,所述判断模块,具体用于:判断所述第i个训练数据是否为第一次提取的数据;在为否时,判断所述第i个训练数据是否满足支持向量条件;在为是时,将所述第i个训练数据添加至所述支持向量机集合中。
可选地,所述权重计算模块,具体用于:统计所述支持向量机集合中所述第i个训练数据所属的数据类别的训练数据的数量;计算所述数量的倒数作为所述第i个训练数据的权重。
可选地,所述装置还包括:
数据分类模块,用于获取待分类数据;将所述待分类数据输入至所述决策函数中,输出分类后的数据。
本发明实施例的有益效果是:
本发明实施例提供的一种数据分类方法及装置,该方法首先通过获取训练样本集,然后取i为1到N,从所述训练样本集中提取第i个训练数据,再判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中,再基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值,将所述第i个权重值添加至权值集合中,然后基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。本方案中,可对训练样本集中的训练数据基于训练数据的类别分别赋予不同的权重,则能够从训练样本集中各类训练数据分布情况进行考虑,对数据量较小的一类数据赋予一个较大的权重,提升随机选取的概率,对数据量较大的一类数据赋予一个较小的权重,适当降低随机选取的概率,由此,在数据量不均衡的情况下,可达到较好的分类效果。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了一种可应用于本申请实施例中的电子设备的结构框图;
图2为本发明实施例提供的一种数据分类方法的流程图;
图3为本发明实施例提供的一种数据分类装置的结构框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参照图1,图1示出了一种可应用于本申请实施例中的电子设备100的结构框图。电子设备100可以包括数据分类装置、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107。
所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据分类装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述数据分类装置的操作系统(operating system,OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块,例如所述数据分类装置包括的软件功能模块或计算机程序。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器103中,或者由处理器103实现。
处理器103可以是一种集成电路芯片,具有信号的处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。
所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元105可以是,但不限于,鼠标和键盘等。
音频单元106向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元107在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元107可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器103进行计算和处理。
所述外设接口104将各种输入/输入装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元105可以是,但不限于,鼠标和键盘等。
可以理解,图1所示的结构仅为示意,所述电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2为本发明实施例提供的一种数据分类方法的流程图,所述方法包括如下步骤:
步骤S110:获取训练样本集。
为了更好的对数据进行分类,所以还需后训练后的数据分类模型,本实施例中,提供基于随机梯度下降法(Stochastic Gradient Descent,简称SGD)以及支持向量机(Support Vector Machine,简称SVM),融合生成最后的数据分类模型(即决策函数),然后利用决策函数对数据进行分类。
SGD是通过每个样本来迭代更新一次,如果样本量很大的情况(例如十几万),那么可能只用其中几万条或者几千条的样本,就已经迭代到最优解了,SGD的训练速度快。
SVM方法是通过一个非线性映射p,把样本空间映射到一个高维乃至无穷维的特征空间中,使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题。SVM应用核函数的展开定理,就不需要知道非线性映射的显式表达式,由于是在高维特征空间汇总建立线性学习机,所以与线性模型相比,不但几乎不增加计算的复杂性,而且在某种程度上避免了“维数灾难”,这一切要归功于核函数的展开和计算理论。
选择不同的核函数,可以生成不同的SVM,常用的核函数有以下4种:
1.线性核函数K(x,y)=x·y;
2.多项式核函数K(x,y)=[(x·y)+1]^d;
3.径向基函数K(x,y)=exp(-|x-y|^2/d^2);
4.二层神经网络函数K(x,y)=tanh(a(x·y)+b)。
本实施例中选择线性核函数。
在对模型进行训练时,首先需要获取训练样本集,所述训练样本集中包括有N个训练数据,N为大于等于2的正整数。
由于训练时需要大量的数据,所以训练样本集中的训练数据的数据量大,每个训练数据均被标记正负类别。
步骤S120:取i为1到N,从所述训练样本集中提取第i个训练数据。
步骤S130:判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中。
预先设置误差变量ε,ω的初始值ω1=0,SGD学习率为其中迭代次数t满足如果t不满足该条件,则停止循环;ε表示ω更新前和更新后的差值,ω表示SVM中构造决策函数的系数,学习率表示在迭代过程中参数移动到最优速度快慢,λ表示SVM中正则化参数。
从训练样本集中随机产生一个点,即随机提取一训练样本集中的第i个训练数据,然后判断这第i个训练数据是否为第一次提取的数据,即满足t=1,则表明该第i个训练数据为第一次提取的训练数据,则将该第i个训练数据添加至支持向量机集合中。
但是,若第i个训练是否不是第一次提取的数据时,则判断第i个数据是否满足支持向量条件,若满足,则将所述第i个训练数据添加至所述支持向量机集合中。
其中,支持向量条件为:其中,ηt为第t次迭代时的步长,yt表示第t个样本对应的类标签,ρj表示第j个样本的权重,yi表示第j个样本对应的类标签,K(xj,xt)表示核函数。
如此,可将训练样本集中的N个训练数据进行判断,在满足上述条件时,将训练样本集中M个训练数据依次加入支持向量机中,M小于或等于N。
步骤S140:基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值。
在将第i个训练数据添加至支持向量机集合中后,可计算该第i个训练数据的权重,获得第i个权重值,其权重计算方式为统计所述支持向量机集合中所述第i个训练数据所属的数据类别的训练数据的数量,计算所述数量的倒数作为所述第i个训练数据的权重。
具体地,第i个训练数据的权重为或者其中,n+表示训练样本集中正类别的训练数据的数量,n-表示训练样本集中负类别的训练数据的数量。
步骤S150:将所述第i个权重值添加至权值集合中。
在上述获得第i个训练数据的权重值后,将第i个权重值添加到权值集合中,由于上述每次从训练样本集提取一个训练数据进行权重计算,例如,第一次提取第一个训练数量,在第一个训练数据满足预设条件时,将第一个训练数据加入到支持向量机集合中,然后计算第一个训练数据的权重,,将第一个权重值加入到权值集合中,然后再从训练样本集中提取第二个训练数据,在第二个训练数量满足预设条件时,将第二个训练数据加入值支持向量机集合,然后再计算第二个训练数据的权重,再将第二个权重值加入权值集合中,所以,可依次将训练数据加入到支持向量机集合中,然后在计算支持向量机集合中的各个训练数据对应的权重,由此,可训练迭代完毕或者迭代次数不满足时,停止迭代。
例如,若ε为1/100时,则t<=100,则可迭代次数最多为100次,即可从训练样本集中提取至多100个训练数据来进行上述的操作流程。
步骤S160:基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。
根据支持向量机集合和权值集合可获得决策函数,该决策函数为其中,ηt为第t次迭代时的步长,ρj表示第j个样本的权重,yi表示第j个样本对应的类标签,K(xj,xt)表示核函数。
在获得上述决策函数后,可将待分类数据输入至该决策函数,即可对待分类数据进行分类。
所以,在对数据进行分类时,首先可获得待分类数据,然后将所述待分类数据输入至所述决策函数中,输出分类后的数据。
本实施例中,对数量进行训练时,收敛速度快,所需存储空间小,本实施例中使用了SGD对SVM的原始问题进行了简化,在迭代的过程中不需要在每次迭代的时候计算所有的梯度值,用随机选取训练数据的方式进行,在大规模数据条件下既提升了迭代收敛的速度,又减小了所需要的存储空间。
并且,本实施例中在随机选取训练数据后,会根据训练数据所在类别计算该训练数据的权重,避免训练数据较多的一类数据被多次抽取,提升数据量较少的一类数据的抽取几率,当两类数据近似相同的时候,权重近似相等,由此,通过权重平衡了大规模数据的不均衡性。
本方法中通过随机选取训练数据进行迭代,由于数据规模巨大,为避免由于迭代次数的增加使得训练时间变长,增加存储空间,在训练数据过程中设置了停止条件。
由于在大数据环境下,数据存在的空间几乎都是非线性的不可分的,本方法在进行数据分类过程中通过核函数将数据映射到可分的高维空间,使得数据具备可分条件。同时,该方法训练数据过程中利用权重平衡了数据在数量上的不均衡性,由此使得该数据分类方法更具有普遍适用性。
请参照图3,图3为本发明实施例提供的一种数据分类装置200的结构框图,所述装置包括:
训练数据获取模块210,用于获取训练样本集,所述训练样本集中包括有N个训练数据,N为大于等于2的正整数;
训练数据提取模块220,用于取i为1到N,从所述训练样本集中提取第i个训练数据;
判断模块230,用于判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中;
权重计算模块240,用于基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值;
权值添加模块250,用于将所述第i个权重值添加至权值集合中;
决策函数生成模块260,用于基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。
可选地,所述判断模块230,具体用于:判断所述第i个训练数据是否为第一次提取的数据;在为是时,将所述第i个训练数据添加至支持向量机集合中。
可选地,所述判断模块230,具体用于:判断所述第i个训练数据是否为第一次提取的数据;在为否时,判断所述第i个训练数据是否满足支持向量条件;在为是时,将所述第i个训练数据添加至所述支持向量机集合中。
可选地,所述权重计算模块240,具体用于:统计所述支持向量机集合中所述第i个训练数据所属的数据类别的训练数据的数量;计算所述数量的倒数作为所述第i个训练数据的权重。
可选地,所述装置还包括:
数据分类模块,用于获取待分类数据;将所述待分类数据输入至所述决策函数中,输出分类后的数据。
本发明实施例提供一种可读取存储介质,所述计算机程序被处理器执行时,执行如图2所示方法实施例中电子设备所执行的方法过程。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
综上所述,本发明实施例提供的一种数据分类方法及装置,该方法首先通过获取训练样本集,然后取i为1到N,从所述训练样本集中提取第i个训练数据,再判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中,再基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值,将所述第i个权重值添加至权值集合中,然后基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。本方案中,可对训练样本集中的训练数据基于训练数据的类别分别赋予不同的权重,则能够从训练样本集中各类训练数据分布情况进行考虑,对数据量较小的一类数据赋予一个较大的权重,提升随机选取的概率,对数据量较大的一类数据赋予一个较小的权重,适当降低随机选取的概率,由此,在数据量不均衡的情况下,可达到较好的分类效果。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种数据分类方法,其特征在于,所述方法包括:
获取训练样本集,所述训练样本集中包括有N个训练数据,N为大于等于2的正整数;
取i为1到N,从所述训练样本集中提取第i个训练数据;
判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中;
基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值;
将所述第i个权重值添加至权值集合中;
基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。
2.根据权利要求1所述的方法,其特征在于,判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中,包括:
判断所述第i个训练数据是否为第一次提取的数据;
在为是时,将所述第i个训练数据添加至支持向量机集合中。
3.根据权利要求1所述的方法,其特征在于,判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中,包括:
判断所述第i个训练数据是否为第一次提取的数据;
在为否时,判断所述第i个训练数据是否满足支持向量条件;
在为是时,将所述第i个训练数据添加至所述支持向量机集合中。
4.根据权利要求1所述的方法,其特征在于,基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值,包括:
统计所述支持向量机集合中所述第i个训练数据所属的数据类别的训练数据的数量;
计算所述数量的倒数作为所述第i个训练数据的权重。
5.根据权利要求1所述的方法,其特征在于,基于所述支持向量机集合和所述权值集合生成决策函数之后,所述方法还包括:
获取待分类数据;
将所述待分类数据输入至所述决策函数中,输出分类后的数据。
6.一种数据分类装置,其特征在于,所述装置包括:
训练数据获取模块,用于获取训练样本集,所述训练样本集中包括有N个训练数据,N为大于等于2的正整数;
训练数据提取模块,用于取i为1到N,从所述训练样本集中提取第i个训练数据;
判断模块,用于判断所述第i个训练数据满足预设条件,在为是时,将所述第i个训练数据添加至支持向量机集合中;
权重计算模块,用于基于所述第i个训练数据的数据类别计算所述第i个训练数据的权重,获得第i个权重值;
权值添加模块,用于将所述第i个权重值添加至权值集合中;
决策函数生成模块,用于基于所述支持向量机集合和所述权值集合生成决策函数,以利用所述决策函数对获取待分类数据进行分类。
7.根据权利要求6所述的装置,其特征在于,所述判断模块,具体用于:
判断所述第i个训练数据是否为第一次提取的数据;
在为是时,将所述第i个训练数据添加至支持向量机集合中。
8.根据权利要求6所述的装置,其特征在于,所述判断模块,具体用于:
判断所述第i个训练数据是否为第一次提取的数据;
在为否时,判断所述第i个训练数据是否满足支持向量条件;
在为是时,将所述第i个训练数据添加至所述支持向量机集合中。
9.根据权利要求6所述的装置,其特征在于,所述权重计算模块,具体用于:
统计所述支持向量机集合中所述第i个训练数据所属的数据类别的训练数据的数量;
计算所述数量的倒数作为所述第i个训练数据的权重。
10.根据权利要求6所述的装置,其特征在于,所述装置还包括:
数据分类模块,用于获取待分类数据;将所述待分类数据输入至所述决策函数中,输出分类后的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811276025.9A CN109344910A (zh) | 2018-10-30 | 2018-10-30 | 数据分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811276025.9A CN109344910A (zh) | 2018-10-30 | 2018-10-30 | 数据分类方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109344910A true CN109344910A (zh) | 2019-02-15 |
Family
ID=65310985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811276025.9A Pending CN109344910A (zh) | 2018-10-30 | 2018-10-30 | 数据分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109344910A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288028A (zh) * | 2019-06-27 | 2019-09-27 | 北京邮电大学 | 心电检测方法、系统、设备及计算机可读存储介质 |
CN111553800A (zh) * | 2020-04-30 | 2020-08-18 | 上海商汤智能科技有限公司 | 一种数据处理方法及装置、电子设备和存储介质 |
-
2018
- 2018-10-30 CN CN201811276025.9A patent/CN109344910A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288028A (zh) * | 2019-06-27 | 2019-09-27 | 北京邮电大学 | 心电检测方法、系统、设备及计算机可读存储介质 |
CN111553800A (zh) * | 2020-04-30 | 2020-08-18 | 上海商汤智能科技有限公司 | 一种数据处理方法及装置、电子设备和存储介质 |
CN111553800B (zh) * | 2020-04-30 | 2023-08-25 | 上海商汤智能科技有限公司 | 一种数据处理方法及装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108256568B (zh) | 一种植物种类识别方法以及装置 | |
CN108595585B (zh) | 样本数据分类方法、模型训练方法、电子设备及存储介质 | |
CN103559504B (zh) | 图像目标类别识别方法及装置 | |
CN105184316B (zh) | 一种基于特征权学习的支持向量机电网业务分类方法 | |
CN105389480B (zh) | 多类不平衡基因组学数据迭代集成特征选择方法及系统 | |
CN105760888B (zh) | 一种基于属性聚类的邻域粗糙集集成学习方法 | |
CN109446517A (zh) | 指代消解方法、电子装置及计算机可读存储介质 | |
CN107683469A (zh) | 一种基于深度学习的产品分类方法及装置 | |
CN107305637B (zh) | 基于K-Means算法的数据聚类方法和装置 | |
CN109474483A (zh) | 一种设备异常情况的检测方法、检测装置及终端设备 | |
CN103679185A (zh) | 卷积神经网络分类器系统、其训练方法、分类方法和用途 | |
CN105354595A (zh) | 一种鲁棒视觉图像分类方法及系统 | |
CN105956083A (zh) | 应用软件分类系统、应用软件分类方法及服务器 | |
CN109739844A (zh) | 基于衰减权重的数据分类方法 | |
CN103136683A (zh) | 计算产品参考价格的方法、装置及产品搜索方法、系统 | |
CN108846048A (zh) | 基于循环神经网络和注意力机制的音乐流派分类方法 | |
CN105930834A (zh) | 基于球哈希二值编码的人脸识别方法及装置 | |
CN110097098A (zh) | 基于基分类器的数据分类方法及装置、介质和电子设备 | |
CN109063787A (zh) | 一种用于不平衡数据的基于X-mean和样本错分类率集成分类方法 | |
CN102034116B (zh) | 基于互补特征和类描述的商品图像分类方法 | |
Lu et al. | Clustering by Sorting Potential Values (CSPV): A novel potential-based clustering method | |
CN108829804A (zh) | 基于距离划分树的高维数据相似性连接查询方法及装置 | |
CN110276382A (zh) | 基于谱聚类的人群分类方法、装置及介质 | |
CN109344910A (zh) | 数据分类方法及装置 | |
CN110378389A (zh) | 一种Adaboost分类器计算机创建装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190215 |