CN109857861A - 基于卷积神经网络的文本分类方法、装置、服务器及介质 - Google Patents
基于卷积神经网络的文本分类方法、装置、服务器及介质 Download PDFInfo
- Publication number
- CN109857861A CN109857861A CN201910007748.7A CN201910007748A CN109857861A CN 109857861 A CN109857861 A CN 109857861A CN 201910007748 A CN201910007748 A CN 201910007748A CN 109857861 A CN109857861 A CN 109857861A
- Authority
- CN
- China
- Prior art keywords
- classification
- classification results
- training set
- classifier
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 157
- 238000012360 testing method Methods 0.000 claims abstract description 94
- 238000005070 sampling Methods 0.000 claims description 20
- 235000013399 edible fruits Nutrition 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Abstract
本发明实施例提供了一种基于卷积神经网络的文本分类方法、装置、服务器及介质，该方法包括：获取数据集，将所述数据集划分为训练集和测试集；对训练集进行N次划分，得到N个子训练集集合；将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果；选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。采用本发明，可以提高分本分类的泛化能力和分类准确度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于卷积神经网络的文本分类方法、装置、服务器及介质。
背景技术
在自然语言处理中，文本分类作为最普遍的一个应用，基于深度学习的文本分类方法也受到了越来越多的关注。例如，在使用卷积神经网络对文本分类时，往往需要先训练一个卷积神经网络模型，然后利用该训练后的卷积神经网络模型执行文本分类操作。然而，其对文本分类的泛化能力和准确度都比较低。
发明内容
本发明实施例提供了一种基于卷积神经网络的文本分类方法，装置、服务器及介质，可以提高对文本分类的泛化能力和准确度。
第一方面，本发明实施例提供了一种基于卷积神经网络的文本分类方法，包括：
获取数据集，将所述数据集划分为训练集和测试集；所述数据集包括多条文本；
对训练集进行N次划分，得到N个子训练集集合；每个子训练集集合包括从所述训练集提取出的至少一个子训练集；
将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；
在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果；
选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
可选地，所述方法还包括：
将新的文本输入到所述N个分类器中，得到每个分类器对所述新的文本的分类结果；
选取所述每个分类器对所述新的文本的分类结果中满足预设条件的分类结果，作为所述新的文本最终的分类结果。
可选地，所述选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，包括：
采用投票法，从所述每个分类器对所述测试集的分类结果中，确定出所述测试集中每条文本对应获取票数最多的分类结果；
将所述测试集每条文本对应获取票数最多的分类结果，确定为满足预设条件的分类结果。
可选地，所述方法还包括：
当所述测试集中任一文本对应获取票数最多的分类结果为多个时，从多个分类结果中确定出目标分类结果；所述目标分类结果是通过随机采样得到的；
将所述目标分类结果确定为满足预设条件的分类结果。
可选地，所述对训练集进行N次划分，包括：
当对训练集进行N次划分时，在每次划分的过程中对训练集进行随机采样；所述随机采样为有放回采样。
可选地，所述方法还包括：
构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接层。
可选地，所述方法还包括：
构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接平均池化层。
第二方面，本发明实施例提供了一种基于卷积神经网络的文本分类装置，包括：
获取单元，用于获取数据集；所述数据集包括多条文本；
划分单元，用于将所述数据集划分为训练集和测试集，并对训练集进行N次划分，得到N个子训练集集合；每个子训练集集合包括从所述训练集提取出的至少一个子训练集；
训练单元，用于将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；
预测单元，用于在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果，并选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
第三方面，本发明实施例提供了一种服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的方法。
服务器可以获取数据集，并将数据集划分为训练集和测试集。服务器可以对训练集进行N次划分，得到N个子训练集集合，并可以将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，以对N个卷积神经网络进行训练，得到N个分类器。在进行分类预测时，服务器可以将测试集输入到N个分类器中，选取每个分类器对测试集的分类结果中满足预设条件的分类结果，作为测试集最终的分类结果，从而提高了分本分类的泛化能力和分类准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于卷积神经网络的文本分类示意图；
图2是本发明实施例提供的一种基于卷积神经网络的文本分类方法的流程示意图；
图3是本发明实施例提供的另一种基于卷积神经网络的文本分类方法的流程示意图；
图4是本发明实施例提供的一种基于卷积神经网络的文本分类装置的结构示意图；
图5是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
由于利用训练出的单个卷积神经网络模型进行分本分类时，其泛化能力和准确度较低，因此，为了解决该问题，本发明实施例提供了一种基于卷积神经网络的文本分类方法。本发明实施例中，服务器可以结合集成学习和卷积神经网络进行文本分类。集成学习概括来讲，就是利用训练集训练若干个分类器，并将若干个分类器通过一定的结合策略整合，以构建一个强的分类器用于最终的分类预测，从而提高文本分类的泛化能力和准确度。在一个实施例中，前述结合策略可以为投票法，或加权投票法。
具体地，请参阅图1，为本发明实施例提供的一种基于卷积神经网络的文本分类示意图。服务器可以将由多条文本构成的数据集分为训练集和测试集，并可以将训练集进行N次划分，得到N个子训练集集合。该N个子训练集合中每一个子训练集集合可以包括至少一个子训练集。服务器可以利用该N个子训练集集合对N个卷积神经网络模型进行训练，得到N个分类器，并将测试集输入该N个分类器中，选取每个分类器对测试集的分类结果中满足预设条件的分类结果，作为测试集最终的分类结果。其中，N为大于1的整数。在一个实施例中，该满足预设条件的分类结果可以是通过投票法或加权投票法选出的。
请参阅图2，为本发明实施例提供的一种基于卷积神经网络的文本分类方法的流程示意图。该方法可以应用于服务器中，该服务器可以为互联网中的一个服务器或服务器集群，还可以是可以作为服务器的终端，如个人计算机。具体地，该方法可以包括以下步骤：
S201、获取数据集，将所述数据集划分为训练集和测试集。
在一个实施例中，服务器可以在获取数据集之后，可以按照预设比例将该数据集划分为训练集和测试集。例如，该预设比例可以为7：3或9：1。
其中，该数据集包括多条文本。该多条文本标记了各自的类别。
由于文本分类，可以包括文章自动分类、垃圾邮件分类、垃圾邮件识别、用户情感分类等，因此，该标记的类别也可能存在不同。举例来说，当该文本分类为文章自动分类时，该标记的所属的类别可以为文章的类别。例如，该标记的所属的类别可以为文章的形式、如记叙文、诗歌、散文，或还可以为文章的应用领域，如生活、护肤、彩妆、旅行。再如，当该文本分类为用户情感分类时，该标记的所属的类别可以为情绪类型，如正情绪、负情绪、无情绪。当然，该标记的所属的类别还可以用数值的形式表现，本发明实施例中对其不做限制。其中，该数据集可以是从指定路径获取的，如从指定网站或本地数据库下载的，或还可以是从指定路径下载后修改得到的，本发明实施例对其不做限制。
S202、对训练集进行N次划分，得到N个子训练集集合。
其中，每个子训练集集合包括从所述训练集提取出的至少一个子训练集。
本发明实施例中，服务器每次在划分训练集时，可以从训练集提取至少一个子训练集，并利用该至少一个子训练集构成一个子训练集集合。其中，服务器在每次划分训练集时，得到的至少一个子训练集的数量可以相同的，也可以不同。
例如，N为2，服务器对训练集进行第一次划分，得到子训练集1和子训练集2，并利用子训练集1和子训练集2构成子训练集集合1(包括子训练集1和子训练集2)；服务器对训练集进行第二次划分，得到子训练集3和子训练集4，并利用子训练集3和子训练集4构成子训练集集合2(包括子训练集3、子训练集4)。或，服务器对训练集进行第二次划分，得到子训练集3、子训练集4、子训练集5，并利用子训练集3、子训练集4、子训练集5构成子训练集集合2(包括子训练集3、子训练集4、子训练集5)。
本发明实施例中，服务器当对训练集进行N次划分时，可以在每次划分的过程中对训练集进行随机采样，以得到N个子训练集集合。即，服务器可以在每次划分训练集时，对训练集进行随机采样，以得到至少一个子训练集，从而利用该至少一个子训练集构成一个子训练集集合。在一个实施例中，服务器可以采用bootstrapping算法对训练集进行随机采样。其中，该随机采样为有放回采样。
在一个实施例中，服务器在每次划分训练集时，可以得到至少一个子训练集，并可以将该每次划分训练集中剩余的文本作为对应训练的那个卷积神经网络模型的验证集和测试集(该测试集不为前述由数据集划分出的测试集)，在此不做赘述。
S203、将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器。
例如，N为2，服务器将子训练集集合1作为卷积神经网络模型1的输入数据，对卷积神经网络模型1中进行训练，得到分类器1；将子训练集集合2作为卷积神经网络模型2的输入数据，对卷积神经网络模型2进行训练，得到分类器2。
本发明实施例中，在对N个卷积神经网络模型进行训练之前，服务器可以创建该N个卷积神经网络模型。
其中，该卷积神经网络模型可以包括输入层、卷积层、池化层、全连接层。
在一个实施例中，利用子训练集集合对卷积神经网络模型进行训练的过程，可以为：将子训练集集合中各文本中各个词的词向量拼接成矩阵；在卷积层，对输入的矩阵，利用不同大小的卷积核卷积得到运算结果，并利用通过激活函数对运算结果进行非线性映射，提取该各文本的第一特征向量；在池化层，对输入的第一特征向量采用最大池化maxpooling方法执行池化操作(如进行降采样操作)，得到第二特征向量；在全连接层，经由softmax函数对输入的第二特征向量进行处理，得到分类结果，该分类结果包括类别，还可以包括对应的概率。
在一个实施例中，还可以同时利用由word2vec得到的子训练集集合中各文本中各个词的词向量以及由GolVe得到的子训练集集合中各文本各个词的词向量拼接成矩阵。
在一个实施例中，该卷积神经网络模型还可以包括输入层、卷积层、池化层、全局平均池化层。即可以通过全局平均池化层替换全连接层，可以减少参数量，并减少过拟合。
其中，卷积神经网络模型除了可以采用上述结构之外，还可以采用其它结构，本发明实施例在此不一一赘述。
S204、在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果。
S205、选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
该分类结果可以包括类别，还可以包括对应的概率等。
在一个实施例中，服务器选取该每个分类器对该测试集的分类结果中满足预设条件的分类结果，包括：服务器采用投票法，从该每个分类器对该测试集的分类结果中，确定出该测试集中每条文本对应获取票数最多的分类结果；服务器将该测试集每条文本对应获取票数最多的分类结果，确定为满足预设条件的分类结果。
例如，N为3，测试集包括文本1、文本2、文本3。将这3个文本输入到分类器1中，可以输出文本1属于类别1，文本2属于类别2、文本3属于类别3；将这3个文本输入到分类器2中，可以输出文本1属于类别1，文本2属于类别2、文本3属于类别2，将这3个文本输入到分类器3中，可以输出文本1属于类别1，文本2属于类别1、文本3属于类别3。采用投票的方式，可以得知文本1属于类别1获取3票、文本2属于类别2获得2票、文本3属于类别3获得2票，因此，最终可以确定文本1属于类别1，文本2属于类别2，文本3属于类别3。
在一个实施例中，当测试集中任一文本对应获取票数最多的分类结果为多个时，服务器从多个分类结果中确定出目标分类结果；服务器将该目标分类结果确定为满足预设条件的分类结果。该目标分类结果是通过随机采样得到的。
例如，例如，N为3，测试集包括文本4。将文本4输入到分类器1中，可以输出文本4属于类别1；将文本4输入到分类器2中，可以输出文本4属于类别2；将文本4输入到分类器3中，可以输出文本4属于类别3。采用投票法，可以得知文本4属于类别1获取1票、文本4属于类别2获得1票、文本4属于类别3获得1票。若对这三个类别进行随机采样得到类别1，则确定文本4属于类别1。
在得到测试集最终的分类结果，可以输出该测试集的最终分类结果，并可以根据该测试集的最终分类结果统计预测精度、评估泛化能力等。
可见，图2所示的实施例中，服务器可以获取数据集，并将数据集划分为训练集和测试集。服务器可以对训练集进行N次划分，得到N个子训练集集合，并将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，以对N个卷积神经网络进行训练，得到N个分类器，从而在进行分类预测时，可以将测试集输入到N个分类器中，选取每个分类器对测试集的分类结果中满足预设条件的分类结果，作为测试集最终的分类结果，以提高分本分类的泛化能力和分类准确度。
请参阅图3，为本发明实施例提供的另一种基于卷积神经网络的文本分类方法的流程示意图。具体地，该方法可以包括以下步骤：
S301、获取数据集，将所述数据集划分为训练集和测试集；所述数据集包括多条文本；
S302、对训练集进行N次划分，得到N个子训练集集合；每个子训练集集合包括从所述训练集提取出的至少一个子训练集；
S303、将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；
S304、在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果；
S305、选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
其中，步骤S301-S305可以参见图2实施例中的步骤S201-S205，本发明实施例在此不做赘述。
S306、将新的文本输入到所述N个分类器中，得到每个分类器对所述新的文本的分类结果；
S307、选取所述每个分类器对所述新的文本的分类结果中满足预设条件的分类结果，作为所述新的文本最终的分类结果。
当存在待分类的新的文本时，服务器可以将新的文本输入到N个分类器中，得到每个分类器对新的文本的分类结果，并选取每个分类器对该新的文本的分类结果中满足预设条件的分类结果，作为新的文本最终的分类结果。
在一个实施例中，服务器选取所述每个分类器对所述新的文本的分类结果中满足预设条件的分类结果，包括：采用投票法，从所述每个分类器对所述新的文本的分类结果中，确定出所述新的文本的分类结果中每条文本对应获取票数最多的分类结果；将所述新的文本对应获取票数最多的分类结果，确定为满足预设条件的分类结果。
例如，N为3，新的文本为文本5。将文本5输入到分类器1中，可以输出文本5属于类别1；将文本5输入到分类器2中，可以输出文本5属于类别2；将文本5输入到分类器3中，可以输出文本5属于类别1。采用投票法，可以得知文本5属于类别1获取2票、文本5属于类别2获得1票，则确定文本5属于类别1。
当新的文本对应获取票数最多的分类结果为多个时，服务器可以从多个分类结果中确定出一个分类结果。
例如，N为3，新的文本为文本5。将文本5输入到分类器1中，可以输出文本5属于类别1；将文本5输入到分类器2中，可以输出文本5属于类别2；将文本5输入到分类器3中，可以输出文本5属于类别3。采用投票法，可以得知文本5属于类别1获取1票、文本5属于类别2获得1票、文本5属于类别3获得1票。若对这三个类别进行随机采样得到类别1，则确定文本5属于类别1。
在一种可选的实施方式中，服务器还可以在执行步骤S303之后，直接执行步骤S306-S307，本发明实施例在此不做赘述。
可见，图3所示的实施例中，服务器在对测试集文本后，利用N个分类器对新的文本进行分类得到新的文本的多个分类结果，并选取该新的文本的多个分类结果中满足预设条件的分类结果作为该新的文本最终的分类结果，提高了分类准确度。
请参图图4，为本发明实施例中提供的一种基于卷积神经网络的文本分类装置的结构示意图。该装置可以应用在服务器中。具体地，该装置可以包括：
获取单元41，用于获取数据集；所述数据集包括多条文本；
划分单元42，用于将所述数据集划分为训练集和测试集，并对训练集进行N次划分，得到N个子训练集集合；每个子训练集集合包括从所述训练集提取出的至少一个子训练集；
训练单元43，用于将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；
预测单元44，用于在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果，并选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
在一种可选的实施方式中，预测单元44，还用于将新的文本输入到所述N个分类器中，得到每个分类器对所述新的文本的分类结果，并选取所述每个分类器对所述新的文本的分类结果中满足预设条件的分类结果，作为所述新的文本最终的分类结果。
在一种可选的实施方式中，预测单元44具体用于采用投票法，从所述每个分类器对所述测试集的分类结果中，确定出所述测试集中每条文本对应获取票数最多的分类结果；将所述测试集每条文本对应获取票数最多的分类结果，确定为满足预设条件的分类结果。
在一种可选的实施方式中，预测单元44，还用于当所述测试集中任一文本对应获取票数最多的分类结果为多个时，从多个分类结果中确定出目标分类结果；所述目标分类结果是通过随机采样得到的；将所述目标分类结果确定为满足预设条件的分类结果。
在一种可选的实施方式中，划分单元42，具体用于当对训练集进行N次划分时，在每次划分的过程中对训练集进行随机采样；所述随机采样为有放回采样。
在一种可选的实施方式中，构建单元45，用于构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接层。
在一种可选的实施方式中，构建单元45，还用于构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接平均池化层。
可见，图4所示的实施例中，服务器可以获取数据集，并将数据集划分为训练集和测试集。服务器可以对训练集进行N次划分，得到N个子训练集集合，并将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，以对N个卷积神经网络进行训练，得到N个分类器，从而在进行分类预测时，可以将测试集输入到N个分类器中，选取每个分类器对测试集的分类结果中满足预设条件的分类结果，作为测试集最终的分类结果，以提高分本分类的泛化能力和分类准确度。
请参阅图5，为本发明实施例提供的一种服务器的结构示意图。其中，本实施例中所描述的服务器可以包括：一个或多个处理器1000，一个或多个输入设备2000，一个或多个输出设备3000和存储器4000。处理器1000、输入设备2000、输出设备3000和存储器4000可以通过总线连接。
输入设备2000、输出设备3000可以是标准的有线或无线通信接口。
处理器1000可以是中央处理模块(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器4000可以是高速RAM存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器4000用于存储一组程序代码，输入设备2000、输出设备3000和处理器1000可以调用存储器4000中存储的程序代码。具体地：
处理器1000，用于获取数据集，将所述数据集划分为训练集和测试集；所述数据集包括多条文本；对训练集进行N次划分，得到N个子训练集集合；每个子训练集集合包括从所述训练集提取出的至少一个子训练集；将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果；选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
可选地，处理器1000，还用于将新的文本输入到所述N个分类器中，得到每个分类器对所述新的文本的分类结果；选取所述每个分类器对所述新的文本的分类结果中满足预设条件的分类结果，作为所述新的文本最终的分类结果。
可选地，处理器1000选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，具体为采用投票法，从所述每个分类器对所述测试集的分类结果中，确定出所述测试集中每条文本对应获取票数最多的分类结果；将所述测试集每条文本对应获取票数最多的分类结果，确定为满足预设条件的分类结果。
可选地，处理器1000，还用于当所述测试集中任一文本对应获取票数最多的分类结果为多个时，从多个分类结果中确定出目标分类结果；所述目标分类结果是通过随机采样得到的；将所述目标分类结果确定为满足预设条件的分类结果。
可选地，处理器1000对训练集进行N次划分，具体为当对训练集进行N次划分时，在每次划分的过程中对训练集进行随机采样；所述随机采样为有放回采样。
可选地，处理器1000，还用于构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接层。
可选地，处理器1000，还用于构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接平均池化层。
具体实现中，本发明实施例中所描述的处理器1000、输入设备2000、输出设备3000可执行图2-图3实施例所描述的实现方式，也可执行本发明实施例所描述的实现方式，在此不再赘述。
在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采样硬件的形式实现，也可以采样软件功能模块的形式实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (10)
1.一种基于卷积神经网络的文本分类方法，其特征在于，包括：
获取数据集，将所述数据集划分为训练集和测试集；所述数据集包括多条文本；
对训练集进行N次划分，得到N个子训练集集合；每个子训练集集合包括从所述训练集提取出的至少一个子训练集；
将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；
在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果；
选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将新的文本输入到所述N个分类器中，得到每个分类器对所述新的文本的分类结果；
选取所述每个分类器对所述新的文本的分类结果中满足预设条件的分类结果，作为所述新的文本最终的分类结果。
3.根据权利要求1所述的方法，其特征在于，所述选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，包括：
采用投票法，从所述每个分类器对所述测试集的分类结果中，确定出所述测试集中每条文本对应获取票数最多的分类结果；
将所述测试集每条文本对应获取票数最多的分类结果，确定为满足预设条件的分类结果。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述测试集中任一文本对应获取票数最多的分类结果为多个时，从多个分类结果中确定出目标分类结果；所述目标分类结果是通过随机采样得到的；
将所述目标分类结果确定为满足预设条件的分类结果。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述对训练集进行N次划分，包括：
当对训练集进行N次划分时，在每次划分的过程中对训练集进行随机采样；所述随机采样为有放回采样。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接层。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
构建N个卷积神经网络模型；所述卷积神经网络模型至少包括：输入层，卷积层、池化层、全连接平均池化层。
8.一种基于卷积神经网络的文本分类装置，其特征在于，包括：
获取单元，用于获取数据集；所述数据集包括多条文本；
划分单元，用于将所述数据集划分为训练集和测试集，并对训练集进行N次划分，得到N个子训练集集合；每个子训练集集合包括从所述训练集提取出的至少一个子训练集；
训练单元，用于将N个子训练集集合中的子训练集，分别作为N个卷积神经网络模型的输入数据，对N个卷积神经网络模型进行训练，得到N个分类器；
预测单元，用于在进行分类预测时，将测试集输入到所述N个分类器中，得到每个分类器对所述测试集的分类结果，并选取所述每个分类器对所述测试集的分类结果中满足预设条件的分类结果，作为所述测试集最终的分类结果。
9.一种服务器，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910007748.7A CN109857861A (zh) | 2019-01-04 | 2019-01-04 | 基于卷积神经网络的文本分类方法、装置、服务器及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910007748.7A CN109857861A (zh) | 2019-01-04 | 2019-01-04 | 基于卷积神经网络的文本分类方法、装置、服务器及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109857861A true CN109857861A (zh) | 2019-06-07 |
Family
ID=66893904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910007748.7A Pending CN109857861A (zh) | 2019-01-04 | 2019-01-04 | 基于卷积神经网络的文本分类方法、装置、服务器及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109857861A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263856A (zh) * | 2019-06-20 | 2019-09-20 | 北京实力伟业环保科技有限公司 | 基于物联网的风机故障评价方法、系统及设备 |
| CN110764064A (zh) * | 2019-11-08 | 2020-02-07 | 哈尔滨工业大学 | 基于深度卷积神经网络集成的雷达干扰信号识别方法 |
| CN114301821A (zh) * | 2021-12-28 | 2022-04-08 | 合肥磐稳检测技术有限公司 | 模组测试方法、装置、终端及计算机可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015039021A2 (en) * | 2013-09-16 | 2015-03-19 | Biodesix, Inc | Classifier generation method using combination of mini-classifiers with regularization and uses thereof |
| WO2015154216A1 (en) * | 2014-04-08 | 2015-10-15 | Microsoft Technology Licensing, Llc | Deep learning using alternating direction method of multipliers |
| CN107273502A (zh) * | 2017-06-19 | 2017-10-20 | 重庆邮电大学 | 一种基于空间认知学习的图像地理标注方法 |
| CN107958257A (zh) * | 2017-10-11 | 2018-04-24 | 华南理工大学 | 一种基于深度神经网络的中药材识别方法 |
| CN108614875A (zh) * | 2018-04-26 | 2018-10-02 | 北京邮电大学 | 基于全局平均池化卷积神经网络的中文情感倾向性分类方法 |
| CN108628993A (zh) * | 2018-04-28 | 2018-10-09 | 国家基础地理信息中心 | 电子地图自适应分类方法、装置、设备及存储介质 |
| CN108959265A (zh) * | 2018-07-13 | 2018-12-07 | 深圳市牛鼎丰科技有限公司 | 跨领域文本情感分类方法、装置、计算机设备及存储介质 |
-
2019
- 2019-01-04 CN CN201910007748.7A patent/CN109857861A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015039021A2 (en) * | 2013-09-16 | 2015-03-19 | Biodesix, Inc | Classifier generation method using combination of mini-classifiers with regularization and uses thereof |
| WO2015154216A1 (en) * | 2014-04-08 | 2015-10-15 | Microsoft Technology Licensing, Llc | Deep learning using alternating direction method of multipliers |
| CN107273502A (zh) * | 2017-06-19 | 2017-10-20 | 重庆邮电大学 | 一种基于空间认知学习的图像地理标注方法 |
| CN107958257A (zh) * | 2017-10-11 | 2018-04-24 | 华南理工大学 | 一种基于深度神经网络的中药材识别方法 |
| CN108614875A (zh) * | 2018-04-26 | 2018-10-02 | 北京邮电大学 | 基于全局平均池化卷积神经网络的中文情感倾向性分类方法 |
| CN108628993A (zh) * | 2018-04-28 | 2018-10-09 | 国家基础地理信息中心 | 电子地图自适应分类方法、装置、设备及存储介质 |
| CN108959265A (zh) * | 2018-07-13 | 2018-12-07 | 深圳市牛鼎丰科技有限公司 | 跨领域文本情感分类方法、装置、计算机设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263856A (zh) * | 2019-06-20 | 2019-09-20 | 北京实力伟业环保科技有限公司 | 基于物联网的风机故障评价方法、系统及设备 |
| CN110764064A (zh) * | 2019-11-08 | 2020-02-07 | 哈尔滨工业大学 | 基于深度卷积神经网络集成的雷达干扰信号识别方法 |
| CN114301821A (zh) * | 2021-12-28 | 2022-04-08 | 合肥磐稳检测技术有限公司 | 模组测试方法、装置、终端及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102071582B1 (ko) | 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치 | |
| CN112434721B (zh) | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 | |
| CN109376844A (zh) | 基于云平台和模型推荐的神经网络自动训练方法和装置 | |
| CN109918560A (zh) | 一种基于搜索引擎的问答方法和装置 | |
| CN108229478A (zh) | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 | |
| CN106372107A (zh) | 自然语言文句库的生成方法及装置 | |
| CN106407178A (zh) | 一种会话摘要生成方法及装置 | |
| CN105095415B (zh) | 网络情绪的确定方法和装置 | |
| CN109857861A (zh) | 基于卷积神经网络的文本分类方法、装置、服务器及介质 | |
| CN109033277A (zh) | 基于机器学习的类脑系统、方法、设备及存储介质 | |
| CN108170853A (zh) | 一种聊天语料自清洗方法、装置和用户终端 | |
| CN109299264A (zh) | 文本分类方法、装置、计算机设备及存储介质 | |
| CN113392197B (zh) | 问答推理方法、装置、存储介质及电子设备 | |
| CN110377727A (zh) | 一种基于多任务学习的多标签文本分类方法和装置 | |
| CN109271513B (zh) | 一种文本分类方法、计算机可读储存介质及系统 | |
| CN107908796A (zh) | 电子政务查重方法、装置以及计算机可读存储介质 | |
| CN110232128A (zh) | 题目文本分类方法及装置 | |
| CN110377743A (zh) | 一种文本标注方法及装置 | |
| CN108665158A (zh) | 一种训练风控模型的方法、装置及设备 | |
| CN104951434B (zh) | 品牌情绪的确定方法和装置 | |
| CN115131698A (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| CN112507106A (zh) | 深度学习模型的训练方法、装置和faq相似度判别方法 | |
| CN109242106A (zh) | 样本处理方法、装置、设备和存储介质 | |
| CN113849653A (zh) | 一种文本分类方法及装置 | |
| CN111353290B (zh) | 一种自动响应用户询问的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |