CN111274406A - 一种基于深度学习混合模型的文本分类方法 - Google Patents
一种基于深度学习混合模型的文本分类方法 Download PDFInfo
- Publication number
- CN111274406A CN111274406A CN202010135270.9A CN202010135270A CN111274406A CN 111274406 A CN111274406 A CN 111274406A CN 202010135270 A CN202010135270 A CN 202010135270A CN 111274406 A CN111274406 A CN 111274406A
- Authority
- CN
- China
- Prior art keywords
- text
- model
- deep learning
- training
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013136 deep learning model Methods 0.000 claims abstract description 16
- 230000008676 import Effects 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于文本分类领域，具体公开了一种基于深度学习混合模型的文本分类方法，包括获取并导入样本数据，对该样本数据进行预处理；将得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练；将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征；将得到的隐性特征表示进行分类；本发明先进行一次深度学习，再次导入深度学习模型中，进行二次训练，在混合自动编码器训练模型的提取下，提取出文本的双向隐形特征，利用深度学习模型对文本特征逐级递进提取，使得文本特征凸显效果好，能够更加快速有效地对文本进行精准分类。
Description
技术领域
本发明涉及文本分类领域，具体为一种基于深度学习混合模型的文本分类方法。
背景技术
随着信息科技时代的不断发展，电子文本信息数量迅速增加，意味着大数据时代的来临。所以在此背景下，如何对这些大量的文本信息进行有效的组织与利用变得特别重要。文本分类作为信息检索、数字化图书馆、信息过滤等领域的技术基础，有着很大的应用前景。
深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
文本分类是处理和组织大量文本数据的关键性技术，可以有效的管理和利用文本信息。目前基于深度学习的文本分类方法多采用单一的深度学习模型进行分类，存在着训练语料要求高和移植性扩展性差，又由于单一深度学习模型提取到特征的局限性，从而导致在分类类别较多情况下分类效果较差。
发明内容
本发明的目的在于提供一种基于深度学习混合模型的文本分类方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习混合模型的文本分类方法，包括如下具体步骤：
S1：获取并导入样本数据，对该样本数据进行预处理，具体包括：
S11:将样本数据根据文本类型进行分类；
S12:将分类后的文本两两混合导入深度学习模型中，分别提取得到不同的文本特征；
S2：将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征；
S3：将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；
S4：将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征，具体为：
S41：以导入文本作为输入序列，以导出文本作为导入文本的特征，通过编码模型的编码与解码操作得到导入文本的隐特征表示；
S42：以导出文本作为输入序列，以导入文本作为导出文本的特征，通过编码模型的编码与解码操作得到导出文本的隐特征表示；
S5：将上述得到的隐性特征表示采用Softmax回归模型进行分类。
优选的，步骤S1中，所述文本类型包括词性、句子、段落、篇章等。
优选的，所述深度学习模型为卷积神经网络模型或堆栈自编码网络模型。
优选的，所述自动编码器训练模型为降噪自编码器、稀疏自编码器、栈式自编码器中任意两种组合而成的混合自动编码器训练模型。
优选的，所述导入文本为用于输入的关键字。
与现有技术相比，本发明的有益效果是：
本发明将样本数据分类后，交叉混合，先进行一次深度学习，使得提取得到的文本特征具有一定的针对匹配性；再将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征具有更进一步的筛选特征，在混合自动编码器训练模型的提取下，提取出文本的双向隐形特征，利用深度学习模型对文本特征逐级递进提取，使得文本特征凸显效果好，能够更加快速有效地对文本进行精准分类。
具体实施方式
本发明提供一种技术方案：一种基于深度学习混合模型的文本分类方法，包括如下具体步骤：
S1：获取并导入样本数据，对该样本数据进行预处理，具体包括：
S11:将样本数据根据文本类型进行分类；
S12:将分类后的文本两两混合导入深度学习模型中，分别提取得到不同的文本特征；
S2：将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征；
S3：将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；
S4：将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征，具体为：
S41：以导入文本作为输入序列，以导出文本作为导入文本的特征，通过编码模型的编码与解码操作得到导入文本的隐特征表示；
S42：以导出文本作为输入序列，以导入文本作为导出文本的特征，通过编码模型的编码与解码操作得到导出文本的隐特征表示；
S5：将上述得到的隐性特征表示采用Softmax回归模型进行分类。
进一步的，步骤S1中，所述文本类型包括词性、句子、段落、篇章等。
进一步的，所述深度学习模型为卷积神经网络模型或堆栈自编码网络模型。
进一步的，所述自动编码器训练模型为降噪自编码器、稀疏自编码器、栈式自编码器中任意两种组合而成的混合自动编码器训练模型。
进一步的，所述导入文本为用于输入的关键字。
本发明将样本数据分类后，交叉混合，先进行一次深度学习，使得提取得到的文本特征具有一定的针对匹配性；再将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征具有更进一步的筛选特征，在混合自动编码器训练模型的提取下，提取出文本的双向隐形特征，利用深度学习模型对文本特征逐级递进提取，使得文本特征凸显效果好，能够更加快速有效地对文本进行精准分类。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于深度学习混合模型的文本分类方法，其特征在于，包括如下具体步骤：
S1：获取并导入样本数据，对该样本数据进行预处理，具体包括：
S11:将样本数据根据文本类型进行分类；
S12:将分类后的文本两两混合导入深度学习模型中，分别提取得到不同的文本特征；
S2：将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征；
S3：将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；
S4：将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征，具体为：
S41：以导入文本作为输入序列，以导出文本作为导入文本的特征，通过编码模型的编码与解码操作得到导入文本的隐特征表示；
S42：以导出文本作为输入序列，以导入文本作为导出文本的特征，通过编码模型的编码与解码操作得到导出文本的隐特征表示；
S5：将上述得到的隐性特征表示采用Softmax回归模型进行分类。
2.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：步骤S1中，所述文本类型包括词性、句子、段落、篇章等。
3.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：所述深度学习模型为卷积神经网络模型或堆栈自编码网络模型。
4.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：所述自动编码器训练模型为降噪自编码器、稀疏自编码器、栈式自编码器中任意两种组合而成的混合自动编码器训练模型。
5.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：所述导入文本为用于输入的关键字。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135270.9A CN111274406A (zh) | 2020-03-02 | 2020-03-02 | 一种基于深度学习混合模型的文本分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010135270.9A CN111274406A (zh) | 2020-03-02 | 2020-03-02 | 一种基于深度学习混合模型的文本分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111274406A true CN111274406A (zh) | 2020-06-12 |
Family
ID=71002831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010135270.9A Pending CN111274406A (zh) | 2020-03-02 | 2020-03-02 | 一种基于深度学习混合模型的文本分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274406A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434668A (zh) * | 2021-05-18 | 2021-09-24 | 湘潭大学 | 一种基于模型融合的深度学习文本分类方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326367A (zh) * | 2016-08-11 | 2017-01-11 | 华南师范大学 | 基于wnbi和rsvd混合协同推荐算法 |
| US20170255945A1 (en) * | 2016-03-07 | 2017-09-07 | NewVoiceMedia Ltd. | System and method for intelligent sales engagement |
| CN107665248A (zh) * | 2017-09-22 | 2018-02-06 | 齐鲁工业大学 | 基于深度学习混合模型的文本分类方法和装置 |
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| CN110163368A (zh) * | 2019-04-18 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 基于混合精度的深度学习模型训练方法、装置及系统 |
| CN110263257A (zh) * | 2019-06-24 | 2019-09-20 | 北京交通大学 | 基于深度学习的多源异构数据混合推荐模型 |
-
2020
- 2020-03-02 CN CN202010135270.9A patent/CN111274406A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170255945A1 (en) * | 2016-03-07 | 2017-09-07 | NewVoiceMedia Ltd. | System and method for intelligent sales engagement |
| CN106326367A (zh) * | 2016-08-11 | 2017-01-11 | 华南师范大学 | 基于wnbi和rsvd混合协同推荐算法 |
| US20180165554A1 (en) * | 2016-12-09 | 2018-06-14 | The Research Foundation For The State University Of New York | Semisupervised autoencoder for sentiment analysis |
| CN107665248A (zh) * | 2017-09-22 | 2018-02-06 | 齐鲁工业大学 | 基于深度学习混合模型的文本分类方法和装置 |
| CN110163368A (zh) * | 2019-04-18 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 基于混合精度的深度学习模型训练方法、装置及系统 |
| CN110263257A (zh) * | 2019-06-24 | 2019-09-20 | 北京交通大学 | 基于深度学习的多源异构数据混合推荐模型 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113434668A (zh) * | 2021-05-18 | 2021-09-24 | 湘潭大学 | 一种基于模型融合的深度学习文本分类方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197294B (zh) | 一种基于深度学习的文本自动生成方法 | |
| Ding et al. | A multimodal fusion method for sarcasm detection based on late fusion | |
| CN111782768A (zh) | 基于双曲空间表示和标签文本互动的细粒度实体识别方法 | |
| CN113220890A (zh) | 一种基于预训练的结合新闻标题和新闻长文本内容的深度学习方法 | |
| Li et al. | Multimodal sentiment analysis based on interactive transformer and soft mapping | |
| CN113283535B (zh) | 一种融合多模态特征的虚假消息检测方法和装置 | |
| Yao et al. | Optimization Strategies for Deep Learning Models in Natural Language Processing | |
| Sargar et al. | Image captioning methods and metrics | |
| CN114330367A (zh) | 一种基于句子的语义相似度获得方法、装置以及设备 | |
| CN116701569A (zh) | 一种基于多视角协同的多领域虚假新闻检测方法 | |
| CN106599824A (zh) | 一种基于情感对的gif动画情感识别方法 | |
| CN115329085A (zh) | 一种社交机器人分类方法及系统 | |
| Choi | Computational thematic analysis of poetry via bimodal large language models | |
| Ma et al. | Multi-modal sarcasm detection based on dual generative processes | |
| CN111274406A (zh) | 一种基于深度学习混合模型的文本分类方法 | |
| Yang | Write what you want: Applying text-to-video retrieval to audiovisual archives | |
| Bhalekar et al. | Generation of image captions using VGG and ResNet CNN models cascaded with RNN approach | |
| Batra et al. | Neural caption generation for news images | |
| Song et al. | Multi-stage graph representation learning for dialogue-level speech emotion recognition | |
| CN111737401A (zh) | 一种基于Seq2set2seq框架的关键词组预测方法 | |
| CN116562302A (zh) | 融合汉越关联关系的多语言事件观点对象识别方法 | |
| Ng et al. | The investigation of different loss functions with capsule networks for speech emotion recognition | |
| Lin et al. | [Retracted] Digital Library Information Integration System Based on Big Data and Deep Learning | |
| CN114722153A (zh) | 一种意图分类的方法和装置 | |
| Geng et al. | A Multi-View Co-Learning Method for Multimodal Sentiment Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20220930 |
|
| AD01 | Patent right deemed abandoned |