CN111274406A - 一种基于深度学习混合模型的文本分类方法 - Google Patents

一种基于深度学习混合模型的文本分类方法 Download PDF

Info

Publication number
CN111274406A
CN111274406A CN202010135270.9A CN202010135270A CN111274406A CN 111274406 A CN111274406 A CN 111274406A CN 202010135270 A CN202010135270 A CN 202010135270A CN 111274406 A CN111274406 A CN 111274406A
Authority
CN
China
Prior art keywords
text
model
deep learning
features
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010135270.9A
Other languages
English (en)
Inventor
顾东晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202010135270.9A priority Critical patent/CN111274406A/zh
Publication of CN111274406A publication Critical patent/CN111274406A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于文本分类领域，具体公开了一种基于深度学习混合模型的文本分类方法，包括获取并导入样本数据，对该样本数据进行预处理；将得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练；将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征；将得到的隐性特征表示进行分类；本发明先进行一次深度学习，再次导入深度学习模型中，进行二次训练，在混合自动编码器训练模型的提取下，提取出文本的双向隐形特征，利用深度学习模型对文本特征逐级递进提取，使得文本特征凸显效果好，能够更加快速有效地对文本进行精准分类。

Description

一种基于深度学习混合模型的文本分类方法
技术领域
本发明涉及文本分类领域，具体为一种基于深度学习混合模型的文本分类方法。
背景技术
随着信息科技时代的不断发展，电子文本信息数量迅速增加，意味着大数据时代的来临。所以在此背景下，如何对这些大量的文本信息进行有效的组织与利用变得特别重要。文本分类作为信息检索、数字化图书馆、信息过滤等领域的技术基础，有着很大的应用前景。
深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
文本分类是处理和组织大量文本数据的关键性技术，可以有效的管理和利用文本信息。目前基于深度学习的文本分类方法多采用单一的深度学习模型进行分类，存在着训练语料要求高和移植性扩展性差，又由于单一深度学习模型提取到特征的局限性，从而导致在分类类别较多情况下分类效果较差。
发明内容
本发明的目的在于提供一种基于深度学习混合模型的文本分类方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习混合模型的文本分类方法，包括如下具体步骤：
S1：获取并导入样本数据，对该样本数据进行预处理，具体包括：
S11:将样本数据根据文本类型进行分类；
S12:将分类后的文本两两混合导入深度学习模型中，分别提取得到不同的文本特征；
S2：将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征；
S3：将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；
S4：将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征，具体为：
S41：以导入文本作为输入序列，以导出文本作为导入文本的特征，通过编码模型的编码与解码操作得到导入文本的隐特征表示；
S42：以导出文本作为输入序列，以导入文本作为导出文本的特征，通过编码模型的编码与解码操作得到导出文本的隐特征表示；
S5：将上述得到的隐性特征表示采用Softmax回归模型进行分类。
优选的，步骤S1中，所述文本类型包括词性、句子、段落、篇章等。
优选的，所述深度学习模型为卷积神经网络模型或堆栈自编码网络模型。
优选的，所述自动编码器训练模型为降噪自编码器、稀疏自编码器、栈式自编码器中任意两种组合而成的混合自动编码器训练模型。
优选的，所述导入文本为用于输入的关键字。
与现有技术相比，本发明的有益效果是：
本发明将样本数据分类后，交叉混合，先进行一次深度学习，使得提取得到的文本特征具有一定的针对匹配性；再将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征具有更进一步的筛选特征，在混合自动编码器训练模型的提取下，提取出文本的双向隐形特征，利用深度学习模型对文本特征逐级递进提取，使得文本特征凸显效果好，能够更加快速有效地对文本进行精准分类。
具体实施方式
本发明提供一种技术方案：一种基于深度学习混合模型的文本分类方法，包括如下具体步骤：
S1：获取并导入样本数据，对该样本数据进行预处理，具体包括：
S11:将样本数据根据文本类型进行分类；
S12:将分类后的文本两两混合导入深度学习模型中，分别提取得到不同的文本特征；
S2：将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征；
S3：将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；
S4：将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征，具体为：
S41：以导入文本作为输入序列，以导出文本作为导入文本的特征，通过编码模型的编码与解码操作得到导入文本的隐特征表示；
S42：以导出文本作为输入序列，以导入文本作为导出文本的特征，通过编码模型的编码与解码操作得到导出文本的隐特征表示；
S5：将上述得到的隐性特征表示采用Softmax回归模型进行分类。
进一步的，步骤S1中，所述文本类型包括词性、句子、段落、篇章等。
进一步的，所述深度学习模型为卷积神经网络模型或堆栈自编码网络模型。
进一步的，所述自动编码器训练模型为降噪自编码器、稀疏自编码器、栈式自编码器中任意两种组合而成的混合自动编码器训练模型。
进一步的，所述导入文本为用于输入的关键字。
本发明将样本数据分类后，交叉混合，先进行一次深度学习，使得提取得到的文本特征具有一定的针对匹配性；再将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征具有更进一步的筛选特征，在混合自动编码器训练模型的提取下，提取出文本的双向隐形特征，利用深度学习模型对文本特征逐级递进提取，使得文本特征凸显效果好，能够更加快速有效地对文本进行精准分类。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于深度学习混合模型的文本分类方法，其特征在于，包括如下具体步骤：
S1：获取并导入样本数据，对该样本数据进行预处理，具体包括：
S11:将样本数据根据文本类型进行分类；
S12:将分类后的文本两两混合导入深度学习模型中，分别提取得到不同的文本特征；
S2：将上述得到的文本特征随机混合后，再次导入深度学习模型中，进行二次训练，再次提取混合训练后的文本特征；
S3：将上述得到的混合训练后的文本特征采用布尔逻辑模型进行特征表示；
S4：将上述特征表示导入自动编码器训练模型中构建编码模型，得到导入文本和导出文本之间的隐性特征，具体为：
S41：以导入文本作为输入序列，以导出文本作为导入文本的特征，通过编码模型的编码与解码操作得到导入文本的隐特征表示；
S42：以导出文本作为输入序列，以导入文本作为导出文本的特征，通过编码模型的编码与解码操作得到导出文本的隐特征表示；
S5：将上述得到的隐性特征表示采用Softmax回归模型进行分类。
2.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：步骤S1中，所述文本类型包括词性、句子、段落、篇章等。
3.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：所述深度学习模型为卷积神经网络模型或堆栈自编码网络模型。
4.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：所述自动编码器训练模型为降噪自编码器、稀疏自编码器、栈式自编码器中任意两种组合而成的混合自动编码器训练模型。
5.根据权利要求1所述的一种基于深度学习混合模型的文本分类方法，其特征在于：所述导入文本为用于输入的关键字。
CN202010135270.9A 2020-03-02 2020-03-02 一种基于深度学习混合模型的文本分类方法 Pending CN111274406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010135270.9A CN111274406A (zh) 2020-03-02 2020-03-02 一种基于深度学习混合模型的文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010135270.9A CN111274406A (zh) 2020-03-02 2020-03-02 一种基于深度学习混合模型的文本分类方法

Publications (1)

Publication Number Publication Date
CN111274406A true CN111274406A (zh) 2020-06-12

Family

ID=71002831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010135270.9A Pending CN111274406A (zh) 2020-03-02 2020-03-02 一种基于深度学习混合模型的文本分类方法

Country Status (1)

Country Link
CN (1) CN111274406A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434668A (zh) * 2021-05-18 2021-09-24 湘潭大学 一种基于模型融合的深度学习文本分类方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326367A (zh) * 2016-08-11 2017-01-11 华南师范大学 基于wnbi和rsvd混合协同推荐算法
US20170255945A1 (en) * 2016-03-07 2017-09-07 NewVoiceMedia Ltd. System and method for intelligent sales engagement
CN107665248A (zh) * 2017-09-22 2018-02-06 齐鲁工业大学 基于深度学习混合模型的文本分类方法和装置
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN110163368A (zh) * 2019-04-18 2019-08-23 腾讯科技（深圳）有限公司 基于混合精度的深度学习模型训练方法、装置及系统
CN110263257A (zh) * 2019-06-24 2019-09-20 北京交通大学 基于深度学习的多源异构数据混合推荐模型

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170255945A1 (en) * 2016-03-07 2017-09-07 NewVoiceMedia Ltd. System and method for intelligent sales engagement
CN106326367A (zh) * 2016-08-11 2017-01-11 华南师范大学 基于wnbi和rsvd混合协同推荐算法
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
CN107665248A (zh) * 2017-09-22 2018-02-06 齐鲁工业大学 基于深度学习混合模型的文本分类方法和装置
CN110163368A (zh) * 2019-04-18 2019-08-23 腾讯科技（深圳）有限公司 基于混合精度的深度学习模型训练方法、装置及系统
CN110263257A (zh) * 2019-06-24 2019-09-20 北京交通大学 基于深度学习的多源异构数据混合推荐模型

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434668A (zh) * 2021-05-18 2021-09-24 湘潭大学 一种基于模型融合的深度学习文本分类方法及系统

Similar Documents

Publication Publication Date Title
CN108897857B (zh) 面向领域的中文文本主题句生成方法
CN110032737B (zh) 一种基于神经网络的边界组合命名实体识别方法
CN110990564B (zh) 一种基于情感计算与多头注意力机制的负面新闻识别方法
CN108595708A (zh) 一种基于知识图谱的异常信息文本分类方法
CN113806494B (zh) 一种基于预训练语言模型的命名实体识别方法
CN109271523A (zh) 一种基于信息检索的政府公文主题分类方法
Zhao et al. Multi-level fusion of wav2vec 2.0 and bert for multimodal emotion recognition
CN111582825B (zh) 一种基于深度学习的产品信息审核方法及系统
CN109918647A (zh) 一种安全领域命名实体识别方法及神经网络模型
CN111026845B (zh) 一种获取多层次上下文语义的文本分类方法
Kirchknopf et al. Multimodal detection of information disorder from social media
CN111368087B (zh) 基于多输入注意力网络的中文文本分类方法
CN113516198A (zh) 一种基于记忆网络和图神经网络的文化资源文本分类方法
Li et al. Multimodal sentiment analysis based on interactive transformer and soft mapping
CN111210878A (zh) 一种基于深度学习的药物预测方法
Lu et al. Hate speech detection via dual contrastive learning
CN111274406A (zh) 一种基于深度学习混合模型的文本分类方法
Sundriyal et al. DESYR: definition and syntactic representation based claim detection on the web
CN113822061A (zh) 一种基于特征图构建的小样本专利分类方法
CN112966507A (zh) 构建识别模型及攻击识别方法、装置、设备及存储介质
CN116432125B (zh) 基于哈希算法的代码分类方法
CN117131877A (zh) 一种基于对比学习的文本检测方法及系统
Madhusudhan et al. Attributional analysis of multi-modal fake news detection models (Grand Challenge)
Maass et al. AI Explainability: A conceptual model embedding
Yin et al. Research on fake news detection method based on multi-level semantic enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220930