CN112699222A - 基于量子启发式神经网络的文本分类方法及邮件分类方法 - Google Patents

基于量子启发式神经网络的文本分类方法及邮件分类方法 Download PDF

Info

Publication number
CN112699222A
CN112699222A CN202110019433.1A CN202110019433A CN112699222A CN 112699222 A CN112699222 A CN 112699222A CN 202110019433 A CN202110019433 A CN 202110019433A CN 112699222 A CN112699222 A CN 112699222A
Authority
CN
China
Prior art keywords
text
text classification
vector
word
quantum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110019433.1A
Other languages
English (en)
Other versions
CN112699222B (zh
Inventor
石金晶
黎振焕
赖蔚
王雯萱
唐涌泽
黄端
施荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110019433.1A priority Critical patent/CN112699222B/zh
Publication of CN112699222A publication Critical patent/CN112699222A/zh
Application granted granted Critical
Publication of CN112699222B publication Critical patent/CN112699222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于量子启发式神经网络的文本分类方法，包括训练数据；构建初级文本分类模型；采用训练数据对初级文本分类模型进行训练得到文本分类最终模型；采用文本分类最终模型对实际文本进行分类。本发明还公开了一种包括所述基于量子启发式神经网络的文本分类方法的邮件分类方法。本发明采用量子力学中的密度矩阵表示句子级别的文本，使用投影测量确定文本极性；采用GRU提取文本语义特征，丰富词向量的语义信息，提升模型在文本分类任务中的效果；在GRU层，添加自注意力层，使模型能够关注到句子中的重要单词，降低影响分类结果的单词的权重，进一步提升模型的分类效果；因此本发明方法可靠性高、实用性好且精确度较高。

Description

基于量子启发式神经网络的文本分类方法及邮件分类方法
技术领域
本发明属于自然语言处理领域，具体涉及一种基于量子启发式神经网络的文本分类方法及邮件分类方法。
背景技术
随着经济技术的发展和人们生活水平的提高，自然语言处理技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。
在自然语言处理(以下简称NLP)领域当中，采用深度学习的方法来完成包括文本分类在内的任务时，首先要考虑的是如何将文本中的单词转换为计算机可以识别的形式。经过深度学习技术的长久发展，distributed representation形式的词向量(用来表示单词的向量，简称词向量)被提出用来代替文本单词，并作为输入投到神经网络当中，使网络通过反向传播算法得以训练进而完成各种NLP下游任务，包括文本分类、问题答案匹配以及机器翻译等等。文本分类是NLP的一个基本任务，根据分类标签的数量又进一步分为文本二分类以及文本多分类。
但是，现有常用的文本分类方法，往往存在着文本分类精确度较差，分类效果较差的问题，从而严重影响了文本分类方法的使用和推广。
发明内容
本发明的目的之一在于提供一种可靠性高、实用性好且精确度较高的基于量子启发式神经网络的文本分类方法。
本发明的目的之二在于提供一种包括了所述基于量子启发式神经网络的文本分类方法的邮件分类方法。
本发明提供的这种基于量子启发式神经网络的文本分类方法，包括如下步骤：
S1.获取基础的训练文本，并对训练文本的分类结果进行标记，从而得到文本分类训练数据；
S2.基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型；
S3.采用步骤S1得到的文本分类训练数据，对步骤S2构建的初级文本分类模型进行训练，从而得到文本分类最终模型；
S4.采用步骤S3得到的文本分类最终模型对实际文本进行分类。
步骤S2所述的基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型，具体为采用如下步骤构建初级文本分类模型：
A.采用分词技术，将获取的训练文本进行分词；
B.将步骤A得到的每一个单词输入到幅度词向量层，得到幅度词向量；
C.将步骤A得到的每一个单词输入到相位词向量层，得到相位词向量；
D.将步骤B得到的幅度词向量输入到GRU层进行语义特征提取，从而得到新词向量；
E.将步骤D得到的新词向量通过自注意力机制层进行计算；
F.根据步骤C得到的相位词向量和步骤E得到的计算结果，构建密度矩阵；
G.对步骤F构建的密度矩阵进行投影测量，从而得到文本分类的概率；
H.根据步骤G得到的文本分类的概率，对文本进行分类。
步骤B所述的幅度词向量层，具体为采用Glove预训练词向量，并作为幅度词向量层。
步骤D所述的GRU层，具体为采用如下公式进行GRU层内部的计算：
Figure BDA0002887941490000031
Figure BDA0002887941490000032
h′t-1＝ht-1⊙r
Figure BDA0002887941490000033
ht＝(1-z)⊙ht-1+z⊙h′
式中r为重置向量的门控；σ为sigmoid函数，且为激活函数；Wr为GRU中的第一权重矩阵；xt和ht-1为GRU的输入词向量，且xt包含当前单词t的信息，ht-1包含单词t之前的文本信息；z为更新向量的门控；Wz为GRU中的第二权重矩阵；h′t-1为ht-1经过重置门r后的重置向量；⊙为哈达玛积；h′为xt和h′t-1拼接后且经过激活函数的向量；tanh为激活函数；W为GRU中的第三权重矩阵；ht为由ht-1和xt共同生成单词t的新词向量。
步骤E所述的自注意力机制层，具体为采用如下算式进行自注意力机制层内的计算：
Figure BDA0002887941490000034
式中Attention(Q,K,V)为经过激活函数softmax后的结果矩阵；Q为查询矩阵；K为键矩阵；V为值矩阵；dk为词向量的维度。
步骤F所述的构建密度矩阵，具体为采用如下算式计算密度矩阵D：
Figure BDA0002887941490000041
式中pi为单词的权重；|φi>代表右矢和列向量，具体为
Figure BDA0002887941490000042
<φi|代表左矢和行向量，具体为|φi>的转置向量，m为句子的长度。
步骤G所述的对步骤F构建的密度矩阵进行投影测量，从而得到文本分类的概率，具体为采用如下算式计算文本分类的概率P：
P＝tr(DM)
式中D为步骤F得到的密度矩阵；M为投影矩阵，且M由一个正交向量基e1,e2,...,ei,...,en中的某个向量ei外积得到；tr为求迹运算。
步骤S3所述的训练，具体为训练时，优化器采用Adam进行参数更新；损失函数采用二元交叉熵损失函数。
本发明还提供了一种包括了所述基于量子启发式神经网络的文本分类方法的邮件分类方法，具体包括如下步骤：
(1)将邮件内容作为目标文本，将目标文本的分类结果定义为垃圾邮件和非垃圾邮件；
(2)采用上述的基于量子启发式神经网络的文本分类方法对目标文本进行分类；
(3)根据步骤(2)得到的分类结果，将邮件分类为垃圾邮件或非垃圾邮件。
本发明提供的这种基于量子启发式神经网络的文本分类方法及邮件分类方法，首先，采用量子力学中的密度矩阵表示句子级别的文本，使用投影测量确定文本极性；其次，在将单词映射成词向量后，采用GRU提取文本语义特征，丰富词向量的语义信息，提升量子力学理论生成的模型在文本分类任务中的效果；最后，在GRU层，添加自注意力层，使模型能够关注到句子中的重要单词，提升这些单词在句子中的权重，降低影响分类结果的单词的权重，进一步提升模型的分类效果；因此本发明方法的可靠性高、实用性好且精确度较高。
附图说明
图1为本发明的文本分类方法的方法流程示意图。
图2为本发明的文本分类方法中文本分类模型的结构示意图。
图3为本发明的文本分类方法中由单词映射得到词向量的示例示意图。
图4为本发明的邮件分类方法的方法流程示意图。
具体实施方式
如图1所示为本发明的文本分类方法的方法流程示意图：本发明提供的这种基于量子启发式神经网络的文本分类方法，包括如下步骤：
S1.获取基础的训练文本，并对训练文本的分类结果进行标记，从而得到文本分类训练数据；
具体实施时，获取训练文本，对文本进行分类(比如分类为积极和消极，分类为暴力和非暴力等)，并对分类结果进行标记；
S2.基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型；具体为采用如下步骤构建初级文本分类模型，具体构建的模型如图2所示，图中句子的每一行都是一个One-hot编码的向量(向量的某一位为1，其余为0)，代表一个单词，每个One-hot编码的词向量通过词向量层映射成Distributed representation形式的词向量：
A.采用分词技术，将获取的训练文本进行分词；
比如，对于句子“The movie is so good”这个句子，可以按照语句中的空格，将语句分成“The”,“movie”,“is”,“so”,“good”等5个单词；
B.将步骤A得到的每一个单词输入到幅度词向量层，得到幅度词向量；
具体实施时，可以采用Glove预训练词向量，并作为幅度词向量层；
C.将步骤A得到的每一个单词输入到相位词向量层，得到相位词向量；
步骤B和步骤C的意义为：
将单词分词后，得到“The”,“movie”,“is”,“so”,“good”等5个单词；
每个单词都会有对应的下标或者One-hot编码的向量(这种向量只有1位是1，其余位置都是0)，表示单词的下标或者one-hot向量又会经过一个二维数组或者矩阵；其中，矩阵的每一行都是一个向量；通过这个矩阵，单词会被映射成一个个向量。整个过程如图3所示；
而在一般的NLP任务当中，每个单词只经过一个Embedding layer(也就是上面说的矩阵)即可；但是在量子力学中，为了真实模拟量子微粒的量子态，根据公式
Figure BDA0002887941490000061
|φ>代表微粒量子态，是量子态的另外一种表示形式，同时也是一个复数词向量；还有一种量子态表示形式为|φ>＝α|0>+β|1>；每个单词需要经过两个Embedding layer来分别生成微粒的幅度rj以及相位
Figure BDA0002887941490000062
((微粒和单词可以认为是一一对应的)；同时，根据欧拉公式
Figure BDA0002887941490000063
从而得到
Figure BDA0002887941490000064
总而言之，为了模拟量子态
Figure BDA0002887941490000065
模型需要使用复数词向量；
D.将步骤B得到的幅度词向量输入到GRU层进行语义特征提取，从而得到新词向量，用于构建密度矩阵；具体为采用如下公式进行GRU层内部的计算：
Figure BDA0002887941490000071
Figure BDA0002887941490000072
h′t-1＝ht-1⊙r
Figure BDA0002887941490000073
ht＝(1-z)⊙ht-1+z⊙h′
式中r为重置向量的门控；σ为sigmoid函数，且为激活函数；Wr为GRU中的第一权重矩阵；xt和ht-1为GRU的输入词向量，且xt包含当前单词t的信息，ht-1包含单词t之前的文本信息；z为更新向量的门控；Wz为GRU中的第二权重矩阵；h′t-1为ht-1经过重置门r后的重置向量；⊙为哈达玛积；h′为xt和h′t-1拼接后且经过激活函数的向量；tanh为激活函数；W为GRU中的第三权重矩阵；ht为由ht-1和xt共同生成单词t的新词向量；
通过将GRU层应用到产生幅度向量的Embedding layer之后，以提取更多的语义特征；
E.将步骤D得到的新词向量通过自注意力机制层进行计算；具体为采用如下算式进行自注意力机制层内的计算：
Figure BDA0002887941490000074
式中Attention(Q,K,V)为经过激活函数softmax后的结果矩阵；Q为查询矩阵；K为键矩阵；V为值矩阵；dk为词向量的维度；
以一个句子为例，经过Attention层时，表示一个句子的矩阵先被映射成3个矩阵Q,K,V；Q，K，V分别代表句子的query矩阵，key矩阵以及value矩阵，每个单词也就被映射成3个词向量了；接着表示某个句子的三个矩阵Q,K,V经过上式的运算后会得到一个新的矩阵，用这个新矩阵来表示句子输入Attention层后得到的输出；
F.根据步骤C得到的相位词向量和步骤E得到的计算结果，构建密度矩阵；具体为采用如下算式计算密度矩阵D：
Figure BDA0002887941490000081
式中pi为单词的权重；|φi>代表右矢和列向量，具体为
Figure BDA0002887941490000082
<φi|代表左矢和行向量，具体为|φi>的转置向量，m为句子的长度；
G.对步骤F构建的密度矩阵进行投影测量，从而得到文本分类的概率；具体为采用如下算式计算文本分类的概率P：
P＝tr(DM)
式中D为步骤F得到的密度矩阵；M为投影矩阵，且M由一个正交向量基e1,e2,...,ei,...,en中的某个向量ei外积得到；tr为求迹运算；
根据量子力学理论，一个处于叠加态的量子微粒或者混合态的物理系统在被观察或者测量后会发生塌缩，进而得到确定的状态；同时，根据Gleason理论可以得到，对密度矩阵进行投影测量可以得到一个概率，模型可以根据此概率来推断文本的极性；
H.根据步骤G得到的文本分类的概率，对文本进行分类；
具体实施时，可以根据步骤G得到的概率，进行文本分类，比如若分类结果为积极和消极，则可认定：若概率在0.5～1之间，则认定为积极；概率为0～0.5之间，则认定为消极；
S3.采用步骤S1得到的文本分类训练数据，对步骤S2构建的初级文本分类模型进行训练，从而得到文本分类最终模型；
训练时，优化器采用Adam进行参数更新；损失函数采用二元交叉熵损失函数；
S4.采用步骤S3得到的文本分类最终模型对实际文本进行分类。
如图4所示为本发明的邮件分类方法的方法流程示意图：本发明提供的这种包括了所述基于量子启发式神经网络的文本分类方法的邮件分类方法，具体包括如下步骤：
(1)将邮件内容作为目标文本，将目标文本的分类结果定义为垃圾邮件和非垃圾邮件；
(2)采用上述的基于量子启发式复数词向量和深度学习的文本分类方法对目标文本进行分类；
(3)根据步骤(2)得到的分类结果，将邮件分类为垃圾邮件或非垃圾邮件。

Claims (9)

1.一种基于量子启发式神经网络的文本分类方法，包括如下步骤：
S1.获取基础的训练文本，并对训练文本的分类结果进行标记，从而得到文本分类训练数据；
S2.基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型；
S3.采用步骤S1得到的文本分类训练数据，对步骤S2构建的初级文本分类模型进行训练，从而得到文本分类最终模型；
S4.采用步骤S3得到的文本分类最终模型对实际文本进行分类。
2.根据权利要求1所述的基于量子启发式神经网络的文本分类方法，其特征在于步骤S2所述的基于量子启发式复数词向量和深度学习算法，构建初级文本分类模型，具体为采用如下步骤构建初级文本分类模型：
A.采用分词技术，将获取的训练文本进行分词；
B.将步骤A得到的每一个单词输入到幅度词向量层，得到幅度词向量；
C.将步骤A得到的每一个单词输入到相位词向量层，得到相位词向量；
D.将步骤B得到的幅度词向量输入到GRU层进行语义特征提取，从而得到新词向量；
E.将步骤D得到的新词向量通过自注意力机制层进行计算；
F.根据步骤C得到的相位词向量和步骤E得到的计算结果，构建密度矩阵；
G.对步骤F构建的密度矩阵进行投影测量，从而得到文本分类的概率；
H.根据步骤G得到的文本分类的概率，对文本进行分类。
3.根据权利要求2所述的基于量子启发式神经网络的文本分类方法，其特征在于步骤B所述的幅度词向量层，具体为采用Glove预训练词向量，并作为幅度词向量层。
4.根据权利要求3所述的基于量子启发式神经网络的文本分类方法，其特征在于步骤D所述的GRU层，具体为采用如下公式进行GRU层内部的计算：
Figure FDA0002887941480000021
Figure FDA0002887941480000022
h′t-1＝ht-1⊙r
Figure FDA0002887941480000023
ht＝(1-z)⊙ht-1+z⊙h'
式中r为重置向量的门控；σ为sigmoid函数，且为激活函数；Wr为GRU中的第一权重矩阵；xt和ht-1为GRU的输入词向量，且xt包含当前单词t的信息，ht-1包含单词t之前的文本信息；z为更新向量的门控；Wz为GRU中的第二权重矩阵；h′t-1为ht-1经过重置门r后的重置向量；⊙为哈达玛积；h'为xt和h′t-1拼接后且经过激活函数的向量；tanh为激活函数；W为GRU中的第三权重矩阵；ht为由ht-1和xt共同生成单词t的新词向量。
5.根据权利要求4所述的基于量子启发式神经网络的文本分类方法，其特征在于步骤E所述的自注意力机制层，具体为采用如下算式进行自注意力机制层内的计算：
Figure FDA0002887941480000024
式中Attention(Q,K,V)为经过激活函数softmax后的结果矩阵；Q为查询矩阵；K为键矩阵；V为值矩阵；dk为词向量的维度。
6.根据权利要求5所述的基于量子启发式神经网络的文本分类方法，其特征在于步骤F所述的构建密度矩阵，具体为采用如下算式计算密度矩阵D：
Figure FDA0002887941480000031
式中pi为单词的权重；|φi>代表右矢和列向量，具体为
Figure FDA0002887941480000032
<φi|代表左矢和行向量，具体为|φi>的转置向量，m为句子的长度。
7.根据权利要求6所述的基于量子启发式神经网络的文本分类方法，其特征在于步骤G所述的对步骤F构建的密度矩阵进行投影测量，从而得到文本分类的概率，具体为采用如下算式计算文本分类的概率P：
P＝tr(DM)
式中D为步骤F得到的密度矩阵；M为投影矩阵，且M由一个正交向量基e1,e2,...,ei,...,en中的某个向量ei外积得到；tr为求迹运算。
8.根据权利要求7所述的基于量子启发式神经网络的文本分类方法，其特征在于步骤S3所述的训练，具体为训练时，优化器采用Adam进行参数更新；损失函数采用二元交叉熵损失函数。
9.一种包括了权利要求1～8之一所述的基于量子启发式神经网络的文本分类方法的邮件分类方法，具体包括如下步骤：
(1)将邮件内容作为目标文本，将目标文本的分类结果定义为垃圾邮件和非垃圾邮件；
(2)采用权利要求1～8之一所述的基于量子启发式神经网络的文本分类方法，对目标文本进行分类；
(3)根据步骤(2)得到的分类结果，将邮件分类为垃圾邮件或非垃圾邮件。
CN202110019433.1A 2021-01-07 2021-01-07 基于量子启发式神经网络的文本分类方法及邮件分类方法 Active CN112699222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110019433.1A CN112699222B (zh) 2021-01-07 2021-01-07 基于量子启发式神经网络的文本分类方法及邮件分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110019433.1A CN112699222B (zh) 2021-01-07 2021-01-07 基于量子启发式神经网络的文本分类方法及邮件分类方法

Publications (2)

Publication Number Publication Date
CN112699222A true CN112699222A (zh) 2021-04-23
CN112699222B CN112699222B (zh) 2022-05-06

Family

ID=75515063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110019433.1A Active CN112699222B (zh) 2021-01-07 2021-01-07 基于量子启发式神经网络的文本分类方法及邮件分类方法

Country Status (1)

Country Link
CN (1) CN112699222B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434646A (zh) * 2021-06-08 2021-09-24 天津大学 基于量子测量与自注意力机制的问答任务匹配模型及方法
CN114297357A (zh) * 2021-12-27 2022-04-08 北京中科闻歌科技股份有限公司 一种基于量子计算的问答模型构建方法、装置及电子设备
CN114970497A (zh) * 2022-06-02 2022-08-30 中南大学 基于预训练特征嵌入的文本分类方法及词义消歧方法
CN117787248A (zh) * 2024-02-23 2024-03-29 北京航空航天大学杭州创新研究院 量子自注意力文本处理方法、装置、量子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200005154A1 (en) * 2018-02-01 2020-01-02 Siemens Healthcare Limited Data encoding and classification
CN110765269A (zh) * 2019-10-30 2020-02-07 华南理工大学 基于动态词向量和层级神经网络的文档级情感分类方法
CN111538766A (zh) * 2020-05-19 2020-08-14 支付宝(杭州)信息技术有限公司 一种文本分类方法、装置、处理设备和票据分类系统
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200005154A1 (en) * 2018-02-01 2020-01-02 Siemens Healthcare Limited Data encoding and classification
CN110765269A (zh) * 2019-10-30 2020-02-07 华南理工大学 基于动态词向量和层级神经网络的文档级情感分类方法
CN111538766A (zh) * 2020-05-19 2020-08-14 支付宝(杭州)信息技术有限公司 一种文本分类方法、装置、处理设备和票据分类系统
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵超等: "基于量子计算的分类和聚类算法综述", 《微电子学与计算机》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434646A (zh) * 2021-06-08 2021-09-24 天津大学 基于量子测量与自注意力机制的问答任务匹配模型及方法
CN114297357A (zh) * 2021-12-27 2022-04-08 北京中科闻歌科技股份有限公司 一种基于量子计算的问答模型构建方法、装置及电子设备
CN114297357B (zh) * 2021-12-27 2022-08-19 北京中科闻歌科技股份有限公司 一种基于量子计算的问答模型构建方法、装置及电子设备
CN114970497A (zh) * 2022-06-02 2022-08-30 中南大学 基于预训练特征嵌入的文本分类方法及词义消歧方法
CN114970497B (zh) * 2022-06-02 2023-05-16 中南大学 基于预训练特征嵌入的文本分类方法及词义消歧方法
CN117787248A (zh) * 2024-02-23 2024-03-29 北京航空航天大学杭州创新研究院 量子自注意力文本处理方法、装置、量子设备及存储介质
CN117787248B (zh) * 2024-02-23 2024-05-14 北京航空航天大学杭州创新研究院 量子自注意力文本处理方法、装置、量子设备及存储介质

Also Published As

Publication number Publication date
CN112699222B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN112699222B (zh) 基于量子启发式神经网络的文本分类方法及邮件分类方法
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN109284506B (zh) 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
Murthy et al. Text based sentiment analysis using LSTM
CN112163426B (zh) 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法
CN107203511B (zh) 一种基于神经网络概率消歧的网络文本命名实体识别方法
Tang et al. Effective LSTMs for target-dependent sentiment classification
CN108536754A (zh) 基于blstm和注意力机制的电子病历实体关系抽取方法
CN110472042B (zh) 一种细粒度情感分类方法
CN108062388A (zh) 人机对话的回复生成方法和装置
CN112487143A (zh) 一种基于舆情大数据分析的多标签文本分类方法
CN110765775A (zh) 一种融合语义和标签差异的命名实体识别领域自适应的方法
CN115393692A (zh) 基于生成式预训练语言模型的联想文本到图像生成方法
CN109284406A (zh) 基于差异循环神经网络的意图识别方法
CN111274790A (zh) 基于句法依存图的篇章级事件嵌入方法及装置
CN108475264A (zh) 机器翻译方法和装置
CN113254675B (zh) 基于自适应少样本关系抽取的知识图谱构建方法
CN110717330A (zh) 基于深度学习的词句级短文本分类方法
CN111368082A (zh) 一种基于层次网络的领域自适应词嵌入的情感分析方法
CN112487193A (zh) 一种基于自编码器的零样本图片分类方法
Kalaivani et al. A review on feature extraction techniques for sentiment classification
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN116579347A (zh) 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
Zhang et al. Description-Enhanced Label Embedding Contrastive Learning for Text Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant