CN110334189B - 基于长短时和自注意力神经网络的微博话题标签确定方法 - Google Patents
基于长短时和自注意力神经网络的微博话题标签确定方法 Download PDFInfo
- Publication number
- CN110334189B CN110334189B CN201910624971.6A CN201910624971A CN110334189B CN 110334189 B CN110334189 B CN 110334189B CN 201910624971 A CN201910624971 A CN 201910624971A CN 110334189 B CN110334189 B CN 110334189B
- Authority
- CN
- China
- Prior art keywords
- data
- microblog
- attention
- self
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000003062 neural network model Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 15
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 4
- 238000007620 mathematical function Methods 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于长短时和自注意力神经网络的微博话题标签确定方法，依次包括以下步骤：A：对含有话题标签的微博进行统计并经预处理得到微博内容和话题标签；B：构建基于长短时和自注意力的神经网络模型并进行正向训练和网络参数训练，得到训练后的基于长短时和自注意力的神经网络模型；C：将待确定话题标签的微博数据输入到经过训练后的基于长短时和自注意力的神经网络模型中得到话题标签。本发明能够对以文本信息为主要内容的微博内容进行准确的话题标签确认，为网络舆情监测、话题引导等任务的准确完成提供技术基础。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于长短时和自注意力神经网络的微博话题标签确定方法。
背景技术
微博作为最重要的中文社交媒体平台，每日活跃人数达到1亿人次，因此针对微博信息的自动化处理对于舆情监测、话题引导等任务具有重要的作用。由于微博信息大多为文本信息，现有的自动化处理方法往往无法达到理想的效果，因此亟需一种能够对文本信息为主的微博信息进行分析处理，推导出较为准确的微博话题标签的方法，为网络舆情监测、话题引导等任务的准确完成提供技术基础。
发明内容
本发明的目的是提供一种基于长短时和自注意力神经网络的微博话题标签确定方法，能够对以文本信息为主要内容的微博内容进行准确的话题标签确认，为网络舆情监测、话题引导等任务的准确完成提供技术基础。
本发明采用下述技术方案：
基于长短时和自注意力神经网络的微博话题标签确定方法，依次包括以下步骤：
A：对含有话题标签的微博进行统计后得到微博数据，然后通过预处理将微博数据转化为向量数据，再将经预处理后的微博数据划分为微博内容和该微博内容所使用的话题标签；
B：构建基于长短时和自注意力的神经网络模型，然后将步骤A中得到的经预处理和微博数据划分后得到的微博内容和该微博内容所使用的话题标签，输入到神经网络模型进行正向训练，然后通过随时间反向传播算法训练网络参数，经若干次训练和参数调节后，得到训练后的基于长短时和自注意力的神经网络模型；
C：将待确定话题标签的微博数据按照步骤A进行预处理，然后将处理后所得到的向量数据输入到经过训练后的基于长短时和自注意力的神经网络模型中，最后根据经过训练后的基于长短时和自注意力的神经网络模型得到该待确定话题标签的微博的话题标签。
所述的步骤A中，对微博数据的预处理包含以下步骤：
A1：对微博数据中每一条微博的文本内容进行切分，得到每一个单独的单词；
A2：收集中文新闻数据、中文网页数据、英文网页数据以及网络文档数据集，并使用收集到的中文新闻数据、中文网页数据、英文网页数据以及网络文档数据集分别训练中文词向量模型和英文词向量模型，用于将每个中文单词和英文单词转化为300维的向量数据；
A3：依次对步骤A1中每条微博数据切分后所得到的每个单独的单词进行判断，如果所得到的单独的单词为中文，则使用训练好的中文词向量模型得到该单词的300维向量数据；如果所得到的单独的单词为英文，则使用训练好的英文词向量模型得到该单词的300维向量数据；最后将得到的每个单词的300维向量数据按照微博中各个单词的排列顺序依次排列，作为训练数据的输入数据；
A4：依次对步骤A1中每条微博数据切分后所得到的单独的单词进行话题标签标注，如果该单词是话题标签词则标注为1，如果不是话题标签则标注为0；
A5：将步骤A4中经过话题标签标注的每条微博数据的标注结果1或0按照所对应的微博的单词顺序排列，得到训练数据的标注结果。
所述的步骤B中，构建基于长短时和自注意力的神经网络模型，然后将步骤A3中得到的训练数据的输入数据及步骤A5中得到的训练数据的标注结果，输入到神经网络模型进行正向训练，然后通过随时间反向传播算法训练网络参数，经若干次训练和参数调节后，得到训练后的基于长短时和自注意力的神经网络模型。
所述的基于长短时和自注意力的神经网络模型的层次结构依次为输入层、第一双向长短时网络层、第二双向长短时网络层、第一自注意力层、第二自注意力层、第三自注意力层、条件随机场层和输出层，模型层数共有8层；模型训练迭代次数为2000次；每批次训练数据量为128条；学习率为0.01；每个单词向量维度为300维；双向长短时网络隐藏单元大小为196个；自注意力内部单元大小为64个；每层自注意力头数6个。
所述的步骤B包含以下步骤：
B1：对输入的向量数据赋值为Q，使用下述公式计算每一个输入的向量数据的注意力值：
其中，softmax为名为softmax的数学函数，该函数将输入的向量数据转化为(0，1)之间的概率值，K表示矩阵K，KT为矩阵K的转置，dk为矩阵K的维度；V表示矩阵V，其中K＝V＝Q；
B2：为K、V和Q分别设置权重WK、WV和WQ，使用下述公式分别计算每一个输入的向量数据的自注意力值：
head＝Attention(QWQ,KWK,VWV)；
计算的结果head称为单头结果；
B3：使用下述公式，将每一个单头结果相加，结果称之为多头自注意力值：
MultiHead(Q,K,V)＝Conect(head1,…,headh)WO；
其中，MultiHead表示多头自注意力值，Conect表示将矩阵相加，head1，……，headh分别表示步骤B2中所得到的不同的单头结果，WO表示与相加后矩阵进行矩阵乘法操作的权重；
B4：将步骤B3中得到的多头注意力数据输入到条件随机场层中，然后将条件随机场层中输出的数据输入到输出层中，最后得到基于长短时和自注意力神经网络模型的输出结果；
B5：将步骤B4中得到的输出结果与步骤A5中得到训练数据的标注结果进行对比，使用随时间反向传播算法进行计算，使用学习率作为输入参数进行调节，最后完成模型的一次训练；
B6：依次完成步骤B1至步骤B5，直到到达指定的训练迭代次数。
所述的步骤C中，将待确定话题标签的微博数据按照步骤A1至步骤A3中的过程进行预处理，得到该待确定话题标签的微博的向量数据。
本发明基于自然语言处理技术，通过中文词向量模型和英文词向量模型，将微博话题数据转换为向量数据，再构建基于长短时和自注意力神经网络模型，通过随时间反向传播算法进行计算，并通过使用学习率作为输入参数进行调节，得到训练后的基于长短时和自注意力的神经网络模型，最终依据训练后的基于长短时和自注意力的神经网络模型得到待确定话题标签的微博的话题标签，能够对以文本信息为主要内容的微博内容进行准确的话题标签确认，为网络舆情监测、话题引导等任务的准确完成提供技术基础。
附图说明
图1为本发明的流程示意图。
具体实施方式
以下结合附图和实施例对本发明作以详细的描述：
如图1所示，本发明所述的基于长短时和自注意力神经网络的微博话题标签确定方法，依次包括以下步骤：
A：对含有话题标签的微博进行统计后得到微博数据，然后通过预处理将微博数据转化为向量数据，再将经预处理后的微博数据划分为微博内容和该微博内容所使用的话题标签；
本实例中，步骤A包含以下步骤：
A1：对微博数据中每一条微博的文本内容进行切分，得到每一个单独的单词；
A2：收集中文新闻数据、中文网页数据、英文网页数据以及网络文档数据集，并使用收集到的中文新闻数据、中文网页数据、英文网页数据以及网络文档数据集分别训练中文词向量模型和英文词向量模型，用于将每个中文单词和英文单词转化为300维的向量数据；
A3：依次对步骤A1中每条微博数据切分后所得到的每个单独的单词进行判断，如果所得到的单独的单词为中文，则使用训练好的中文词向量模型得到该单词的300维向量数据；如果所得到的单独的单词为英文，则使用训练好的英文词向量模型得到该单词的300维向量数据；最后将得到的每个单词的300维向量数据按照微博中各个单词的排列顺序依次排列，作为训练数据的输入数据；
A4：依次对步骤A1中每条微博数据切分后所得到的单独的单词进行话题标签标注，如果该单词是话题标签词则标注为1，如果不是话题标签则标注为0；
A5：将步骤A4中经过话题标签标注的每条微博数据的标注结果1或0按照所对应的微博的单词顺序排列，得到训练数据的标注结果。
B：构建基于长短时和自注意力的神经网络模型，然后将步骤A中得到的经预处理和微博数据划分后得到的微博内容和该微博内容所使用的话题标签，输入到神经网络模型进行正向训练，然后通过随时间反向传播算法训练网络参数，经若干次训练和参数调节后，得到训练后的基于长短时和自注意力的神经网络模型；
本实例中，在构建基于长短时和自注意力的神经网络模型后，将步骤A3中得到的训练数据的输入数据及步骤A5中得到的训练数据的标注结果，输入到神经网络模型进行正向训练。
本实例中，基于长短时和自注意力的神经网络模型的层次结构依次为输入层、第一双向长短时网络层、第二双向长短时网络层、第一自注意力层、第二自注意力层、第三自注意力层、条件随机场层和输出层，模型层数共有8层；模型训练迭代次数为2000次；每批次训练数据量为128条；学习率为0.01；每个单词向量维度为300维；双向长短时网络隐藏单元大小为196个；自注意力内部单元大小为64个；每层自注意力头数6个。
本发明中，步骤B包含以下步骤：
B1：对输入的向量数据赋值为Q，使用下述公式计算每一个输入的向量数据的注意力值：
其中，softmax为名为softmax的数学函数，该函数将输入的向量数据转化为(0，1)之间的概率值，K表示矩阵K，KT为矩阵K的转置，dk为矩阵K的维度；V表示矩阵V，其中K＝V＝Q；
B2：为K、V和Q分别设置权重WK、WV和WQ，使用下述公式分别计算每一个输入的向量数据的自注意力值：
head＝Attention(QWQ,KWK,VWV)；
计算的结果head称为单头结果；
B3：使用下述公式，将每一个单头结果相加，结果称之为多头自注意力值：
MultiHead(Q,K,V)＝Conect(head1,…,headh)WO；
其中，MultiHead表示多头自注意力值，Conect表示将矩阵相加，head1，…，headh分别表示步骤B2中所得到的不同的单头结果，WO表示与相加后矩阵进行矩阵乘法操作的权重；
B4：将步骤B3中得到的多头注意力数据输入到条件随机场层中，然后将条件随机场层中输出的数据输入到输出层中，最后得到基于长短时和自注意力神经网络模型的输出结果；
B5：将步骤B4中得到的输出结果与步骤A5中得到训练数据的标注结果进行对比，使用随时间反向传播算法进行计算，使用学习率作为输入参数进行调节，最后完成模型的一次训练；
B6：依次完成步骤B1至步骤B5，直到到达指定的训练迭代次数。
C：将待确定话题标签的微博数据按照步骤A进行预处理，然后将处理后所得到的向量数据输入到经过训练后的基于长短时和自注意力的神经网络模型中，最后根据经过训练后的基于长短时和自注意力的神经网络模型得到该待确定话题标签的微博的话题标签。
所述的步骤C中，将待确定话题标签的微博数据按照步骤A1至步骤A3中的过程进行预处理，得到该待确定话题标签的微博的向量数据。
本申请实现了对未知标签的微博数据推荐标签的功能。本方案既实用长短时模型解决了无法确定每个单词在上下文中的位置关系问题，又使用自注意力模型解决了因为句子太长而模型无法有效的学习远距离单词的问题。模型最后还使用了条件随机场层，有效的考虑到了输出结果的前后关系。通过与其他的同类任务的模型相对比，本方案首次将分类问题转化为序列标注问题，有效的提高了模型的准确率，推荐的话题标签的准确率提高了4.2％；而且本方案突破了在已知的话题标签范围内选择话题标签的限制，可以发现更多新的标签。
Claims (3)
1.基于长短时和自注意力神经网络的微博话题标签确定方法，其特征在于，依次包括以下步骤：
A：对含有话题标签的微博进行统计后得到微博数据，然后通过预处理将微博数据转化为向量数据，再将经预处理后的微博数据划分为微博内容和该微博内容所使用的话题标签；
B：构建基于长短时和自注意力的神经网络模型，然后将步骤A中得到的经预处理和微博数据划分后得到的微博内容和该微博内容所使用的话题标签，输入到神经网络模型进行正向训练，然后通过随时间反向传播算法训练网络参数，经若干次训练和参数调节后，得到训练后的基于长短时和自注意力的神经网络模型；
C：将待确定话题标签的微博数据按照步骤A进行预处理，然后将处理后所得到的向量数据输入到经过训练后的基于长短时和自注意力的神经网络模型中，最后根据经过训练后的基于长短时和自注意力的神经网络模型得到该待确定话题标签的微博的话题标签；
其中，所述的步骤A中，对微博数据的预处理包含以下步骤：
A1：对微博数据中每一条微博的文本内容进行切分，得到每一个单独的单词；
A2：收集中文新闻数据、中文网页数据、英文网页数据以及网络文档数据集，并使用收集到的中文新闻数据、中文网页数据、英文网页数据以及网络文档数据集分别训练中文词向量模型和英文词向量模型，用于将每个中文单词和英文单词转化为300维的向量数据；
A3：依次对步骤A1中每条微博数据切分后所得到的每个单独的单词进行判断，如果所得到的单独的单词为中文，则使用训练好的中文词向量模型得到该单词的300维向量数据；如果所得到的单独的单词为英文，则使用训练好的英文词向量模型得到该单词的300维向量数据；最后将得到的每个单词的300维向量数据按照微博中各个单词的排列顺序依次排列，作为训练数据的输入数据；
A4：依次对步骤A1中每条微博数据切分后所得到的单独的单词进行话题标签标注，如果该单词是话题标签词则标注为1，如果不是话题标签则标注为0；
A5：将步骤A4中经过话题标签标注的每条微博数据的标注结果1或0按照所对应的微博的单词顺序排列，得到训练数据的标注结果；
所述的步骤B中，构建基于长短时和自注意力的神经网络模型，然后将步骤A3中得到的训练数据的输入数据及步骤A5中得到的训练数据的标注结果，输入到神经网络模型进行正向训练，然后通过随时间反向传播算法训练网络参数，经若干次训练和参数调节后，得到训练后的基于长短时和自注意力的神经网络模型；
所述的基于长短时和自注意力的神经网络模型的层次结构依次为输入层、第一双向长短时网络层、第二双向长短时网络层、第一自注意力层、第二自注意力层、第三自注意力层、条件随机场层和输出层，模型层数共有8层；模型训练迭代次数为2000次；每批次训练数据量为128条；学习率为0.01；每个单词向量维度为300维；双向长短时网络隐藏单元大小为196个；自注意力内部单元大小为64个；每层自注意力头数6个。
2.根据权利要求1所述的基于长短时和自注意力神经网络的微博话题标签确定方法，其特征在于，所述的步骤B包含以下步骤：
B1：对输入的向量数据赋值为Q，使用下述公式计算每一个输入的向量数据的注意力值：
其中，softmax为名为softmax的数学函数，该函数将输入的向量数据转化为(0，1)之间的概率值，K表示矩阵K，KT为矩阵K的转置，dk为矩阵K的维度；V表示矩阵V，其中K＝V＝Q；
B2：为K、V和Q分别设置权重WK、WV和WQ，使用下述公式分别计算每一个输入的向量数据的自注意力值：
head＝Attention(QWQ,KWK,VWV)；
计算的结果head称为单头结果；
B3：使用下述公式，将每一个单头结果相加，结果称之为多头自注意力值：
MultiHead(Q,K,V)＝Conect(head1,…,headh)WO；
其中，MultiHead表示多头自注意力值，Conect表示将矩阵相加，head1，……，headh分别表示步骤B2中所得到的不同的单头结果，WO表示与相加后矩阵进行矩阵乘法操作的权重；
B4：将步骤B3中得到的多头注意力数据输入到条件随机场层中，然后将条件随机场层中输出的数据输入到输出层中，最后得到基于长短时和自注意力神经网络模型的输出结果；
B5：将步骤B4中得到的输出结果与步骤A5中得到训练数据的标注结果进行对比，使用随时间反向传播算法进行计算，使用学习率作为输入参数进行调节，最后完成模型的一次训练；
B6：依次完成步骤B1至步骤B5，直到到达指定的训练迭代次数。
3.根据权利要求2所述的基于长短时和自注意力神经网络的微博话题标签确定方法，其特征在于：所述的步骤C中，将待确定话题标签的微博数据按照步骤A1至步骤A3中的过程进行预处理，得到该待确定话题标签的微博的向量数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624971.6A CN110334189B (zh) | 2019-07-11 | 2019-07-11 | 基于长短时和自注意力神经网络的微博话题标签确定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910624971.6A CN110334189B (zh) | 2019-07-11 | 2019-07-11 | 基于长短时和自注意力神经网络的微博话题标签确定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110334189A CN110334189A (zh) | 2019-10-15 |
| CN110334189B true CN110334189B (zh) | 2023-04-18 |
Family
ID=68146362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910624971.6A Active CN110334189B (zh) | 2019-07-11 | 2019-07-11 | 基于长短时和自注意力神经网络的微博话题标签确定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334189B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110928987B (zh) * | 2019-10-18 | 2023-07-25 | 平安科技（深圳）有限公司 | 基于神经网络混合模型的法律条文检索方法及相关设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10542270B2 (en) * | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
| CN108460019A (zh) * | 2018-02-28 | 2018-08-28 | 福州大学 | 一种基于注意力机制的新兴热点话题检测系统 |
| CN109492227A (zh) * | 2018-11-16 | 2019-03-19 | 大连理工大学 | 一种基于多头注意力机制和动态迭代的机器阅读理解方法 |
| CN109657239B (zh) * | 2018-12-12 | 2020-04-21 | 电子科技大学 | 基于注意力机制和语言模型学习的中文命名实体识别方法 |
| CN109885670A (zh) * | 2019-02-13 | 2019-06-14 | 北京航空航天大学 | 一种面向话题文本的交互注意力编码情感分析方法 |
-
2019
- 2019-07-11 CN CN201910624971.6A patent/CN110334189B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| "Entity-Dependent Long-Short Time Memory Network for Semantic Relation Extraction";Yatian Shen et al.;《IEEE International Conference on Cloud Computing and Intelligence Systems》;全文 * |
| "基于双重注意力模型的微博情感分析方法";张仰森 等;《万方数据知识服务平台》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110334189A (zh) | 2019-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929030B (zh) | 一种文本摘要和情感分类联合训练方法 | |
| CN107608956B (zh) | 一种基于cnn-grnn的读者情绪分布预测算法 | |
| CN109325112B (zh) | 一种基于emoji的跨语言情感分析方法和装置 | |
| CN107330049B (zh) | 一种新闻热度预估方法及系统 | |
| CN111160037B (zh) | 一种支持跨语言迁移的细粒度情感分析方法 | |
| CN112667818B (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 | |
| CN108664632A (zh) | 一种基于卷积神经网络和注意力机制的文本情感分类算法 | |
| CN110489523B (zh) | 一种基于网购评价的细粒度情感分析方法 | |
| CN110580287A (zh) | 基于迁移学习和on-lstm的情感分类方法 | |
| CN105809186A (zh) | 情感分类的方法及系统 | |
| CN113672732B (zh) | 用于对业务数据进行分类的方法和设备 | |
| CN111538841B (zh) | 基于知识互蒸馏的评论情感分析方法、装置及系统 | |
| CN115203406A (zh) | 一种基于RoBERTa模型的长文本信息立场检测方法 | |
| CN115935975A (zh) | 一种情感可控的新闻评论生成方法 | |
| CN114648031A (zh) | 基于双向lstm和多头注意力机制的文本方面级情感识别方法 | |
| TWI734085B (zh) | 使用意圖偵測集成學習之對話系統及其方法 | |
| CN110334189B (zh) | 基于长短时和自注意力神经网络的微博话题标签确定方法 | |
| CN115481313A (zh) | 一种基于文本语义挖掘的新闻推荐方法 | |
| CN116522912B (zh) | 一种包装设计语言模型的训练方法、装置、介质及设备 | |
| CN113673239A (zh) | 一种基于情感词典加权的酒店评论情感极性分类方法 | |
| CN112182227A (zh) | 基于transD知识图嵌入的文本情感分类系统及方法 | |
| CN112632377A (zh) | 一种基于用户评论情感分析与矩阵分解的推荐方法 | |
| CN117216265A (zh) | 一种基于改进的图注意力网络新闻主题分类方法 | |
| CN115758218A (zh) | 一种基于长短时特征和决策融合的三模态情感分析方法 | |
| CN114357284A (zh) | 基于深度学习的众包任务个性化推荐方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |