CN107729311B - 一种融合文本语气的中文文本特征提取方法 - Google Patents

一种融合文本语气的中文文本特征提取方法 Download PDF

Info

Publication number
CN107729311B
CN107729311B CN201710752000.0A CN201710752000A CN107729311B CN 107729311 B CN107729311 B CN 107729311B CN 201710752000 A CN201710752000 A CN 201710752000A CN 107729311 B CN107729311 B CN 107729311B
Authority
CN
China
Prior art keywords
text
word
vector
representation
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710752000.0A
Other languages
English (en)
Other versions
CN107729311A (zh
Inventor
郭延哺
金宸
姬晨
邓春云
李维华
王顺芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN201710752000.0A priority Critical patent/CN107729311B/zh
Publication of CN107729311A publication Critical patent/CN107729311A/zh
Application granted granted Critical
Publication of CN107729311B publication Critical patent/CN107729311B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Abstract

本发明公开了一种融合文本语气的中文文本特征提取方法，实现从变长文本中获取融合语气特征、句法特征和语义特征的文本特征表示。首先构建文本词集和语气词集，将文本词集和语气词集转换成词嵌入形式，得到对应的向量模型；其次，依据文本词嵌入表示的时间步长维度和特征维度筛选文本特征，并将语气特征融入到选取的文本特征的时间步长维度上，获得准确表示语义的文本特征表示。本发明充分利用语气词对文本语义的贡献，将语气特征、句法特征和语义特征融合到文本特征表示之中，且该文本特征表示具有低维和连续的特点，不仅可以更好地表示文本语义，也能更有效地支持文本分析、语言翻译、关系抽取等自然语言处理任务。

Description

一种融合文本语气的中文文本特征提取方法
技术领域
本发明属于自然语言处理领域，涉及一种融合文本语气的中文文本特征提取方法；基于海量的中文文本，把中文语气特征融入文本特征，更好地表示中文文本语义。
背景技术
每天来自互联网、电子商务等领域的文本数量急剧增加，单靠人工处理和理解这些海量的文本数据，将会耗费大量的成本而得不偿失。为快速并高效地挖掘出海量文本中有用的知识模式，基于人工智能相关技术处理和理解文本成为一个更好的选择；智能分析海量文本的关键是对文本语义特征进行有效地表示，最常用的文本表示方法是词袋模型（Bag of Words，BOW），词袋模型虽然简单实用但是文本表示往往纬度高并且稀疏。TF-IDF(词频-逆文档频率)、概率主题模型(Latent Dirichlet Allocation，LDA)等方法被提出改进文本特征表示方法；然而，这些方法往往假设词对文本的语义贡献和词出现的频率有关。但事实上，在中文文本中，有些词虽然出现的频率不是高，但对文本的语义贡献却是不能忽略的，语气词就是其中之一。词嵌入技术Skip-gram、CBOW（Continuous Bag Of WordsModel）等分布式词表示成为文本分析的一种重要手段，并取得一些很好的成果。随着深度学习研究的开展，卷积神经神经网络（Convolutional Neural Network，CNN）和长短期记忆（Long Short Term Memory，LSTM）神经网络凭借可以智能识别文本中重要信息和获取文本的广泛的语义信息等优势被应用到自然语言处理领域中，并取得了很好的效果。本发明基于中文文本的语气词，首先利用神经网络提取文本中的语义特征；其次智能判别最重要的句法知识和语义特征，提出一种充分利用语气词对语义的贡献的中文文本特征提取方法。
发明内容
本发明的目的在于在现有技术的基础上，公开了一种融合文本语气的中文文本特征提取方法，进一步提高文本分析、语言翻译、关系抽取等自然语言处理任务的准确性。
为实现上述目的，本发明提出一种融合文本语气的中文文本特征提取方法，其特征在于，包括以下步骤：
(1)、海量文本词集和语气词集生成
1.1)、文本词集生成
对文本集中的每个文本进行分词，将文本集中的每条文本的词依次添加到集合
Figure DEST_PATH_IMAGE001
中，最后得到文本词集
Figure DEST_PATH_IMAGE002
，p表示文本集的词数目；
1.2)、文本语气词集生成
提取每条文本含有的语气词，将语气词添加到集合
Figure DEST_PATH_IMAGE003
中，最后得到文本数据中的语气词集
Figure DEST_PATH_IMAGE004
，q表示文本集合语气词的数目；其中
Figure 115093DEST_PATH_IMAGE003
是可能的语气词集E的子集，E={唉，了，哪，呢，呐，否，呵，哈，不，呸，吧，罢，呗，啦，唻，嘞，哩，咧，咯，啰，喽，吗，嘛，么，阿，啊，呃，哇，呀，也，耶，哟，欤，呕，噢，呦，一定，必定，难道，何尝，大概，也许，果然，果真，难怪，原来，不中，罢了，不成，得了，而已，了得，也罢，已而，也好，就是，一般，再说，不过，怪不得，就是了，不得了}；
(2)、词嵌入模型构建
2.1)、文本词向量模型构建
用Skip-gram模型训练文本词集
Figure DEST_PATH_IMAGE005
得到每个词的k维词向量，p个词向量组成p行k列的文本词向量矩阵M，
Figure DEST_PATH_IMAGE006
；
2.2)、文本语气向量模型构建
用CBOW模型训练语气词集
Figure 658332DEST_PATH_IMAGE003
得到每个语气词的k维词向量，q个语气词向量组成q行k列的文本语气词向量矩阵T，
Figure DEST_PATH_IMAGE007
；
(3)、文本词表示模型构建
3.1)、文本初始向量生成
从文本词向量矩阵M获取一条文本的向量表示
Figure DEST_PATH_IMAGE008
；其中0<i<n，n表示文本的词数目，
Figure DEST_PATH_IMAGE009
表示文本的第i个词的向量表示，
Figure DEST_PATH_IMAGE010
向量属于k维向量空间；
3.2)、文本词的上下文语义向量生成
将文本S输入双向长短期记忆网络层也叫Bi-LSTM层逐字处理；输出文本S中的i个词的正向语义
Figure 100002_DEST_PATH_IMAGE011
和逆向语义
Figure DEST_PATH_IMAGE012
；
3.3)、文本词模型构建
文本S中的第i个词的词向量
Figure 625020DEST_PATH_IMAGE009
正向语义
Figure 20230DEST_PATH_IMAGE011
和逆向语义
Figure 413032DEST_PATH_IMAGE012
，首先根据
Figure 100002_DEST_PATH_IMAGE013
运算求得关键的正向和逆向语义；其次进行运算
Figure DEST_PATH_IMAGE014
Figure 100002_DEST_PATH_IMAGE015
，得到文本S中第i个位置的词的特征表示
Figure DEST_PATH_IMAGE016
；那么该条文本S的特征表示为
Figure 100002_DEST_PATH_IMAGE017
，n表示文本的词数目；
Bi-LSTM局部语义合成运算为：
Figure DEST_PATH_IMAGE018
其中
Figure 100002_DEST_PATH_IMAGE019
表示向量逐元素相加然后求均值，‘-’表示向量逐元素相减。
(4)、文本表示模型构建
4.1)、2维卷积1维池化模块
4.1.1)、文本特征的2维卷积
文本词嵌入表示有时间步长维度和特征向量维度，将文本向量H传入2维卷积层；即在文本特征的时间步长维度和特征向量维度进行卷积运算；2维卷积器为
Figure DEST_PATH_IMAGE020
，表示卷积器m在时间步长维度上对a个词，特征向量维度上对b个特征进行卷积运算，卷积运算在两个维度方向移动的步长都为1；得到第j条文本的中间表示
Figure 100002_DEST_PATH_IMAGE021
，那么L条文本表示为
Figure DEST_PATH_IMAGE022
；
4.1.2)、文本特征向量维度1维池化
将卷积层得到的第j条文本的中间表达
Figure 986227DEST_PATH_IMAGE021
传入1维最大池化层，仅在文本特征的时间维度上进行最大池化运算；获取第j条文本在词的维度上的最大特征值, 得到该条文本表示
Figure 100002_DEST_PATH_IMAGE023
；
操作如下：
Figure DEST_PATH_IMAGE024
4.1.3)、文本特征的2维卷积
将经过1维池化得到的表示
Figure 315577DEST_PATH_IMAGE023
输入4.1.1) 文本特征的2维卷积，即重复 步骤4.1.1) 文本特征的2维卷积 得到第j条文本新的中间特征表示
Figure 576794DEST_PATH_IMAGE021
，那么L条文本表示为
Figure 100002_DEST_PATH_IMAGE025
，第j条文本的表示
Figure 245673DEST_PATH_IMAGE021
；
4.1.4)、文本语气特征生成
从文本语气词向量矩阵T中获取文本S的语气词向量
Figure DEST_PATH_IMAGE026
，组成r个语气词的向量集
Figure 100002_DEST_PATH_IMAGE027
；
4.2)、文本表示生成
4.2.1)、文本语气特征融合
将第j条文本的语气向量
Figure DEST_PATH_IMAGE028
与其特征表示
Figure 862206DEST_PATH_IMAGE021
进行融合；即将语气词向量放在文本特征
Figure 678852DEST_PATH_IMAGE021
之后，获得融合语气的第j条文本特征表示
Figure 100002_DEST_PATH_IMAGE029
;
4.2.2)、文本表示强化
将文本特征
Figure DEST_PATH_IMAGE030
再次进行1维最大池化运算，即在文本表示的时间步长维度（词维度）上进行最大池化运算，得到定长维度的文本特征表示；即选取第j条文本的词的维度上的最大特征值；最终得到第j条文本的融合文本语气的文本特征表示
Figure 100002_DEST_PATH_IMAGE031
；
附图说明
图1：一种融合文本语气的中文文本特征提取方法过程图；
图2：文本词表示模型；
图3：文本表示模型；
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。
图1：一种融合文本语气的中文文本特征提取方法包括：步骤(1)、海量文本词集和语气词集生成，通过文本集、文本语气词集生成每条文本的词、语气词集；(2)、词嵌入模型构建，通过训练Skip-gram、CBOW模型获得文本特征向量、语气词特征向量；(3)、文本词表示模型构建，通过Bi-LSTM层生成每条文本的词的上下文语义特征，然后结合初始化的词向量生成文本局部特征向量，再经过2维卷积1维池化得到文本中间全局特征；(4)、文本表示模型构建
下面对四个步骤进行详细说明。
(1)、海量文本词集和语气词集生成
1.1)、文本词集生成
对文本集中的每个文本进行分词，将文本集中的每条文本的词依次添加到集合
Figure 478181DEST_PATH_IMAGE001
中，最后得到文本词集
Figure 63883DEST_PATH_IMAGE002
，p表示文本集的词数目；
1.2)、文本语气词集生成
提取每条文本含有的语气词，将语气词添加到集合
Figure DEST_PATH_IMAGE032
中，最后得到文本数据中语气词集
Figure 57509DEST_PATH_IMAGE004
，q表示文本集合语气词的数目；其中
Figure 299134DEST_PATH_IMAGE032
是可能的语气词集E的子集，E={唉，了，哪，呢，呐，否，呵，哈，不，呸，吧，罢，呗，啦，唻，嘞，哩，咧，咯，啰，喽，吗，嘛，么，阿，啊，呃，哇，呀，也，耶，哟，欤，呕，噢，呦，一定，必定，难道，何尝，大概，也许，果然，果真，难怪，原来，不中，罢了，不成，得了，而已，了得，也罢，已而，也好，就是，一般，再说，不过，怪不得，就是了，不得了}；
(2)、词嵌入模型构建
2.1)、文本词向量模型构建
用Skip-gram模型训练文本词集
Figure 574258DEST_PATH_IMAGE005
得到每个词的k维词向量，p个词向量组成p行k列的文本词向量矩阵M，
Figure 280046DEST_PATH_IMAGE006
；
2.2)、文本语气向量模型构建
用CBOW模型训练语气词集
Figure 615212DEST_PATH_IMAGE003
得到每个语气词的k维词向量，q个语气词向量组成q行k列的文本语气词向量矩阵T，
Figure 406451DEST_PATH_IMAGE007
；
在图2：文本词表示模型；图3：文本表示模型，具体过程具体如下：
(3)、文本词表示模型构建
3.1)、文本初始向量生成
从文本词向量矩阵M获取一条文本的向量表示
Figure 485265DEST_PATH_IMAGE008
；其中0<i<n，n表示文本的词数目，
Figure 983242DEST_PATH_IMAGE009
表示文本的第i个词的向量表示，
Figure 817206DEST_PATH_IMAGE010
向量属于k维向量空间；
3.2)、文本词的上下文语义向量生成
将文本S输入双向长短期记忆网络层也叫Bi-LSTM层逐字处理；输出文本S中的i个词的正向语义
Figure 334556DEST_PATH_IMAGE011
和逆向语义
Figure 217062DEST_PATH_IMAGE012
；
3.3)、文本词模型构建
文本S中的第i个词的词向量
Figure 569545DEST_PATH_IMAGE009
正向语义
Figure 574411DEST_PATH_IMAGE011
和逆向语义
Figure 12345DEST_PATH_IMAGE012
，首先根据
Figure 495279DEST_PATH_IMAGE013
运算求得关键的正向和逆向语义；其次根据运算
Figure 967849DEST_PATH_IMAGE014
Figure 81298DEST_PATH_IMAGE015
，得到文本S中第i个位置的词的特征表示
Figure 68846DEST_PATH_IMAGE016
；那么该条文本S的特征表示为
Figure 293154DEST_PATH_IMAGE017
，n表示文本的词个数；
Bi-LSTM层局部语义合成运算
Figure 100002_DEST_PATH_IMAGE033
为：
Figure DEST_PATH_IMAGE034
其中
Figure 918432DEST_PATH_IMAGE019
表示向量逐元素相加然后求均值，‘-’表示向量逐元素相减。
(4)、文本表示模型构建
4.1)、2维卷积1维池化模块
4.1.1)、文本特征的2维卷积
文本词嵌入表示有时间步长维度和特征向量维度，将文本向量H传入2维卷积层；即在文本特征的时间步长维度和特征向量维度进行卷积运算；2维卷积器为
Figure 265100DEST_PATH_IMAGE020
，表示卷积器m在时间步长维度上对a个词，特征向量维度上对b个特征进行卷积运算，卷积运算在两个维度方向移动的步长都为1；得到第j条文本的中间表示
Figure 677627DEST_PATH_IMAGE021
，那么L条文本表示为
Figure 705626DEST_PATH_IMAGE022
；
例如：假设有N个卷积器；其中一个卷积器的映射特征
Figure 100002_DEST_PATH_IMAGE035
由一个范围的向量
Figure DEST_PATH_IMAGE036
通过卷积运算产生；
2维卷积运算为：
Figure 100002_DEST_PATH_IMAGE037
其中I从1到(n-a+1)，J从1到(k-b+1)，
Figure 100002_DEST_PATH_IMAGE039
表示向量点积，
Figure DEST_PATH_IMAGE040
是偏差项，
Figure 100002_DEST_PATH_IMAGE041
是非线性函数；
另外，第1个卷积器在一条文本表示为H的每个窗口范围中进行卷积运算生成的特征
Figure DEST_PATH_IMAGE042
, 其中
Figure 100002_DEST_PATH_IMAGE043
那么，第j条文本在N个卷积器生成的中间特征为：
Figure DEST_PATH_IMAGE044
，则L条文本生成的中间特征为
Figure 100002_DEST_PATH_IMAGE045
；
4.1.2)、文本特征向量维度1维池化
将卷积层得到的第j条文本的中间表达
Figure 635011DEST_PATH_IMAGE021
传入1维最大池化层，仅在文本特征的时间维度上进行最大池化运算；获取第j条文本在词的维度上的最大特征值, 得到该条文本表示
Figure 887001DEST_PATH_IMAGE023
；
操作如下：
Figure DEST_PATH_IMAGE046
4.1.3)、文本特征的2维卷积
将经过1维池化得到的表示
Figure 849141DEST_PATH_IMAGE023
输入4.1.1) 文本特征的2维卷积，即重复 步骤4.1.1) 文本特征的2维卷积 得到第j条文本新的中间特征表示
Figure 415251DEST_PATH_IMAGE021
，那么L条文本表示为
Figure 100002_DEST_PATH_IMAGE047
, 第j条文本的表示
Figure 280701DEST_PATH_IMAGE021
；
4.1.4)、文本语气特征生成
从文本语气词向量矩阵T中获取文本S的语气词向量
Figure DEST_PATH_IMAGE048
，组成r个语气词的向量集
Figure 100002_DEST_PATH_IMAGE049
；
4.2)、文本表示生成
4.2.1)、文本语气特征融合
将第j条文本的语气向量
Figure DEST_PATH_IMAGE050
与其特征表示
Figure 703592DEST_PATH_IMAGE021
进行融合；即将语气词向量放在文本特征
Figure 153028DEST_PATH_IMAGE021
之后，获得融合语气的新的文本特征表示
Figure 100002_DEST_PATH_IMAGE051
;
4.2.2)、文本表示强化
这一步最大池化操作的目的是用语气向量强化文本语义特征；将第j条文本的特征
Figure DEST_PATH_IMAGE052
再次进行1维最大池化，即在文本表示的时间步长维度（词维度）上进行最大池化运算，得到定长维度的文本特征表示；即选取第j条文本的词的维度上的最大特征值；最终得到第j条文本的融合文本语气的文本特征表示
Figure 100002_DEST_PATH_IMAGE053
Figure DEST_PATH_IMAGE054
。

Claims (2)

1.一种融合文本语气的中文文本特征提取方法，其特征在于，包括以下步骤：
(1)、海量文本词集和语气词集生成
1.1)、文本词集生成
对文本集中的每条文本进行分词，将每条文本的词添加到集合
Figure 756361DEST_PATH_IMAGE002
中，最后得到文本词集
Figure 83437DEST_PATH_IMAGE004
，p表示文本集的词数目；
1.2)、文本语气词集生成
提取每条文本中的语气词，将语气词添加到集合
Figure 102209DEST_PATH_IMAGE006
中，最后得到文本数据中的语气词集
Figure 577052DEST_PATH_IMAGE008
，q表示文本集合语气词的数目；其中
Figure 605051DEST_PATH_IMAGE006
是语气词集E的子集，E={唉，了，哪，呢，呐，否，呵，哈，不，呸，吧，罢，呗，啦，唻，嘞，哩，咧，咯，啰，喽，吗，嘛，么，阿，啊，呃，哇，呀，也，耶，哟，欤，呕，噢，呦，一定，必定，难道，何尝，大概，也许，果然，果真，难怪，原来，不中，罢了，不成，得了，而已，了得，也罢，而已，也好，就是，一般，再说，不过，怪不得，就是了，不得了}；
(2)、词嵌入模型构建
2.1)、文本词向量模型构建
用
Figure 848951DEST_PATH_IMAGE010
模型训练文本词集
Figure DEST_PATH_IMAGE011
得到文本中每个词的
Figure DEST_PATH_IMAGE013
维词向量，
Figure DEST_PATH_IMAGE015
个词向量组成
Figure 366520DEST_PATH_IMAGE015
行
Figure 763DEST_PATH_IMAGE013
列的文本词向量矩阵
Figure DEST_PATH_IMAGE017
；
2.2)、文本语气向量模型构建
用
Figure DEST_PATH_IMAGE019
模型训练语气词集
Figure 691508DEST_PATH_IMAGE006
得到文本中每个语气词的k维词向量，q个语气词向量组成q行k列的文本语气词向量矩阵T，
Figure DEST_PATH_IMAGE021
；
(3)、文本词表示模型构建
3.1)、文本初始向量生成
从文本词向量矩阵
Figure DEST_PATH_IMAGE023
获取一条文本的向量表示
Figure DEST_PATH_IMAGE025
；其中
Figure DEST_PATH_IMAGE027
表示该文本的词数目，
Figure DEST_PATH_IMAGE029
表示文本的第
Figure DEST_PATH_IMAGE031
个词的向量表示，
Figure DEST_PATH_IMAGE033
向量属于
Figure 177197DEST_PATH_IMAGE013
维向量空间；
3.2)、文本词的上下文语义向量生成
将文本
Figure DEST_PATH_IMAGE035
表示输入双向长短期记忆网络层也叫Bi-LSTM层逐字处理；输出文本
Figure DEST_PATH_IMAGE037
中的第i个词的正向语义
Figure DEST_PATH_IMAGE039
和逆向语义
Figure DEST_PATH_IMAGE041
；
3.3)、文本词模型构建
文本S中的第i个词的词向量为
Figure DEST_PATH_IMAGE043
，正向语义
Figure 990301DEST_PATH_IMAGE039
和逆向语义
Figure 174158DEST_PATH_IMAGE041
，首先根据
Figure DEST_PATH_IMAGE045
运算求得关键的正向和逆向语义；其次进行运算
Figure DEST_PATH_IMAGE047
Figure DEST_PATH_IMAGE049
，得到文本S中第i个位置的词的特征表示
Figure DEST_PATH_IMAGE051
；那么该条文本S的特征表示为
Figure DEST_PATH_IMAGE053
，n表示文本的词数目；
(4)、文本表示模型构建
4.1)、2维卷积1维池化模块
4.1.1)、文本特征的2维卷积
文本词嵌入表示有时间步长维度和特征向量维度，将文本表示H传入2维卷积层，也就是在文本表示的时间步长维度和特征向量维度进行卷积运算；2维卷积器为
Figure DEST_PATH_IMAGE055
，表示卷积器m在时间步长维度上对a个词，特征向量维度上对b个特征进行卷积运算，卷积操作在两个维度方向移动的步长都为1；得到第j条文本的中间表示
Figure DEST_PATH_IMAGE057
，那么L条文本特征表示为
Figure DEST_PATH_IMAGE059
；
4.1.2)、文本特征向量维度1维池化
将卷积层得到文本的中间表达
Figure 730910DEST_PATH_IMAGE057
传入1维最大池化层，仅在文本特征的时间步长维度上进行最大池化运算，即在文本表示的词的维度上获取最大特征值得到该条文本表示
Figure DEST_PATH_IMAGE061
；
4.1.3)、文本特征的2维卷积
将经过1维池化得到的文本表示
Figure 952331DEST_PATH_IMAGE061
输入4.1.1) 文本特征的2维卷积，即重复 步骤4.1.1) 文本特征的2维卷积 得到第j条文本新的中间特征表示
Figure 811703DEST_PATH_IMAGE057
，那么L条文本新的表示为
Figure DEST_PATH_IMAGE063
, 第j条文本的表示
Figure 420539DEST_PATH_IMAGE057
；
4.1.4)、文本语气特征生成
从文本语气词向量矩阵T中获取文本
Figure 390769DEST_PATH_IMAGE035
中的语气词向量
Figure DEST_PATH_IMAGE065
，组成r个语气词的向量集
Figure DEST_PATH_IMAGE067
；
4.2)、文本表示生成
4.2.1)、文本语气特征融合
将第j条文本的语气向量
Figure DEST_PATH_IMAGE069
与其特征表示
Figure 463767DEST_PATH_IMAGE057
进行融合；即将语气词向量
Figure 494040DEST_PATH_IMAGE069
放在文本特征
Figure 590172DEST_PATH_IMAGE057
之后，获得融合语气的该条文本特征
Figure DEST_PATH_IMAGE071
;
4.2.2)、文本表示强化
将第j条文本的特征
Figure DEST_PATH_IMAGE073
再次进行1维最大池化操作，即在文本表示的时间步长维度上进行最大池化操作，得到定长维度的文本特征表示；即选取第j条文本的词的维度上的最大特征值；提取到第j条文本的融合文本语气的文本特征表示
Figure DEST_PATH_IMAGE075
。
2.根据权利要求1中的特征提取方法，其特征在于；
(1)、神经网络权重、偏差的初始化采用小随机数权重初始化；
(2)、在2维卷积、1维池化操作后都采用dropout策略，即使神经元的激活值以一定的概率值停止工作，以达到避免过拟合的效果；模型训练过程中以交叉熵损失最小化为目标，反向传播更新每层的权重与偏差。
CN201710752000.0A 2017-08-28 2017-08-28 一种融合文本语气的中文文本特征提取方法 Expired - Fee Related CN107729311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710752000.0A CN107729311B (zh) 2017-08-28 2017-08-28 一种融合文本语气的中文文本特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710752000.0A CN107729311B (zh) 2017-08-28 2017-08-28 一种融合文本语气的中文文本特征提取方法

Publications (2)

Publication Number Publication Date
CN107729311A CN107729311A (zh) 2018-02-23
CN107729311B true CN107729311B (zh) 2020-10-16

Family

ID=61205496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710752000.0A Expired - Fee Related CN107729311B (zh) 2017-08-28 2017-08-28 一种融合文本语气的中文文本特征提取方法

Country Status (1)

Country Link
CN (1) CN107729311B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416058B (zh) * 2018-03-22 2020-10-09 北京理工大学 一种基于Bi-LSTM输入信息增强的关系抽取方法
CN108614678A (zh) * 2018-04-20 2018-10-02 郑州科技学院 一种基于人工智能的多功能智能人机交互方法
CN108682418B (zh) * 2018-06-26 2022-03-04 北京理工大学 一种基于预训练和双向lstm的语音识别方法
CN109271637B (zh) * 2018-09-30 2023-12-01 科大讯飞股份有限公司 一种语义理解方法及装置
CN111435597B (zh) * 2019-01-15 2023-01-10 珠海格力电器股份有限公司 语音信息的处理方法和装置
CN110263152B (zh) * 2019-05-07 2024-04-09 平安科技（深圳）有限公司 基于神经网络的文本分类方法、系统及计算机设备
WO2021000362A1 (zh) * 2019-07-04 2021-01-07 浙江大学 一种基于深度神经网络模型的地址信息特征抽取方法
CN110674129A (zh) * 2019-08-14 2020-01-10 平安科技（深圳）有限公司 异常事件处理方法、系统、计算机设备及存储介质
CN111026845B (zh) * 2019-12-06 2021-09-21 北京理工大学 一种获取多层次上下文语义的文本分类方法
CN112364167A (zh) * 2020-11-20 2021-02-12 携程计算机技术（上海）有限公司 基于深度学习的意图识别方法、系统、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502994A (zh) * 2016-11-29 2017-03-15 上海智臻智能网络科技股份有限公司 一种文本的关键词提取的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893410A (zh) * 2015-11-18 2016-08-24 乐视网信息技术（北京）股份有限公司 一种关键词提取方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502994A (zh) * 2016-11-29 2017-03-15 上海智臻智能网络科技股份有限公司 一种文本的关键词提取的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Cross-Modal Approach for Extracting Semantic Relationships Between Concepts Using Tagged Images;Marie Katsurai et al.;《IEEE Transactions on Multimedia》;20140630;第16卷(第4期);第1059-1074页 *
基于词嵌入扩充的口语对话文本领域分类;杨萌萌 等;《新疆大学学报(自然科学版)》;20160531;第33卷(第2期);第209-214页，第220页 *

Also Published As

Publication number Publication date
CN107729311A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107729311B (zh) 一种融合文本语气的中文文本特征提取方法
CN106650813B (zh) 一种基于深度残差网络和lstm的图像理解方法
Huang et al. Facial expression recognition with grid-wise attention and visual transformer
CN109902293B (zh) 一种基于局部与全局互注意力机制的文本分类方法
CN108319686B (zh) 基于受限文本空间的对抗性跨媒体检索方法
CN106202010B (zh) 基于深度神经网络构建法律文本语法树的方法和装置
CN113254599B (zh) 一种基于半监督学习的多标签微博文本分类方法
CN106547735B (zh) 基于深度学习的上下文感知的动态词或字向量的构建及使用方法
Donahue et al. Long-term recurrent convolutional networks for visual recognition and description
CN110765775B (zh) 一种融合语义和标签差异的命名实体识别领域自适应的方法
CN110738026B (zh) 用于生成描述文本的方法和设备
CN108733837B (zh) 一种病历文本的自然语言结构化方法及装置
CN109740148A (zh) 一种BiLSTM结合Attention机制的文本情感分析方法
CN112487182A (zh) 文本处理模型的训练方法、文本处理方法及装置
Grcić et al. Densely connected normalizing flows
CN110110323B (zh) 一种文本情感分类方法和装置、计算机可读存储介质
CN106569998A (zh) 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN108830287A (zh) 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法
CN107273913B (zh) 一种基于多特征融合的短文本相似度计算方法
CN107608956A (zh) 一种基于cnn‑grnn的读者情绪分布预测算法
CN110826338B (zh) 一种单选择门与类间度量的细粒度语义相似识别的方法
Peng et al. Research on image feature extraction and retrieval algorithms based on convolutional neural network
CN107480132A (zh) 一种基于图像内容的古诗词生成方法
CN110083710A (zh) 一种基于循环神经网络与潜变量结构的词语定义生成方法
CN110162789A (zh) 一种基于汉语拼音的词表征方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201016

Termination date: 20210828