CN113343706B - 基于多模态特征和语义规则的文本抑郁倾向检测系统 - Google Patents
基于多模态特征和语义规则的文本抑郁倾向检测系统 Download PDFInfo
- Publication number
- CN113343706B CN113343706B CN202110584120.0A CN202110584120A CN113343706B CN 113343706 B CN113343706 B CN 113343706B CN 202110584120 A CN202110584120 A CN 202110584120A CN 113343706 B CN113343706 B CN 113343706B
- Authority
- CN
- China
- Prior art keywords
- text
- feature
- word
- emotion
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 153
- 230000008451 emotion Effects 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims 2
- 238000004458 analytical method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000994 depressogenic effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013145 classification model Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本公开提供了一种基于多模态特征和语义规则的文本抑郁倾向检测系统，工作方法为：获取待处理的文本数据，对获取的文本数据进行预处理；根据预处理后的文本数据和预设词嵌入模型，得到词嵌入向量；根据预处理后的文本数据、预设情感词典和预设语义规则，得到文本的情感值特征向量；提取文本数据中的词性特征向量，与词嵌入向量拼接后，得到单词级别的特征向量表示；提取文本数据中的词频特征向量，与情感值特征向量拼接后，得到句子级别的特征向量表示；根据单词级别的特征向量表示、句子级别的特征向量表示以及预设CNN‑BiLSTM网络模型，得到最终的分类结果；本公开考虑了文本的情感信息，提取了多模态的文本特征，提高了文本抑郁倾向检测的精度。
Description
技术领域
本公开涉及文本数据处理技术领域，特别涉及一种基于多模态特征和语义规则的文本抑郁倾向检测系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
抑郁症是一种严重的精神疾病，随着社交媒体的迅速发展，患有精神疾病的用户会在社交平台上发布一些帖子，以在线寻求帮助和支持，这使得庞大的数据可供研究人员进行分析。在这项工作中，本实施例的主要检测Reddit数据集上患有抑郁倾向的用户。
发明人发现，在基于文本数据的抑郁倾向检测技术方面，现有的方法大多都采用词嵌入的方法作为词或句子的向量表示，缺乏情感信息，不能精确捕获句子的整体情感；并且，由于社交媒体帖子书写随意性、并过多使用网络词语，因此采用传统词嵌入的方式无法捕获句子更丰富的情感方面的信息，从而导致模型分类精度不高。
发明内容
为了解决现有技术的不足，本公开提供了一种基于多模态特征和语义规则的文本抑郁倾向检测系统，考虑了文本的情感信息，提取了多模态的文本特征，提高了文本抑郁倾向检测的精度。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于多模态特征和语义规则的文本抑郁倾向检测系统。
一种基于多模态特征和语义规则的文本抑郁倾向检测系统，包括：
数据获取模块，被配置为：获取待处理的文本数据，对获取的文本数据进行预处理；
词嵌入模块，被配置为：根据预处理后的文本数据和预设词嵌入模型，得到词嵌入向量；
情感值特征向量获取模块，被配置为：根据预处理后的文本数据、预设情感词典和预设语义规则，得到文本的情感值特征向量；
单词级特征向量获取模块，被配置为：提取文本数据中的词性特征向量，与词嵌入向量拼接后，得到单词级别的特征向量表示；
句子级特征向量获取模块，被配置为：提取文本数据中的词频特征向量，与情感值特征向量拼接后，得到句子级别的特征向量表示；
分类模块，被配置为：根据单词级别的特征向量表示、句子级别的特征向量表示以及预设CNN-BiLSTM网络模型，得到最终的分类结果。
进一步的，分类模块中，将单词级别的特征向量表示和句子级别的特征向量表示，分别输入到预设卷积神经网络中，将两个卷积神经网络输出的高层特征进行融合后输入到预设Bi-LSTM网络模型中，得到分类结果。
进一步的，对获取的文本数据进行预处理，包括：
从文本数据中提取标题、内容和标签，去除由于已删除内容而缺少的数据以及不相关数据，将文本数据转换为小写字母。
进一步的，采用Word2vec词嵌入模型生成嵌入向量。
进一步的，利用扩充后的SenticNet4情感词典，根据情感词典中每个单词的情感极性值和预设语义规则，进行句子情感值计算，得到文本的情感值特征向量。
进一步的，语义规则，包括：
若文本数据中出现感叹号或者问号，文本或句子的情感极性增强。
进一步的，语义规则，包括：若句子同时含有大小写，全部大写的单词情感强度增强。
进一步的，语义规则，包括：若句子中的情感词前面存在程度副词，文本或句子的情感极性增强。
进一步的，语义规则，包括：如果句子中存在转折连词，只考虑转折连词后面的句子情感极性。
进一步的，语义规则，包括：如果句子中存在否定词，考虑否定词相关联的词的相反情感极性。
进一步的，语义规则，包括：如果句子为反问句，将句中情感词乘以相应的权值。
进一步的，语义规则，包括：如果句子中包含表情符号，根据表情符号所代表的含义判断句子或文本的情感极性。
本公开第二方面提供了一种基于多模态特征和语义规则的文本抑郁倾向检测方法。
一种基于多模态特征和语义规则的文本抑郁倾向检测方法，包括以下过程：
获取待处理的文本数据，对获取的文本数据进行预处理；
根据预处理后的文本数据和预设词嵌入模型，得到词嵌入向量；
根据预处理后的文本数据、预设情感词典和预设语义规则，得到文本的情感值特征向量；
提取文本数据中的词性特征向量，与词嵌入向量拼接后，得到单词级别的特征向量表示；
提取文本数据中的词频特征向量，与情感值特征向量拼接后，得到句子级别的特征向量表示；
根据单词级别的特征向量表示、句子级别的特征向量表示以及预设CNN-BiLSTM网络模型，得到最终的分类结果。
本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第二方面所述的基于多模态特征和语义规则的文本抑郁倾向检测方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第二方面所述的基于多模态特征和语义规则的文本抑郁倾向检测方法中的步骤。
与现有技术相比，本公开的有益效果是：
本公开所述的方法、系统、介质或电子设备，采用多模态特征提取方式，分别对文本数据的单词级别和句子级别提取特征，构建基于单词和基于句子的特征表示，将多模态的特征表示进行融合，获取更丰富的文本特征，结合词嵌入输入到深度学习模型中，提高了文本抑郁倾向检测的准确度。
本公开所述的方法、系统、介质或电子设备，根据提出的7种语义规则，结合扩充后的情感词典对文本进行句法分析，从而得到每个文本的情感值特征，进一步的提高了文本抑郁倾向检测的准确度。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的基于多模态特征和语义规则的文本抑郁倾向检测方法的模型框架图。
图2为本公开实施例1提供的基于多模态特征和语义规则的文本抑郁倾向检测方法的实验数据概要图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1和图2所示，本公开实施例1提供了一种基于多模态特征和语义规则的文本抑郁倾向检测方法，包括以下过程：
获取待处理的文本数据，对获取的文本数据进行预处理；
根据预处理后的文本数据和预设词嵌入模型，得到词嵌入向量；
根据预处理后的文本数据、预设情感词典和预设语义规则，得到文本的情感值特征向量；
提取文本数据中的词性特征向量，与词嵌入向量拼接后，得到单词级别的特征向量表示；
提取文本数据中的词频特征向量，与情感值特征向量拼接后，得到句子级别的特征向量表示；
根据单词级别的特征向量表示、句子级别的特征向量表示以及预设CNN-BiLSTM网络模型，得到最终的分类结果。
具体的，包括以下内容：
S1：分类模型构建
S1.1：获取Reddit社交媒体帖子的文本数据；
具体地，数据收集方式是根据JT Wolohan的数据收集方式进行收集的。
具体地，使用Python Reddit API包装器(PRAW)从Reddit社交媒体平台的两个子文件中爬取了数据：/r/depression和/r/AskReddit。
其中，从/r/depression中爬取的文本数据的标签标记为抑郁，从/r/AskReddit中爬取的文本数据标签标记为非抑郁。
将抑郁倾向检测问题作为二分类任务，采用的数据集Data＝{d1，d2，d3，...，dn}，类别标签表示该文本是否具有抑郁倾向，用二进制表示Label＝{0，1}，其中1表示具有抑郁倾向的帖子，0表示不具有抑郁倾向的帖子。
具体地，所述文本清洗即对数据进行预处理。从原始数据中提取标题，内容和标签等必要特征。除去了由于已删除内容而缺少的数据。将文本转换为小写字母，此外，诸如subreddit，警告，html标签，以及额外的数字和标点符号等不相关数据将被删除。抑郁文本标记为1，非抑郁注文本标记为0。预处理后的数据总共包含5473条注释：被标记为“抑郁”的2718个样本和被标记为“非抑郁”的2755个样本，因此，该数据集在分析和建模方面极为平衡。数据集按70％-30％的比例分为训练集和测试集。在训练数据中，30％的样本用于模型验证。
S1.2：使用Word2vec词嵌入模型生成嵌入向量，将每一个单词嵌入到向量中。将输入的文本数据转化为词的向量表示，Word2vec是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。
首先将输入的抑郁倾向检测文本转换成单词序列，嵌入维度设置为300，Word2vec将数据语料库中每一个词都表示成300维的向量。
假设S表示数据中的一个文本S＝{w1，w2，W3，...，wn}，其中wi(1≤i≤n)表示文本中的第i个单词。使用Word2vec词嵌入模型生成嵌入向量，将每一个单词嵌入到向量中。针对序列S，对每一个单词wi，其对应的单词向量表示为对于数据中的标签，采取one-hot编码的形式。
本实施例中，使用SenticNet4.0情感词典，并仅使用了该情感词典中单个单词概念去提取抑郁文本中词的情感信息方面的特征，包括单词的情感属性特征和情感极性值特征。
本实施例中仅使用情感词典中每个单词的情感极性值特征，对原有的SenticNet4.0情感词典做了进一步的扩充，融入了457个新的元素信息，包括一些常用的网络表情符号，如“:)”，并考虑了常用网络流行用语的情感，如LOL，favo等表示正面情感，IFU，VSF，SIGH等表示负面情感，以及常用俚语，如Gorgeous，giggly等。
为了客观评价457个元素所表达的情感值，本实施例中招募了10名志愿者，志愿者在没有其他因素干扰的情况下，对每个元素所反映的情感值进行评分，评分范围从-2到2分别表示极度正面和极度负面情感，并将评分取平均值，最后将其归一化为[-1,1]范围内的值，从而得到每个新加入的元素的情感极性值。
本实施例中，制定了对句子进行句法分析等操作的一些规则，包括考虑了句子中的标点符号，单词的大小写，程度副词，连词，否定词，反问句分析以及表情符号分析等，以下为具体对情感句子进行句法分析操作的7种分析规则的描述：
(1)标点符号：例如“！”“？”，这些标点符号是依附于它所在文本的情感极性，可以是正面情感或负面情感的句子，起到加强句子的情感强度的作用；
(2)单词大小写：若句子同时含有大小写，则全部大写的单词会显明用户想要重强调该词，因此全部大写的单词情感强度会加强；
(3)程度副词：若句子中的情感词前面存在程度副词，则将会加强该情感词的正面情感或者负面情感极性强度。例如“extremely bad”会比“bad”的负面情感要强；
(4)连词：如果句子中存在像“but”，“while”“和However”等转折连词，会使句子前后的情感极性相反，而总的语义表达通常在这些词之后，因此本实施例只考虑转折连词后面的句子情感极性；
(5)否定词：如果句子中存在“not”等否定词，也会导致句子前后具有相反的情感极性。比如“I am not happy”，“happy”是正面情感词，而前面加上“not”之后，使得整个句子表达的是一种负面情感。
(6)反问句：反问句的目的往往是加强语气，把原本的思想表达更加强烈、鲜明。它通常比陈述句表达更为有力，感情色彩也更加明显。通过句尾有“？”的出现以及反问标志词来判断句子是否为反问句。如果为反问句，就将句中情感词乘以相应的权值，以表示情感强度的加强。
(7)表情符号：符号暗含了感情色彩，人们常用合适的表情来直接表达某种心情。比如“No one came to accompany me today>；(”，不考虑表情符号时，整个句子表达的是一种客观陈述，不包含任何情感色彩，但加上表情符号“>；(”就传达了一种负面情感。
本实施例使用前面叙述中扩充后的SenticNet4情感词典，并根据情感词典中每个单词的情感极性值和上述制定的7种句法分析规则，进行句子情感值计算，从而得到每个文本的情感值特征。
所述提取单词级别和句子级别的特征。具体地，在提取单词级别的特征中，提取了单词的1维词性特征，并将其和Word2vec得到的300维词嵌入向量进行拼接，从而得到基于单词级别的301维的特征表示。在提取句子级别的特征中，提取了n-gram的TF-IDF词频特征，包括unigram和bigram，并利用互信息进行特征筛选，选取了TF-IDF词频矩阵中互信息最大的前1000个特征作为文本的向量表示，此外，还根据情感词典并结合7种语义规则，得到1维的文本情感值特征，并将其与词频特征进行拼接，从而获得句子级别的1001维的特征表示。
设定文本数据的最大句子长度为3000，根据文本数据的句子长度将文本加到最大长度，不足的地方填充零，以保证相同的向量维度，以便有效地对文本进行批量处理。
将得到的301维的单词级别的向量表示和1001维的句子级别的向量表示，分别输入到CNN网络中，再将两个CNN网络输出的高层特征进行融合，作为Bi-LSTM网络的输入，最终输入到sigmoid层做分类。
本实施例中采用多模态特征提取方式，是分别对文本数据的单词和句子级别提取特征，构建基于单词和基于句子的特征表示，将多模态的特征表示进行融合，获取更丰富的文本特征，并结合词嵌入输入到深度学习模型中，此外，还提出了7种语义规则，结合扩充后的情感词典对文本进行句法分析，从而得到每个文本的情感值特征，可以提高文本抑郁倾向检测的准确度。
S1.3：基于深度神经网络模型，训练抑郁倾向检测分类模型。
卷积神经网络CNN模型可以提取文本的本地特征并提高分类的准确性，但它无法更好的表达上下文信息，而LSTM克服了CNN无法捕获长距离文本特征的缺点，可以保存历史信息，提取上下文文本的依赖关系，在训练过程可以学习需要记忆哪些信息和遗忘哪些信息。
比如，“I feel not good about myself”，“not”是对“good”的否定，既该句子的情感极性为消极。虽然LSTM模型可以提取长距离文本信息，但它存在一个问题，即无法编码从后向前的信息，LSTM只能依据之前时刻的时序信息来预测下一时刻的输出，但在有些问题中，当前时刻的输出不仅和之前的状态有关，还可能和未来的状态有关系。比如预测一句话中缺失的单词不仅需要根据前文来判断，还需要考虑它后面的内容，真正做到基于上下文判断。BiLSTM通过前向的LSTM与后向的LSTM叠加在一起组成，因此BiLSTM模型的输出由这两个叠加的LSTM的状态共同决定，可以更好的捕获双向语义。因此，本实施例中使用CNN-BiLSTM混合模型作为抑郁倾向检测分类模型。
为了更好的提取单词特征，将由Word2vec模型得到的每个单词300维词嵌入矩阵后，将其与1维的词性特征向量表示进行拼接得到301维的特征表示，作为CNN网络的输入向量。因此，输入向量vi表示为：
vi＝vw2v：vpos (2)
其中，vw2v表示采用Word2vec模型生成的嵌入向量，vpos表示采用单词的词性特征向量。
将由TF-IDF词频特征和文本情感值特征拼接得到的1001维特征表示作为CNN模型的输入，因此，该部分的输入向量ti表示为：
ti＝vtfidf：vrule (3)
其中，vtfidf表示TF-IDF词频特征，vrule表示文本情感值特征。
本实验使用深度学习模型进行特征提取，分别将CNN模型应用于上述301维的特征表示向量vi和1001维的特征表示向量ti，二者分别经过CNN模型后，得到：
Vi＝CNN(vi) (4)
Ti＝CNN(ti) (5)
其中，Vi，Ti分别表示经过CNN模型后生成的高层特征。
将得到的Vi，Ti特征向量进行融合，作为Bi-LSTM模型的输入。
MixedFeature＝concatenate(Vi，Ti) (6)
Fea＝BiLSTM(MixedFeature) (7)
其中，MixedFeature表示融合后的特征向量，Fea表示融合后的特征向量经过BiLSTM模型得到的输出向量。
最后，将高层特征Fea输入到Sigmoid层进行分类，得到最终的预测结果Result：
Result＝Sigmoid(Fea) (8)
步骤4：基于测试数据，采用训练得到的文本抑郁倾向检测分类模型进行抑郁倾向的检测并进行评价。
采用评价指标进行评价时，分别采用准确率P，召回率R和F值作为评价指标：
S2：抑郁倾向检测阶段
在经过模型训练获取模型参数，以及进行了模型精度评价之后，上述模型即可部署于社交媒体平台，用于对平台上的社交媒体帖子进行抑郁倾向检测，包括：
获取社交媒体平台的文本数据，基于抑郁倾向检测分类模型检测该帖子是否具有抑郁倾向。
使用CNN-BiLSTM模型训练抑郁倾向检测分类模型，具有较高的准确度和执行效率。本实施例运用文本分析和数据挖掘技术对社交媒体帖子进行抑郁倾向检测，检测该帖子是否具有抑郁倾向，达到疾病的预警作用，从而相关平台可采取必要的干预，进一步分析检测用户，确定其是否真正抑郁。
本实施例提供的CNN_BiLSTM神经网络混合模型，训练了一个帖子级别的分类器，可预测某条推文是否具有抑郁倾向，它不是直接将用户标记为抑郁患者，而是通过该分类器将用户标记为具有抑郁倾向，达到疾病的预警作用，从而相关平台可采取必要的干预，进一步分析检测用户，确定其是否真正抑郁。
实施例2：
本公开实施例2提供了一种基于多模态特征和语义规则的文本抑郁倾向检测系统，包括：
数据获取模块，被配置为：获取待处理的文本数据，对获取的文本数据进行预处理；
词嵌入模块，被配置为：根据预处理后的文本数据和预设词嵌入模型，得到词嵌入向量；
情感值特征向量获取模块，被配置为：根据预处理后的文本数据、预设情感词典和预设语义规则，得到文本的情感值特征向量；
单词级特征向量获取模块，被配置为：提取文本数据中的词性特征向量，与词嵌入向量拼接后，得到单词级别的特征向量表示；
句子级特征向量获取模块，被配置为：提取文本数据中的词频特征向量，与情感值特征向量拼接后，得到句子级别的特征向量表示；
分类模块，被配置为：根据单词级别的特征向量表示、句子级别的特征向量表示以及预设CNN-BiLSTM网络模型，得到最终的分类结果。
所述系统的工作方法与实施例1提供的基于多模态特征和语义规则的文本抑郁倾向检测方法相同，这里不再赘述。
实施例3：
本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于多模态特征和语义规则的文本抑郁倾向检测方法中的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于多模态特征和语义规则的文本抑郁倾向检测方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (15)
1.一种基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：包括：
数据获取模块，被配置为：获取待处理的文本数据，对获取的文本数据进行预处理，获取文本数据具体为：数据收集方式是根据JT Wolohan的数据收集方式进行收集的，使用Python Reddit API包装器，从Reddit社交媒体平台的两个子文件中爬取了数据：/r/depression和/r/AskReddit；其中，从/r/depression中爬取的文本数据的标签标记为抑郁，从/r/AskReddit中爬取的文本数据标签标记为非抑郁；
词嵌入模块，被配置为：根据预处理后的文本数据和预设词嵌入模型，得到词嵌入向量；
情感值特征向量获取模块，被配置为：根据预处理后的文本数据、预设情感词典和预设语义规则，得到文本的情感值特征向量；
单词级特征向量获取模块，被配置为：提取文本数据中的词性特征向量，与词嵌入向量拼接后，得到单词级别的特征向量表示；
句子级特征向量获取模块，被配置为：提取文本数据中的词频特征向量，与情感值特征向量拼接后，得到句子级别的特征向量表示；
分类模块，被配置为：根据单词级别的特征向量表示、句子级别的特征向量表示以及预设CNN-BiLSTM网络模型，得到最终的分类结果；
所述预设CNN-BiLSTM网络模型具体为：将由Word2vec模型得到的每个单词300维词嵌入矩阵后，将其与1维的词性特征向量表示进行拼接得到301维的特征表示，作为CNN网络的输入向量，输入向量vi表示为：
vi＝vw2v：vpos
其中，vw2v表示采用Word2vec模型生成的嵌入向量，vpos表示采用单词的词性特征向量；
将由TF-IDF词频特征和文本情感值特征拼接得到的1001维特征表示作为CNN模型的输入，输入向量ti表示为：
ti＝vtfidf：vrule
其中，vtfidf表示TF-IDF词频特征，vrule表示文本情感值特征；
将CNN模型应用于301维的特征表示向量vi和1001维的特征表示向量ti，二者分别经过CNN模型后，得到：
Vi＝CNN(vi)
Ti＝CNN(ti)
其中，Vi，Ti分别表示经过CNN模型后生成的高层特征；
将得到的Vi，Ti特征向量进行融合，作为Bi-LSTM模型的输入；
MixedFeature＝concatenate(Vi，Ti)
Fea＝BiLSTM(MixedFeature)
其中，MixedFeature表示融合后的特征向量，Fea表示融合后的特征向量经过BiLSTM模型得到的输出向量；
将高层特征Fea输入到Sigmoid层进行分类，得到最终的预测结果Result：
Result＝Sigmoid(Fea)。
2.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
分类模块中，将单词级别的特征向量表示和句子级别的特征向量表示，分别输入到预设卷积神经网络中，将两个卷积神经网络输出的高层特征进行融合后输入到预设Bi-LSTM网络模型中，得到分类结果。
3.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
对获取的文本数据进行预处理，包括：
从文本数据中提取标题、内容和标签，去除由于已删除内容而缺少的数据以及不相关数据，将文本数据转换为小写字母。
4.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
采用Word2vec词嵌入模型生成嵌入向量。
5.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
利用扩充后的SenticNet4情感词典，根据情感词典中每个单词的情感极性值和预设语义规则，进行句子情感值计算，得到文本的情感值特征向量。
6.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
语义规则，包括：
若文本数据中出现感叹号或者问号，文本或句子的情感极性增强。
7.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
语义规则，包括：
若句子同时含有大小写，全部大写的单词情感强度增强。
8.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
语义规则，包括：
若句子中的情感词前面存在程度副词，文本或句子的情感极性增强。
9.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
语义规则，还包括：
如果句子中存在转折连词，只考虑转折连词后面的句子情感极性。
10.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
语义规则，还包括：
如果句子中存在否定词，考虑否定词相关联的词的相反情感极性。
11.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
语义规则，还包括：
如果句子为反问句，将句中情感词乘以相应的权值。
12.如权利要求1所述的基于多模态特征和语义规则的文本抑郁倾向检测系统，其特征在于：
语义规则，还包括：
如果句子中包含表情符号，根据表情符号所代表的含义判断句子或文本的情感极性。
13.一种基于多模态特征和语义规则的文本抑郁倾向检测方法，其特征在于：包括以下过程：
获取待处理的文本数据，对获取的文本数据进行预处理；获取文本数据具体为：数据收集方式是根据JT Wolohan的数据收集方式进行收集的，使用Python Reddit API包装器从Reddit社交媒体平台的两个子文件中爬取了数据：/r/depression和/r/AskReddit；其中，从/r/depression中爬取的文本数据的标签标记为抑郁，从/r/AskReddit中爬取的文本数据标签标记为非抑郁；
根据预处理后的文本数据和预设词嵌入模型，得到词嵌入向量；
根据预处理后的文本数据、预设情感词典和预设语义规则，得到文本的情感值特征向量；
提取文本数据中的词性特征向量，与词嵌入向量拼接后，得到单词级别的特征向量表示；
提取文本数据中的词频特征向量，与情感值特征向量拼接后，得到句子级别的特征向量表示；
根据单词级别的特征向量表示、句子级别的特征向量表示以及预设CNN-BiLSTM网络模型，得到最终的分类结果；
所述预设CNN-BiLSTM网络模型具体为：将由Word2vec模型得到的每个单词300维词嵌入矩阵后，将其与1维的词性特征向量表示进行拼接得到301维的特征表示，作为CNN网络的输入向量，输入向量vi表示为：
vi＝vw2v：vpos
其中，vw2v表示采用Word2vec模型生成的嵌入向量，vpos表示采用单词的词性特征向量；
将由TF-IDF词频特征和文本情感值特征拼接得到的1001维特征表示作为CNN模型的输入，输入向量ti表示为：
ti＝vtfidf：vrule
其中，vtfidf表示TF-IDF词频特征，vrule表示文本情感值特征；
将CNN模型应用于301维的特征表示向量vi和1001维的特征表示向量ti，二者分别经过CNN模型后，得到：
Vi＝CNN(vi)
Ti＝CNN(ti)
其中，Vi，Ti分别表示经过CNN模型后生成的高层特征；
将得到的Vi，Ti特征向量进行融合，作为Bi-LSTM模型的输入；
MixedFeature＝concatenate(Vi，Ti)
Fea＝BiLSTM(MixedFeature)
其中，MixedFeature表示融合后的特征向量，Fea表示融合后的特征向量经过BiLSTM模型得到的输出向量；
将高层特征Fea输入到Sigmoid层进行分类，得到最终的预测结果Result：
Result＝Sigmoid(Fea)。
14.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求13所述的基于多模态特征和语义规则的文本抑郁倾向检测方法中的步骤。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求13所述的基于多模态特征和语义规则的文本抑郁倾向检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584120.0A CN113343706B (zh) | 2021-05-27 | 2021-05-27 | 基于多模态特征和语义规则的文本抑郁倾向检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110584120.0A CN113343706B (zh) | 2021-05-27 | 2021-05-27 | 基于多模态特征和语义规则的文本抑郁倾向检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113343706A CN113343706A (zh) | 2021-09-03 |
| CN113343706B true CN113343706B (zh) | 2023-10-31 |
Family
ID=77471707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110584120.0A Active CN113343706B (zh) | 2021-05-27 | 2021-05-27 | 基于多模态特征和语义规则的文本抑郁倾向检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113343706B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113779251B (zh) * | 2021-09-08 | 2024-04-19 | 平安国际智慧城市科技股份有限公司 | 线索信息获取方法、装置、介质及电子设备 |
| CN114547315A (zh) * | 2022-04-25 | 2022-05-27 | 湖南工商大学 | 一种案件分类预测方法、装置、计算机设备及存储介质 |
| CN115714002B (zh) * | 2022-09-06 | 2023-08-11 | 湖南工商大学 | 抑郁风险检测模型训练方法、抑郁症状预警方法及相关设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108433A (zh) * | 2017-12-19 | 2018-06-01 | 杭州电子科技大学 | 一种基于规则和数据网络融合的情感分析方法 |
| CN108563635A (zh) * | 2018-04-04 | 2018-09-21 | 北京理工大学 | 一种基于情感轮模型的情感词典快速构建方法 |
| CN108874937A (zh) * | 2018-05-31 | 2018-11-23 | 南通大学 | 一种基于词性结合和特征选择的情感分类方法 |
| CN109918649A (zh) * | 2019-02-01 | 2019-06-21 | 杭州师范大学 | 一种基于微博文本的自杀风险识别方法 |
-
2021
- 2021-05-27 CN CN202110584120.0A patent/CN113343706B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108433A (zh) * | 2017-12-19 | 2018-06-01 | 杭州电子科技大学 | 一种基于规则和数据网络融合的情感分析方法 |
| CN108563635A (zh) * | 2018-04-04 | 2018-09-21 | 北京理工大学 | 一种基于情感轮模型的情感词典快速构建方法 |
| CN108874937A (zh) * | 2018-05-31 | 2018-11-23 | 南通大学 | 一种基于词性结合和特征选择的情感分类方法 |
| CN109918649A (zh) * | 2019-02-01 | 2019-06-21 | 杭州师范大学 | 一种基于微博文本的自杀风险识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| Deep Context-Aware Embedding for Abusive and Hate Speech detection on Twitter;Usman Naseem;《Australian Journal of Intelligent Information Processing Systems》;20191231;第69-76页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113343706A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113343706B (zh) | 基于多模态特征和语义规则的文本抑郁倾向检测系统 | |
| CN108647205B (zh) | 细粒度情感分析模型构建方法、设备及可读存储介质 | |
| KR20190133931A (ko) | 문장 패러프레이즈 인식 기반 대화 시스템 답변 방법 | |
| CN111460092B (zh) | 一种基于多文档的复杂问题自动化求解方法 | |
| Tabassum et al. | A survey on text pre-processing & feature extraction techniques in natural language processing | |
| Krasnowska-Kieraś et al. | Empirical linguistic study of sentence embeddings | |
| US20230069935A1 (en) | Dialog system answering method based on sentence paraphrase recognition | |
| CN111221939A (zh) | 评分方法、装置和电子设备 | |
| Zhao et al. | ZYJ123@ DravidianLangTech-EACL2021: Offensive language identification based on XLM-RoBERTa with DPCNN | |
| CN113312530B (zh) | 一种以文本为核心的多模态情感分类方法 | |
| CN112765974B (zh) | 一种业务辅助方法、电子设备及可读存储介质 | |
| CN113361252B (zh) | 基于多模态特征和情感词典的文本抑郁倾向检测系统 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN111339772B (zh) | 俄语文本情感分析方法、电子设备和存储介质 | |
| CN112800184A (zh) | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 | |
| Najafi et al. | Text-to-Text Transformer in Authorship Verification Via Stylistic and Semantical Analysis. | |
| CN112818698B (zh) | 一种基于双通道模型的细粒度的用户评论情感分析方法 | |
| CN114298021A (zh) | 基于情感值选择评论的谣言检测方法 | |
| Mahmoud et al. | Artificial method for building monolingual plagiarized Arabic corpus | |
| CN111191029B (zh) | 基于监督学习和文本分类的ac构建方法 | |
| CN116414988A (zh) | 基于依赖关系增强的图卷积方面级情感分类方法及系统 | |
| CN117076608A (zh) | 一种基于文本动态跨度的整合外部事件知识的脚本事件预测方法及装置 | |
| CN111046168A (zh) | 用于生成专利概述信息的方法、装置、电子设备和介质 | |
| KR20210053539A (ko) | 특허 신규성 판단 시스템 및 방법 | |
| Samo et al. | Health-related content in transformer-based deep neural network language models: exploring cross-linguistic syntactic bias. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |