CN113158656B - 讽刺内容识别方法、装置、电子设备以及存储介质 - Google Patents
讽刺内容识别方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN113158656B CN113158656B CN202011561236.4A CN202011561236A CN113158656B CN 113158656 B CN113158656 B CN 113158656B CN 202011561236 A CN202011561236 A CN 202011561236A CN 113158656 B CN113158656 B CN 113158656B
- Authority
- CN
- China
- Prior art keywords
- content
- text
- ironic
- image
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 52
- 230000014509 gene expression Effects 0.000 claims abstract description 37
- 230000008451 emotion Effects 0.000 claims description 48
- 230000004927 fusion Effects 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012015 optical character recognition Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000736026 Sarcandra Species 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 2
- 238000011056 performance test Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种讽刺内容识别方法、装置、电子设备以及存储介质。该方法包括：获取待识别的数据内容，并提取所述数据内容的文本内容和图像内容；提取所述图像内容的第一特征信息，其中，所述第一特征信息至少包括所述图像内容中的文本向量特征；提取所述文本内容的第二特征信息，其中，所述第二特征信息至少包括所述文本内容的表情符号特征；将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果。通过本发明实施例公开的技术方案，实现了更加准确的识别到讽刺内容，更加精准的了解待识别的数据内容的表达含义。
Description
技术领域
本发明实施例涉及多模态技术领域，尤其涉及一种讽刺内容识别方法、装置、电子设备以及存储介质。
背景技术
近年来，社交媒体上涌现出了大量的图片和视频信息，用户往往会在社交平台上通过讽刺的修辞手法隐式的表达对某一事件、事物的看法，这种表达方式受到越来越多用户的青睐。用户也可通过结合文字与图片相结合的方式进行讽刺的表达，以此来传达嘲笑、轻蔑等情绪。但是，现在越来越多的同时包含图像与表情的文本内容，导致社交媒体上的讽刺内容的识别效率不高。
发明内容
本发明提供一种讽刺内容识别方法、装置、电子设备以及存储介质，以实现更加准确的识别到讽刺内容，更加精准的了解待识别的数据内容的表达含义。
第一方面，本发明实施例提供了一种讽刺内容识别方法，该方法包括：
获取待识别的数据内容，并提取所述数据内容的文本内容和图像内容；
提取所述图像内容的第一特征信息，其中，所述第一特征信息至少包括所述图像内容中的文本向量特征；
提取所述文本内容的第二特征信息，其中，所述第二特征信息至少包括所述文本内容的表情符号特征；
将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果。
第二方面，本发明实施例还提供了一种讽刺内容识别装置，该装置包括：
内容获取模块，用于获取待识别的数据内容，并提取所述数据内容的文本内容和图像内容；
文本向量特征提取模块，用于提取所述图像内容的第一特征信息，其中，所述第一特征信息至少包括所述图像内容中的文本向量特征；
表情符号特征提取模块，用于提取所述文本内容的第二特征信息，其中，所述第二特征信息至少包括所述文本内容的表情符号特征；
内容识别结果获取模块，用于将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的讽刺内容识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的讽刺内容识别方法。
本发明实施例提供的技术方案，通过获取待识别的数据内容，提取所述数据内容的文本内容和图像内容，并分别提取图像内容的第一特征信息和文本内容的第二特征信息，其中，图像内容的第一特征信息包括文本向量特征、以及图像语义特征和图像情感特征的至少一项；文本内容的第二特征信息包括表情符号特征、文字语义特征和文字情感特征的至少一项；获取和图像和文本中隐藏的更加丰富的特征信息，将第一特征和第二特征进行特征融合，得到融合特征输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果，更加准确的识别到讽刺内容，更加精准的了解待识别的数据内容的表达含义。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1是本发明实施例一提供的讽刺内容识别方法的流程示意图；
图2是本发明实施例一涉及的特征信息获取方法的流程示意图；
图3是本发明实施例二提供的讽刺内容识别方法的流程示意图；
图4是本发明实施例三提供的讽刺内容识别装置的结构示意图；
图5为本发明实施例四提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种讽刺内容识别方法的流程图，本实施例可适用于在软件测试中进行性能测试的情况。该方法可以由讽刺内容识别装置来执行，该装置可以由软件和/或硬件的方式来实现。
在对本发明实施例的技术方案进行介绍之前，先对本发明实施例的应用场景进行示例性的介绍：现阶段在社交媒体中，用户越来越倾向于采用讽刺的方式抒发自己的情感，传统的基于单模态的讽刺内容识别的识别精度差，从而结合不同模态的表达方式正确理解社交内容是否存在讽刺的表达，对理解社交媒体的内容所传达的情感具有极其重要的意义。但是现有技术中的多模态的讽刺内容识别方法，仅仅考虑了图像本身的视觉信息和文本本身的语义信息，忽略了实际情况中图像和文本之间的其他信息。例如：为了增强讽刺的表达，在图片中用户经常通过添加场景文字为讽刺表达提供线索内容，在文本中用户通常也会利用表情符号来丰富情感或语境。这使得现有的方法难以有效的利用图像和文本跨模态信息中的关键讽刺源信息实现社交媒体内容的讽刺识别。
为了解决上述问题，本发明实施例的技术方案通过获取待识别的数据内容的文本内容和图像内容，分别提取图像内容的第一特征信息和文本内容的第二特征信息，其中，图像内容的第一特征信息包括文本向量特征、以及图像语义特征和图像情感特征的至少一项；文本内容的第二特征信息包括表情符号特征、文字语义特征和文字情感特征的至少一项；获取和图像和文本中隐藏的更加丰富的特征信息，将第一特征和第二特征进行特征融合，得到融合特征输入至预先训练的讽刺内容识别模型，得到数据内容的讽刺识别结果，更加准确的识别到讽刺内容，更加精准的了解待识别的数据内容的表达含义。
如图1所示，该方法具体包括以下步骤：
S110、获取待识别的数据内容，并提取数据内容的文本内容和图像内容。
在本发明实施例中，待识别的数据内容可以是从任意社交平台获取的图像内容和文本内容。具体的，提取出待识别的数据内容的文本内容和图像内容，以方便分别提取图像内容和文本内容对应的特征信息。其中，文本内容中含有表情符号等内容；图像内容中含有文字字符等内容。
S120、提取图像内容的第一特征信息，其中，第一特征信息至少包括图像内容中的文本向量特征。
其中，第一特征信息为图像内容对应的信息特征。第一特征信息至少包括图像内容中的文本向量特征，可选的，第一特征还包括图像语义特征和图像情感特征的至少一项。具体的，对图像内容中的至少一个特征信息进行提取的过程如图2所示。
可选的，提取图像内容的文本向量特征的方法可以是：将图像内容输入至光学字符识别模型，识别图像内容中的文本信息，对文本信息进行向量化处理，得到图像内容的文本向量特征。
具体的，将获取到的图像输入OCR(Optical Character Recognition,光学字符识别)模型MOCR中，采用下述表达式对图像内容中存在的文本字符信息进行检测，并提取OCR文本信息Otext：
Otext＝MOCR(img)
采用词向量模型对OCR文本信息Otext进行向量化处理，例如可以将OCR文本信息Otext输入至GloVe模型中，采用下述表达式得到文本信息Otext的文本向量信息otext，以实现提取图像内容中的文本信息的文本向量otext：
otext＝GloVe(Otext)
为了进一步提取文本向量的特征信息，将提取到的文本向量otext输入至自然语言处理模型(例如BiLSTM模型)中，采用下述表达式将BiLSTM模型的最后一层隐藏层的输出作为该图像中的文本向量特征fO：
fO＝BiLSTM(otext)
可选的，提取图像内容的图像情感特征的方法可以是：将图像内容输入至视觉情感模型，得到图像内容的图像情感特征。
具体的，将获取到的图像内容输入至视觉情感模型Mimg_Sen，并利用下述表达式提取该图像内容的提取视觉情感特征Simg：
Simg＝Mimg_Sen(img)
可选的，提取图像内容的图像语义特征的方法可以是：将图像内容输入至图像语义模型，得到图像内容的图像语义特征。
具体的，利用图像语义模型(例如ResNet模型)提取图像的语义特征信息fI，具体的通过下述表达式提取图像内容中的图像语义特征fI：
fI＝ResNet(img)
S130、提取文本内容的第二特征信息，其中，第二特征信息至少包括文本内容的表情符号特征。
其中，第二特征信息为文本内容对应的信息特征。第二特征信息至少包括文本内容中的表情符号特征。可选的，第二特征还包括文字语义特征和文字情感特征的至少一项。具体的，对文本内容中的至少一个特征信息进行提取的过程如图2所示。
可选的，提取文本内容的表情符号特征的方法可以是：提取文本内容中的至少一个表情符号，生成各表情符号的文本向量，基于各表情符号的文本向量形成表情符号特征。
具体的，统计文本内容中的至少一个表情符号，并确定各表情符号对应的文本向量E。采用字典学习方法获取各文本向量对应的嵌入矩阵，例如可以下述Mdict方法得到各文本向量对应的嵌入矩阵EM。
EM＝Mdict(E)
进一步的，确定各个嵌入矩阵EM之和，并根据统计的至少一个表情符号的数量，采用下述计算公式计算该文本内容中的各表情符号的嵌入矩阵EM之和的平均值作为该文本内容的表情符号特征fE：
其中，nE表示的是在该文本中字符表情的数量，该文本内容的表情符号特征fE为多个向量形成的矩阵。
可选的，提取文本内容的文字语义特征的方法可以是：将文本内容输入至文本语义模型，得到文本内容的文字语义特征。
采用词向量模型对文本内容中的文本信息text进行向量化处理，例如可以将文本信息text输入至GloVe模型中，采用下述表达式得到文本信息text的文本向量信息Wtext，以实现提取文本内容中的文本信息的文本向量Wtext：
Wtext＝GloVe(text)
为了进一步提取文本向量中的文本向量特征信息，将提取到的文本向量Wtext输入至自然语言处理模型(例如BiLSTM模型)中，采用下述表达式将BiLSTM模型的最后一层隐藏层的输出作为该图像中的文本向量特征fT：
fT＝BiLSTM(Wtext)
可选的，提取文本内容的文字情感特征的方法可以是：将文本内容输入至文本情感模型，得到文本内容的文字情感特征。
具体的，将获取到的文本内容输入至文本情感模型Mtext_Sen，并利用下述表达式提取该文本像内容的提取文本情感特征Stext：
Stext＝Mtext_Sen(text)
S140、将图像内容的第一特征信息和文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到数据内容的讽刺识别结果。
在本发明实施例中，讽刺内容识别模型包括：全连接模块和分类模块，其中，全连接模块包括两层全连接层。全连接模块用于获得更加丰富的特征信息，分类模块用于获得待识别内容的分类结果，即讽刺内容识别结果。
具体的，在将图像内容的第一特征信息和文本内容的第二特征信息输入至预先训练的讽刺内容识别模型之前，将第一特征信息和第二特征信息进行特征融合得到融合特征，并将融合特征输入至讽刺内容识别模型。
在本发明实施例中，采用特征拼接方法，即是将所有特征向量拼接成一维长向量，以增加该讽刺内容识别模型的识别结果的鲁棒性。具体的，采用下述表达式将提取到的图像内容中的文本向量特征fO和文本内容的表情符号特征fE、图像语义特征fI和图像情感特征Simg的至少一项以及文字语义特征fT和文字情感特征Stext的至少一项进行特征融合：
F＝ReLU([fI,fO,Simg,fT,fE,Stext])
其中，F为融合特征的向量表达式。
为了得到融合特征中更加丰富的特征信息，将融合特征信息F输入至讽刺内容识别模型中的全连接模块M中，其中，其中，M的第二层输出预设维度(即128维度)的融合高层特征信息，并将该融入高层特征信息输入至讽刺内容识别模型的分类模块，得到数据内容的讽刺识别结果。
具体的，将该融合高层特征信息输入到该模型中sigmoid激活函数的二分类层，得到待识别的数据内容的分类结果。具体的，分类层的表达式为：
其中，表示的模型推算的概率值，wc是网络权值，bc是参数偏置。当分类结果为1时，表示待识别的数据内容存在讽刺信息；当分类结果为0时，表示待识别的数据内容不存在讽刺信息。
本发明实施例提供的技术方案，通过获取待识别的数据内容，提取数据内容的文本内容和图像内容，并分别提取图像内容的第一特征信息和文本内容的第二特征信息，其中，图像内容的第一特征信息包括文本向量特征、以及图像语义特征和图像情感特征的至少一项；文本内容的第二特征信息包括表情符号特征、文字语义特征和文字情感特征的至少一项；获取和图像和文本中隐藏的更加丰富的特征信息，将第一特征和第二特征进行特征融合，得到融合特征输入至预先训练的讽刺内容识别模型，得到数据内容的讽刺识别结果，更加准确的识别到讽刺内容，更加精准的了解待识别的数据内容的表达含义。
实施例二
图3为本发明实施例二提供的讽刺内容识别模型的训练方法的流程示意图。本发明实施例为上述各实施例的可选实施例，本发明实施例主要介绍了上述各实施例中涉及的讽刺内容识别模型的训练方法步骤，其中与上述各实施例相同或相应的术语的解释在此不再赘述。具体的如图3，本实施例提供的讽刺内容识别模型的训练方法包括：
S210、获取用于模型训练的样本数据内容和样本数据内容的讽刺标签，其中，样本数据内容包括正样本数据内容和负样本数据内容。
在本发明实施例中，获取成对的图像和文本构建数据集data，并将含有讽刺信息的成对数据作为正样本，将不含讽刺信息的成对的数据作为负样本。
具体的将上述正样本数据和负样本数据按预设比例(例如4∶1)分为训练集和测试集。数据集的表述是为data＝{datatrain,datatest}，训练集表示为。datatrain＝{(text1,img1,L0),(text2,img2,L1),…,(textn,imgn,Ln-1)}。其中，L0表示负样本，L1表示正样本。数据集的数量至少为1万对图像和文本，以保证训练结果的准确性。正负样本或者负正样本的比例可以是1∶1，也可以是其他数值，本实施例不作限制，最好不要将正样本和负样本的比例超过1∶7，以进一步保证训练结果的准确性。
S220、基于各样本数据内容对待训练的讽刺内容识别模型进行如下迭代训练，直到迭代训练的讽刺内容识别模型满足预设条件，得到训练完成的讽刺内容识别模型。
具体的，获取样本数据中的文本内容的第一特征信息和图像内容的第二特征信息，并将第一特征信息和第二特征信息进行特征融合得到融合特征，将该融合特征输入至讽刺内容识别模型中的全连接模块，得到融合特征的融合高层特征，将该融合高层特征分批次的输入至讽刺识别模型中的分类模块，使得存在讽刺时输出结果尽可能为1或者趋近于1，不存在讽刺输出结果为0或者趋近于0。将训练数据集datatrain中剩余的批次循环执行上述训练，直至训练满足预设条件，完成模型训练。
S230、获取任一样本数据内容中文本内容的第一特征信息和图像内容的第二特征信息，将第一特征信息和第二特征信息输入至待训练的讽刺内容识别模型，得到历史数据内容的讽刺预测结果。
具体的，获取任一样本数据内容中文本内容的第一特征信息和图像内容的第二特征信息，并将上述预测数据集中的第一特征信息和第二特征信息进行融合，得到融合特征输入至训练完成的讽刺内容识别模型中，完成所有测试集样本的讽刺内容识别。将预测结果与真实标签结果进行对比，当预测的讽刺识别结果与真实标签结果一致时，表示该模型预测得到了该数据的正确结果；当预测的讽刺识别结果与真实标签结果不一致时，表示该模型预测得到了该数据的错误结果；由此来统计讽刺内容识别模型的识别结果的准确率。
S240、基于讽刺预测结果和数据内容的讽刺标签生成损失函数，并基于损失函数对待训练的讽刺内容识别模型进行参数调节。
具体的，基于上述实施例的讽刺预测结果和数据内容的真实标签结果生成损失函数，本发明实施例中的损失函数的表达式如下所示：
其中，表示此次分批数据的数量，yi为第i个样本真实标签，则该值为1或0。
基于该损失函数对待训练的特征提取模型进行参数调节，直至损失函数值趋于0或者达到预设的训练次数；至此完成讽刺内容识别模型的训练，并保存训练完成的结果。
本发明实施例提供了特征匹配模型的训练方法，本发明实施例的技术方案通过获取待识别的数据内容，提取数据内容的文本内容和图像内容，并分别提取图像内容的第一特征信息和文本内容的第二特征信息，其中，图像内容的第一特征信息包括文本向量特征、以及图像语义特征和图像情感特征的至少一项；文本内容的第二特征信息包括表情符号特征、文字语义特征和文字情感特征的至少一项；获取和图像和文本中隐藏的更加丰富的特征信息，将第一特征和第二特征进行特征融合，得到融合特征输入至预先训练的讽刺内容识别模型，得到数据内容的讽刺识别结果，更加准确的识别到讽刺内容，更加精准的了解待识别的数据内容的表达含义。
以下是本发明实施例提供的讽刺内容识别装置的实施例，该装置与上述各实施例的讽刺内容识别方法属于同一个发明构思，在讽刺内容识别装置的实施例中未详尽描述的细节内容，可以参考上述讽刺内容识别方法的实施例。
实施例三
图4为本发明实施例三提供的讽刺内容识别装置的结构示意图，本实施例可适用于在软件测试中进行性能测试的情况。该讽刺内容识别装置的具体结构包括：内容获取模块310、文本向量特征提取模块320、表情符号特征提取模块330和内容识别结果获取模块340；其中，
内容获取模块310，用于获取待识别的数据内容，并提取数据内容的文本内容和图像内容；
文本向量特征提取模块320，用于提取图像内容的第一特征信息，其中，第一特征信息至少包括图像内容中的文本向量特征；
表情符号特征提取模块330，用于提取文本内容的第二特征信息，其中，第二特征信息至少包括文本内容的表情符号特征；
内容识别结果获取模块340，用于将图像内容的第一特征信息和文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到数据内容的讽刺识别结果。
本发明实施例的技术方案通过获取待识别的数据内容，提取数据内容的文本内容和图像内容，并分别提取图像内容的第一特征信息和文本内容的第二特征信息，其中，图像内容的第一特征信息包括文本向量特征、以及图像语义特征和图像情感特征的至少一项；文本内容的第二特征信息包括表情符号特征、文字语义特征和文字情感特征的至少一项；获取和图像和文本中隐藏的更加丰富的特征信息，将第一特征和第二特征进行特征融合，得到融合特征输入至预先训练的讽刺内容识别模型，得到数据内容的讽刺识别结果，更加准确的识别到讽刺内容，更加精准的了解待识别的数据内容的表达含义。
在上述技术方案的基础上，图像内容的第一特征信息还包括图像语义特征和图像情感特征的至少一项，以及文本内容的第二特征信息还包括文字语义特征和文字情感特征的至少一项。
在上述技术方案的基础上，文本向量特征提取模块320，包括：
文本向量特征提取单元，用于将图像内容输入至光学字符识别模型，识别图像内容中的文本信息，对文本信息进行向量化处理，得到图像内容的文本向量特征。
图像情感特征提取单元，用于将图像内容输入至视觉情感模型，得到图像内容的图像情感特征。
图像语义特征提取单元，用于将图像内容输入至图像语义模型，得到图像内容的图像语义特征。
在上述技术方案的基础上，表情符号特征提取模块330，包括：
表情符号特征提取单元，用于提取文本内容中的至少一个表情符号，生成各表情符号的文本向量，基于各表情符号的文本向量形成表情符号特征。
文字情感特征提取单元，用于将文本内容输入至文本情感模型，得到文本内容的文字情感特征。
文字语义特征提取单元，用于将文本内容输入至文本语义模型，得到文本内容的文字语义特征。
在上述技术方案的基础上，内容识别结果获取模块340，包括：
特征融合单元，用于将第一特征信息和第二特征信息进行特征融合，得到融合特征，将融合特征输入至讽刺内容识别模型。
在上述技术方案的基础上，讽刺内容识别模型包括：全连接模块和分类模块，其中，全连接模块包括两层全连接层。
在上述技术方案的基础上，讽刺内容识别模型的训练过程包括：
获取用于模型训练的样本数据内容和样本数据内容的讽刺标签，其中，样本数据内容包括正样本数据内容和负样本数据内容；
基于各样本数据内容对待训练的讽刺内容识别模型进行如下迭代训练，直到迭代训练的讽刺内容识别模型满足预设条件，得到训练完成的讽刺内容识别模型；
获取任一样本数据内容中文本内容的第一特征信息和图像内容的第二特征信息，将第一特征信息和第二特征信息输入至待训练的讽刺内容识别模型，得到历史数据内容的讽刺预测结果；
基于讽刺预测结果和数据内容的讽刺标签生成损失函数，并基于损失函数对待训练的讽刺内容识别模型进行参数调节。
本发明实施例所提供的讽刺内容识别装置可执行本发明任意实施例所提供的讽刺内容识别方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述讽刺内容识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例四
图5为本发明实施例四提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备12以通用计算电子设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及样本数据获取，例如实现本发实施例所提供的一种讽刺内容识别方法步骤，讽刺内容识别方法包括：
获取待识别的数据内容，并提取所述数据内容的文本内容和图像内容；
提取所述图像内容的第一特征信息，其中，所述第一特征信息至少包括所述图像内容中的文本向量特征；
提取所述文本内容的第二特征信息，其中，所述第二特征信息至少包括所述文本内容的表情符号特征；
将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果。当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的样本数据获取方法的技术方案。
实施例五
本实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如实现本发实施例所提供的一种讽刺内容识别方法步骤，讽刺内容识别方法包括：
获取待识别的数据内容，并提取所述数据内容的文本内容和图像内容；
提取所述图像内容的第一特征信息，其中，所述第一特征信息至少包括所述图像内容中的文本向量特征；
提取所述文本内容的第二特征信息，其中，所述第二特征信息至少包括所述文本内容的表情符号特征；
将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种讽刺内容识别方法，其特征在于，包括：
获取待识别的数据内容，并提取所述数据内容的文本内容和图像内容；其中，所述文本内容中含有表情符号；所述图像内容中含有文字字符；
提取所述图像内容的第一特征信息，其中，所述第一特征信息包括所述图像内容中的文本向量特征、图像语义特征和图像情感特征的至少一项；
提取所述文本内容的第二特征信息，其中，所述第二特征信息包括所述文本内容的表情符号特征、文字语义特征和文字情感特征的至少一项；
将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果。
2.根据权利要求1所述的方法，其特征在于，所述提取所述图像内容的第一特征信息，包括：
将所述图像内容输入至光学字符识别模型，识别所述图像内容中的文本信息，对所述文本信息进行向量化处理，得到所述图像内容的文本向量特征；
将所述图像内容输入至视觉情感模型，得到所述图像内容的图像情感特征；和/或，
将所述图像内容输入至图像语义模型，得到所述图像内容的图像语义特征。
3.根据权利要求1所述的方法，其特征在于，所述提取所述文本内容的第二特征信息，包括：
提取所述文本内容中的至少一个表情符号，生成各所述表情符号的文本向量，基于各所述表情符号的文本向量形成所述表情符号特征；
将所述文本内容输入至文本情感模型，得到所述文本内容的文字情感特征；和/或，
将所述文本内容输入至文本语义模型，得到所述文本内容的文字语义特征。
4.根据权利要求1所述的方法，其特征在于，所述将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，包括：
将所述第一特征信息和所述第二特征信息进行特征融合，得到融合特征，将所述融合特征输入至所述讽刺内容识别模型。
5.根据权利要求1或4所述的方法，其特征在于，所述讽刺内容识别模型包括：全连接模块和分类模块，其中，所述全连接模块包括两层全连接层。
6.根据权利要求1所述的方法，其特征在于，所述讽刺内容识别模型的训练过程包括：
获取用于模型训练的样本数据内容和所述样本数据内容的讽刺标签，其中，所述样本数据内容包括正样本数据内容和负样本数据内容；
基于各所述样本数据内容对待训练的讽刺内容识别模型进行如下迭代训练，直到迭代训练的讽刺内容识别模型满足预设条件，得到训练完成的讽刺内容识别模型；
获取任一样本数据内容中文本内容的第一特征信息和图像内容的第二特征信息，将所述第一特征信息和所述第二特征信息输入至待训练的讽刺内容识别模型，得到历史数据内容的讽刺预测结果；
基于所述讽刺预测结果和所述数据内容的讽刺标签生成损失函数，并基于所述损失函数对所述待训练的讽刺内容识别模型进行参数调节。
7.一种讽刺内容识别装置，其特征在于，包括：
内容获取模块，用于获取待识别的数据内容，并提取所述数据内容的文本内容和图像内容；其中，所述文本内容中含有表情符号；所述图像内容中含有文字字符；
文本向量特征提取模块，用于提取所述图像内容的第一特征信息，其中，所述第一特征信息包括所述图像内容中的文本向量特征、图像语义特征和图像情感特征的至少一项；
表情符号特征提取模块，用于提取所述文本内容的第二特征信息，其中，所述第二特征信息包括所述文本内容的表情符号特征、文字语义特征和文字情感特征的至少一项；
内容识别结果获取模块，用于将所述图像内容的第一特征信息和所述文本内容的第二特征信息输入至预先训练的讽刺内容识别模型，得到所述数据内容的讽刺识别结果。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的讽刺内容识别方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的讽刺内容识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561236.4A CN113158656B (zh) | 2020-12-25 | 2020-12-25 | 讽刺内容识别方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561236.4A CN113158656B (zh) | 2020-12-25 | 2020-12-25 | 讽刺内容识别方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113158656A CN113158656A (zh) | 2021-07-23 |
| CN113158656B true CN113158656B (zh) | 2024-05-14 |
Family
ID=76878025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011561236.4A Active CN113158656B (zh) | 2020-12-25 | 2020-12-25 | 讽刺内容识别方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158656B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609865A (zh) * | 2021-08-09 | 2021-11-05 | 上海明略人工智能(集团)有限公司 | 文本情感的识别方法、装置、电子设备及可读存储介质 |
| CN114626455A (zh) * | 2022-03-11 | 2022-06-14 | 北京百度网讯科技有限公司 | 金融信息处理方法、装置、设备、存储介质及产品 |
| CN116402063B (zh) * | 2023-06-09 | 2023-08-15 | 华南师范大学 | 多模态讽刺识别方法、装置、设备以及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120108485A (ko) * | 2011-03-24 | 2012-10-05 | 이민지 | 감정표현 문자메시지 디스플레이 방법 |
| KR20160010746A (ko) * | 2014-07-17 | 2016-01-28 | 건국대학교 산학협력단 | 소셜 네트워크 서비스 사용자의 감성 분석 시스템 및 그 방법 |
| KR101652486B1 (ko) * | 2015-04-05 | 2016-08-30 | 주식회사 큐버 | 멀티모달 다중 에이전트 기반의 감정 통신 시스템 |
| CN108475261A (zh) * | 2016-01-27 | 2018-08-31 | Mz知识产权控股有限责任公司 | 确定聊天数据中的用户情绪 |
| CN110502753A (zh) * | 2019-08-23 | 2019-11-26 | 昆明理工大学 | 一种基于语义增强的深度学习情感分析模型及其分析方法 |
| CN110717335A (zh) * | 2019-09-23 | 2020-01-21 | 中国科学院深圳先进技术研究院 | 用户评论数据处理方法、装置、存储介质及电子设备 |
| CN110765973A (zh) * | 2019-10-31 | 2020-02-07 | 上海掌门科技有限公司 | 账号类型的识别方法和装置 |
| AU2020100710A4 (en) * | 2020-05-05 | 2020-06-11 | Chen, Dadu Mr | A method for sentiment analysis of film reviews based on deep learning and natural language processing |
| CN111859979A (zh) * | 2020-06-16 | 2020-10-30 | 中国科学院自动化研究所 | 讽刺文本协同识别方法、装置、设备及计算机可读介质 |
| CN111859980A (zh) * | 2020-06-16 | 2020-10-30 | 中国科学院自动化研究所 | 讽刺类型的文本识别方法、装置、设备及计算机可读介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665567B2 (en) * | 2015-09-21 | 2017-05-30 | International Business Machines Corporation | Suggesting emoji characters based on current contextual emotional state of user |
| US10275838B2 (en) * | 2016-06-07 | 2019-04-30 | International Business Machines Corporation | Mapping social media sentiments |
| US11030533B2 (en) * | 2018-12-11 | 2021-06-08 | Hiwave Technologies Inc. | Method and system for generating a transitory sentiment community |
-
2020
- 2020-12-25 CN CN202011561236.4A patent/CN113158656B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120108485A (ko) * | 2011-03-24 | 2012-10-05 | 이민지 | 감정표현 문자메시지 디스플레이 방법 |
| KR20160010746A (ko) * | 2014-07-17 | 2016-01-28 | 건국대학교 산학협력단 | 소셜 네트워크 서비스 사용자의 감성 분석 시스템 및 그 방법 |
| KR101652486B1 (ko) * | 2015-04-05 | 2016-08-30 | 주식회사 큐버 | 멀티모달 다중 에이전트 기반의 감정 통신 시스템 |
| CN108475261A (zh) * | 2016-01-27 | 2018-08-31 | Mz知识产权控股有限责任公司 | 确定聊天数据中的用户情绪 |
| CN110502753A (zh) * | 2019-08-23 | 2019-11-26 | 昆明理工大学 | 一种基于语义增强的深度学习情感分析模型及其分析方法 |
| CN110717335A (zh) * | 2019-09-23 | 2020-01-21 | 中国科学院深圳先进技术研究院 | 用户评论数据处理方法、装置、存储介质及电子设备 |
| CN110765973A (zh) * | 2019-10-31 | 2020-02-07 | 上海掌门科技有限公司 | 账号类型的识别方法和装置 |
| AU2020100710A4 (en) * | 2020-05-05 | 2020-06-11 | Chen, Dadu Mr | A method for sentiment analysis of film reviews based on deep learning and natural language processing |
| CN111859979A (zh) * | 2020-06-16 | 2020-10-30 | 中国科学院自动化研究所 | 讽刺文本协同识别方法、装置、设备及计算机可读介质 |
| CN111859980A (zh) * | 2020-06-16 | 2020-10-30 | 中国科学院自动化研究所 | 讽刺类型的文本识别方法、装置、设备及计算机可读介质 |
Non-Patent Citations (6)
| Title |
|---|
| EmotiCon: Context-Aware Multimodal Emotion Recognition using Frege’s Principle;Trisha Mittal 等;《Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200831;14234-14243 * |
| 基于图文融合的社交媒体反讽识;林敏鸿 等;《电脑知识与技术》;第16卷(第24期);184-185 * |
| 基于多特征的藏文微博情感倾向性分析;江涛;袁斌;于洪志;加羊吉;;中文信息学报;20170515(第03期);163-169 * |
| 基于多特征融合的混合神经网络模型讽刺语用判别;孙晓;何家劲;任福继;;中文信息学报(第06期);215-223 * |
| 基于表情符号和文本情感倾向分析;蔚敏洁; 刘加海;《计算机产品与流通 》;20200831(第08期);232 * |
| 孙晓 ; 何家劲 ; 任福继 ; .基于多特征融合的混合神经网络模型讽刺语用判别.中文信息学报.2016,(第06期),215-223. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113158656A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112685565B (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
| WO2020232861A1 (zh) | 命名实体识别方法、电子装置及存储介质 | |
| CN113158656B (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
| CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
| CN111309915A (zh) | 联合学习的自然语言训练方法、系统、设备及存储介质 | |
| CN110232340B (zh) | 建立视频分类模型以及视频分类的方法、装置 | |
| CN112287069B (zh) | 基于语音语义的信息检索方法、装置及计算机设备 | |
| CN114358203A (zh) | 图像描述语句生成模块的训练方法及装置、电子设备 | |
| CN112650867A (zh) | 图片匹配方法、装置、电子设备以及存储介质 | |
| CN114972823A (zh) | 数据处理方法、装置、设备及计算机介质 | |
| CN115983271A (zh) | 命名实体的识别方法和命名实体识别模型的训练方法 | |
| CN116912847A (zh) | 一种医学文本识别方法、装置、计算机设备及存储介质 | |
| CN117150436B (zh) | 多模态自适应融合的主题识别方法及系统 | |
| CN112613293B (zh) | 摘要生成方法、装置、电子设备及存储介质 | |
| CN114385812A (zh) | 用于文本的关系抽取方法及系统 | |
| CN112464927B (zh) | 一种信息提取方法、装置及系统 | |
| CN113254814A (zh) | 网络课程视频打标签方法、装置、电子设备及介质 | |
| CN111666405B (zh) | 用于识别文本蕴含关系的方法和装置 | |
| CN111339760A (zh) | 词法分析模型的训练方法、装置、电子设备、存储介质 | |
| CN115858776A (zh) | 一种变体文本分类识别方法、系统、存储介质和电子设备 | |
| CN114722832A (zh) | 一种摘要提取方法、装置、设备以及存储介质 | |
| CN114067343A (zh) | 一种数据集的构建方法、模型训练方法和对应装置 | |
| CN110378378B (zh) | 事件检索方法、装置、计算机设备及存储介质 | |
| CN112364131A (zh) | 一种语料处理方法及其相关装置 | |
| CN112199954A (zh) | 基于语音语义的疾病实体匹配方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |