CN108764268A - 一种基于深度学习的图文多模态情感识别方法 - Google Patents
一种基于深度学习的图文多模态情感识别方法 Download PDFInfo
- Publication number
- CN108764268A CN108764268A CN201810281663.3A CN201810281663A CN108764268A CN 108764268 A CN108764268 A CN 108764268A CN 201810281663 A CN201810281663 A CN 201810281663A CN 108764268 A CN108764268 A CN 108764268A
- Authority
- CN
- China
- Prior art keywords
- text
- picture
- layer
- data
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的图文多模态情感识别方法，包括如下步骤：(1)数据采集，利用Python Scrapy框架构建社交媒体网络爬虫，采集图文数据；(2)数据预处理，对数据采集步骤采集的中文文本和媒体进行预处理；(3)图文标注，用于对处理后的图文媒体进行标注；(4)图片特征提取，训练出cnn提取图片特征；(5)文本向量化，运用word2vec训练词向量；(6)模型训练,将标注后的图文媒体通过lstm神经网络模型进行训练。本发明构建一种多模态的情感分析模型，旨在充分利用当今媒体信息的特点，通过结合图片信息，更加充分的进行情感识别，提高了情感识别效果。
Description
技术领域
本发明涉及自然语言处理技术领域，具体涉及一种基于深度学习的图文多模态情感识别方法。
背景技术
情感分析(SA)又称为倾向性分析和意见挖掘,它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。情感分析可应用于电子商务，品牌声誉管理、舆情分析等众多领域。随着微博类社会媒体的广泛应用，用户讨论自己使用的产品和服务，或表达自己的政治和宗教观点，微博网站已经成为人们评论与情感信息的宝贵来源。现在对此类数据做情感分析已经受到研究者的广泛关注。
目前为止，大部分微博情感分析研究都只关注于如何对文本信息进行分析，但是微博等媒体用户情感表达方式正逐渐转变，从以往的文本为主到现在的图文结合，基于文本信息的情感分析方法已经不足以很好的获取微博消息的情感极性。
情感计算的方法主要基于词典/规则的方法以及基于统计学习/深度学习的方法，本发明通过基于深度学习的方法进行情感分析，利用CNN模型对图片进行特征表示，抽取情感关联特征，利用word embending技术训练词向量，最后利用lstm网络进行情感的分析计算。多模态情感分析模型挖掘以及学习图像与文本在情感表示方面的特点，进而描述图像与文本的复杂关系，提高情感识别的准确率。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于深度学习的图文多模态情感识别方法，该方法更多考量了文本的情感特征，结合图片特征进行情感识别，利用CNN卷积神经网络抽取图片特征，与文本向量一起作为情感分析模型的输入，用此方法结合图文情感特征，输出图文的情感正负类别。
本发明的目的可以通过采取如下技术方案达到：
一种基于深度学习的图文多模态情感识别方法，所述的图文多模态情感识别方法包括：
数据采集步骤，从多媒体数据源采集图文数据；
图文预处理步骤，预处理采集到的原始图文数据中的中文文本和媒体；
图文标注步骤，对处理后的图文媒体进行情感正负类标记；
图片特征提取步骤，通过训练得出的cnn卷积神经网络提取图片特征：
文本向量化步骤，将训练文本转化为向量，提供给多模态情感识别模型进行模型训练；
模型训练步骤，将标注后的图文媒训练用于多模态情感分析的lstm神经网络模型。
进一步地，所述的数据采集步骤中利用Python Scrapy框架构建社交媒体网络爬虫采集多媒体数据源中的图文数据。
进一步地，所述的图文标注步骤中运用自动标注与人工标注结合，使用现有的开源文本情感分析方法进行数据情感分析，对情感极性较明显的数据进行自动标注，其他情感极性并不明显的进行人工标注。
进一步地，所述的图片特征提取步骤中采用公开数据与采集的数据进行训练，构建cnn卷积神经网络，抽取图片特征，然后采用cnn卷积神经网络训练单纯的标注情感的图片，提取情感特征，采用keras搭建此cnn卷积神经网络。
进一步地，所述的cnn卷积神经网络包括如下九层：
第一层是第一卷积层，图片初始大小为100×100×3像素大小的图像，该图像为三通道的RGB图像，采用大小为3×3像素的32个过滤器，步长为1，激活函数设置为ReLU函数；
第二层是第一池化层，采用最大池MaxPooling2D，poolsize为(2,2)；
第三层是第二卷积层，采用大小为3×3像素的32个过滤器，激活函数设置为ReLU函数；
第四层是第二池化层，采用最大池MaxPooling2D，poolsize为(2,2)；
第五层是dropout层，rate设为0.5,防止过拟合；
第六层是第一flatten层，实现多维的输入一维化；
第七层是第一全连接层，输入上一神经网络层的输出展开后的向量，输出400维的向量，激活函数设置为ReLU函数；
第八层是第二全连接层，输入是400维的输入向量，此层为两个神经元，即输出二维数据，激活函数设置为ReLU函数；
第九层是Softmax分类层，通过Softmax分类器产生分类结果。
进一步地，所述的文本向量化步骤中利用word2vec训练词向量，输出词向量维度设置为400，其训练数据由公开的语料与采集到的语料一同作为训练样本。
进一步地，所述的模型训练步骤中采用设计的lstm网络结构训练图文多模态数据集，在lstm神经网络模型之前，需要通过embedding层忽略掉填充的0向量，所述的lstm网络结构的初始时间步的输入为图像特征向量，采用的激活函数为ReLU函数，最后一层连接Softmax分类器进行二分类。
本发明相对于现有技术具有如下的优点及效果：
1)自动标注与人工标注相结合，提高了标注的效率，也保证了标注数据集的质量。
2)用训练后的卷积神经网络cnn提取图像情感特征向量，充分利用cnn在图像处理上的优势，能充分提取到图像特征。
3)用带图像特征的数据进行情感分析，在纯文本的基础上加入图片特征，充分挖掘现今多媒体的特点。
附图说明
图1是本发明公开的基于深度学习的图文多模态情感识别方法的流程示意图；
图2是本发明中使用的爬虫方法逻辑图；
图3是本发明中使用的cnn模型结构图；
图4是本发明中使用的用于情感识别的lstm模型图；
图5是本发明中所建立的多模态情感识别模型图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
根据附图1所示的基于深度学习的图文多模态情感识别方法的流程示意图，本发明主要包括以下几个步骤：
数据采集步骤，用于从微博等多媒体数据源采集图文数据；
在数据采集步骤中，具体方案为使用python2.7版本下爬虫框架Scrapy，Scrapy使用了Twisted异步网络库来处理网络通讯。如附图2中的数据采集方法逻辑图，本爬虫用控制器管理爬虫的各步骤，用字典数据结构管理待爬取的url，对于持久化器，直接以文本和图片方式存储于文件中。解析器采用的是Scrapy的查询语法，Scrapy内部支持更简单的查询语法，帮助在html中查询我们需要的标签和标签内容以及标签属性。
图文预处理步骤，用于处理采集到的原始图文数据；
在图文预处理步骤中，本发明额外下载部分网络公开的图像情感分析数据(如iaps数据集)，本实施例直接下载了网络上分享的数据(其中积极图片250张，消极图片250张)，并将微博下载的图片压缩成相同格式，本实施例采用的压缩方法是基于PIL的Image步骤所提供的函数resize()等。对于文本的处理，主要是对于emoji和超链接的处理，本实施例具体方法是将emoj替换为其简单的中文文本如(笑哭，尴尬等)，将超链接删除仅仅表示为中文“链接”。
图文标注步骤，用于标注预处理后的数据；
在图文标注步骤中，详细的做法是，将处理后的文本数据通过snownlp开源工具进行分词，情感分析，对满足一定特征的文本，进行标注，比如本实施例对于情感极性小于0.3或大于0.7的数据进行自动标注，对其他图文进行人工标注。最后将训练集和测试集分别去80％和20％的数据，所采用的函数为train_test_split，test_size为0.2。
图片特征提取步骤，用于通过cnn卷积神经网络提取图片特征；
在图片特征提取步骤中，本发明采用如图3所示的cnn卷积神经网络，本发明的实施例共九层网络，为卷积层、最大池化层、激活层、dropout层、全连接层、flatten层和Softmax分类层按照图3连接，即将倒数第二个全连接层的输出作为图片情感特征。通过下载的数据集与自己标注的训练数据集训练模型，得到本特征提取的cnn网络。
文本向量化步骤，用于将训练文本转化为向量，提供给情感识别模型进行模型训练；
在文本向量化步骤中采用的是word2vec tool，本实施例采用采集到的文本数据以及网络公开的微博语料库训练词向量，并设置输出词向量的的维度size与前面的cnn卷积神经网络的特征维度一致，设置为400。具体过程是首先利用分词工具进行分词，如jieba分词，得到分词语料corpsw2v.txt然后import word2vec,使用其中的word2vec函数进行分词并将结果保存。最后将数据集中的文本表示成词向量保存，并合并cnn网络模型输出的图片情感特征向量，用于训练lstm网络。
其中，图片特征提取步骤与文本向量化步骤可并行处理。
模型训练步骤，用于训练用于多模态情感分析的lstm模型。
本方法中的lstm模型，如图4所示，通过训练有监督的带有图片情感特征向量的文本，构建多模态的情感识别模型，在lstm网络之前，使用嵌入层嵌入层Embedding过滤掉0向量的时间步，因为输入的句子长度不一，通过pad_sequences处理成了相同长度，此实施例子选用了softmax激活函数分类(当然也可以采用sigmoid函数)，本模型输出图文媒体的正负类特征。这里损失函数用交叉熵损失函数categorical_crossentropy，优化方法用Adam。通过调整其他超参数的值，得到较好模型后保存，用于对未知数据的情感分析，以及测试等。
图5即为本方法所建立的多模态情感识别模型，应用过程中，将图片通过cnn网络提取特征与文本向量作为输入到lstm网络进行情感识别。在具体应用工程中，需按本发明的步骤对图文进行预处理，以及进行分词，向量化等操作，然后输入到模型中识别情感极性。测试过程中，可通过准确率，召回率，F1值等参数评判模型能力。
综上所述，针对现今微博、微信朋友圈等媒体中图文媒体的特点，本方法重点通过cnn提取图像特征，结合图像特征进行情感识别，在单文本的基础上更好的利用了当今富媒体的特点，以此让情感分析模型更加充分的挖掘数据特征，提高情感分类的效果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的图文多模态情感识别方法，其特征在于，所述的图文多模态情感识别方法包括：
数据采集步骤，从多媒体数据源采集图文数据；
图文预处理步骤，预处理采集到的原始图文数据中的中文文本和媒体；
图文标注步骤，对处理后的图文媒体进行情感正负类标记；
图片特征提取步骤，通过训练得出的cnn卷积神经网络提取图片特征：
文本向量化步骤，将训练文本转化为向量，提供给多模态情感识别模型进行模型训练；
模型训练步骤，将标注后的图文媒训练用于多模态情感分析的lstm神经网络模型。
2.根据权利要求1所述的一种基于深度学习的图文多模态情感识别方法，其特征在于，所述的数据采集步骤中利用Python Scrapy框架构建社交媒体网络爬虫采集多媒体数据源中的图文数据。
3.根据权利要求1所述的一种基于深度学习的图文多模态情感识别方法，其特征在于，所述的图文标注步骤中运用自动标注与人工标注结合，使用现有的开源文本情感分析方法进行数据情感分析，对情感极性较明显的数据进行自动标注，其他情感极性并不明显的进行人工标注。
4.根据权利要求1所述的一种基于深度学习的图文多模态情感识别方法，其特征在于，所述的图片特征提取步骤中采用公开数据与采集的数据进行训练，构建cnn卷积神经网络，抽取图片特征，然后采用cnn卷积神经网络训练单纯的标注情感的图片，提取情感特征，采用keras搭建此cnn卷积神经网络。
5.根据权利要求4所述的一种基于深度学习的图文多模态情感识别方法，其特征在于，所述的cnn卷积神经网络包括如下九层：
第一层是第一卷积层，图片初始大小为100×100×3像素大小的图像，该图像为三通道的RGB图像，采用大小为3×3像素的32个过滤器，步长为1，激活函数设置为ReLU函数；
第二层是第一池化层，采用最大池MaxPooling2D，poolsize为(2,2)；
第三层是第二卷积层，采用大小为3×3像素的32个过滤器，激活函数设置为ReLU函数；
第四层是第二池化层，采用最大池MaxPooling2D，poolsize为(2,2)；
第五层是dropout层，rate设为0.5,防止过拟合；
第六层是第一flatten层，实现多维的输入一维化；
第七层是第一全连接层，输入上一神经网络层的输出展开后的向量，输出400维的向量，激活函数设置为ReLU函数；
第八层是第二全连接层，输入是400维的输入向量，此层为两个神经元，即输出二维数据，激活函数设置为ReLU函数；
第九层是Softmax分类层，通过Softmax分类器产生分类结果。
6.根据权利要求1所述的一种基于深度学习的图文多模态情感识别方法，其特征在于，所述的文本向量化步骤中利用word2vec训练词向量，输出词向量维度设置为400，其训练数据由公开的语料与采集到的语料一同作为训练样本。
7.根据权利要求1所述的一种基于深度学习的图文多模态情感识别方法，其特征在于，所述的模型训练步骤中采用设计的lstm网络结构训练图文多模态数据集，在lstm神经网络模型之前，需要通过embedding层忽略掉填充的0向量，所述的lstm网络结构的初始时间步的输入为图像特征向量，采用的激活函数为ReLU函数，最后一层连接Softmax分类器进行二分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810281663.3A CN108764268A (zh) | 2018-04-02 | 2018-04-02 | 一种基于深度学习的图文多模态情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810281663.3A CN108764268A (zh) | 2018-04-02 | 2018-04-02 | 一种基于深度学习的图文多模态情感识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108764268A true CN108764268A (zh) | 2018-11-06 |
Family
ID=63980527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810281663.3A Pending CN108764268A (zh) | 2018-04-02 | 2018-04-02 | 一种基于深度学习的图文多模态情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108764268A (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492627A (zh) * | 2019-01-22 | 2019-03-19 | 华南理工大学 | 一种基于全卷积网络的深度模型的场景文本擦除方法 |
| CN109934260A (zh) * | 2019-01-31 | 2019-06-25 | 中国科学院信息工程研究所 | 基于随机森林的图文数据融合情感分类方法和装置 |
| CN110046264A (zh) * | 2019-04-02 | 2019-07-23 | 云南大学 | 一种面向手机文档的自动分类方法 |
| CN110135566A (zh) * | 2019-05-21 | 2019-08-16 | 四川长虹电器股份有限公司 | 基于lstm二分类神经网络模型的注册用户名检测方法 |
| CN110196945A (zh) * | 2019-05-27 | 2019-09-03 | 北京理工大学 | 一种基于LSTM与LeNet融合的微博用户年龄预测方法 |
| CN110781333A (zh) * | 2019-06-26 | 2020-02-11 | 杭州鲁尔物联科技有限公司 | 一种基于机器学习的斜拉桥非结构化监测数据处理方法 |
| CN111160452A (zh) * | 2019-12-25 | 2020-05-15 | 北京中科研究院 | 一种基于预训练语言模型的多模态网络谣言检测方法 |
| CN111166327A (zh) * | 2020-01-06 | 2020-05-19 | 天津大学 | 基于单通道脑电信号和卷积神经网络的癫痫诊断装置 |
| CN111191025A (zh) * | 2018-11-15 | 2020-05-22 | 腾讯科技（北京）有限公司 | 文章相关性的确定方法、装置、可读介质及电子设备 |
| CN111191068A (zh) * | 2019-12-27 | 2020-05-22 | 上海擎感智能科技有限公司 | 基于图片的心情统计方法、系统、介质及设备 |
| CN111259141A (zh) * | 2020-01-13 | 2020-06-09 | 北京工业大学 | 一种基于多模型融合的社交媒体语料情感分析方法 |
| CN111259152A (zh) * | 2020-01-20 | 2020-06-09 | 刘秀萍 | 一种深度多层网络驱动的特征聚合类别划分器 |
| CN111310709A (zh) * | 2020-03-02 | 2020-06-19 | 邓谊 | 一种图文年报情感标定方法及系统 |
| CN111414478A (zh) * | 2020-03-13 | 2020-07-14 | 北京科技大学 | 基于深度循环神经网络的社交网络情感建模方法 |
| CN111626889A (zh) * | 2020-06-02 | 2020-09-04 | 小红书科技有限公司 | 社交内容对应的类目预测方法及装置 |
| CN111694959A (zh) * | 2020-06-08 | 2020-09-22 | 谢沛然 | 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统 |
| CN111860981A (zh) * | 2020-07-03 | 2020-10-30 | 航天信息(山东)科技有限公司 | 一种基于lstm深度学习的企业国民行业类别预测方法及系统 |
| CN111931717A (zh) * | 2020-09-22 | 2020-11-13 | 平安科技（深圳）有限公司 | 基于语义和图像识别的心电信息提取方法及装置 |
| CN111985243A (zh) * | 2019-05-23 | 2020-11-24 | 中移(苏州)软件技术有限公司 | 情感模型的训练方法、情感分析方法、装置及存储介质 |
| CN112488214A (zh) * | 2020-12-02 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种图像情感分析方法以及相关装置 |
| CN112527858A (zh) * | 2020-11-26 | 2021-03-19 | 微梦创科网络科技（中国）有限公司 | 基于社交内容的营销账号识别方法、装置、介质和设备 |
| CN112651448A (zh) * | 2020-12-29 | 2021-04-13 | 中山大学 | 一种面向社交平台表情包的多模态情感分析方法 |
| CN112948554A (zh) * | 2021-02-28 | 2021-06-11 | 西北工业大学 | 基于强化学习和领域知识的实时多模态对话情感分析方法 |
| CN113177163A (zh) * | 2021-04-28 | 2021-07-27 | 烟台中科网络技术研究所 | 用于社交动态信息情感分析的方法、系统和存储介质 |
| CN113434721A (zh) * | 2021-06-30 | 2021-09-24 | 平安科技（深圳）有限公司 | 表情包分类方法、装置、计算机设备和存储介质 |
| CN113920426A (zh) * | 2021-09-17 | 2022-01-11 | 山东浪潮科学研究院有限公司 | 基于cnn和lstm的智能病虫害识别方法及系统 |
| CN117473329A (zh) * | 2023-12-27 | 2024-01-30 | 环球数科集团有限公司 | 一种基于向量数据库的多模态大模型训练系统及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899335A (zh) * | 2015-06-25 | 2015-09-09 | 四川友联信息技术有限公司 | 一种对网络舆情信息进行情感分类的方法 |
| CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
| CN107153642A (zh) * | 2017-05-16 | 2017-09-12 | 华北电力大学 | 一种基于神经网络识别文本评论情感倾向的分析方法 |
| CN107392109A (zh) * | 2017-06-27 | 2017-11-24 | 南京邮电大学 | 一种基于深度神经网络的新生儿疼痛表情识别方法 |
-
2018
- 2018-04-02 CN CN201810281663.3A patent/CN108764268A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899335A (zh) * | 2015-06-25 | 2015-09-09 | 四川友联信息技术有限公司 | 一种对网络舆情信息进行情感分类的方法 |
| CN106782602A (zh) * | 2016-12-01 | 2017-05-31 | 南京邮电大学 | 基于长短时间记忆网络和卷积神经网络的语音情感识别方法 |
| CN107153642A (zh) * | 2017-05-16 | 2017-09-12 | 华北电力大学 | 一种基于神经网络识别文本评论情感倾向的分析方法 |
| CN107392109A (zh) * | 2017-06-27 | 2017-11-24 | 南京邮电大学 | 一种基于深度神经网络的新生儿疼痛表情识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| NAN XU ET AL.: "MultiSentiNet: A Deep Semantic Network for Multimodal", 《CIMK"17》 * |
| 李江: "基于深度学习的人脸表情识别研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 蔡国永等: "基于卷积神经网络的图文融合媒体情感预测", 《计算机应用》 * |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191025B (zh) * | 2018-11-15 | 2023-12-12 | 深圳市雅阅科技有限公司 | 文章相关性的确定方法、装置、可读介质及电子设备 |
| CN111191025A (zh) * | 2018-11-15 | 2020-05-22 | 腾讯科技（北京）有限公司 | 文章相关性的确定方法、装置、可读介质及电子设备 |
| CN109492627A (zh) * | 2019-01-22 | 2019-03-19 | 华南理工大学 | 一种基于全卷积网络的深度模型的场景文本擦除方法 |
| CN109934260A (zh) * | 2019-01-31 | 2019-06-25 | 中国科学院信息工程研究所 | 基于随机森林的图文数据融合情感分类方法和装置 |
| CN110046264A (zh) * | 2019-04-02 | 2019-07-23 | 云南大学 | 一种面向手机文档的自动分类方法 |
| CN110135566A (zh) * | 2019-05-21 | 2019-08-16 | 四川长虹电器股份有限公司 | 基于lstm二分类神经网络模型的注册用户名检测方法 |
| CN111985243A (zh) * | 2019-05-23 | 2020-11-24 | 中移(苏州)软件技术有限公司 | 情感模型的训练方法、情感分析方法、装置及存储介质 |
| CN111985243B (zh) * | 2019-05-23 | 2023-09-08 | 中移(苏州)软件技术有限公司 | 情感模型的训练方法、情感分析方法、装置及存储介质 |
| CN110196945A (zh) * | 2019-05-27 | 2019-09-03 | 北京理工大学 | 一种基于LSTM与LeNet融合的微博用户年龄预测方法 |
| CN110781333A (zh) * | 2019-06-26 | 2020-02-11 | 杭州鲁尔物联科技有限公司 | 一种基于机器学习的斜拉桥非结构化监测数据处理方法 |
| CN111160452A (zh) * | 2019-12-25 | 2020-05-15 | 北京中科研究院 | 一种基于预训练语言模型的多模态网络谣言检测方法 |
| CN111191068A (zh) * | 2019-12-27 | 2020-05-22 | 上海擎感智能科技有限公司 | 基于图片的心情统计方法、系统、介质及设备 |
| CN111166327A (zh) * | 2020-01-06 | 2020-05-19 | 天津大学 | 基于单通道脑电信号和卷积神经网络的癫痫诊断装置 |
| CN111259141A (zh) * | 2020-01-13 | 2020-06-09 | 北京工业大学 | 一种基于多模型融合的社交媒体语料情感分析方法 |
| CN111259152A (zh) * | 2020-01-20 | 2020-06-09 | 刘秀萍 | 一种深度多层网络驱动的特征聚合类别划分器 |
| CN111310709A (zh) * | 2020-03-02 | 2020-06-19 | 邓谊 | 一种图文年报情感标定方法及系统 |
| CN111414478A (zh) * | 2020-03-13 | 2020-07-14 | 北京科技大学 | 基于深度循环神经网络的社交网络情感建模方法 |
| CN111414478B (zh) * | 2020-03-13 | 2023-11-17 | 北京科技大学 | 基于深度循环神经网络的社交网络情感建模方法 |
| CN111626889A (zh) * | 2020-06-02 | 2020-09-04 | 小红书科技有限公司 | 社交内容对应的类目预测方法及装置 |
| CN111694959A (zh) * | 2020-06-08 | 2020-09-22 | 谢沛然 | 基于面部表情和文本信息的网络舆情多模态情感识别方法及系统 |
| CN111860981B (zh) * | 2020-07-03 | 2024-01-19 | 航天信息(山东)科技有限公司 | 一种基于lstm深度学习的企业国民行业类别预测方法及系统 |
| CN111860981A (zh) * | 2020-07-03 | 2020-10-30 | 航天信息(山东)科技有限公司 | 一种基于lstm深度学习的企业国民行业类别预测方法及系统 |
| CN111931717B (zh) * | 2020-09-22 | 2021-01-26 | 平安科技（深圳）有限公司 | 基于语义和图像识别的心电信息提取方法及装置 |
| CN111931717A (zh) * | 2020-09-22 | 2020-11-13 | 平安科技（深圳）有限公司 | 基于语义和图像识别的心电信息提取方法及装置 |
| CN112527858A (zh) * | 2020-11-26 | 2021-03-19 | 微梦创科网络科技（中国）有限公司 | 基于社交内容的营销账号识别方法、装置、介质和设备 |
| CN112488214A (zh) * | 2020-12-02 | 2021-03-12 | 浙江大华技术股份有限公司 | 一种图像情感分析方法以及相关装置 |
| WO2022116771A1 (en) * | 2020-12-02 | 2022-06-09 | Zhejiang Dahua Technology Co., Ltd. | Method for analyzing emotion shown in image and related devices |
| CN112651448B (zh) * | 2020-12-29 | 2023-09-15 | 中山大学 | 一种面向社交平台表情包的多模态情感分析方法 |
| CN112651448A (zh) * | 2020-12-29 | 2021-04-13 | 中山大学 | 一种面向社交平台表情包的多模态情感分析方法 |
| CN112948554A (zh) * | 2021-02-28 | 2021-06-11 | 西北工业大学 | 基于强化学习和领域知识的实时多模态对话情感分析方法 |
| CN112948554B (zh) * | 2021-02-28 | 2024-03-08 | 西北工业大学 | 基于强化学习和领域知识的实时多模态对话情感分析方法 |
| CN113177163B (zh) * | 2021-04-28 | 2022-08-02 | 烟台中科网络技术研究所 | 用于社交动态信息情感分析的方法、系统和存储介质 |
| CN113177163A (zh) * | 2021-04-28 | 2021-07-27 | 烟台中科网络技术研究所 | 用于社交动态信息情感分析的方法、系统和存储介质 |
| CN113434721A (zh) * | 2021-06-30 | 2021-09-24 | 平安科技（深圳）有限公司 | 表情包分类方法、装置、计算机设备和存储介质 |
| CN113920426A (zh) * | 2021-09-17 | 2022-01-11 | 山东浪潮科学研究院有限公司 | 基于cnn和lstm的智能病虫害识别方法及系统 |
| CN117473329A (zh) * | 2023-12-27 | 2024-01-30 | 环球数科集团有限公司 | 一种基于向量数据库的多模态大模型训练系统及方法 |
| CN117473329B (zh) * | 2023-12-27 | 2024-04-16 | 环球数科集团有限公司 | 一种基于向量数据库的多模态大模型训练系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764268A (zh) | 一种基于深度学习的图文多模态情感识别方法 | |
| CN110287320B (zh) | 一种结合注意力机制的深度学习多分类情感分析模型 | |
| CN107766371A (zh) | 一种文本信息分类方法及其装置 | |
| CN107220237A (zh) | 一种基于卷积神经网络的企业实体关系抽取的方法 | |
| CN109753602B (zh) | 一种基于机器学习的跨社交网络用户身份识别方法和系统 | |
| CN107247702A (zh) | 一种文本情感分析处理方法和系统 | |
| CN108536756A (zh) | 基于双语信息的情绪分类方法及系统 | |
| CN109934260A (zh) | 基于随机森林的图文数据融合情感分类方法和装置 | |
| CN104142995B (zh) | 基于视觉属性的社会事件识别方法 | |
| CN111581376B (zh) | 一种知识图谱自动构建系统及方法 | |
| CN110472235A (zh) | 一种面向中文文本的端到端实体关系联合抽取方法 | |
| CN110309114B (zh) | 媒体信息的处理方法、装置、存储介质和电子装置 | |
| CN108038205A (zh) | 针对中文微博的观点分析原型系统 | |
| CN107688576B (zh) | 一种cnn-svm模型的构建及倾向性分类方法 | |
| CN106354818B (zh) | 基于社交媒体的动态用户属性提取方法 | |
| CN107679110A (zh) | 结合文本分类与图片属性提取完善知识图谱的方法及装置 | |
| CN111783394A (zh) | 事件抽取模型的训练方法、事件抽取方法和系统及设备 | |
| CN110442720A (zh) | 一种基于lstm卷积神经网络的多标签文本分类方法 | |
| CN107153640A (zh) | 一种面向初等数学领域的分词方法 | |
| CN107357785A (zh) | 主题特征词抽取方法及系统、情感极性判断方法及系统 | |
| CN107491435A (zh) | 基于计算机自动识别用户情感的方法及装置 | |
| CN107818084A (zh) | 一种融合点评配图的情感分析方法 | |
| CN113495959B (zh) | 一种基于文本数据的金融舆情识别方法及系统 | |
| CN108829810A (zh) | 面向健康舆情的文本分类方法 | |
| CN110134934A (zh) | 文本情感分析方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181106 |
|
| RJ01 | Rejection of invention patent application after publication |