CN114170411A - 一种融合多尺度信息的图片情感识别方法 - Google Patents
一种融合多尺度信息的图片情感识别方法 Download PDFInfo
- Publication number
- CN114170411A CN114170411A CN202111481080.3A CN202111481080A CN114170411A CN 114170411 A CN114170411 A CN 114170411A CN 202111481080 A CN202111481080 A CN 202111481080A CN 114170411 A CN114170411 A CN 114170411A
- Authority
- CN
- China
- Prior art keywords
- features
- emotion recognition
- image
- scale
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008451 emotion Effects 0.000 claims abstract description 43
- 230000002996 emotional effect Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 9
- 238000002679 ablation Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000013434 data augmentation Methods 0.000 claims 2
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000013507 mapping Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种融合多尺度信息的图片情感识别方法，主要涉及深度学习中提取和融合多尺度特征进行图片情感识别的问题。此方法将局部特征和全局特征融合，进行多任务情感识别，并利用KL损失函数和交叉熵进行图片情感识别学习，完善了识别的信息。首先，使用两个网络分别提取局部特征和全局特征：利用ViT网络来进行局部特征提取，有利于获得小尺度的情感特征；利用ResNet网络进行全局特征提取，以获得深层情感特征。在将局部特征和全局特征融合后，将其送入全连接层进行分类，在完成主导情绪识别的同时进行了标签分布学习预测，解决了视觉特征提取不够充分的问题，能够合理地实现实例到情感空间的映射。
Description
技术领域
本发明涉及深度学习领域中的图片情感分析问题，尤其是涉及一种融合多尺度信息的图片情感识别方法。
背景技术
随着互联网技术的飞速发展，人们更多地使用图片来表达自己的情感。因此，对于图片的情感分析是一个迫切且有研究价值的问题。现有的研究大多通过单标签或多标签学习完成图片标注、卷积神经网络进行特征提取，并且都取得了不错的效果。近年来，随着ViT网络在自然语言处理领域大放异彩和标签分布学习的逐步普及应用，图片情感分析领域也开始借鉴相关思想，来更好地预测图片中的情绪分布，对其进行充分表征。目前，图片情感分析在美学分析、智能广告和社交媒体舆情检测等领域都有着广泛应用和更深的研究需求。
现有的方法较少将图片所表达的不同情绪的相对重要性纳入考虑，并且只能对主导情绪进行识别。实际上，情绪具有较强的主观性，同一张图片可能会激起不同个体不同的情绪，所以学习图片的情绪分布十分重要。鉴于此，本专利将局部特征和全局特征进行融合，运用多尺度的信息来同时完成主导情绪的识别和情绪分布的预测。首先，使用ViT网络来进行局部特征提取，这些特征学习了局部信息与局部之间的关联信息，有利于表征图片的情感区域，获得小尺度的情感特征。其次，对于整体特征，利用ResNet网络来进行提取，使结果更加鲁棒。同时，使用KL损失函数和交叉熵进行学习，有利于衡量由于预测分布与标记分布不一致而导致的信息损失。
发明内容
本发明的目的是提供一种融合多尺度信息的图片情感识别方法，它使用了标签分布学习的方法来标注图片，并将图片的局部特征和全局特征融合来进行多任务情感识别，解决了图片情感分析中标签模糊及情绪分布得不到充分展现的问题。
为了方便说明，首先引入一下概念：
视觉转换器（VisionTransformer，ViT）：一种基于多头自注意力机制的一种神经网络。
残差网络(ResNets)：通过引入恒等映射来解决网络的退化问题。常见的网络类型有ResNet-18、ResNet-34、ResNet-50、ResNet-101以及ResNet-152。
标签分布学习（LabelDistribution Learning, LDL）：一种标签分配方式，用情绪分布来表征图片。
Kullback-Leibler (KL)损失函数：用于分布学习的损失函数，能衡量由于预测分布与标记分布不一致而导致的信息损失。
本发明具体采用如下技术方案：
一种融合多尺度信息的图片情感识别方法，其特征在于：
a. 通过ViT网络提取图片局部与局部之间的相关性的小尺度情感特征；
b. 通过ResNet网络提取图片的深度全局情感特征；
c. 采用KL损失函数和交叉熵进行图片情感识别学习；
d. 将局部特征和全局特征融合进行多任务情感识别，包括主导情绪识别任务和标签分布学习预测任务；
该方法主要包括以下步骤：
（1） 图片预处理：将数据集中的图像统一尺寸，然后使用随机裁剪和水平翻转等数据增强方法进行数据增扩；
（2） 标签预处理：使用标签分布表征图片数据，将数据集中的原始多人投票分值进行归一化等处理，作为分布学习真实值；主导情绪标签作为分类学习真实值；
（3） 局部特征提取：采用在ImageNet上预训练的ViT网络进行小尺度情感特征的提取；
（4） 全局特征提取：采用基于残差结构的ResNet卷积架构进行全局大尺度情感特征的提取；
（5） 特征融合：将步骤（3）中提取的1024维特征和步骤（4）提取的1024维特征进行特征层融合，拼接成2048维特征；
（6） 图片情感识别：将（5）中融合后的特征输入全连接层，获得图片的主导情绪识别结果和标签分布预测结果；
（7） 模型训练：以端到端方式训练，使用KL损失函数和交叉熵进行学习；
（8） 结果验证：在大型公开数据集进行验证，与各项指标相比得出实验结果，并进行消融实验证明方法的合理性。
本发明的有益效果是：
（1）利用ViT网络提取局部特征，有利于表征图片的情感区域，获得小尺度的情感特征。
（2）采用ResNet网络提取全局特征，避免因网络过深造成的梯度消失或梯度爆炸。
（3）使用KL损失函数和交叉熵进行学习，有利于衡量由于预测分布与标记分布不一致而导致的信息损失。
（4）通过融合多尺度信息进行多任务情感识别，包括主导情绪识别任务和标签分布学习预测任务。
附图说明
图1为模型结构。
图2为本发明在Flickr_LDL数据集上的结果。
图3为本发明在Twitter_LDL数据集上的结果。
图4为消融实验结果。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
融合多尺度信息的图片情感识别方法，具体包括以下步骤：
（1）图片预处理
将Flickr_LDL和Twitter_LDL数据集随机分割为训练集(80%)和测试集(20%)，并将图像统一调整尺寸为500*500，并进行随机裁剪为224*224尺寸，同时以0.5的概率进行水平翻转，10%自动对比度改变图像颜色，增强数据，提高训练效果。
（2）标签预处理
将数据集的多人对八类情绪的投票的原始数据进行归一化处理，获得图片情感分布标签，进行标签分布学习；将八类情绪中投票最多的类别作为主导情绪，进行情绪分类。
（3）局部特征提取
将在ImageNet上预训练的ViT网络作为特征提取的骨干网络。在特征提取过程中，ViT网络首先将原始图片进行分块，再将其展开成一维的序列输入到原始Transformer模型的编码器部分，在其中经过多头注意力等方法处理，最后将输出特征更改为1024维。学习局部信息与局部之间的相关性，表征图片的情感区域，获得小尺度的情感特征。
（4）全局特征提取
采用基于残差结构的ResNet卷积架构进行全局深层情感特征的提取，并取消最后一层输出分类的全连接层。ResNet网络结构可以通过堆叠基本残差单元来加深网络的深度，同时避免因网络过深造成的梯度消失或梯度爆炸，进行图片整体视觉特征的学习，增加表征的深度，获得大尺度全局特征。
（5）特征融合
特征融合方式如图1所示，将步骤（2）中提取的1024维特征和步骤（3）提取的1024
维特征拼接成2048维特征。将局部特征和全局特征在输入全连接层前进行特征层融合，拼接成包含多尺度信息的情感特征向量，增加图片情感识别准确率。
（6）图片情感识别
将步骤（5）中拼接后的2048维特征输入全连接层，完成多任务情感识别，得到最终的主导情绪识别结果和标签分布学习预测结果。如图1中的DominantLabel和DistributionLabel所示。
（7）模型训练
以端到端方式训练，初始学习率为0.001，每10个回合除以10，总回合数为50，输入为数据集图片，直接输出图片情感识别的结果，减少人工操作的复杂度。使用相对熵KL损失函数和交叉熵Cross Entropy损失进行学习。KL损失函数是用于分布学习的损失函数，能衡量由于预测分布与标记分布不一致而导致的信息损失，其公式如（1）式所示：
其中y表示从数据集标记的情绪分布，
表示预测的情绪分布，N表示特定数据集中图片的数量，C表示所涉及的情感类别。通过优化KL损失学习视觉情感的分布，通过优化Cross Entropy损失学习主导情绪分类，实现多任务的同时优化提升。
（7）结果验证
使用了六种常用的分布学习测量方法在大型公开的Flickr_LDL和Twitter_LDL数据集进行验证。其中，距离度量包括Chebyshev距离、Clark距离、Canberra度量和KL散度。相似性度量包括Cosine系数和Intersection相似性。此外，Clark距离和Canberra度量的最大值由情绪类别数决定，为进行标准化比较，与之前的工作采用一样的操作：将Clark距离除以情绪类别数的平方根，将Canberra度量除以情绪类别数。此外，进一步引入top-1准确度作为评价指标，对主导情绪的预测情况进行比较。图2和图3所示的分别是在Flickr_LDL和Twitter_LDL数据集的验证结果，其中向下的箭头表示越低越好，向上的箭头表示越高越好。可以看出，在综合考虑了全局深层特征和局部特征与其之前的相关性后，本发明在两个广泛使用的数据集上都获得了比基线方法更好的分类和分布结果，证明了本发明的优越性。
消融实验的结果如图4所示，仅使用ResNet网络进行特征提取和学习时结果是最差的，分布学习的六个指标和主导情绪分类的准确率指标都很不好。在融入ViT模块进行特征提取和利用KL损失模块后，主导情绪分类和分布学习指标的准确率都有所提升，表明了ViT对全局特征不足的弥补和KL损失模块对于分布学习的有效性。最终提出的模型取得了最好的分布学习和分类结果，证明了模型的有效性和模型各部分的必要性。
Claims (10)
1.一种融合多尺度信息的图片情感识别方法，其特征在于：
通过ViT网络提取图片局部与局部之间的相关性的小尺度情感特征；
通过ResNet网络提取图片的深度全局情感特征；
采用KL损失函数和交叉熵进行图片情感识别学习；
将局部特征和全局特征融合进行多任务情感识别，包括主导情绪识别任务和标签分布学习预测任务；
该方法主要包括以下步骤：
图片预处理：将数据集中的图像统一尺寸，然后使用随机裁剪和水平翻转数据增强方法进行数据增扩；
标签预处理：使用标签分布表征图片数据，将数据集中的原始多人投票分值进行归一化等处理，作为分布学习真实值；主导情绪标签作为分类学习真实值；
局部特征提取：采用在ImageNet上预训练的ViT网络进行小尺度情感特征的提取；
全局特征提取：采用基于残差结构的ResNet卷积架构进行全局大尺度情感特征的提取；
特征融合：将步骤（3）中提取的1024维特征和步骤（4）提取的1024维特征进行特征层融合，拼接成2048维特征；
图片情感识别：将（5）中融合后的特征输入全连接层，获得图片的主导情绪识别结果和标签分布预测结果；
模型训练：以端到端方式训练，使用KL损失函数和交叉熵进行学习；
结果验证：在大型公开数据集进行验证，与各项指标相比得出实验结果，并进行消融实验证明方法的合理性。
2.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（1）中，将数据集图像统一尺寸为500*500，并进行随机裁剪为224*244尺寸，同时以0.5的概率进行水平翻转，10%自动对比度改变图像颜色，增强数据，提高训练效果。
3.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（2）中将数据集的多人对八类情绪的投票的原始数据进行归一化处理，获得图片情感分布标签，进行标签分布学习；将八类情绪中投票最多的类别作为主导情绪，进行情绪分类。
4.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（3）中，特征提取的局部通道使用ViT网络进行特征提取，从而能够学习到局部信息与局部之间的相关性，表征图片的情感区域，获得小尺度的情感特征。
5.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（4）中，特征提取的全局通道使用基于残差结构的ResNet卷积架构进行图片整体视觉特征的学习，增加表征的深度，获得大尺度全局特征。
6.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（5）中，将局部特征和全局特征在输入全连接层前进行特征层融合，拼接成包含多尺度信息的情感特征向量，增加图片情感识别准确率。
7.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（6）中，由融合的2048维特征经过全连接层，同时获取情感识别多任务结果，包括主导情绪识别结果和标签分布预测结果。
8.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（7）中，使用端到端的训练方式，初始学习率为0.001，每10个回合除以10，总回合数为50，输入为数据集图片，直接输出图片情感识别的结果，减少人工操作的复杂度。
9.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（7）中，使用衡量预测分布与标记分布不一致导致的信息损失的相对熵KL损失和交叉熵CrossEntropy损失进行学习，通过优化KL损失学习视觉情感的分布，通过优化Cross Entropy损失学习主导情绪分类，实现多任务的同时优化提升。
10.如权利要求1所述的融合多尺度信息的图片情感识别方法，其特征在于在步骤（8）中，在两个大型公开数据集上进行测试，分别使用距离度量指标和相似性度量指标进行验证，包括Chebyshev距离、Clark距离、Canberra度量、KL散度、Cosine系数和Intersection相似性；并进行消融实验验证有效性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111481080.3A CN114170411A (zh) | 2021-12-06 | 2021-12-06 | 一种融合多尺度信息的图片情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111481080.3A CN114170411A (zh) | 2021-12-06 | 2021-12-06 | 一种融合多尺度信息的图片情感识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114170411A true CN114170411A (zh) | 2022-03-11 |
Family
ID=80483569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111481080.3A Pending CN114170411A (zh) | 2021-12-06 | 2021-12-06 | 一种融合多尺度信息的图片情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170411A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419570A (zh) * | 2022-03-28 | 2022-04-29 | 苏州浪潮智能科技有限公司 | 一种点云数据识别方法、装置、电子设备及存储介质 |
| CN114882014A (zh) * | 2022-06-16 | 2022-08-09 | 深圳大学 | 基于双模型的眼底图像质量评价方法、装置及相关介质 |
| CN115049924A (zh) * | 2022-06-06 | 2022-09-13 | 四川大学 | 基于视频监控下非结构构件损伤识别的建筑震害评估方法 |
| CN117593593A (zh) * | 2024-01-18 | 2024-02-23 | 湖北工业大学 | 一种情感增益下多尺度语义融合的图像情感分类方法 |
| CN118967449A (zh) * | 2024-10-17 | 2024-11-15 | 济南大学 | 一种基于扩散模型的病理切片图像超分辨率方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985377A (zh) * | 2018-07-18 | 2018-12-11 | 太原理工大学 | 一种基于深层网络的多特征融合的图像高级语义识别方法 |
| CN110119688A (zh) * | 2019-04-18 | 2019-08-13 | 南开大学 | 一种利用视觉注意力协同网络的图像情感分类方法 |
| CN110852368A (zh) * | 2019-11-05 | 2020-02-28 | 南京邮电大学 | 全局与局部特征嵌入及图文融合的情感分析方法与系统 |
| CN111242155A (zh) * | 2019-10-08 | 2020-06-05 | 台州学院 | 一种基于多模深度学习的双模态情感识别方法 |
| CN111832573A (zh) * | 2020-06-12 | 2020-10-27 | 桂林电子科技大学 | 一种基于类激活映射和视觉显著性的图像情感分类方法 |
| CN113255755A (zh) * | 2021-05-18 | 2021-08-13 | 北京理工大学 | 一种基于异质融合网络的多模态情感分类方法 |
-
2021
- 2021-12-06 CN CN202111481080.3A patent/CN114170411A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985377A (zh) * | 2018-07-18 | 2018-12-11 | 太原理工大学 | 一种基于深层网络的多特征融合的图像高级语义识别方法 |
| CN110119688A (zh) * | 2019-04-18 | 2019-08-13 | 南开大学 | 一种利用视觉注意力协同网络的图像情感分类方法 |
| CN111242155A (zh) * | 2019-10-08 | 2020-06-05 | 台州学院 | 一种基于多模深度学习的双模态情感识别方法 |
| CN110852368A (zh) * | 2019-11-05 | 2020-02-28 | 南京邮电大学 | 全局与局部特征嵌入及图文融合的情感分析方法与系统 |
| CN111832573A (zh) * | 2020-06-12 | 2020-10-27 | 桂林电子科技大学 | 一种基于类激活映射和视觉显著性的图像情感分类方法 |
| CN113255755A (zh) * | 2021-05-18 | 2021-08-13 | 北京理工大学 | 一种基于异质融合网络的多模态情感分类方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419570A (zh) * | 2022-03-28 | 2022-04-29 | 苏州浪潮智能科技有限公司 | 一种点云数据识别方法、装置、电子设备及存储介质 |
| CN115049924A (zh) * | 2022-06-06 | 2022-09-13 | 四川大学 | 基于视频监控下非结构构件损伤识别的建筑震害评估方法 |
| CN114882014A (zh) * | 2022-06-16 | 2022-08-09 | 深圳大学 | 基于双模型的眼底图像质量评价方法、装置及相关介质 |
| CN114882014B (zh) * | 2022-06-16 | 2023-02-03 | 深圳大学 | 基于双模型的眼底图像质量评价方法、装置及相关介质 |
| CN117593593A (zh) * | 2024-01-18 | 2024-02-23 | 湖北工业大学 | 一种情感增益下多尺度语义融合的图像情感分类方法 |
| CN117593593B (zh) * | 2024-01-18 | 2024-04-09 | 湖北工业大学 | 一种情感增益下多尺度语义融合的图像情感分类方法 |
| CN118967449A (zh) * | 2024-10-17 | 2024-11-15 | 济南大学 | 一种基于扩散模型的病理切片图像超分辨率方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114170411A (zh) | 一种融合多尺度信息的图片情感识别方法 | |
| CN107122416B (zh) | 一种中文事件抽取方法 | |
| CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN106886580B (zh) | 一种基于深度学习的图片情感极性分析方法 | |
| CN112487949B (zh) | 一种基于多模态数据融合的学习者行为识别方法 | |
| CN108052504B (zh) | 数学主观题解答结果的结构分析方法及系统 | |
| CN113469214B (zh) | 虚假新闻检测方法、装置、电子设备和存储介质 | |
| CN112966626B (zh) | 人脸识别方法和装置 | |
| CN112633431A (zh) | 一种基于crnn和ctc的藏汉双语场景文字识别方法 | |
| CN111325237B (zh) | 一种基于注意力交互机制的图像识别方法 | |
| CN112329767A (zh) | 基于联合预训练的合同文本图像关键信息提取系统和方法 | |
| CN116012709B (zh) | 一种高分辨率遥感影像建筑物提取方法及系统 | |
| CN117235605B (zh) | 一种基于多模态注意力融合的敏感信息分类方法及装置 | |
| CN117173530B (zh) | 目标异常检测方法及装置 | |
| CN112015862A (zh) | 基于层级多通道注意力的用户异常评论检测方法及系统 | |
| CN110929762A (zh) | 一种基于深度学习的肢体语言检测与行为分析方法及系统 | |
| CN113723330A (zh) | 一种图表文档信息理解的方法及系统 | |
| CN114020871A (zh) | 基于特征融合的多模态社交媒体情感分析方法 | |
| CN114898775A (zh) | 一种基于跨层交叉融合的语音情绪识别方法及系统 | |
| CN113486174A (zh) | 模型训练、阅读理解方法、装置、电子设备及存储介质 | |
| CN117952177A (zh) | 一种基于多模态自监督学习知识蒸馏的涉诈网站研判方法 | |
| CN112035670B (zh) | 基于图像情感倾向的多模态谣言检测方法 | |
| CN114417044A (zh) | 图像问答的方法及装置 | |
| CN113850301B (zh) | 训练数据的获取方法和装置、模型训练方法和装置 | |
| Gupta et al. | Multimodal Meme Sentiment Analysis with Image Inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |