CN115526166A - 一种图文情感推断方法、系统、存储介质及设备 - Google Patents

一种图文情感推断方法、系统、存储介质及设备 Download PDF

Info

Publication number
CN115526166A
CN115526166A CN202211062718.4A CN202211062718A CN115526166A CN 115526166 A CN115526166 A CN 115526166A CN 202211062718 A CN202211062718 A CN 202211062718A CN 115526166 A CN115526166 A CN 115526166A
Authority
CN
China
Prior art keywords
information
feature vector
text
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211062718.4A
Other languages
English (en)
Inventor
李介
刘向宇
张恒星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Zhongye Intelligent Technology Co ltd
Original Assignee
Jiangxi Zhongye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Zhongye Intelligent Technology Co ltd filed Critical Jiangxi Zhongye Intelligent Technology Co ltd
Priority to CN202211062718.4A priority Critical patent/CN115526166A/zh
Publication of CN115526166A publication Critical patent/CN115526166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种图文情感推断方法、系统、存储介质及设备，可对用户评论中的文本及图像信息进行分析，进行多模态特征融合，在技术层面可以更好的获取到用户评论的情感特征，在行业应用方面，通过提高分析用户情感的准确率，可以更好的有助于商家给客户提供个性化服务，提高用户在消费过程中的满意度，解决了目前，基于计算机技术主要是处理用户文本信息；当用户进行输入图片、表情，或者文本和图片相结合的方式时，基于文本的单模态模型无法进行处理，存在一定的使用局限问题，进而导致获取到的用户特征不全面，从而误判用户当前情感倾向，降低用户体验，实用程度较差问题。

Description

一种图文情感推断方法、系统、存储介质及设备
技术领域
本发明涉及人工智能互联网领域，特别涉及一种图文情感推断方法、系统、存储介质及设备。
背景技术
随着人工智能、深度学习以及大数据技术的发展，人工智能技术在日常生活中随处可见，正在融合到各个应用领域，智能互联网作为重要分支之一，情感倾向推断应用方向主要包括精准营销、智能推荐、电商商品推荐、短视频推荐等。不仅有助于商家更好的服务客户，客户在使用过程中也能享受更好、更方便的服务体验。
随着互联网的发展，网络消息扁平化、热点舆论消息快速传播、政府网站留言评论、城市热点问题、群众切身问题反馈，在政府职能部门，通过对相关数据情感倾向分析，对其进行合适监控和引导，具有重要作用。政府部门可进行正确引导和实施政策，使社会向着更好、更健康的方向发展，同时解决群众生活关注的热点和焦点问题。
目前，基于计算机技术，主要是处理用户文本信息；当用户进行输入图片、表情，或者文本和图片相结合的方式时，基于文本的单模态模型无法进行处理，存在一定的使用局限问题，进而导致获取到的用户特征不全面，从而误判用户当前情感倾向，降低用户体验，实用程度较差。
发明内容
基于此，本发明的目的是提供一种图文情感推断方法、系统、存储介质及设备，以从根本上解决无法对用户输入的图片、表情，或者文本和图片相结合的评论进行处理，导致获取到的用户特征不全面，从而误判用户当前情感倾向，降低用户体验的问题。
根据本发明实施例的一种图文情感推断方法，应用于图文情感推断设备当中，所述方法包括：
获取用户评论信息，所述评论信息至少包括文本信息以及图像信息；
将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量；
对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量，并将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向。
进一步的，所述将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量的步骤之前包括：
获取社会热点评论，根据所述社会热点评论建立极性词典表，去除所述文本信息中的停用词和标点符号得到纯文本信息，并对所述纯文本信息进行分词以分别得到单词和句段信息；
将所述单词导入所述极性词典表进行查询以获取所述单词的向量，并对所述句段进行文字向量处理，之后依次将所述单词向量融合还原至所述句段向量进行分词前的初始位置中，得到所述纯文本信息的矩阵向量，并确定为所述文本信息生成模型前的初始输入信息。
进一步的，所述将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量的步骤包括：
获取所述文本信息的所述初始输入信息，并将所述初始输入信息输入至BILSTM模型中进行训练，得到文本特征向量模型。
进一步的，所述将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量的步骤还包括：
将所述图像信息中的图像裁剪至预设尺寸，确定为所述图像信息的初始输入图像，将所述初始输入图像输入至卷积神经网络中进行训练，得到图像特征向量模型。
进一步的，所述对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量的步骤之前包括：
判断获取所述联合特征向量前是否同时输入有所述文本特征向量和所述图像特征向量；
若是，则将所述文本特征向量和所述图像特征向量进行特征融合以获取联合特征向量，并确定为所述用户评论信息的特征表示；
若否，则将所述文本特征向量或所述图像特征向量输出特征向量长度视为固定值，并确定为所述用户评论信息的特征表示。
进一步的，将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向的步骤之前包括：
对搜集的所述用户评论信息进行情感标注，并将所述情感标注对应的所述用户评论信息输入分类器进行分类训练，构建预训练的情感分析模型。
根据本发明实施例的一种图文情感推断系统，所述系统包括：
获取模块，用于获取用户评论信息，所述评论信息至少包括文本信息以及图像信息；
第一训练模块，用于将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量；
第二训练模块，用于对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量，并将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图文情感推断方法。
本发明还提出一种图文情感推断设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，上述的图文情感推断方法。
与现有技术相比：本发明上述实施例当中的图文情感推断方法，可对用户评论中的文本及图像信息进行分析，进行多模态特征融合，在技术层面可以更好的获取到用户评论的情感特征，在行业应用方面，通过提高分析用户情感的准确率，可以更好的有助于商家给客户提供个性化服务，提高用户在消费过程中的满意度，解决了目前，基于计算机技术主要是处理用户文本信息；当用户进行输入图片、表情，或者文本和图片相结合的方式时，基于文本的单模态模型无法进行处理，存在一定的使用局限问题，进而导致获取到的用户特征不全面，从而误判用户当前情感倾向，降低用户体验，实用程度较差问题。
附图说明
图1为本发明第一实施例中的图文情感推断方法的流程图；
图2为本发明第二实施例中的图文情感推断方法的流程图；
图3为本发明第三实施例中的图文情感推断系统的结构示意图；
图4为本发明第四实施例中的图文情感推断设备的结构示意图。
以下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1，所示为本发明第一实施例中的图文情感推断方法，应用与图文情感推断设备当中，所示方法具体包括步骤S01-步骤S05。
步骤S01，获取用户评论信息，所述评论信息至少包括文本信息以及图像信息。
在具体实施时，通过唤醒图文情感推断设备，对用户评论信息进行获取，之后再对评论信息中的文本信息和图像信息进行区分，当存在仅有文本信息或图像信息时，可唤醒与文本或图像对应的处理通道进行单一推导，如上述文本信息或图像信息同时存在与用户评论信息时，可同时唤醒文本和图像处理通道对文本和图像的处理，用于后续文本特征向量和图像特征向量的获取。
步骤S02，获取社会热点评论，根据所述社会热点评论建立极性词典表。
其中，极性词典构建：首先收集用户留言评论数据集，可通过查询后台数据库、网络爬虫，获取用户针对某个话题或者产品的有效评价，并整理数据集，进行分词和词统计，并通过人工筛选后建立的极性词典表，且极性词典表还可分为正向极性和负向极性词，用于后续对评测文本进行数据预处理（其中，预处理为人工筛选判定得出的准确评测文本）获取处理后的有效评测数据集。其中极性词表明用户明确情感观点，对句子进行分词、然后统计词频，通过人工筛选进行构建极性关键词典表。
步骤S03，去除所述文本信息中的停用词和标点符号得到纯文本信息，并对所述纯文本信息进行分词以分别得到单词和句段信息；将所述单词导入所述极性词典表进行查询以获取所述单词的向量，并对所述句段进行文字向量处理，之后依次将所述单词向量融合还原至所述句段向量进行分词前的初始位置中，得到所述纯文本信息的矩阵向量，并确定为所述文本信息生成模型前的初始输入信息。
在具体实施时，对获取的文本信息进行向量转化前的处理，可将文本信息中的停用词和标点符号去除，以得到纯文本信息，之后对纯文本进行分词处理，以分别得到纯文本的单词和句段信息，之后将单词输入构建的极性关键词典表中，在词典中查询对应单词的向量表，需要说明的，在极性关键词典表中存在对应单词的词典向量表，以便于统一对单词的极性关系及对应的向量进行查询，以得到当前单词的向量表示，且需加以对句子中极性词的位置、词性、存在的极性词进行编码，之后对分词后的句段信息进行向量转化，具体的，通过word2vec算法模型，设置参数，可以是包含设置向量维度、分词粒度、迭代次数等进行训练，生成文本字词向量文件，用于完成文字向量化的转换表示，最后，根据上述单词的位置，将单词向量融合还原至句段向量进行分词前的初始位置中，得到纯文本信息的矩阵向量，并确定为文本信息生成模型前的初始输入信息，用于后续BILSTM模型训练获取文本特征向量。
步骤S04，将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量。
其中，预训练的文本特征向量生成模型可以是BILSTM，需要说明的，BiLSTM是Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成（而LSTM的全称是Long Short-Term Memory，它是RNN（Recurrent Neural Network）的一种，LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据）两者在自然语言处理任务中都常被用来建模上下文信息，因此可以理解的，通过BILSTM建设的模型可以双向获取用户文本的特征表示，从而更好的提取文本中的特征；
预训练的图像特征向量生成模型可以是深度学习图像特征提取模型，如卷积神经网络训练，需要说明的是，深度学习图像特征提取模型的构建，是通过人工对网络搜集的图像，并对图像特征进行分类标注，如中性、积极以及消极的分类标签，之后输入深度学习图像特征提取模型进行训练，所构建出的深度学习图像特征提取模型。
在具体实施时，可先对步骤S01中获取的文本信息及图像信息分别进行向量化处理，并将处理后文本信息的向量数据和图像信息的向量数据对应输入BILSTM模型和深度学习图像特征提取模型中进行模型训练，并分别得到文本特征向量和图像特征向量，用于后续确定用户情感倾向。
步骤S05，对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量，并将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向。
在具体实施时，将步骤S02中得到的文本特征向量和图像特征向量进行融合，形成最终的联合特征向量，确定为用户评论的特征信息，并作为后续情感倾向判断的依据，之后将联合特征向量输入预训练的情感分析模型当中，得出用户感情倾向。
综上，本发明上述实施例当中的图文情感推断方法，可对用户评论中的文本及图像信息进行分析，进行多模态特征融合，在技术层面可以更好的获取到用户评论的情感特征，在行业应用方面，通过提高分析用户情感的准确率，可以更好的有助于商家给客户提供个性化服务，提高用户在消费过程中的满意度，解决了目前，基于计算机技术主要是处理用户文本信息；当用户进行输入图片、表情，或者文本和图片相结合的方式时，基于文本的单模态模型无法进行处理，存在一定的使用局限问题，进而导致获取到的用户特征不全面，从而误判用户当前情感倾向，降低用户体验，实用程度较差问题。
实施例二
请参阅图2，所示为本发明第二实施例中的图文情感推断方法，应用与图文情感推断设备当中，所示方法具体包括步骤S11-步骤S20。
步骤S11，获取用户评论信息，所述评论信息至少包括文本信息以及图像信息。
步骤S12，获取社会热点评论，根据所述社会热点评论建立极性词典表。
步骤S13，去除所述文本信息中的停用词和标点符号得到纯文本信息，获取所述纯文本信息中各所述单词前后句段中预设长度的文字信息，并将个所述单词前后句段中预设长度的文字信息，确定为各所述单词位于所述纯文本信息中的位置信息，之后对所述纯文本信息进行分词以分别得到单词和句段信息；将所述单词导入所述极性词典表进行查询以获取所述单词的向量，并对所述句段进行文字向量处理，之后根据各所述单词的所述位置信息，依次将各所述单词向量融合还原至所述句段向量进行分词前的初始位置中，得到所述纯文本信息的矩阵向量，并确定为所述文本信息生成模型前的初始输入信息。
其中，需要说明的是，在提取纯文本信息中各单词前需先获取各单词在纯文本中前后位置的文本信息，以做为后续各单词还原至句段时位置参照，在本发明一些可选实施例当中，所获取的各单词前后的文本信息的预设长度可以是三个字符长度或取当前纯文本的字符长度百分之十做为参照文字，确保后续个单词还原至纯文本中的精确程度。
步骤S14，获取所述文本信息的所述初始输入信息，并将所述初始输入信息输入至BILSTM模型中进行训练，得到文本特征向量模型。
在具体实施时，对步骤S13中文本信息生成模型前的初始输入信息进行调取，并输入至BILSTM模型中进行训练，得到文本特征向量模型，之后通过文本特征向量模型最后层的输出结果，确定为文本特征向量，其中，BILSTM模型可以双向获取句子的特征表示，同时BILSTM的进一步说明，是对于情感分类任务，通常的做法是先对词或者短语进行表示，再通过某种组合方式把句子中词的表示组合成句子的表示。最后，利用句子的表示对句子进行情感分类，以提高文本特征获取质量。
步骤S15，将所述图像信息中的图像裁剪至预设尺寸，确定为所述图像信息的初始输入图像，将所述初始输入图像输入至卷积神经网络中进行训练，得到图像特征向量模型。
在具体实施时，首先对图像信息进行预处理，其中包含裁剪、变形、缩放等，获取到特定尺寸的图片，之后将处理后的图像输入到卷积神经网络，得到图像特征向量模型，其中卷积神经网络，可以引入残差模块（其中，残差模块描述，残差操作这一思想起源于论文《Deep Residual Learning for Image Recognition》，目前的引用量已达3万多，文章发现，如果存在某个K层的网络f是当前最优的网络，那么可以构造一个更深的网络，其最后几层仅是该网络f第K层输出的恒等映射(Identity Mapping)，就可以取得与f一致的结果；也许K还不是所谓“最佳层数”，那么更深的网络就可以取得更好的结果。总而言之，与浅层网络相比，更深的网络的表现不应该更差。因此，一个合理的猜测就是，对神经网络来说，恒等映射的某些层会导致模型不容易拟合），进行迭代训练，获取最终推理模型；在模型进行推理阶段，经过预处理步骤的图片，经过模型的卷积层和池化层提取图像特征之后，然后输入到全连接层进行扁平化处理，从而获取图像的一维特征向量，作为图像信息的特性表示。
步骤S16，判断获取所述联合特征向量前是否同时输入有所述文本特征向量和所述图像特征向量，若是，则执行步骤S17，若否，则执行步骤S18。
步骤S17，将所述文本特征向量和所述图像特征向量进行特征融合以获取联合特征向量，并确定为所述用户评论信息的特征表示。
步骤S18，将所述文本特征向量或所述图像特征向量输出特征向量长度视为固定值，并确定为所述用户评论信息的特征表示。
需要说明的是，步骤S16-步骤S18为本发明中一些可选实施例，用于在文本特征向量和图像特征向量进行特征融合之前的判断步骤，用于分析处理用户在反馈评论时，评论内容中仅存在单一的文本或图像内容，为确保后续单一的文本内容或图像内容在获取其特征向量后，进行情感倾向评估时特征向量长度的统一进行适应调整。
在具体实施时，判断在输入步骤S19中分类器内的特征向量中是否同时存在文本特征向量和图像特征向量，若存在，则将所述文本特征向量和所述图像特征向量进行特征融合以获取联合特征向量，并确定为所述用户评论信息的特征表示，若不存在，则将所述文本特征向量或所述图像特征向量输出特征向量长度视为固定值，并直接确定为所述用户评论信息的特征表示，确保当前单一特征向量输入时的数据精准。
步骤S19，对搜集的所述用户评论信息进行情感标注，并将所述情感标注对应的所述用户评论信息输入分类器进行分类训练，构建预训练的情感分析模型。
需要说明的，预训练的情感分析模型构建，可以是分类器训练模型，其中分类器模型构建为人工搜集用户网络评论信息，并人工标注评论信息对应的情感标签进行整合建模，使得后续通过分类器，可直接对联合特征向量进行分类推断。
步骤S20，将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向。
综上，本实施例与实施例一不同之处在于，增加了对文本和图像的预处理步骤，能够更加有效的凸显文本和图像中所表达的用户感情特征，缩小判定范围，有利于后续感情特征处理时更加精准的推测用户情感评论倾向，有助于更好的防范舆论风险的发生，为决策层提供更好的数据支撑服务，提高用户情感倾向推断质量。
实施例三
本发明另一方面还提供一种图文情感推断系统，请查阅图3，所示为本发明第三实施例中的图文情感推断系统，所述系统包括：
获取模块11，用于获取用户评论信息，所述评论信息至少包括文本信息以及图像信息；
第一训练模块12，用于将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量；
第二训练模块13，用于对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量，并将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向。
进一步的，在本发明一些可选实施例当中，还包括：
第一构建模块，用于获取社会热点评论，根据所述社会热点评论建立极性词典表。
进一步的，在本发明一些可选实施例当中，还包括：
文本处理单元，用于去除所述文本信息中的停用词和标点符号得到纯文本信息，获取所述纯文本信息中各所述单词前后句段中预设长度的文字信息，并将个所述单词前后句段中预设长度的文字信息，确定为各所述单词位于所述纯文本信息中的位置信息，之后对所述纯文本信息进行分词以分别得到单词和句段信息；将所述单词导入所述极性词典表进行查询以获取所述单词的向量，并对所述句段进行文字向量处理，之后根据各所述单词的所述位置信息，依次将各所述单词向量融合还原至所述句段向量进行分词前的初始位置中，得到所述纯文本信息的矩阵向量，并确定为所述文本信息生成模型前的初始输入信息，并将所述初始输入信息输入至BILSTM模型中进行训练；并将获取BILSTM模型最后层的输出结果，确定为文本特征向量；
图像处理单元，用于将所述图像信息中的图像裁剪至预设尺寸，确定为所述图像信息的初始输入图像，将所述初始输入图像输入至卷积神经网络中进行训练；并将获取卷积神经网络最后层的输出结果进行向量转换后，确定为图像特征向量。
进一步的，在本发明一些可选实施例当中，还包括：
判断模块，用于判断获取所述联合特征向量前是否同时输入有所述文本特征向量和所述图像特征向量，若是，则执行第一执行模块，若否，则执行第二执行模块；
第一执行模块，用于将所述文本特征向量和所述图像特征向量进行特征融合以获取联合特征向量，并确定为所述用户评论信息的特征表示；
第二执行模块，用于将所述文本特征向量或所述图像特征向量输出特征向量长度视为固定值，并确定为所述用户评论信息的特征表示。
进一步，在本发明一些可选实施例当中，还包括：
第二构建模块，用于对搜集的所述用户评论信息进行情感标注，并将所述情感标注对应的所述用户评论信息输入分类器进行分类训练，构建预训练的情感分析模型。
需要说明的，上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。
实施例四
本发明另一方面还提出一种图文情感推断设备，请参阅图4，所示为本发明第四实施例当中的图文情感推断设备，包括存储器20、处理器10以及存储在存储器上并可在处理器上运行的计算机程序30，所述处理器10执行所述计算机程序30时实现如上述的图文情感推断方法。
其中，所述图文情感推断设备具体可以为处理器10，在一些实施例中可以是中央处理器（Central Processing Unit, CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器20中存储的程序代码或处理数据，例如执行访问限制程序等。
其中，存储器20至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器20在一些实施例中可以是平面设计图审查系统的内部存储单元，例如该图文情感推断系统的硬盘。存储器20在另一些实施例中也可以是图文情感推断系统的外部存储系统，例如图文情感推断系统上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步的，存储器20还可以既包括图文情感推断系统的内部存储单元也包括外部存储系统。存储器20不仅可以用于存储安装于图文情感推断系统的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
需要指出的是，图4示出的结构并不构成对图文情感推断系统的限定，在其它实施例当中，图文情感推断系统可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的图文情感推断方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、系统或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、系统或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、系统或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、系统或设备或结合这些指令执行系统、系统或设备而使用的系统。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子系统），便携式计算机盘盒（磁系统），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤系统，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种图文情感推断方法，其特征在于，所述方法包括：
获取用户评论信息，所述评论信息至少包括文本信息以及图像信息；
获取社会热点评论，根据所述社会热点评论建立极性词典表；
去除所述文本信息中的停用词和标点符号得到纯文本信息，并对所述纯文本信息进行分词以分别得到单词和句段信息；将所述单词导入所述极性词典表进行查询以获取所述单词的向量，并对所述句段进行文字向量处理，之后依次将所述单词向量融合还原至所述句段向量进行分词前的初始位置中，得到所述纯文本信息的矩阵向量，并确定为所述文本信息生成模型前的初始输入信息；
将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量；
对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量，并将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向。
2.根据权利要求1所述的一种图文情感推断方法，其特征在于，所述去除所述文本信息中的停用词和标点符号得到纯文本信息，并对所述纯文本信息进行分词以分别得到单词和句段信息的步骤包括：
获取所述纯文本信息中各所述单词前后句段中预设长度的文字信息，并将个所述单词前后句段中预设长度的文字信息，确定为各所述单词位于所述纯文本信息中的位置信息，之后对所述纯文本信息进行分词以分别得到单词和句段信息。
3.根据权利要求1所述的一种图文情感推断方法，其特征在于，所述将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量的步骤包括：
获取所述文本信息的所述初始输入信息，并将所述初始输入信息输入至BILSTM模型中进行训练，得到文本特征向量模型。
4.根据权利要求2所述的一种图文情感推断方法，其特征在于，所述将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量的步骤还包括：
将所述图像信息中的图像裁剪至预设尺寸，确定为所述图像信息的初始输入图像，将所述初始输入图像输入至卷积神经网络中进行训练，得到图像特征向量模型。
5.根据权利要求1所述的一种图文情感推断方法，其特征在于，所述对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量的步骤之前包括：
判断获取所述联合特征向量前是否同时输入有所述文本特征向量和所述图像特征向量；
若是，则将所述文本特征向量和所述图像特征向量进行特征融合以获取联合特征向量，并确定为所述用户评论信息的特征表示；
若否，则将所述文本特征向量或所述图像特征向量输出特征向量长度视为固定值，并确定为所述用户评论信息的特征表示。
6.根据权利要求1所述的一种图文情感推断方法，其特征在于，将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向的步骤之前包括：
对搜集的所述用户评论信息进行情感标注，并将所述情感标注对应的所述用户评论信息输入分类器进行分类训练，构建预训练的情感分析模型。
7.一种图文情感推断系统，其特征在于，所述系统包括：
获取模块，用于获取用户评论信息，所述评论信息至少包括文本信息以及图像信息；
模型建立模块，用于获取社会热点评论，根据所述社会热点评论建立极性词典表；
文本处理模块，用于去除所述文本信息中的停用词和标点符号得到纯文本信息，并对所述纯文本信息进行分词以分别得到单词和句段信息；将所述单词导入所述极性词典表进行查询以获取所述单词的向量，并对所述句段进行文字向量处理，之后依次将所述单词向量融合还原至所述句段向量进行分词前的初始位置中，得到所述纯文本信息的矩阵向量，并确定为所述文本信息生成模型前的初始输入信息；
第一训练模块，用于将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中，以获取文本特征向量以及图像特征向量；
第二训练模块，用于对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量，并将所述联合特征向量输入至预训练的情感分析模型当中，以获取所述用户的感情倾向。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－6任一所述的图文情感推断方法。
9.一种图文情感推断设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1－6任一所述的图文情感推断方法。
CN202211062718.4A 2022-09-01 2022-09-01 一种图文情感推断方法、系统、存储介质及设备 Pending CN115526166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211062718.4A CN115526166A (zh) 2022-09-01 2022-09-01 一种图文情感推断方法、系统、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211062718.4A CN115526166A (zh) 2022-09-01 2022-09-01 一种图文情感推断方法、系统、存储介质及设备

Publications (1)

Publication Number Publication Date
CN115526166A true CN115526166A (zh) 2022-12-27

Family

ID=84696792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211062718.4A Pending CN115526166A (zh) 2022-09-01 2022-09-01 一种图文情感推断方法、系统、存储介质及设备

Country Status (1)

Country Link
CN (1) CN115526166A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302297A (zh) * 2023-05-26 2023-06-23 荣耀终端有限公司 一种主题生成方法及电子设备
CN116385029A (zh) * 2023-04-20 2023-07-04 深圳市天下房仓科技有限公司 酒店刷单检测方法、系统、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385029A (zh) * 2023-04-20 2023-07-04 深圳市天下房仓科技有限公司 酒店刷单检测方法、系统、电子设备及存储介质
CN116385029B (zh) * 2023-04-20 2024-01-30 深圳市天下房仓科技有限公司 酒店刷单检测方法、系统、电子设备及存储介质
CN116302297A (zh) * 2023-05-26 2023-06-23 荣耀终端有限公司 一种主题生成方法及电子设备
CN116302297B (zh) * 2023-05-26 2023-10-20 荣耀终端有限公司 一种主题生成方法及电子设备

Similar Documents

Publication Publication Date Title
CN111488931B (zh) 文章质量评估方法、文章推荐方法及其对应的装置
CN110717325B (zh) 文本的情感分析方法、装置、电子设备及存储介质
CN111680159B (zh) 数据处理方法、装置及电子设备
CN110705301B (zh) 实体关系抽取方法及装置、存储介质、电子设备
CN115526166A (zh) 一种图文情感推断方法、系统、存储介质及设备
CN107818084B (zh) 一种融合点评配图的情感分析方法
CN112307351A (zh) 用户行为的模型训练、推荐方法、装置和设备
CN111666500A (zh) 文本分类模型的训练方法及相关设备
CN113495959B (zh) 一种基于文本数据的金融舆情识别方法及系统
CN113704623B (zh) 一种数据推荐方法、装置、设备及存储介质
CN113297379A (zh) 一种文本数据多标签分类方法及装置
CN114170411A (zh) 一种融合多尺度信息的图片情感识别方法
CN111368066A (zh) 获取对话摘要的方法、装置和计算机可读存储介质
CN118013045B (zh) 基于人工智能的语句情感检测方法及装置
CN113901289A (zh) 一种基于无监督学习的推荐方法及系统
CN116341519A (zh) 基于背景知识的事件因果关系抽取方法、装置及存储介质
CN117764669A (zh) 物品推荐方法、装置、设备、介质及产品
CN114357204A (zh) 媒体信息的处理方法及相关设备
Chiplunkar et al. Advances in artificial intelligence and data engineering: select proceedings of AIDE 2019
CN111062207B (zh) 表情图像处理方法、装置、计算机存储介质及电子设备
CN116910294A (zh) 一种基于情感分析的图像滤镜生成方法
CN117313736A (zh) 评论文本的隐式需求识别方法及装置
CN113902960A (zh) 神经网络训练及分类方法、装置、电子设备及存储介质
CN113569153A (zh) 图文内容的分类方法、装置、电子设备及存储介质
CN113051869A (zh) 一种结合语义识别实现标识文本差异内容的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination