CN112685565B - 基于多模态信息融合的文本分类方法、及其相关设备 - Google Patents

基于多模态信息融合的文本分类方法、及其相关设备 Download PDF

Info

Publication number
CN112685565B
CN112685565B CN202011594264.6A CN202011594264A CN112685565B CN 112685565 B CN112685565 B CN 112685565B CN 202011594264 A CN202011594264 A CN 202011594264A CN 112685565 B CN112685565 B CN 112685565B
Authority
CN
China
Prior art keywords
text
image
fusion
sample
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011594264.6A
Other languages
English (en)
Other versions
CN112685565A (zh
Inventor
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011594264.6A priority Critical patent/CN112685565B/zh
Publication of CN112685565A publication Critical patent/CN112685565A/zh
Priority to PCT/CN2021/090497 priority patent/WO2022142014A1/zh
Application granted granted Critical
Publication of CN112685565B publication Critical patent/CN112685565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请实施例属于人工智能领域，涉及一种基于多模态信息融合的文本分类方法、装置、计算机设备及存储介质，包括通过获取待分类的文本；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。

Description

基于多模态信息融合的文本分类方法、及其相关设备
技术领域
本申请涉及人工智能技术领域，尤其涉及基于多模态信息融合的文本分类方法、及其相关设备。
背景技术
在机器学习领域，尤其在自然语言处理领域，对文本信息正确的分类并标注正确的标签对信息的分类存储、搜索以及用户的理解至关重要。尤其，当文本来源与语音转换时，由于技术的限制，转换结果可能具有歧义，对文本信息正确分类，能帮助用户正确理解转换的内容。
但当前绝大多数方法都只是涉及单一模态的输入，机器视觉仅仅是基于图像、视频；自然语言仅仅是语言本身。而当下场景中，视频等动态场景非常丰富，是各个业务场景中占比相当大的信息输入，单一采用其中一种信息来源，比如仅仅采用视频中的语音信息，是对信息的一种浪费。且采用单一信息源进行信息分类，缺少其他同源信息的互相验证，准确度低。
发明内容
本申请实施例的目的在于提出一种基于多模态信息融合的文本分类方法、装置、计算机设备及存储介质，以解决采用单一信息源进行信息分类，缺少其他同源信息的互相验证，准确度低的问题。
为了解决上述技术问题，本申请实施例提供一种基于多模态信息融合的文本分类方法，采用了如下所述的技术方案：
获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
进一步的，在所述将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征的步骤之前还包括：
获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y||2,X为所述图像样本，Y为所述还原图像；
调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
进一步的，在所述获取待分类的文本的步骤之前，还包括：
获取多模态信息，其中所述多模态信息至少包含音频信息；
将所述音频信息进行文字转换，获取待分类的文本。
进一步的，在所述获取待分类的文本的步骤之后，还包括：
将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
将所述分词结果根据预设的语料字典构成文本张量；
将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
进一步的，在所述将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征的步骤之前，还包括：
将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
将所述灰度图进行二值化，得到所述图像的二维图像张量；
将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
进一步的，所述多模态信息样本中的文本样本标注有参考分类，在所述将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果的步骤之前，在所述将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征的步骤之后，还包括：
将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型模型。
为了解决上述技术问题，本申请实施例还提供一种基于多模态信息融合的文本分类装置，采用了如下所述的技术方案：
获取模块，用于获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
第一提取模块，用于将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
第二提取模块，用于将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
融合模块，用于将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
分类模块，用于将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
进一步的，所述基于多模态信息融合的文本分类装置，还包括：
第一获取子模块，用于获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
第一提取子模块，用于将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
第二提取子模块，用于将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
第一融合子模块，用于将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
第一还原子模块，用于将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
第一计算子模块，用于通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y||2,X为所述图像样本，Y为所述还原图像；
第一调整子模块，用于调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
进一步的，所述基于多模态信息融合的文本分类装置，还包括：
第二获取子模块，用于获取多模态信息，其中所述多模态信息至少包含音频信息；
第一转换子模块，用于将所述音频信息进行文字转换，获取待分类的文本。
进一步的，所述基于多模态信息融合的文本分类装置，还包括：
第一分词子模块，用于将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
第一构建子模块，用于将所述分词结果根据预设的语料字典构成文本张量；
第三提取子模块，用于将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
进一步的，在所述基于多模态信息融合的文本分类装置，还包括：
第一处理子模块，用于将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
第二处理子模块，用于将所述灰度图进行二值化，得到所述图像的二维图像张量；
第四提取子模块，用于将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
进一步的，所述基于多模态信息融合的文本分类装置，还包括：
第一预测子模块，用于将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
第二计算子模块，用于通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
第二调整子模块，用于调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型模型。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述基于多模态信息融合的文本分类方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述基于多模态信息融合的文本分类的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的基于多模态信息融合的文本分类方法的一个实施例的流程图；
图3是本申请的注意力融合模型的结构示意图；
图4是本申请的注意力融合模型中门控激活层的结构示意图；
图5是本申请的注意力融合模型中注意层的结构示意图；
图6是根据本申请的基于多模态信息融合的文本分类装置的一个实施例的结构示意图；
图7是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于多模态信息融合的文本分类方法一般由服务器/终端设备执行，相应地，基于多模态信息融合的文本分类装置一般设置于服务 器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于多模态信息融合的文本分类的方法的一个实施例的流程图。所述的基于多模态信息融合的文本分类方法，包括以下步骤：
步骤S201，获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像。
在本实施例中，基于多模态信息融合的文本分类方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式获取待分类的文本。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
多模态这里指表征信息的方式为多种，多模态信息指包含图像、文字、声音的信息。这里待分类的文本可以直接提取自多模态信息，例如当多模态信息为包含文字的视频时，待分类的文本来源于对视频中文字的提取，当多模态信息为包含包含音频和视频的影音文件时，待分类的文本来源于对音频的文字转换结果。对多模态信息中的文本进行正确的分类并标注正确的标签，有助于用户正确的理解文本信息。
步骤S202，将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
在本实施例中，预先训练的文本特征提取模型基于DPCNN(Deep PyramidConvolutional Neural Networks)结构，该结构被广泛认为可以有效提取文本中语义信息。我们这里采用DPCNN中pooling前的卷积层与残差层所组成的结构构成本申请的文本特征提取模型。
步骤S203，将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
在本实施例中，图像特征提取模型由Resnet(Deep residual network)深度残差网络的前5层结构构成，用于图像特征的提取。
步骤S204，将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征。
本实施例中，注意力融合模型，主要需要实现两个特征的融合，包含维度的填充和变换。例如如果文本信息来源于“浇树”,如果图像中确实有树木的区域，那么应将这里图像中树木区域的信息以某种方式补充到文本信息张量中，这里的注意力融合模型发现表示树木的区域，并能有效将其融合到输出的信融合特征中。这里的注意力融合模型，结构如图3所示，由门控激活层，注意层以及融合层构成，其中门控激活层采用的是经典的门控设计，如图4所示，在gi t所示位置为softmax作为激活操作，hi为隐含状态，ri为可学习的门控参数，为隐含状态经过门控操作后的估计状态。注意层如图5所示：使用多个卷积层之间的乘\加法运算与softmax运算所构成。融合层用resnet的残差结构块所构成。
步骤S205，将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
本申请通过通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
在本实施例的一些可选的实现方式中，在步骤S202之前，上述电子设备还可以执行以下步骤：
步骤S301，获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
步骤S302，将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
步骤S303，将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
步骤S304，将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
步骤S305，将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
步骤S306，通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y||2,X为所述图像样本，Y为所述还原图像；
步骤S307，调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
预设的文本特征提取模型基于DPCNN结构，预设的图像特征提取模型基于Resnet结构，注意融合模型由门控激活层，注意层以及融合层构成,图像还原模型基于CNN结构。
将文本样本和图像样本进行特征提取，然后进行特征融合，对融合后的特征进行图像还原，比较还原图像与图像样本之间的一致性，可以检验融合特征的完备性，确保图像信息融入融合特征用于文本分类。
通过调整文本特征提取模型、图像特征提取模型、注意力融合模型和图像还原模型中各节点的参数，使第一损失函数到达最小值，第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y||2,X为所述图像样本，Y为所述还原图像。第一损失函数达到最小值，认为还原图像与图像样本具有一致性，此时，文本特征提取模型、图像特征提取模型、注意力融合模型达到最优状态，训练结束。
参考上述实现方式，多模态信息样本中的文本样本标注有参考分类，在步骤S304之后，步骤S205之前，上述电子设备可以执行以下步骤：
将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型模型。
这里为文本分类模型的训练过程，将多模态信息样本中的文本样本标注参考分类，将多模态信息样本中的文本样本和图像样本进行特征提取和融合得到的融合样本特征输入到文本分类模型中，文本分类模型基于textCNN结构，调节文本分类模型各节点的参数，使文本分类模型输出的分类预测结果与标准的参考分类一致，文本分类模型训练完毕。这里使用softmax损失函数。
在一些可选的实现方式中，在步骤S201之前，上述电子设备可以执行以下步骤：
获取多模态信息，其中所述多模态信息至少包含音频信息；
将所述音频信息进行文字转换，获取待分类的文本。
在一些场景下，多模态信息包含音频信息，且需要对音频进行文字转换，而在文字转换的过程中，由于技术的限制，容易出现错误的转换，当用户需要基于文字进行内容理解判断时，容易出错。如果对音频信息转换的文字进行正确的分类，可以帮助用户理解音频信息，也方便对多模态信息正确分类。例如，文字转换为“家树”，文本分类结果为“人名”，用户就不会理解为“浇树”的动作。
音频转文字通过通用的软件实现。
在一些可选的实现方式中,在步骤S201之后，上述电子设备可以执行以下步骤：
将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
将所述分词结果根据预设的语料字典构成文本张量；
将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
将待分类文本使用HMM隐马尔可夫算法进行分词，隐马尔可夫算法应用于中文分词，给一个汉语句子作为输入，以“BEMS”组成的序列串作为输出，然后再进行切词，进而得到输入句子的划分。其中，B代表该字是词语中的起始字，M代表是词语中的中间字，E代表是词语中的结束字，S则代表是单字成词。想要得到的是每个字的位置，但是看到的只是这些汉字，需要通过汉字来推出每个字在词语中的位置，并且每个字属于什么状态还和它之前的字有关，这是个HMM问题。此时，我们需要根据可观察状态的序列找到一个最可能的隐藏状态序列。具体实现可以基于HMM算法通过调用python中的相关函数实现。
根据预设的语料字典将分词结果构成包含时间维度的文本张量。按照时间间隔为5s，构建文本张量<t,contents>；这里的t是指根据时间间隔获得的时刻，contents就是上述方法所获得的这个时间间隔内的内容。
在一些可选的实现方式中,在步骤S203之前，上述电子设备可以执行以下步骤：
将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
将所述灰度图进行二值化，得到所述图像的二维图像张量；
将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
将多模态信息中的图像进行灰度化，灰度化的过程就是将每个像素点的RGB值统一成同一个值。灰度化后的图像将由三通道变为单通道，灰度化之后进行二值化，即设定灰度阈值，把大于灰度阈值像素灰度设为灰度极大值，这里进行归一化操作，即设为1，把小于灰度阈值的像素灰度设为灰度极小值，即设为0，从而实现二值化。经过灰度化和二值化处理的图像既保留了图像特征，又减少了数据复杂度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图6，作为对上述图2所示方法的实现，本申请提供了一种基于多模态信息融合的文本分类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例所述的基于多模态信息融合的文本分类装置600包括：获取模块601、第一提取模块602、第二提取模块603、融合模块604以及分类模块605。其中：
获取模块601，用于获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
第一提取模块602，用于将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
第二提取模块603，用于将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
融合模块604，用于将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
分类模块605，用于将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第一获取子模块，用于获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
第一提取子模块，用于将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
第二提取子模块，用于将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
第一融合子模块，用于将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
第一还原子模块，用于将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
第一计算子模块，用于通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L＝L1+L2
其中L1＝||X-Y||,L2＝||X-Y||2,X为所述图像样本，Y为所述还原图像；
第一调整子模块，用于调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第二获取子模块，用于获取多模态信息，其中所述多模态信息至少包含音频信息；
第一转换子模块，用于将所述音频信息进行文字转换，获取待分类的文本。
进一步的，所述基于多模态信息融合的文本分类装置，还包括：
第一分词子模块，用于将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
第一构建子模块，用于将所述分词结果根据预设的语料字典构成文本张量；
第三提取子模块，用于将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第一处理子模块，用于将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
第二处理子模块，用于将所述灰度图进行二值化，得到所述图像的二维图像张量；
第四提取子模块，用于将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
在本实施例的一些可选的实现方式中，基于多模态信息融合的文本分类装置600，还包括：
第一预测子模块，用于将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
第二计算子模块，用于通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：
其中，N为训练样本数，针对第i个样本其对应的yi是标注的参考分类，h＝(h1,h2,...,hc)为样本i的分类预测结果，其中C是所有分类的数量；
第二调整子模块，用于调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型模型。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
所述计算机设备7包括通过系统总线相互通信连接存储器71、处理器72、网络接口73。需要指出的是，图中仅示出了具有组件71-73的计算机设备7，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器71至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器71可以是所述计算机设备7的内部存储单元，例如该计算机设备7的硬盘或内存。在另一些实施例中，所述存储器71也可以是所述计算机设备7的外部存储设备，例如该计算机设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器71还可以既包括所述计算机设备7的内部存储单元也包括其外部存储设备。本实施例中，所述存储器71通常用于存储安装于所述计算机设备7的操作系统和各类应用软件，例如基于多模态信息融合的文本分类方法的计算机可读指令等。此外，所述存储器71还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器72在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制所述计算机设备7的总体操作。本实施例中，所述处理器72用于运行所述存储器71中存储的计算机可读指令或者处理数据，例如运行所述基于多模态信息融合的文本分类方法的计算机可读指令。
所述网络接口73可包括无线网络接口或有线网络接口，该网络接口73通常用于在所述计算机设备7与其他电子设备之间建立通信连接。
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于多模态信息融合的文本分类方法的步骤。
通过获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果。通过文本特征和图像特征融合，基于融合后的特征进行文本分类，文本分类利用了图像信息，分类结果更准确。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (8)

1.一种基于多模态信息融合的文本分类方法，其特征在于，包括下述步骤：
获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果;
在所述将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征的步骤之前还包括：
获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L=L1+L2
其中,,/>，X为所述图像样本，Y为所述还原图像；
调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
2.根据权利要求1所述的基于多模态信息融合的文本分类方法，其特征在于，在所述获取待分类的文本的步骤之前，还包括：
获取多模态信息，其中所述多模态信息至少包含音频信息；
将所述音频信息进行文字转换，获取待分类的文本。
3.根据权利要求1所述的基于多模态信息融合的文本分类方法，其特征在于，在所述获取待分类的文本的步骤之后，还包括：
将所述待分类的文本基于HMM隐马尔可夫算法进行分词，得到所述待分类文本的分词结果；
将所述分词结果根据预设的语料字典构成文本张量；
将所述文本张量输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征。
4.根据权利要求1所述的基于多模态信息融合的文本分类方法，其特征在于，在所述将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征的步骤之前，还包括：
将所述多模态信息中的图像进行灰度化，得到所述图像的灰度图；
将所述灰度图进行二值化，得到所述图像的二维图像张量；
将所述二维图像张量输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征。
5.根据权利要求1所述的基于多模态信息融合的文本分类方法，其特征在于，所述多模态信息样本中的文本样本标注有参考分类，在所述将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果的步骤之前，在所述将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征的步骤之后，还包括：
将所述融合样本特征输入到预设的文本分类模型，获得所述文本分类模型响应所述融合样本特征输出的文本样本分类预测结果；
通过第二损失函数比较所述分类预测结果与所述参考分类是否一致，第二损失函数为：；
其中，N为训练样本数，针对第 i 个样本其对应的yi是标注的参考分类，h=（h1,h2,...,hc）为样本 i 的分类预测结果，其中 C 是所有分类的数量；
调整所述文本分类模型各节点的参数，至所述第二损失函数达到最小时结束，得到训练好的文本分类模型。
6.一种基于多模态信息融合的文本分类装置，其特征在于，包括：
获取模块，用于获取待分类的文本，所述文本来源于多模态信息，其中所述多模态信息至少还包含图像；
第一提取模块，用于将所述文本输入到预先训练的文本特征提取模型进行特征提取，获得所述文本的文本特征；
第二提取模块，用于将所述多模态信息中的图像输入到预先训练的图像特征提取模型进行特征提取，获得所述图像的图像特征；
融合模块，用于将所述文本特征和所述图像特征输入到预先训练的注意力融合模型进行特征融合，获得融合了所述文本特征和所述图像特征的融合特征；
分类模块，用于将所述融合特征输入到预先训练的文本分类模型，获得所述多模态信息中文本的分类结果;
还包括：
第一获取子模块，用于获取多模态信息样本，所述多模态信息样本至少包含文本样本和图像样本；
第一提取子模块，用于将所述多模态信息样本中的文本样本输入到预设的文本特征提取模型，获得所述文本样本的文本样本特征；
第二提取子模块，用于将所述多模态信息样本中的图像样本输入到预设的图像特征提取模型，获得所述图像样本的图像样本特征；
第一融合子模块，用于将所述文本样本特征和图像样本特征输入到预设的注意力融合模型，获得所述多模态信息样本的融合样本特征；
第一还原子模块，用于将所述融合样本特征输入到预设的图像还原模型进行图像还原，获得所述图像样本的还原图像；
第一计算子模块，用于通过第一损失函数比较所述还原图像和所述图像样本之间的一致性，所述第一损失函数为：
L=L1+L2
其中,,/>，X为所述图像样本，Y为所述还原图像；
第一调整子模块，用于调整所述文本特征提取模型、所述图像特征提取模型、所述注意力融合模型和所述图像还原模型中各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的文本特征提取模型、图像特征提取模型和注意力融合模型。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至5中任一项所述的基于多模态信息融合的文本分类方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的基于多模态信息融合的文本分类方法的步骤。
CN202011594264.6A 2020-12-29 2020-12-29 基于多模态信息融合的文本分类方法、及其相关设备 Active CN112685565B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011594264.6A CN112685565B (zh) 2020-12-29 2020-12-29 基于多模态信息融合的文本分类方法、及其相关设备
PCT/CN2021/090497 WO2022142014A1 (zh) 2020-12-29 2021-04-28 基于多模态信息融合的文本分类方法、及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011594264.6A CN112685565B (zh) 2020-12-29 2020-12-29 基于多模态信息融合的文本分类方法、及其相关设备

Publications (2)

Publication Number Publication Date
CN112685565A CN112685565A (zh) 2021-04-20
CN112685565B true CN112685565B (zh) 2023-07-21

Family

ID=75455223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011594264.6A Active CN112685565B (zh) 2020-12-29 2020-12-29 基于多模态信息融合的文本分类方法、及其相关设备

Country Status (2)

Country Link
CN (1) CN112685565B (zh)
WO (1) WO2022142014A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685565B (zh) * 2020-12-29 2023-07-21 平安科技（深圳）有限公司 基于多模态信息融合的文本分类方法、及其相关设备
CN113361247A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 文档版面分析方法、模型训练方法、装置和设备
CN113469067B (zh) * 2021-07-05 2024-04-16 北京市商汤科技开发有限公司 一种文档解析方法、装置、计算机设备和存储介质
CN113377958A (zh) * 2021-07-07 2021-09-10 北京百度网讯科技有限公司 一种文档分类方法、装置、电子设备以及存储介质
CN113449808B (zh) * 2021-07-13 2022-06-21 广州华多网络科技有限公司 多源图文信息分类方法及其相应的装置、设备、介质
CN113343936A (zh) * 2021-07-15 2021-09-03 北京达佳互联信息技术有限公司 视频表征模型的训练方法及训练装置
CN113343703B (zh) * 2021-08-09 2021-10-29 北京惠每云科技有限公司 医学实体的分类提取方法、装置、电子设备及存储介质
CN113779934B (zh) * 2021-08-13 2024-04-26 远光软件股份有限公司 多模态信息提取方法、装置、设备及计算机可读存储介质
CN113742483A (zh) * 2021-08-27 2021-12-03 北京百度网讯科技有限公司 文档分类的方法、装置、电子设备和存储介质
CN113468108B (zh) * 2021-09-06 2021-11-12 辰风策划(深圳)有限公司 基于特征数据识别的企业策划方案智能管理分类系统
CN113961710B (zh) * 2021-12-21 2022-03-08 北京邮电大学 基于多模态分层融合网络的细粒度化论文分类方法及装置
CN114625897A (zh) * 2022-03-21 2022-06-14 腾讯科技（深圳）有限公司 多媒体资源处理方法、装置、电子设备及存储介质
CN114662033B (zh) * 2022-04-06 2024-05-03 昆明信息港传媒有限责任公司 一种基于文本和图像的多模态有害链接识别
CN114579964A (zh) * 2022-04-29 2022-06-03 成都明途科技有限公司 一种信息监测方法及装置、电子设备、存储介质
CN115310122B (zh) * 2022-07-13 2023-05-26 广州大学 一种多模态数据融合训练中的隐私参数优化方法
CN115114408A (zh) * 2022-07-14 2022-09-27 平安科技（深圳）有限公司 多模态情感分类方法、装置、设备及存储介质
CN115909317A (zh) * 2022-07-15 2023-04-04 广东工业大学 一种三维模型-文本联合表达的学习方法及系统
CN115375934B (zh) * 2022-10-25 2023-04-11 北京鹰瞳科技发展股份有限公司 用于对进行聚类的模型进行训练分析的方法和相关产品
CN115797706B (zh) * 2023-01-30 2023-07-14 粤港澳大湾区数字经济研究院(福田) 目标检测方法、目标检测模型训练方法及相关装置
CN116052186A (zh) * 2023-01-30 2023-05-02 无锡容智技术有限公司 多模态发票自动分类识别方法、校验方法及系统
CN115828162B (zh) * 2023-02-08 2023-07-07 支付宝(杭州)信息技术有限公司 一种分类模型训练的方法、装置、存储介质及电子设备
CN116029556B (zh) * 2023-03-21 2023-05-30 支付宝(杭州)信息技术有限公司 一种业务风险的评估方法、装置、设备及可读存储介质
CN116469111B (zh) * 2023-06-08 2023-09-15 江西师范大学 一种文字生成模型训练方法及目标文字生成方法
CN116796290B (zh) * 2023-08-23 2024-03-29 江西尚通科技发展有限公司 一种对话意图识别方法、系统、计算机及存储介质
CN116994069B (zh) * 2023-09-22 2023-12-22 武汉纺织大学 一种基于多模态信息的图像解析方法及系统
CN117312612B (zh) * 2023-10-07 2024-04-02 广东鼎尧科技有限公司 一种基于多模态的远程会议数据记录方法、系统和介质
CN117421641B (zh) * 2023-12-13 2024-04-16 深圳须弥云图空间科技有限公司 一种文本分类的方法、装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492666A (zh) * 2018-09-30 2019-03-19 北京百卓网络技术有限公司 图像识别模型训练方法、装置及存储介质
CN110717335A (zh) * 2019-09-23 2020-01-21 中国科学院深圳先进技术研究院 用户评论数据处理方法、装置、存储介质及电子设备
CN111126282A (zh) * 2019-12-25 2020-05-08 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法
CN111259851A (zh) * 2020-01-23 2020-06-09 清华大学 一种多模态事件检测方法及装置
CN111461174A (zh) * 2020-03-06 2020-07-28 西北大学 多层次注意力机制的多模态标签推荐模型构建方法及装置
CN111860116A (zh) * 2020-06-03 2020-10-30 南京邮电大学 一种基于深度学习和特权信息的场景识别方法
CN111861672A (zh) * 2020-07-28 2020-10-30 青岛科技大学 基于多模态的生成式兼容性服装搭配方案生成方法及系统
CN111985369A (zh) * 2020-08-07 2020-11-24 西北工业大学 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190341025A1 (en) * 2018-04-18 2019-11-07 Sony Interactive Entertainment Inc. Integrated understanding of user characteristics by multimodal processing
US11244205B2 (en) * 2019-03-29 2022-02-08 Microsoft Technology Licensing, Llc Generating multi modal image representation for an image
CN109961491B (zh) * 2019-04-12 2023-05-26 上海联影医疗科技股份有限公司 多模态图像截断补偿方法、装置、计算机设备和介质
CN111259215B (zh) * 2020-02-14 2023-06-27 北京百度网讯科技有限公司 基于多模态的主题分类方法、装置、设备、以及存储介质
CN112685565B (zh) * 2020-12-29 2023-07-21 平安科技（深圳）有限公司 基于多模态信息融合的文本分类方法、及其相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492666A (zh) * 2018-09-30 2019-03-19 北京百卓网络技术有限公司 图像识别模型训练方法、装置及存储介质
CN110717335A (zh) * 2019-09-23 2020-01-21 中国科学院深圳先进技术研究院 用户评论数据处理方法、装置、存储介质及电子设备
CN111126282A (zh) * 2019-12-25 2020-05-08 中国矿业大学 一种基于变分自注意力强化学习的遥感图像内容描述方法
CN111259851A (zh) * 2020-01-23 2020-06-09 清华大学 一种多模态事件检测方法及装置
CN111461174A (zh) * 2020-03-06 2020-07-28 西北大学 多层次注意力机制的多模态标签推荐模型构建方法及装置
CN111860116A (zh) * 2020-06-03 2020-10-30 南京邮电大学 一种基于深度学习和特权信息的场景识别方法
CN111861672A (zh) * 2020-07-28 2020-10-30 青岛科技大学 基于多模态的生成式兼容性服装搭配方案生成方法及系统
CN111985369A (zh) * 2020-08-07 2020-11-24 西北工业大学 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image-Text Multimodal Emotion Classification via Multi-View Attentional Network;Xiaocui Yang et al;《IEEE》;第4014-4025页 *

Also Published As

Publication number Publication date
WO2022142014A1 (zh) 2022-07-07
CN112685565A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN107679039B (zh) 用于确定语句意图的方法和装置
CN111428010B (zh) 人机智能问答的方法和装置
WO2021121198A1 (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN112653798A (zh) 智能客服语音应答方法、装置、计算机设备及存储介质
CN115114407B (zh) 意图识别方法、装置、计算机设备及存储介质
CN115757731A (zh) 对话问句改写方法、装置、计算机设备及存储介质
CN114817478A (zh) 基于文本的问答方法、装置、计算机设备及存储介质
CN115438149A (zh) 一种端到端模型训练方法、装置、计算机设备及存储介质
CN112434746B (zh) 基于层次化迁移学习的预标注方法及其相关设备
CN114022891A (zh) 扫描文本的关键信息提取方法、装置、设备及存储介质
CN113723077A (zh) 基于双向表征模型的句向量生成方法、装置及计算机设备
US11036996B2 (en) Method and apparatus for determining (raw) video materials for news
CN115730237B (zh) 垃圾邮件检测方法、装置、计算机设备及存储介质
CN116774973A (zh) 数据渲染方法、装置、计算机设备及存储介质
CN116978028A (zh) 视频处理方法、装置、电子设备及存储介质
CN115757725A (zh) 问答处理方法、装置、计算机设备及存储介质
CN115909357A (zh) 基于人工智能的目标识别方法、模型训练方法和装置
CN114637831A (zh) 基于语义分析的数据查询方法及其相关设备
CN114091452A (zh) 一种基于适配器的迁移学习方法、装置、设备及存储介质
CN113657104A (zh) 文本抽取方法、装置、计算机设备及存储介质
CN112199954A (zh) 基于语音语义的疾病实体匹配方法、装置及计算机设备
US20200321026A1 (en) Method and apparatus for generating video
CN114238574B (zh) 基于人工智能的意图识别方法及其相关设备
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant