CN113297397B - 一种基于层次化多模态信息融合的信息匹配方法及系统 - Google Patents

一种基于层次化多模态信息融合的信息匹配方法及系统 Download PDF

Info

Publication number
CN113297397B
CN113297397B CN202110517760.XA CN202110517760A CN113297397B CN 113297397 B CN113297397 B CN 113297397B CN 202110517760 A CN202110517760 A CN 202110517760A CN 113297397 B CN113297397 B CN 113297397B
Authority
CN
China
Prior art keywords
user
representation
information
modal
social
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110517760.XA
Other languages
English (en)
Other versions
CN113297397A (zh
Inventor
宋雪萌
聂礼强
陈潇琳
郝亮
张立兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hegang Digital Technology Co ltd
Shandong University
Original Assignee
Hegang Digital Technology Co ltd
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hegang Digital Technology Co ltd, Shandong University filed Critical Hegang Digital Technology Co ltd
Priority to CN202110517760.XA priority Critical patent/CN113297397B/zh
Publication of CN113297397A publication Critical patent/CN113297397A/zh
Application granted granted Critical
Publication of CN113297397B publication Critical patent/CN113297397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于层次化多模态信息融合的信息匹配方法及系统，抽取用户多源异构多模态数据的特征表示；基于提取的用户异构多模态数据特征，构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系，获取用户不同源的准确表示；根据获取的用户不同源的表示，引入对抗学习，进行语义判别，进一步增强用户表征，实现用户身份信息匹配。本发明能够提高跨社交媒体用户身份识别的建模性能。

Description

一种基于层次化多模态信息融合的信息匹配方法及系统
技术领域
本发明属于信息处理技术领域，涉及一种基于层次化多模态信息融合的信息匹配方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
多模态信息是指文本、图像和音频等不同类型的数据。通常来讲，多模态信息之间存在互补的语义关系，可以从不同角度反映所表达的内容并且互相增强。以社交媒体为例，用户在社交媒体中涉及异构多模态数据，比如：文本、图片、时空信息和社交关系等。这些异构多模态数据可以从不同的角度折射用户的日常生活，从不同方面反映他们的属性特征。因此，有机整合用户分散在社会媒体中的数据，为深度理解用户行为、剖析用户特征，全面进行用户建模、用户信息分析带来了可能。
但是，据发明人了解，用户在社交媒体中可以由内部多模态发布内容和外部社交关系两部分共同表征。尽管内部多模态发布内容会从不同方面展示用户，但是他们之间对于用户表征存在互补语义关系。与此同时，对于外部社交关系，由于不同的亲密度，不同关注者对于用户表征通常具有不同的置信度，如何捕捉用户相关数据在社交媒体中存在的层次化关系从而有效的表征用户是一个艰巨的挑战；
同时，由于不同社交媒体之间存在不同的数据分布，即使是同一个人在不同社交媒体中的表示，也通常存在语义鸿沟的问题，导致用户身份识别不准确。
发明内容
本发明为了解决上述问题，提出了一种基于层次化多模态信息融合的信息匹配方法及系统，本发明能够准确捕捉用户相关数据在社交媒体中存在的层次化关系，并考虑到不同社交媒体之间由于数据分布造成的语义鸿沟问题，引入对抗学习，设置语义判别器，进一步增强用户表征，从而提高跨社交媒体用户身份识别的建模性能。
根据一些实施例，本发明采用如下技术方案：
一种基于层次化多模态信息融合的信息匹配方法，包括以下步骤：
抽取用户多源异构多模态数据的特征表示；
基于提取的用户异构多模态数据特征，构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系，获取用户不同源的准确表示；
根据获取的用户不同源的表示，引入对抗学习，进行语义判别，进一步增强用户表征，实现用户身份信息匹配。
作为可选择的实施方式，抽取用户多源异构多模态数据的特征表示的具体过程包括：分别使用不同的神经网络模型对不同媒体发布的文本、图片、时空和社交关系数据进行抽取。
作为进一步限定的实施方式，对文本数据进行抽取的过程包括：使用训练后的神经网络获取用户发布的文本信息内容，按照时间顺序排列文本内容得到矩阵，对其进行编码得到中间表示，并进一步映射到潜在空间得到用户关于文本的表示。
作为进一步限定的实施方式，对图片数据进行抽取的过程包括：将用户发布的若干图片数据利用训练好的网络模型进行提取和平均池化操作得到中间表示，然后经过全连接网络得到图片的潜在表示。
作为可选择的实施方式，对时空数据进行抽取的过程包括：构建时空共现矩阵，以表示时空信息中的时间信息和地理信息，考虑到时间信息具有序列关系，使用门控循环单元网络编码用户的时空信息，并使用全连接网络得到潜在表示。
作为可选择的实施方式，对社交关系数据进行抽取的过程包括：使用神经网络获取用户的初步社交表示，将该表示送入全连接网络中，得到用户关于社交网络的潜在表示。
作为可选择的实施方式，构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系的具体过程包括：
基于生成的不同模态信息的潜在表示，使用图网络，建立用户多模态发布内容中不同模态信息之间的互补关系；
合并用户社交关注者表示和用户自己关于社交关系的表示，使用图注意力机制为不同社交关系分配权重，得到用户表示；
使用多头注意力机制，同时使用R个注意力机制，共同学习，更新用户表示。
作为可选择的实施方式，引入对抗学习，进行语义判别，进一步增强用户表征的具体过程包括：
将用户表征获取过程视为表示生成器，测量不同社交媒体的用户之间的表示；
使用贝叶斯个性化排序损失函数作为损失函数；
设置平台语义判别器，以区分相同用户实体在不同平台中的用户表示，将对应表示送入多层感知机，并采用交叉熵损失函数；
迭代优化生成器和判别器的损失函数，得到最优结果。
一种基于层次化多模态信息融合的信息匹配系统，包括：
多模态信息特征表示模块，被配置为抽取用户多源异构多模态数据的特征表示；
用户信息准确表示模块，被配置为基于提取的用户异构多模态数据特征，构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系，获取用户不同源的准确表示；
对抗训练模块，被配置为根据获取的用户不同源的表示，引入对抗学习，进行语义判别，进一步增强用户表征，实现用户身份信息匹配。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于层次化多模态信息融合的信息匹配方法的步骤。
一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于层次化多模态信息融合的信息匹配方法的步骤。
与现有技术相比，本发明的有益效果为：
本发明引入层次化图网络结构可以从用户内部和外部两个方面探究用户的表征，有助于捕捉用户全面表示。具体地，用户内部和外部两方面的表示可以互相补充，互相增强，两者缺一不可。
本发明对于不同社交媒体之间存在的语义鸿沟问题，引入对抗学习，通过对抗训练，缓解语义鸿沟问题，提高了跨社交媒体用户身份识别的建模性能。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的流程示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明旨在探索多模态发布内容和社交关系存在的层次化关系，学习用户异构多模态数据的精准表示，提出一种基于对抗的匹配方法，从而实现跨社交媒体用户身份识别这一具体研究任务。由于用户在社交媒体的相关数据存在复杂的关系，本发明使用层次化图网络，从用户内部和外部两个方面，综合探究用户表征。考虑到不同社交媒体之间由于数据分布造成的语义鸿沟问题，本发明引入对抗学习，设置语义判别器，进一步增强用户表征，从而提高跨社交媒体用户身份识别的建模性能。
具体的，如图1所示，一种基于层次化多模态信息融合的匹配方法，包括以下步骤：
S1：通过使用深度学习技术，抽取用户多源异构多模态数据的特征表示。
S2：基于S1提取的用户异构多模态数据特征，构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系，获取用户的准确表示。
S3：基于S2学习的用户表示，引入对抗学习方法，缓解不同社交媒体之间存在的语义鸿沟问题，提高模型的泛化能力。
所述步骤S1数据特征表示抽取过程还包括：
S11：本发明分别使用不同的网络对异构多模态数据进行抽取。具体地，假设用户发布n条文本内容
Figure BDA00030628804900000710
我们使用预训练的BERT网络获取每条文本内容cp,p＝{1,2,…,n}的表示
Figure BDA0003062880490000071
其中，De是BERT抽取表示的维度。在此之后，我们按照时间顺序排列文本内容得到矩阵
Figure BDA0003062880490000072
并使用带有K个卷积核
Figure BDA0003062880490000073
Figure BDA0003062880490000074
的卷积神经网络对其进行编码得到中间表示。该中间表示进一步映射到潜在空间得到用户关于文本的表示。其中，
Figure BDA0003062880490000075
是第k个卷积核。具体操作如下所示：
Figure BDA0003062880490000076
Figure BDA0003062880490000077
其中，avg[·]代表平均池化操作，ρ(·)指代卷积操作，ξ(·)代表LeakyRelu激活函数。Wc和bc分别是权重矩阵和偏差向量。
S12：本发明使用预训练好的Residual neural network(ResNet)网络提取图片特征，对于用户发布的m条图片数据
Figure BDA00030628804900000711
本发明首先将其送入ResNet网络和平均池化操作得到中间表示，然后经过全连接网络得到图片的潜在表示如下：
Figure BDA0003062880490000078
Figure BDA0003062880490000079
其中，Wr和br是全连接网络模型参数，Θr是ResNet网络中的参数，ξ(·)代表LeakyRelu激活函数。
S13：对于用户的时空信息，给定用户时空信息集合
Figure BDA0003062880490000081
Figure BDA0003062880490000082
本发明首先构建时空共现矩阵
Figure BDA0003062880490000083
Figure BDA0003062880490000084
其中，am＝{am1,am2,…,amK}T代表第m个时间段的地理位置分布。如果用户在第m个时间段出现在第k个地点，那么
Figure BDA0003062880490000085
反之，
Figure BDA0003062880490000086
tg和qg分别代表第g条时空信息中的时间信息和地理信息。k是用户时空信息总的数目。M和K分别是时间戳和地理位置的数目。考虑到时间信息具有序列关系，本发明进一步使用门控循环单元网络(GRU)编码用户的时空信息，并使用全连接网络得到潜在表示，具体如下所示：
Figure BDA0003062880490000087
Figure BDA0003062880490000088
其中，Wt和bt是全连接网络模型参数，ΘG是GRU网络中的参数，ξ(·)代表LeakyRelu激活函数。
S14：基于社交网络中的社交关系，本发明首先使用Deepwalk网络获取用户的初步社交表示，然后将该表示送入全连接网络中，得到用户关于社交网络的潜在表示s。
所述步骤S2复杂关系建模的过程还包括：
S21：基于S1生成的不同模态信息的潜在表示，本发明使用图网络，旨在建模用户多模态发布内容中不同模态信息之间的互补关系。具体地，本发明构建图结构
Figure BDA0003062880490000091
其中，
Figure BDA0003062880490000092
对应Q个模态的初始表示，即c,v和t。
Figure BDA0003062880490000093
指代不同模态之间的语义关系。基于此，本发明构建语义邻接矩阵
Figure BDA0003062880490000094
其中第(i,j)个元素计算方法如下所示：
Figure BDA0003062880490000095
其中，cos(mi,mj)是第i个模态和第j个模态之间的余弦相似度。给定上述语义邻接矩阵，本发明进一步使用图卷积网络更新不同模态之间的表示，每一层的图卷积网络可定义为如下所示：
H(l+1)＝g(AH(l)W(l)),l∈{0,1,…,L-1},
其中，
Figure BDA0003062880490000096
Figure BDA0003062880490000097
是第n个模态在第l层的表示。H(0)＝[c,v,t]是初始化表示矩阵。g(·)指代非线性操作，在本发明中使用LeakyRelu激活函数。L是图卷积网络的层数，
Figure BDA0003062880490000098
是第l层待学习的转化矩阵。dl和d(l+1)分别代表第l层和第l+1层的维度。最终，本发明将第L层的输出作为用户最终的多模态表示，即
Figure BDA0003062880490000099
S22：给定用户的社交关系，根据S14可以得到用户社交关注者的表示
Figure BDA00030628804900000910
其中，cs是用户关注者的总数目。本发明首先合并用户社交关注者表示和用户自己关于社交关系的表示，得到
Figure BDA00030628804900000911
其中，
Figure BDA00030628804900000912
指代用户基于社交关系和多模态内容的表示。此后，本发明使用图注意力机制为不同社交关系分配权重，如下所示：
Figure BDA0003062880490000101
其中，
Figure BDA0003062880490000102
是第g个社交关系的置信度，
Figure BDA0003062880490000103
代表级联操作，W1是第一个社交媒体中所有用户共享的权重矩阵。因此，本发明可以得到用户的表示u如下所示：
Figure BDA0003062880490000104
此外，为了进一步提升用户表示学习，本发明使用多头注意力机制，同时使用R个注意力机制，共同学习。因此，用户的表示可更新为如下所示：
Figure BDA0003062880490000105
其中，
Figure BDA0003062880490000106
是第r个注意力模块得到的置信度，
Figure BDA0003062880490000107
是对应的权重矩阵。
所述步骤S3对抗学习缓解语义鸿沟的过程还包括：
S31：本发明引入对抗学习，将S1和S2的网络构造过程视为表示生成器。相对于其他用户的表示，本发明设置生成器的假设是同一用户在不同社交媒体中的表示更相近。具体地，本发明测量两个平台用户之间的表示，如下所示：
Figure BDA0003062880490000108
其中，
Figure BDA0003062880490000111
和
Figure BDA0003062880490000112
分别指代根据S2得到的用户
Figure BDA0003062880490000113
和
Figure BDA0003062880490000114
的表示。此后，本发明使用贝叶斯个性化排序损失函数作为本发明的损失函数，具体如下所示：
Figure BDA0003062880490000115
其中，
Figure BDA0003062880490000116
是正例用户对
Figure BDA0003062880490000117
之间的相似度分数，
Figure BDA0003062880490000118
是负例用户对
Figure BDA0003062880490000119
之间的相似度分数。N+是正例用户对的总数，σ(·)是sigmoid激活函数。
S32：为缓解语义鸿沟问题，本发明设置平台语义判别器Dp。该判别器旨在区分相同用户实体在不同平台中的用户表示，即
Figure BDA00030628804900001110
和
Figure BDA00030628804900001111
该判别器可以被映射为二分类任务，即决定不同表示的平台来源。具体地，以正例用户对
Figure BDA00030628804900001112
为例，本发明将其对应表示送入多层感知机，采用交叉熵损失函数如下所示：
Figure BDA00030628804900001113
其中，mi是每个用户表示对应的平台标签。
Figure BDA00030628804900001114
是平台判别器预测的每个平台的概率。
Figure BDA00030628804900001115
是语义判别器的参数。
S33：最终，本发明迭代优化生成器和判别器的损失函数，具体如下所示：
Figure BDA00030628804900001116
其中，Φ*指代生成器的参数，Θ*是语义判别器的参数。
通过迭代优化损失函数直至模型收敛，保存模型参数，得到最优的用户表示，即可根据S31进行最终的信息匹配或者身份识别。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于层次化多模态信息融合的信息匹配方法，其特征是：包括以下步骤：
抽取用户多源异构多模态数据的特征表示，具体过程包括：分别使用不同的神经网络模型对不同媒体发布的文本、图片、时空和社交关系数据进行抽取；
基于提取的用户异构多模态数据特征，构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系，获取用户不同源的准确表示；所述构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系的具体过程包括：
基于生成的不同模态信息的潜在表示，使用图网络，建立用户多模态发布内容中不同模态信息之间的互补关系；具体为：构建图结构
Figure FDA0003711400470000011
其中，
Figure FDA0003711400470000012
对应Q个模态的初始表示；
Figure FDA0003711400470000013
Figure FDA0003711400470000014
指代不同模态之间的语义关系；构建语义邻接矩阵
Figure FDA0003711400470000015
其中第(i,j)个元素计算方法如下所示：
Figure FDA0003711400470000016
其中，cos(mi,mj)是第i个模态和第j个模态之间的余弦相似度；使用图卷积网络更新不同模态之间的表示，每一层的图卷积网络如下所示：
H(l+1)＝g(AH(l)W(l)),l∈{0,1,…,L-1},
其中，
Figure FDA0003711400470000017
Figure FDA0003711400470000018
是第n个模态在第l层的表示；H(0)是初始化表示矩阵；g(·)指代非线性操作，使用LeakyRelu激活函数；L是图卷积网络的层数，
Figure FDA0003711400470000021
是第l层待学习的转化矩阵；dl和d(l+1)分别代表第l层和第l+1层的维度；最终将第L层的输出作为用户最终的多模态表示，即
Figure FDA0003711400470000022
用户社交关注者的表示
Figure FDA0003711400470000023
其中cS是用户关注者的总数目；合并用户社交关注者表示和用户自己关于社交关系的表示，得到
Figure FDA0003711400470000024
其中，
Figure FDA0003711400470000025
指代用户基于社交关系和多模态内容的表示，s为用户关于社交网络的潜在表示；使用图注意力机制为不同社交关系分配权重，得到用户表示；
使用多头注意力机制，同时使用R个注意力机制，共同学习，更新用户表示；
根据获取的用户不同源的表示，引入对抗学习，进行语义判别，进一步增强用户表征，实现用户身份信息匹配。
2.如权利要求1所述的一种基于层次化多模态信息融合的信息匹配方法，其特征是：对文本数据进行抽取的过程包括：使用训练后的神经网络获取用户发布的文本信息内容，按照时间顺序排列文本内容得到矩阵，对其进行编码得到中间表示，并进一步映射到潜在空间得到用户关于文本的表示。
3.如权利要求1所述的一种基于层次化多模态信息融合的信息匹配方法，其特征是：对图片数据进行抽取的过程包括：将用户发布的若干图片数据利用训练好的网络模型进行提取和平均池化操作得到中间表示，然后经过全连接网络得到图片的潜在表示。
4.如权利要求1所述的一种基于层次化多模态信息融合的信息匹配方法，其特征是：对时空数据进行抽取的过程包括：构建时空共现矩阵，以表示时空信息中的时间信息和地理信息，考虑到时间信息具有序列关系，使用门控循环单元网络编码用户的时空信息，并使用全连接网络得到潜在表示。
5.如权利要求1所述的一种基于层次化多模态信息融合的信息匹配方法，其特征是：对社交关系数据进行抽取的过程包括：使用神经网络获取用户的初步社交表示，将该表示送入全连接网络中，得到用户关于社交网络的潜在表示。
6.如权利要求1所述的一种基于层次化多模态信息融合的信息匹配方法，其特征是：引入对抗学习，进行语义判别，进一步增强用户表征的具体过程包括：
将用户表征获取过程视为表示生成器，测量不同社交媒体的用户之间的表示；
使用贝叶斯个性化排序损失函数作为损失函数；
设置平台语义判别器，以区分相同用户实体在不同平台中的用户表示，将对应表示送入多层感知机，并采用交叉熵损失函数；
迭代优化生成器和判别器的损失函数，得到最优结果。
7.一种基于层次化多模态信息融合的信息匹配系统，采用如权利要求1-6任一项所述的一种基于层次化多模态信息融合的信息匹配方法，其特征是：包括：
多模态信息特征表示模块，被配置为抽取用户多源异构多模态数据的特征表示；
用户信息准确表示模块，被配置为基于提取的用户异构多模态数据特征，构建层次化图结构，捕捉用户在社交媒体中存在的外部和内部关系，获取用户不同源的准确表示；
对抗训练模块，被配置为根据获取的用户不同源的表示，引入对抗学习，进行语义判别，进一步增强用户表征，实现用户身份信息匹配。
8.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-6中任一项所述的一种基于层次化多模态信息融合的信息匹配方法的步骤。
9.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-6中任一项所述的一种基于层次化多模态信息融合的信息匹配方法的步骤。
CN202110517760.XA 2021-05-12 2021-05-12 一种基于层次化多模态信息融合的信息匹配方法及系统 Active CN113297397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110517760.XA CN113297397B (zh) 2021-05-12 2021-05-12 一种基于层次化多模态信息融合的信息匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110517760.XA CN113297397B (zh) 2021-05-12 2021-05-12 一种基于层次化多模态信息融合的信息匹配方法及系统

Publications (2)

Publication Number Publication Date
CN113297397A CN113297397A (zh) 2021-08-24
CN113297397B true CN113297397B (zh) 2022-08-09

Family

ID=77321670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110517760.XA Active CN113297397B (zh) 2021-05-12 2021-05-12 一种基于层次化多模态信息融合的信息匹配方法及系统

Country Status (1)

Country Link
CN (1) CN113297397B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014108004A1 (zh) * 2013-01-09 2014-07-17 北大方正集团有限公司 一种微博用户身份识别方法及系统
CN109753602A (zh) * 2018-12-04 2019-05-14 中国科学院计算技术研究所 一种基于机器学习的跨社交网络用户身份识别方法和系统
CN110210540A (zh) * 2019-05-22 2019-09-06 山东大学 基于注意力机制的跨社交媒体用户身份识别方法及系统
CN111815468A (zh) * 2020-06-04 2020-10-23 哈尔滨工程大学 一种基于用户身份关联的多源社交网络构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014108004A1 (zh) * 2013-01-09 2014-07-17 北大方正集团有限公司 一种微博用户身份识别方法及系统
CN109753602A (zh) * 2018-12-04 2019-05-14 中国科学院计算技术研究所 一种基于机器学习的跨社交网络用户身份识别方法和系统
CN110210540A (zh) * 2019-05-22 2019-09-06 山东大学 基于注意力机制的跨社交媒体用户身份识别方法及系统
CN111815468A (zh) * 2020-06-04 2020-10-23 哈尔滨工程大学 一种基于用户身份关联的多源社交网络构建方法

Also Published As

Publication number Publication date
CN113297397A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
WO2020228376A1 (zh) 文本处理方法、模型训练方法和装置
CN108108499B (zh) 人脸检索方法、装置、存储介质及设备
CN111931062B (zh) 一种信息推荐模型的训练方法和相关装置
CN110222718B (zh) 图像处理的方法及装置
WO2024041479A1 (zh) 一种数据处理方法及其装置
WO2021152329A1 (en) De-centralised learning for re-identification
US20220351039A1 (en) Federated learning using heterogeneous model types and architectures
CN111898703B (zh) 多标签视频分类方法、模型训练方法、装置及介质
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN113064968B (zh) 一种基于张量融合网络的社交媒体情感分析方法及系统
WO2024067884A1 (zh) 一种数据处理方法及相关装置
Gao et al. A hierarchical recurrent approach to predict scene graphs from a visual‐attention‐oriented perspective
WO2023284716A1 (zh) 一种神经网络搜索方法及相关设备
CN114282013A (zh) 一种数据处理方法、装置及存储介质
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN116245086A (zh) 文本处理方法、模型训练方法和系统
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN108154165B (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
Archilles et al. Vision: a web service for face recognition using convolutional network
CN113297397B (zh) 一种基于层次化多模态信息融合的信息匹配方法及系统
CN108038496B (zh) 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质
CN116431827A (zh) 信息处理方法、装置、存储介质及计算机设备
CN114882288B (zh) 基于分层图增强堆叠自编码器的多视图图像分类方法
CN116796038A (zh) 遥感数据检索方法、装置、边缘处理设备及存储介质
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Song Xuemeng

Inventor after: Nie Liqiang

Inventor after: Chen Xiaolin

Inventor after: Hao Liang

Inventor after: Sun Limin

Inventor before: Song Xuemeng

Inventor before: Nie Liqiang

Inventor before: Chen Xiaolin

Inventor before: Hao Liang

Inventor before: Zhang Lixing