CN116257696A - 一种基于跨模态知识图谱对比学习的服务推荐方法及系统 - Google Patents

Abstract

本发明属于信息推荐技术领域，提供了一种基于跨模态知识图谱对比学习的服务推荐方法及系统，根据所获取的信息进行知识表示，构建本体模型，对所述本体模型进行处理，形成知识图谱，并区分描述属性和结构连接；对知识图谱的节点进行描述视图编码；对知识图谱的节点进行结构视图编码；基于所构建描述视图编码和结构视图编码进行跨模态对比学习，最大化描述视图和结构视图之间的互信息；基于跨模态对比学习的结果，利用交互预测函数来计算待推荐的需求任务与预设的各服务的交互概率，根据所述交互概率，进行最终的服务推荐。本发明将传统关系分为描述性属性和结构属性连接，并结合跨模态对比学习来获得更有效的节点表示和服务推荐结果。

Description

一种基于跨模态知识图谱对比学习的服务推荐方法及系统

技术领域

本发明属于信息推荐技术领域，涉及一种基于跨模态知识图谱对比学习的服务推荐方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着云计算和web service微服务等面向服务计算模式的广泛应用，越来越多的企业在云环境中为用户提供各种各样的服务化产品，云服务的数量也在高速增长。用户可以根据自已的需求选择合适的服务集成在自己的应用系统中，节省了开发的成本和时间。然而，目前随着云服务规模的快速增长，同质化的服务越来越多，如何在大规模的服务资源池中为用户推荐最合适的服务一直备受研究人员和产业从业人员的关注。

目前的服务推荐方法大部分主要集中于基于内容推荐或者基于协同过滤的推荐。基于内容的服务推荐主要提供用户的需求描述即服务的描述信息等上下文信息对服务进行推荐，基于协同过滤的推荐主要通过相似需求、拥有共同业务场景群体的喜好来进行服务推荐。

然而，现有针对服务推荐的研究可能存在严重的信息过载问题。同时，目前基于知识图谱的服务推荐相关研究中大部分只利用了知识图谱中的结构信息，而忽略了描述信息或者没有考虑到不同模态之间可以相互提供有意义的监督信号。

发明内容

本发明为了解决上述问题，提出了一种基于跨模态知识图谱对比学习的服务推荐方法及系统，本发明将传统关系分为描述性属性和结构属性连接，并结合跨模态对比学习来获得更有效的节点表示和服务推荐结果，推荐结果准确。

根据一些实施例，本发明采用如下技术方案：

一种基于跨模态知识图谱对比学习的服务推荐方法，包括以下步骤：

根据所获取的信息进行知识表示，构建本体模型，对所述本体模型进行处理，形成知识图谱，并区分描述属性和结构连接；

对知识图谱的节点进行描述视图编码；

对知识图谱的节点进行结构视图编码；

基于所构建描述视图编码和结构视图编码进行跨模态对比学习，最大化描述视图和结构视图之间的互信息；

基于跨模态对比学习的结果，利用交互预测函数来计算待推荐的需求任务与预设的各服务的交互概率，根据所述交互概率，进行最终的服务推荐。

作为可选择的实施方式，对所述本体模型进行处理的具体过程包括参照所构建的本体模型进行知识抽取、数据转换和知识融合，将初步抽取到的知识依次进行本体相似匹配、实例融合和知识存储，形成知识图谱。

作为可选择的实施方式，区分描述属性和结构连接的具体过程包括将所形成的知识图谱以三元组的形式存储或以节点和边的形式存储，通过验证知识图谱中每个关系的逆关系的存在性来区分描述属性和结构连接。

作为进一步的，若对于任意一个三元组，如果关系r_i存在一个反向关系-_i，使得关系

存在，h_i为头实体，t_i为尾实体，则该关系被认为是一个结构连接，结构连接之外的关系被视为描述性属性。

作为可选择的实施方式，对知识图谱的节点进行描述视图编码的具体过程包括：将通过属性类型边访问相关的描述信息集合，并分别根据描述性值的类型对其进行嵌入表示。

作为进一步的，针对文本值型描述信息，利用预训练的词向量得到描述文本嵌入和其他描述特征嵌入；

针对数值型描述信息，对其进行归一化，将值分为多个类别。

作为可选择的实施方式，对知识图谱的节点进行结构视图编码的具体过程包括通过节点在图中的邻域环境和拓扑结构来获取节点的表示。

作为进一步的，通过节点的结构型边得到节点的一阶邻居，通过将连接邻居的信息聚合，得到聚合一阶邻居信息后节点的表示；

通过高阶连接利用来自多跳邻居的信息，得到经过多阶跳聚合后的节点的表示。

作为可选择的实施方式，进行跨模态对比学习的过程包括充分利用不同模态视图之间的监督信号，最大化描述性视图和结构性视图之间的互信息，最大化知识图谱中目标节点的描述性和结构性表示之间的一致性。

作为可选择的实施方式，基于跨模态对比学习的结果，利用交互预测函数来计算待推荐的需求任务与预设的各服务的交互概率的具体过程包括：基于跨模态对比学习，得到的节点表示，对各给定的需求任务-服务方法对，形成最终的多模态表示；

使用统一的交互预测函数来计算需求任务-服务方法对的交互概率，根据给定的需求任务，对交互概率进行排序后进行对应的服务推荐。如Top-N的推荐。

一种基于跨模态知识图谱对比学习的服务推荐系统，包括：

图谱构建模块，被配置为根据所获取的信息进行知识表示，构建本体模型，对所述本体模型进行处理，形成知识图谱，并区分描述属性和结构连接；

描述视图编码模块，被配置为对知识图谱的节点进行描述视图编码；

结构性视图编码模块，被配置为对知识图谱的节点进行结构视图编码；

跨模态对比学习模块，被配置为基于所构建描述视图编码和结构视图编码进行跨模态对比学习，最大化描述视图和结构视图之间的互信息；

服务推荐模块，被配置为基于跨模态对比学习的结果，利用交互预测函数来计算待推荐的需求任务与预设的各服务的交互概率，根据所述交互概率，进行最终的服务推荐。

与现有技术相比，本发明的有益效果为：

本发明通过分析服务推荐知识图谱的特点，将传统的知识图谱关系分为描述性属性和结构连接，通过对两种属性处理的有效融合了反映实体特殊性的描述性信息以及实体间的交互信息，进一步提高了推荐的性能。

本发明从不同模态中捕获实体特征并相互监督以获得更有效的实体表示，对于服务推荐场景，本发明提出的跨模态对比学习方法，最大化了知识图谱中目标节点的描述性和结构性表示之间的一致性，提高了推荐结果的准确性。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是实施例一中的基于跨模态知识图谱对比学习的服务推荐方法的流程图；

图2是实施例二中的基于跨模态知识图谱对比学习的服务推荐系统的结构框图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，各实施例及实施例中的特征可以相互组合。

实施例一

实施例一介绍了一种基于跨模态知识图谱对比学习的服务推荐方法。

根据历史需求任务和服务的交互信息等构建服务推荐知识图谱，能够有效刻画和呈现服务即需求任务的关联关系，同时提升轮服务推荐的准确度。为此，本实施例根据需求任务、服务以及服务创建者的关联关系，设计服务推荐知识图谱的本体结构，并依托已有的交互记录，构建了服务推荐知识图谱。借助构建好的服务推荐知识图谱，通过跨模态对比学习的方式可以精准的为指定的需求任务推荐最合适的服务。

如图1所示，一种基于跨模态知识图谱对比学习的服务推荐方法，包括以下步骤：

步骤1：根据历史需求任务和服务的交互信息等构建服务推荐知识图谱。针对构建好的服务推荐知识图谱，通过G＝{(h,r,t)|h∈E,r∈R,t∈E}表示，其中G表示构建好的知识图谱，E表示图谱中的实体集合，R表示图谱中的关系集合，(h,r,t)表示知识三元组中的“头实体-关系-尾实体”。

此外，通过验证图谱中每个关系的逆关系的存在性来区分描述属性和结构连接，逆关系定义为：对于任意一个三元组

如果关系r_i存在一个反向关系-_i，使得关系

存在，则关系r_i被认为是一个结构连接。结构连接之外的关系被视为描述性属性。

其中，描述性属性ra∈RA表示为属性型有向边，结构连接rs∈RS表示为结构型无向边。这里，R＝RA∪RS。

步骤2：对服务推荐知识图谱中的节点进行描述性视图编码。

描述性信息可以直接说明节点的特征，突出其唯一性。对于服务推荐知识图谱中的节点e，可以通过属性类型边访问其相关的描述信息集合A(e)，其中集合包括描述文本和其他属性。在这里，A(e)＝{t|(h,r,t)∈G,r∈RA}。

由于描述性值通常是数值或文本，它们被视为自然语言。然后，利用预训练的词向量得到描述文本嵌入s_t和其他描述特征嵌入s_o；针对数值型描述信息，首先对它们进行归一化，然后将它们乘以100，然后进行舍入操作，使所有值都在0到100的范围内。

之后，初始嵌入s_t和s_o被投影到低维向量空间中，并连接以获得节点的描述性视图表示v_a＝W_ts_t||W_os_o，W_t和W_o为可学习参数矩阵。

步骤3：对服务推荐知识图谱中的节点进行结构性视图编码。

结构信息描述了节点在图中的邻域环境和拓扑结构，提供了关于节点的有用上下文信息。对于服务推荐知识图谱中的节点e，其一阶邻居N(e)可以通过其结构型边得到，其中N(e)＝{t|(h,r,t)∈G,r∈RS}。

直观地说，节点e的表示可以通过将连接邻居的信息聚合到它自己的表示中来推导，可以表示为：

这里e⁽¹⁾是聚合一阶(即一跳)邻居信息后节点e的表示。LeakyReLU是激活函数，W₀表示可学习的变换矩阵。另外，

是节点e的邻域的线性整合，可以表示为：

其中π(e′)控制从邻居传播的消息数量，以区分不同邻居的贡献。它可以计算为：

类似地，节点可以通过高阶连接利用来自多跳邻居的信息。节点e的h阶邻居表示为：

其中e^(h-1)和

分别表示经过(h-1)跳聚合后的节点e及其邻居。

步骤4：跨模态对比学习

经过在服务推荐知识图谱上的传播和信息聚合，可以得到节点e对应的描述性特征表示e^(a)(即v_a)和结构性特征表示e^(s)(即e^(h))。特别地，与结构型邻居不同，属性型邻居只连接到它们所修改的中心节点。因此，不需要考虑它们的高阶连接。

为了充分利用不同模态视图之间的监督信号，最大化描述性视图和结构性视图之间的互信息，可视为一种对比性自监督策略，以鼓励不同模态视图下节点表示的一致性。具体而言，为了提高效率，采用InfoNCE对互信息进行建模，可以表示为：

其中s(·)是用余弦相似度度量两个表示之间相关性的函数。τ是softmax函数中的温度参数。通过这样做，可以最大化知识图谱中目标节点e的描述性和结构性表示之间的一致性。v^(s)和v^(a)的含义和e^(s)、e^(a)的含义相同，e和v为不同节点。

步骤5：服务推荐与优化

基于学习到的节点表示，对于给定的需求任务-服务方法对e_d和e_m，我们可以获得其最终的多模态表示，如下所示：

其中，||表示拼接操作。然后，我们使用统一的交互预测函数来计算需求任务-服务方法对的交互概率：

其中函数

被设置为NeuMF层，它可以统一建模两个视图下的线性和非线性相互作用。另外，sigmoid函数/>

为了增强推荐准确度，利用多任务学习，通过以下组合损失函数来联合优化推荐任务和跨模态对比学习：

其中D是需求任务实体集，M是服务实体集，J是交叉熵函数，λ₁和λ₂是控制自监督任务和L2正则化的相对强度的超参数，Θ为参数设置。

为了对上述算法的有效性进行验证，我们构建了一个包含多种机器学习服务和任务需求的数据集，它包含来自183个服务创建者的2389个的机器学习服务、237个需求任务以及它们之间的交互数据，构成了机器学习知识图谱。表1描述了本发明算法与其他方法的性能比较：

表1服务推荐的性能比较

基于表1中的结果可得，本实施例所提出的服务推荐模型的性能优于其他方法。

实施例二

实施例二介绍了一种基于跨模态知识图谱对比学习的服务推荐系统。

如图2所示的一种基于跨模态知识图谱对比学习的服务推荐系统，包括：

图谱构建模块，被配置为根据所获取的数据构建服务推荐知识图谱；

描述视图编码模块，被配置为基于所构建的服务推荐知识图谱，对节点进行描述性视图编码。

结构性视图编码模块，被配置为基于所构建的服务推荐知识图谱，对节点进行结构性视图编码。

跨模态对比学习模块，被配置为基于跨模态对比学习最大化知识图谱中目标节点的描述性和结构性表示之间的一致性。

服务推荐模块，被配置为基于跨模态对比学习结果进行任务需求和服务交互预测以及服务推荐。

详细步骤与实施例一提供的一种基于跨模态知识图谱对比学习的服务推荐方法相同，在此不再赘述。

实施例三

实施例三提供了一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如实施例一所述的基于跨模态知识图谱对比学习的服务推荐方法中的步骤。

详细步骤与实施例一提供的基于跨模态知识图谱对比学习的服务推荐方法相同，在此不再赘述。

实施例四

实施例四提供了一种电子设备。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如实施例一所述的基于跨模态知识图谱对比学习的服务推荐方法中的步骤。

详细步骤与实施例一提供的基于跨模态知识图谱对比学习的服务推荐方法相同，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，包括以下步骤：

根据所获取的信息进行知识表示，构建本体模型，对所述本体模型进行处理，形成知识图谱，并区分描述属性和结构连接；

对知识图谱的节点进行描述视图编码；

对知识图谱的节点进行结构视图编码；

基于所构建描述视图编码和结构视图编码进行跨模态对比学习，最大化描述视图和结构视图之间的互信息；

基于跨模态对比学习的结果，利用交互预测函数来计算待推荐的需求任务与预设的各服务的交互概率，根据所述交互概率，进行最终的服务推荐。

2.如权利要求1所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，对所述本体模型进行处理的具体过程包括参照所构建的本体模型进行知识抽取、数据转换和知识融合，将初步抽取到的知识依次进行本体相似匹配、实例融合和知识存储，形成知识图谱。

3.如权利要求1所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，区分描述属性和结构连接的具体过程包括将所形成的知识图谱以三元组的形式存储或以节点和边的形式存储，通过验证知识图谱中每个关系的逆关系的存在性来区分描述属性和结构连接。

4.如权利要求3所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，若对于任意一个三元组，如果关系r_i存在一个反向关系-_i，使得关系

存在，h_i为头实体，t_i为尾实体，则该关系被认为是一个结构连接，结构连接之外的关系被视为描述性属性。

5.如权利要求1所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，对知识图谱的节点进行描述视图编码的具体过程包括：将通过属性类型边访问相关的描述信息集合，并分别根据描述性值的类型对其进行嵌入表示；

针对文本值型描述信息，利用预训练的词向量得到描述文本嵌入和其他描述特征嵌入；

针对数值型描述信息，对其进行归一化，将值分为多个类别。

6.如权利要求1所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，对知识图谱的节点进行结构视图编码的具体过程包括通过节点在图中的邻域环境和拓扑结构来获取节点的表示。

7.如权利要求6所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，通过节点的结构型边得到节点的一阶邻居，通过将连接邻居的信息聚合，得到聚合一阶邻居信息后节点的表示；

通过高阶连接利用来自多跳邻居的信息，得到经过多阶跳聚合后的节点的表示。

8.如权利要求6所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，进行跨模态对比学习的过程包括充分利用不同模态视图之间的监督信号，最大化描述性视图和结构性视图之间的互信息，最大化知识图谱中目标节点的描述性和结构性表示之间的一致性。

9.如权利要求6所述的一种基于跨模态知识图谱对比学习的服务推荐方法，其特征是，基于跨模态对比学习的结果，利用交互预测函数来计算待推荐的需求任务与预设的各服务的交互概率的具体过程包括：基于跨模态对比学习，得到的节点表示，对各给定的需求任务-服务方法对，形成最终的多模态表示；

使用统一的交互预测函数来计算需求任务-服务方法对的交互概率，根据给定的需求任务，对交互概率进行排序后进行相应的服务推荐。

10.一种基于跨模态知识图谱对比学习的服务推荐系统，其特征是，包括：

图谱构建模块，被配置为根据所获取的信息进行知识表示，构建本体模型，对所述本体模型进行处理，形成知识图谱，并区分描述属性和结构连接；

描述视图编码模块，被配置为对知识图谱的节点进行描述视图编码；

结构性视图编码模块，被配置为对知识图谱的节点进行结构视图编码；

跨模态对比学习模块，被配置为基于所构建描述视图编码和结构视图编码进行跨模态对比学习，最大化描述视图和结构视图之间的互信息；

服务推荐模块，被配置为基于跨模态对比学习的结果，利用交互预测函数来计算待推荐的需求任务与预设的各服务的交互概率，根据所述交互概率，进行最终的服务推荐。

Images