CN113688269A - 图文匹配结果确定方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本公开提供了一种图文匹配结果确定方法、装置、电子设备及可读存储介质。包括：获取目标业务方，及与所述目标业务方关联的目标图像；根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。本公开能够提升图文匹配的泛化性及图文匹配判断的有效性。

Description

图文匹配结果确定方法、装置、电子设备及可读存储介质

技术领域

本公开的实施例涉及图文匹配技术领域，尤其涉及一种图文匹配结果确定方法、装置、电子设备及可读存储介质。

背景技术

随着科学技术的发展及经济水平的提升，越来越多的用户会通过订单平台完成各种用品的购买，如餐饮、衣物、家具等等。

目前，在大多数订单平台的网页推荐中，商家是以<商家名称，图片>的二元组形式展现给用户，图文展示形式可以给用户直观的视觉感知。但是，也存在部分的商家名称与图片展示的内容不一致的问题，例如，某商家的名称为“xxx烤鸭店”，而在订单平台内展现的图片中显示的是蛋炒饭等，此种情况会使用户产生迷惑心理，影响用户的购买判断，降低了用户的体验。

为了保证图文一致性，目前常用的解决方式为应用语义信息并结合实体关联关系来解决图文匹配问题，然而实体关联关系的确定强依赖于人工定义和历史数据，泛化性差，也不可避免地影响图文匹配判断的有效性。

发明内容

本公开的实施例提供一种图文匹配结果确定方法、装置、电子设备及可读存储介质，用以提升图文匹配的泛化性，且提高图文匹配判断的有效性。

根据本公开的实施例的第一方面，提供了一种图文匹配结果确定方法，包括：

获取目标业务方，及与所述目标业务方关联的目标图像；

根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；

基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；

在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

可选地，所述根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果，包括：

对所述业务方名称进行实体识别处理，得到所述业务方名称对应的第一实体识别结果；

对所述目标图像中包含的目标业务对象进行实体识别处理，得到所述目标图像对应的第二实体识别结果；

根据实体关联列表，获取所述第一实体识别结果和所述第二实体识别结果的语义关联关系；

根据所述语义关联关系，确定所述第一图文匹配结果。

可选地，所述基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，包括：

将所述业务方名称和所述目标图像输入至所述图文相关性模型；

调用所述图文相关性模型获取所述业务方名称对应的第一向量，及所述目标图像对应的第二向量，并根据所述第一向量和所述第二向量，计算得到所述业务方名称和所述目标图像的相关性分值。

可选地，在所述根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果之后，还包括：

在所述第一图文匹配结果和所述第二图文匹配结果均为图文匹配一致的结果的情况下，确定所述目标业务方和所述目标图像的图文匹配结果为匹配一致的结果。

可选地，在所述基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果之前，还包括：

根据业务方和业务对象的历史共现数据，构建初始知识图谱；

根据所述业务方和所述业务对象的共现次数，确定所述业务方与所述业务对象的共现概率；

将所述共现概率赋予所述初始知识图谱，生成所述知识图谱。

可选地，所述基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果，包括：

根据所述知识图谱，获取所述业务方名称和所述目标图像中的目标业务对象的目标共现概率；

根据所述目标共现概率，确定所述目标图文匹配结果。

可选地，所述根据目标共现概率，确定所述目标图文匹配结果，包括：

根据所述知识图谱，获取所述目标业务方和与所述目标业务方具有连接关系的其它业务对象之间的初始共现概率；

根据所述初始共现概率和所述目标共现概率，对所述目标业务对象和所述其它业务对象进行排序；

根据排序结果，确定所述目标业务方和所述目标图像的目标图文匹配结果。

根据本公开的实施例的第二方面，提供了一种图文匹配结果确定装置，包括：

目标图像获取模块，用于获取目标业务方，及与所述目标业务方关联的目标图像；

第一匹配结果确定模块，用于根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；

第二匹配结果确定模块，用于基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；

目标匹配结果确定模块，用于在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

可选地，所述第一匹配结果确定模块包括：

第一识别结果获取单元，用于对所述业务方名称进行实体识别处理，得到所述业务方名称对应的第一实体识别结果；

第二识别结果获取单元，用于对所述目标图像中包含的目标业务对象进行实体识别处理，得到所述目标图像对应的第二实体识别结果；

语义关联关系获取单元，用于根据实体关联列表，获取所述第一实体识别结果和所述第二实体识别结果的语义关联关系；

第一匹配结果确定单元，用于根据所述语义关联关系，确定所述第一图文匹配结果。

可选地，所述第二匹配结果确定模块包括：

目标图像输入单元，用于将所述业务方名称和所述目标图像输入至所述图文相关性模型；

相关性分值计算单元，用于调用所述图文相关性模型获取所述业务方名称对应的第一向量，及所述目标图像对应的第二向量，并根据所述第一向量和所述第二向量，计算得到所述业务方名称和所述目标图像的相关性分值。

可选地，所述装置还包括：

匹配一致结果确定模块，用于在所述第一图文匹配结果和所述第二图文匹配结果均为图文匹配一致的结果的情况下，确定所述目标业务方和所述目标图像的图文匹配结果为匹配一致的结果。

可选地，所述装置还包括：

初始知识图谱构建模块，用于根据业务方和业务对象的历史共现数据，构建初始知识图谱；

共现概率确定模块，用于根据所述业务方和所述业务对象的共现次数，确定所述业务方与所述业务对象的共现概率；

知识图谱生成模块，用于将所述共现概率赋予所述初始知识图谱，生成所述知识图谱。

可选地，所述目标匹配结果确定模块包括：

目标共现概率获取单元，用于根据所述知识图谱，获取所述业务方名称和所述目标图像中的目标业务对象的目标共现概率；

目标匹配结果确定单元，用于根据所述目标共现概率，确定所述目标图文匹配结果。

可选地，所述目标匹配结果确定单元包括：

初始共现概率获取子单元，用于根据所述知识图谱，获取所述目标业务方和与所述目标业务方具有连接关系的其它业务对象之间的初始共现概率；

业务对象排序子单元，用于根据所述初始共现概率和所述目标共现概率，对所述目标业务对象和所述其它业务对象进行排序；

目标匹配结果确定子单元，用于根据排序结果，确定所述目标业务方和所述目标图像的目标图文匹配结果。

根据本公开的实施例的第三方面，提供了一种电子设备，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的图文匹配结果确定方法。

根据本公开的实施例第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的图文匹配结果确定方法。

本公开的实施例提供了一种图文匹配结果确定方法、装置、电子设备及可读存储介质。通过获取目标业务方，及与目标业务方关联的目标图像，根据目标业务方的业务方名称和目标图像的语义关联关系，确定目标业务方和目标图像的第一图文匹配结果，基于预先训练的图文相关性模型，获取业务方名称和目标图像的相关性分值，并根据相关性分值，确定目标业务方和目标图像的第二图文匹配结果，在第一图文匹配结果和第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定目标业务方和目标图像的目标图文匹配结果。本公开的实施例通过从图文中的实体关联程度、图文多模态特征相关程度和从知识图谱挖掘出的用户行为特征三个维度判断图文匹配结果，并将结果融合，能够提升图文匹配的泛化性，且能够提高图文匹配判断的有效性。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开的实施例提供的一种图文匹配结果确定方法的步骤流程图；

图2为本公开的实施例提供的另一种图文匹配结果确定方法的步骤流程图；

图3为本公开的实施例提供的一种图文匹配结果确定装置的结构示意图；

图4为本公开的实施例提供的另一种图文匹配结果确定装置的结构示意图。

具体实施方式

下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。

实施例一

参照图1，示出了本公开的实施例提供的一种图文匹配结果确定方法的步骤流程图，如图1所示，该图文匹配结果确定方法可以包括如下步骤：

步骤101：获取目标业务方，及与所述目标业务方关联的目标图像。

本公开的实施例可以应用于对订单平台内展示的业务方与业务方提供的图像的一致性进行匹配的场景中。

目标业务方是指注册于订单平台内的用于向用户提供订单物品的业务方，在本示例中，目标业务方即商家，如饭店、冷饮店、花店等。

目标图像是指目标业务方提供的用于在订单平台作为展示目标业务方提供物品的图像，在本示例中，目标图像可以为菜品图像、鲜花图像等。

在实际应用中，目标业务方在订单平台注册成功之后，可以向订单平台提供至少一幅图像作为目标图像，以进行展示，而为了避免出现图文(即目标图像与目标业务方的名称)不一致的情况，可以采用本实施例提供的方案进行匹配结果的判定。

在进行图文匹配结果的判断时，可以获取订单平台内的目标业务方及与目标业务方关联的目标图像。

在获取到目标业务方及与目标业务方关联的目标图像之后，执行步骤102。

步骤102：根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果。

第一图文匹配结果是指采用实体语义分析得出的目标业务方的业务方名称与目标图像的图文匹配结果。

在获取到目标业务方及与目标业务方关联的目标图像之后，可以根据目标业务方的业务方名称和目标图像的语义关联关系，确定出目标业务方和目标图像的第一图文匹配结果。具体地，可以对业务方名称进行命名实体识别，以得到业务方名称中包含的业务实体，然后，应用视觉识别算法对目标图像进行业务对象的识别，得到目标图像中包含的业务对象，并对业务对象进行命名实体识别，以得到目标图像中包含的业务实体，最后，结合识别的两个业务实体以及预先构建的实体关联列表，得到目标业务方和目标图像的第一图文匹配结果。

在得到目标业务方与目标图像的第一图文匹配结果之后，执行步骤103。

步骤103：基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果。

第二图文匹配结果是指采用图文相关性模型得到的目标业务方与目标图像的图文匹配结果。

在获取到目标业务方和目标图像之后，可以基于预先训练的图文相关性模型，获取目标业务方的业务方名称和目标图像的相关性分值，并根据相关性分之确定出目标业务方和目标图像的第二图文匹配结果，对于该过程将在下述实施例二中进行详细描述，本实施例在此不再加以赘述。

在获取到第一图文匹配结果和第二图文匹配结果之后，执行步骤104。

步骤104：在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

目标图文匹配结果是指根据预先构建的只知识图谱确定的目标业务方与目标图像之间的图文匹配结果。

在获取到第一图文匹配结果和第二图文匹配结果之后，可以判断第一图文匹配结果和第二图文匹配结果中是否存在至少一个图文匹配不一致结果，若存在，则通过预先构建的知识图谱对目标业务方和目标图像的图文匹配结果进行判断。

在本示例中，在第一图文匹配结果和第二图文匹配结果中存在至少一个匹配不一致结果的情况下，可以基于预先构建的知识图谱确定目标业务方和目标图像的目标图文匹配结果。

本公开的实施例通过从图文中的实体关联程度、图文多模态特征相关程度和从知识图谱挖掘出的用户行为特征三个维度判断图文匹配结果，并将结果融合，能够提升图文匹配的泛化性，且能够提高图文匹配判断的有效性。

本公开的实施例提供的图文匹配结果确定方法，通过获取目标业务方，及与目标业务方关联的目标图像，根据目标业务方的业务方名称和目标图像的语义关联关系，确定目标业务方和目标图像的第一图文匹配结果，基于预先训练的图文相关性模型，获取业务方名称和目标图像的相关性分值，并根据相关性分值，确定目标业务方和目标图像的第二图文匹配结果，在第一图文匹配结果和第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定目标业务方和目标图像的目标图文匹配结果。本公开的实施例通过从图文中的实体关联程度、图文多模态特征相关程度和从知识图谱挖掘出的用户行为特征三个维度判断图文匹配结果，并将结果融合，能够提升图文匹配的泛化性，且能够提高图文匹配判断的有效性。

实施例二

参照图2，示出了本公开的实施例提供的另一种图文匹配结果确定方法的步骤流程图，如图2所示，该图文匹配结果确定方法可以包括如下步骤：

步骤201：获取目标业务方，及与所述目标业务方关联的目标图像。

本公开的实施例可以应用于对订单平台内展示的业务方与业务方提供的图像的一致性进行匹配的场景中。

目标业务方是指注册于订单平台内的用于向用户提供订单物品的业务方，在本示例中，目标业务方即商家，如饭店、冷饮店、花店等。

目标图像是指目标业务方提供的用于在订单平台作为展示目标业务方提供物品的图像，在本示例中，目标图像可以为菜品图像、鲜花图像等。

在实际应用中，目标业务方在订单平台注册成功之后，可以向订单平台提供至少一幅图像作为目标图像，以进行展示，而为了避免出现图文(即目标图像与目标业务方的名称)不一致的情况，可以采用本实施例提供的方案进行匹配结果的判定。

在进行图文匹配结果的判断时，可以获取订单平台内的目标业务方及与目标业务方关联的目标图像。

在获取到目标业务方及与目标业务方关联的目标图像之后，执行步骤202。

步骤202：对所述业务方名称进行实体识别处理，得到所述业务方名称对应的第一实体识别结果。

在本实施例中，在获取到目标业务方的业务方名称之后，可以对业务方名称进行命名实体识别，以得到业务方名称对应的第一实体识别结果，即业务方名称中包含的业务对象的识别结果。

步骤203：对所述目标图像中包含的目标业务对象进行实体识别处理，得到所述目标图像对应的第二实体识别结果。

在获取到目标业务方对应的目标图像之后，可以先采用视觉识别算法对目标图像进行识别，以识别出目标图像中包含的目标业务对象，然后，采用命名实体识别技术对目标业务对象进行命名实体识别处理，以得到目标图像中的目标业务对象的第二实体识别结果，即目标业务对象对应的识别结果。

在得到第一实体识别结果和第二实体识别结果之后，执行步骤204。

步骤204：根据实体关联列表，获取所述第一实体识别结果和所述第二实体识别结果的语义关联关系。

实体关联列表是指预先构建的用于指示实体关联关系的列表。对于实体关联列表的构建过程可以为：对图文数据采样，根据采样到的数据构建实体关联列表，其中实体关联列表主要遵循以下三个原则，在大众认知中可以相互搭配(如豆浆和油条等)，两个实体在大众认知中彼此相似(如云吞和馄饨等)，店名实体是类别，包含了图片菜名实体(如烧烤和羊肉串等)。如果满足以上三个原则之一，则认为美食实体是实体相互关联的。

在获取到第一实体识别结果和第二实体识别结果之后，可以通过查询实体关联列表以得到第一实体识别结果和第二实体识别结果的语义关联关系。

在得到第一实体识别结果和第二实体识别结果的语义关联关系之后，执行步骤205。

步骤205：根据所述语义关联关系，确定所述第一图文匹配结果。

在获取到第一实体识别结果和第二实体识别结果的语义关联关系之后，可以根据语义关联关系确定目标业务方与目标图像的第一图文匹配结果，具体地，在语义关联关系为搭配关联的情况下，则可以第一图文匹配结果为图文匹配一致的结果，否则为图文匹配不一致的结果。

步骤206：将所述业务方名称和所述目标图像输入至所述图文相关性模型。

在本实施例中，对于图文相关性模型的训练过程可以为：1、获取模型训练样本，在具体实现中，图像识别技术已经被成功应用在多个领域，并取得了不错的效果。在该图文相关性模型中，可以应用图像识别技术中被广泛应用的ImageNet神经网络框架去提取图像的视觉特征。将待判断的图片输入到ImageNet神经网络中，输出为N维的特征向量，该特征向量包含了图像的视觉信息。对应地，文本特征提取技术也日益成熟，可以提取到文本的上下文语义特征，可以应用word2vec模型来提取文本的word embedding。将待判断文本输入到word2vec框架中，输出为N维的特征向量，该特征向量包含了文本的上下文语义信息。2、模型训练过程，根据获得的图像，文本的特征训练一个图文相关性模型，图文相关性模型是预训练模型，是在以Transformer模型的基础上，实现文本与图像信息的相互依赖，共同学习。与以往的Bert模型不同，图文相关性模型输入的不仅仅有文本信息还有视觉信息，因此应用双流的VilBert模型来实现多模态的学习。在模型的开始没有直接对文本信息和图片信息进行融合，先各自经过Transformer的编码器编码分别学习文本和图像的特征。两种模态各自编码后，其输出会经过一个共注意力机制模块，该模块用来融合不同模态(即文本模态和图像模态)之间的信息。

上述模型可以在两个任务上进行预训练，第一个任务为掩码任务，第二个任务为图文匹配任务。在模型预训练之后，输入图像和文本即可输出图文相关性得分。

在获取到目标业务方和目标图像之后，可以将目标业务方的业务方名称和目标图像输入至图文相关性模型中。

在将业务方名称和目标图像输入至图文相关性模型之后，执行步骤207。

步骤207：调用所述图文相关性模型获取所述业务方名称对应的第一向量，及所述目标图像对应的第二向量，并根据所述第一向量和所述第二向量，计算得到所述业务方名称和所述目标图像的相关性分值。

在将业务方名称和目标图像输入至图文相关性模型之后，可以调用图像相关性模型获取业务方名称对应的第一向量，以及目标图像对应的第二向量，并根据第一向量和第二向量计算得到业务方名称和目标图像的相关性分值。

在获取到业务方名称和目标图像的相关性分值之后，执行步骤208。

步骤208：根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果。

在获取到相关性分值之后，可以根据相关性分值确定出目标业务方和目标图像的第二图文匹配结果，具体地，在相关性分值大于或者等于预先设置的阈值的情况下，则第二图文匹配结果为图文匹配一致的结果，在相关性分值小于预先设置的阈值的情况下，则第二图文匹配结果为图文匹配不一致的结果。

在获取到第一图文匹配结果和第二图文匹配结果之后，执行步骤209，或者执行步骤210。

步骤209：在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

目标图文匹配结果是指根据预先构建的只知识图谱确定的目标业务方与目标图像之间的图文匹配结果。

在获取到第一图文匹配结果和第二图文匹配结果之后，可以判断第一图文匹配结果和第二图文匹配结果中是否存在至少一个图文匹配不一致结果，若存在，则通过预先构建的知识图谱对目标业务方和目标图像的图文匹配结果进行判断。

在本示例中，在第一图文匹配结果和第二图文匹配结果中存在至少一个匹配不一致结果的情况下，可以基于预先构建的知识图谱确定目标业务方和目标图像的目标图文匹配结果。具体地，可以结合下述具体实现方式进行详细描述。

首先，可以结合具体实现方式对构建知识图谱的过程进行详细描述。

在本公开的实施例的一种具体实现方式中，在上述步骤209之前，还可以包括：

步骤S1：根据业务方和业务对象的历史共现数据，构建初始知识图谱。

在本实施例中，可以根据业务方和业务对象的历史共现数据构建初始知识图谱，具体地，首先获取训练数据，该训练数据包含业务方和业务对象，业务方以饭店为例，训练数据即为店名和菜品名，其次，对训练数据进行预处理，具体地，对于店名和菜品名进行解析抽象，例如比如***粥店解析为粥店，***火锅店解析为火锅店，最后，知识图谱构建阶段，可以根据业务方和业务对象的历史共现数据，构建初始知识图谱。

在构建得到初始知识图谱之后，执行步骤S2。

步骤S2：根据所述业务方和所述业务对象的共现次数，确定所述业务方与所述业务对象的共现概率。

在获取到共现次数之后，可以根据业务方和业务对象的共现次数确定业务方与业务对象的共现概率。

步骤S3：将所述共现概率赋予所述初始知识图谱，生成所述知识图谱。

在获取到共现概率之后，可以将共现概率赋予给初始知识图谱，以生成知识图谱，具体地，根据历史的曝光数据进行店名和菜品名构建，计算出解析后的店名和菜品名共现的次数，对于计算次数进行标准化，得到[0,1]之间的概率值，为了避免不同品类之间分布不一致，以及特殊菜品出现次数低等极端情况，在共现概率大于等于0的店名与菜品名中建立边的链接，概率值的大小反应了店名与菜品的相关程度，共现概率越大，相关性越高，反之亦然。

在构建知识图谱之后，可以基于知识图谱确定目标业务方和目标图像之间的目标图文匹配结果，具体地，可以结合下述具体实现方式进行详细描述。

在本公开的实施例的另一种具体实现方式中，上述步骤209可以包括：

子步骤M1：根据所述知识图谱，获取所述业务方名称和所述目标图像中的目标业务对象的目标共现概率。

在本实施例中，在获取到目标业务方的业务方名称和目标图像之后，可以对目标图像进行视觉识别算法的识别处理，以得到目标图像中包含的目标业务对象，并根据知识图谱获取业务方名称与目标业务对象的目标共现概率。

在获取到目标共现概率之后，执行子步骤M2。

子步骤M2：根据所述目标共现概率，确定所述目标图文匹配结果。

在获取到目标共现概率之后，可以根据目标共现概率确定出目标业务方与目标图像之间的目标图文匹配结果，具体地，可以根据知识图谱获取目标业务方和与目标业务方具有连接关系的其它业务对象之间的初始共现概率。然后根据初始共现概率和目标共现概率对目标业务方和其它业务对象进行排序，最后根据排序结果确定出目标业务方和目标图像的目标图文匹配结果。在本示例中，对于图文是否一致任务，设置相关度阈值，取消相关度概率值小于阈值的店名与菜品名之间的链接；限定邻居个数，对于每一个解析店名的相关度概率值Top-K的邻居视为图文一致。

本公开的实施例通过从图文中的实体关联程度、图文多模态特征相关程度和从知识图谱挖掘出的用户行为特征三个维度判断图文匹配结果，并将结果融合，能够提升图文匹配的泛化性，且能够提高图文匹配判断的有效性。

步骤210：在所述第一图文匹配结果和所述第二图文匹配结果均为图文匹配一致的结果的情况下，确定所述目标业务方和所述目标图像的图文匹配结果为匹配一致的结果。

在获取到第一图文匹配结果和第二图文匹配结果之后，若第一图文匹配结果和第二图文匹配结果均为图文匹配一致的结果的情况下，则可以确定目标业务方和目标图像的图文匹配结果为匹配一致的结果，即图文匹配一致。

本公开的实施例提供的图文匹配结果确定方法，通过获取目标业务方，及与目标业务方关联的目标图像，根据目标业务方的业务方名称和目标图像的语义关联关系，确定目标业务方和目标图像的第一图文匹配结果，基于预先训练的图文相关性模型，获取业务方名称和目标图像的相关性分值，并根据相关性分值，确定目标业务方和目标图像的第二图文匹配结果，在第一图文匹配结果和第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定目标业务方和目标图像的目标图文匹配结果。本公开的实施例通过从图文中的实体关联程度、图文多模态特征相关程度和从知识图谱挖掘出的用户行为特征三个维度判断图文匹配结果，并将结果融合，能够提升图文匹配的泛化性，且能够提高图文匹配判断的有效性。

实施例三

参照图3，示出了本公开的实施例提供的一种图文匹配结果确定装置的结构示意图，如图3所示，该图文匹配结果确定装置300可以包括如下模块：

目标图像获取模块310，用于获取目标业务方，及与所述目标业务方关联的目标图像；

第一匹配结果确定模块320，用于根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；

第二匹配结果确定模块330，用于基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；

目标匹配结果确定模块340，用于在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

本公开的实施例提供的图文匹配结果确定装置，通过获取目标业务方，及与目标业务方关联的目标图像，根据目标业务方的业务方名称和目标图像的语义关联关系，确定目标业务方和目标图像的第一图文匹配结果，基于预先训练的图文相关性模型，获取业务方名称和目标图像的相关性分值，并根据相关性分值，确定目标业务方和目标图像的第二图文匹配结果，在第一图文匹配结果和第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定目标业务方和目标图像的目标图文匹配结果。本公开的实施例通过从图文中的实体关联程度、图文多模态特征相关程度和从知识图谱挖掘出的用户行为特征三个维度判断图文匹配结果，并将结果融合，能够提升图文匹配的泛化性，且能够提高图文匹配判断的有效性。

实施例四

参照图4，示出了本公开的实施例提供的另一种图文匹配结果确定装置的结构示意图，如图4所示，该图文匹配结果确定装置400可以包括如下模块：

目标图像获取模块410，用于获取目标业务方，及与所述目标业务方关联的目标图像；

第一匹配结果确定模块420，用于根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；

第二匹配结果确定模块430，用于基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；

目标匹配结果确定模块440，用于在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果；

匹配一致结果确定模块450，用于在所述第一图文匹配结果和所述第二图文匹配结果均为图文匹配一致的结果的情况下，确定所述目标业务方和所述目标图像的图文匹配结果为匹配一致的结果。

可选地，所述第一匹配结果确定模块420包括：

第一识别结果获取单元421，用于对所述业务方名称进行实体识别处理，得到所述业务方名称对应的第一实体识别结果；

第二识别结果获取单元422，用于对所述目标图像中包含的目标业务对象进行实体识别处理，得到所述目标图像对应的第二实体识别结果；

语义关联关系获取单元423，用于根据实体关联列表，获取所述第一实体识别结果和所述第二实体识别结果的语义关联关系；

第一匹配结果确定单元424，用于根据所述语义关联关系，确定所述第一图文匹配结果。

可选地，所述第二匹配结果确定模块430包括：

目标图像输入单元431，用于将所述业务方名称和所述目标图像输入至所述图文相关性模型；

相关性分值计算单元432，用于调用所述图文相关性模型获取所述业务方名称对应的第一向量，及所述目标图像对应的第二向量，并根据所述第一向量和所述第二向量，计算得到所述业务方名称和所述目标图像的相关性分值。

可选地，所述装置还包括：

初始知识图谱构建模块，用于根据业务方和业务对象的历史共现数据，构建初始知识图谱；

共现概率确定模块，用于根据所述业务方和所述业务对象的共现次数，确定所述业务方与所述业务对象的共现概率；

知识图谱生成模块，用于将所述共现概率赋予所述初始知识图谱，生成所述知识图谱。

可选地，所述目标匹配结果确定模块440包括：

目标共现概率获取单元，用于根据所述知识图谱，获取所述业务方名称和所述目标图像中的目标业务对象的目标共现概率；

目标匹配结果确定单元，用于根据所述目标共现概率，确定所述目标图文匹配结果。

可选地，所述目标匹配结果确定单元包括：

初始共现概率获取子单元，用于根据所述知识图谱，获取所述目标业务方和与所述目标业务方具有连接关系的其它业务对象之间的初始共现概率；

业务对象排序子单元，用于根据所述初始共现概率和所述目标共现概率，对所述目标业务对象和所述其它业务对象进行排序；

目标匹配结果确定子单元，用于根据排序结果，确定所述目标业务方和所述目标图像的目标图文匹配结果。

本公开的实施例提供的图文匹配结果确定装置，通过获取目标业务方，及与目标业务方关联的目标图像，根据目标业务方的业务方名称和目标图像的语义关联关系，确定目标业务方和目标图像的第一图文匹配结果，基于预先训练的图文相关性模型，获取业务方名称和目标图像的相关性分值，并根据相关性分值，确定目标业务方和目标图像的第二图文匹配结果，在第一图文匹配结果和第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定目标业务方和目标图像的目标图文匹配结果。本公开的实施例通过从图文中的实体关联程度、图文多模态特征相关程度和从知识图谱挖掘出的用户行为特征三个维度判断图文匹配结果，并将结果融合，能够提升图文匹配的泛化性，且能够提高图文匹配判断的有效性。

本公开的实施例还提供了一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述实施例的图文匹配结果确定方法。

本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的图文匹配结果确定方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。

以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图文匹配结果确定方法，其特征在于，包括：

获取目标业务方，及与所述目标业务方关联的目标图像；

根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；

基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；

在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果，包括：

对所述业务方名称进行实体识别处理，得到所述业务方名称对应的第一实体识别结果；

对所述目标图像中包含的目标业务对象进行实体识别处理，得到所述目标图像对应的第二实体识别结果；

根据实体关联列表，获取所述第一实体识别结果和所述第二实体识别结果的语义关联关系；

根据所述语义关联关系，确定所述第一图文匹配结果。

3.根据权利要求1所述的方法，其特征在于，所述基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，包括：

将所述业务方名称和所述目标图像输入至所述图文相关性模型；

调用所述图文相关性模型获取所述业务方名称对应的第一向量，及所述目标图像对应的第二向量，并根据所述第一向量和所述第二向量，计算得到所述业务方名称和所述目标图像的相关性分值。

4.根据权利要求1所述的方法，其特征在于，在所述根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果之后，还包括：

在所述第一图文匹配结果和所述第二图文匹配结果均为图文匹配一致的结果的情况下，确定所述目标业务方和所述目标图像的图文匹配结果为匹配一致的结果。

5.根据权利要求1所述的方法，其特征在于，在所述基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果之前，还包括：

根据业务方和业务对象的历史共现数据，构建初始知识图谱；

根据所述业务方和所述业务对象的共现次数，确定所述业务方与所述业务对象的共现概率；

将所述共现概率赋予所述初始知识图谱，生成所述知识图谱。

6.根据权利要求5所述的方法，其特征在于，所述基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果，包括：

根据所述知识图谱，获取所述业务方名称和所述目标图像中的目标业务对象的目标共现概率；

根据所述目标共现概率，确定所述目标图文匹配结果。

7.根据权利要求6所述的方法，其特征在于，所述根据目标共现概率，确定所述目标图文匹配结果，包括：

根据所述知识图谱，获取所述目标业务方和与所述目标业务方具有连接关系的其它业务对象之间的初始共现概率；

根据所述初始共现概率和所述目标共现概率，对所述目标业务对象和所述其它业务对象进行排序；

根据排序结果，确定所述目标业务方和所述目标图像的目标图文匹配结果。

8.一种图文匹配结果确定装置，其特征在于，包括：

目标图像获取模块，用于获取目标业务方，及与所述目标业务方关联的目标图像；

第一匹配结果确定模块，用于根据所述目标业务方的业务方名称和所述目标图像的语义关联关系，确定所述目标业务方和所述目标图像的第一图文匹配结果；

第二匹配结果确定模块，用于基于预先训练的图文相关性模型，获取所述业务方名称和所述目标图像的相关性分值，并根据所述相关性分值，确定所述目标业务方和所述目标图像的第二图文匹配结果；

目标匹配结果确定模块，用于在所述第一图文匹配结果和所述第二图文匹配结果中存在至少一个匹配不一致结果的情况下，基于预先构建的知识图谱，确定所述目标业务方和所述目标图像的目标图文匹配结果。

9.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7中任一项所述的图文匹配结果确定方法。

10.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1至7中任一项所述的图文匹配结果确定方法。

Images