CN117688193A - 图文统一编码方法、装置、计算机设备及介质 - Google Patents

Abstract

本发明公开了一种图文统一编码方法、装置、计算机设备及介质，包括：构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；采用训练好的图文编码模型对图文进行统一编码，实现基于双向生成网络的图文统一编码方法，能快速实现对图像和文本数据的统一编码表示，提高图文查询检索效率。

Description

图文统一编码方法、装置、计算机设备及介质

技术领域

本发明涉及数据处理领域，尤其涉及一种图文统一编码方法、装置、计算机设备及介质。

背景技术

数据的良好表示对于机器学习模型的性能很重要，以有意义的方式表示数据的能力对于多模态问题至关重要，并构成任何模型的基础。将数据表示成计算模型可以直接使用的格式一直是一个挑战。多模态数据存在异构性、数据量大、数据缺失和计算代价大等特点，这给多模态数据的处理及蕴含的事件挖掘带来了挑战，需研究将多个模态的数据信息进行统一编码表示的方法。

现有的多模态数据表示算法基本上以一致性准则的思路展开研究，采用协同正则化的方法，将多模态表示分为联合表示和协调表示两种。联合表示将单模态数据组合到相同的表示空间中，而协调表示单独处理单模态数据，但对它们施加某些相似性约束，使它们进入协调表示空间。

现有方式中，公开号为CN106202281A的专利文献公开了一种多模态数据表示学习方法，通过接收目标多模态数据，并获取目标多模态数据对应的各个模态以及各个模态的特征表示；根据目标多模态数据、特征表示和预设图随机走模型获取融合多模态特征的数据表示和词典表示；根据预设数据重构模型、数据表示和词典表示，获取低维判别表示最优解和词典最优表示并存储于数据库。

现有方式中，公开号为CN114239805A的专利文献公开了一种跨模态检索神经网络及训练方法，文本特征提取网络结构包括:词向量嵌入层，用于将目标文本中的词语转换为对应的词向量；与词向量嵌入层连接的全连接层，用于将词向量的维度扩充到目标图像的维度；与全连接层连接的第一GCN网络层，用于提取词向量间的局部语义关系特征；与第一GCN网络层连接的第一biGRU，用于提取目标文本的全局语义特征；图像特征提取网络结构包括:图像检测网络，用于检测目标图像中的物体；与图像检测网络连接的第二GCN网络层，用于提取物体间的局部语义关系特征；与第二GCN网络层连接的第二biGRU，用于提取目标图像的全局语义特征。

发明人在实现本发明的过程中，意识到现有技术至少存在如下技术问题：只用一个判别器，无法进行文本和图像的语义一致性判别的，由于文本和图像有天然的鸿沟，表征的方式差别很大，文本是表义的，而图像是表象的，很难将文本和图像进行统一编码表示，暂未有提出将图像和文本数据进行统一编码的方法。从而使得难以实现文本图像的统一编码检索，使得文本图像的检索匹配效率较低。

发明内容

本发明实施例提供一种图文统一编码方法、装置、计算机设备和存储介质，以提高文本图像的检索匹配效率。

为了解决上述技术问题，本申请实施例提供一种图文统一编码方法，包括：

构建基于双向生成网络的图文数据统一编码模型，其中，所述图文数据统一编码模型包括图像子网络和文本子网络，所述图像子网络包括图像向量生成器、文本生成器，所述文本子网络包括文本向量生成器、图像生成器；

对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；

采用所述图文数据分组对所述图文统一编码模型进行训练，得到训练好的图文编码模型；

采用所述训练好的图文编码模型对所述图文进行统一编码。

可选地，所述图文数据统一编码模型还包括向量相似性度量判别器，所述向量相似性度量判别器将所述图像子网络和所述文本子网络连接起来。

可选地，所述对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组包括：

基于预设打分规则，对所述图文数据集进行打分标注，分数为0-100，0表示完全不相关，100表示非常相关；

设定相关性阀值，将相关性平均分数超过相关性阀值的图像和文本分为一组，得到所述图文数据分组。

可选地，所述采用所述图文数据分组对所述图文统一编码模型进行训练，得到训练好的图文编码模型包括：

定义图文统一编码模型的相似性度量损失函数F为文本、图像、向量三个相似性度量算法度量损失的加权和，两段文本、两张图像和两个向量相似性度量值分别为、/>、/>，权重分别为/>、/>、/>，且/>，/>；

固定所述权重为第一权重值，并采用所述第一权重值训练文本向量生成器和图像向量生成器，直至相似性度量损失函数F收敛。

固定所述权重为第二权重值，并采用所述第二权重值训练文本向量生成器和图像向量生成器，训练图像生成器和文本生成器，直至相似性度量损失函数收敛。

迭代循环训练，直至相似性度量损失函数F达到停止阀值时结束训练，得到所述训练好的图文编码模型。

可选地，在所述采用所述训练好的图文编码模型对所述图文进行统一编码之后，所述图文统一编码方法还包括：

在接收到检索查询请求时，获取所述检索查询请求中的待查询数据；

采用所述训练好的图文编码模型对所述待查询数据进行统一编码方法，得到待查询编码向量；

基于所述待查询编码向量离判断图像之间、文本之间、以及文本与图像之间的相似性；

根据所述相似性确定查询分类结果。

为了解决上述技术问题，本申请实施例还提供一种图文统一编码装置，包括：

模型构建模块，用于构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；

标注分组模块，用于对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；

模型训练模块，用于采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；

统一编码模块，用于采用训练好的图文编码模型对图文进行统一编码。

可选地，所述标注分组模块包括：

标准单元，用于基于预设打分规则，对图文数据集进行打分标注，分数为0-100，0表示完全不相关，100表示非常相关；

分组单元，用于设定相关性阀值，将相关性平均分数超过相关性阀值的图像和文本分为一组，得到图文数据分组。

可选地，所述模型训练模块包括：

加权单元，用于定义图文统一编码模型的相似性度量损失函数F为文本、图像、向量三个相似性度量算法度量损失的加权和，两段文本、两张图像和两个向量相似性度量值分别为、/>、/>，权重分别为/>、/>、/>，且/>，/>；

第一训练单元，用于固定权重为第一权重值，并采用第一权重值训练文本向量生成器和图像向量生成器，直至相似性度量损失函数F收敛；

第二训练单元，用于固定权重为第二权重值，并采用第二权重值训练文本向量生成器和图像向量生成器，训练图像生成器和文本生成器，直至相似性度量损失函数收敛；

迭代训练单元，用于迭代循环训练，直至相似性度量损失函数F达到停止阀值时结束训练，得到训练好的图文编码模型。

可选地，所述图文统一编码装置还包括：

请求分析模块，用于在接收到检索查询请求时，获取检索查询请求中的待查询数据；

数据编码模块，用于采用训练好的图文编码模型对待查询数据进行统一编码方法，得到待查询编码向量；

相似性计算模块，用于基于待查询编码向量离判断图像之间、文本之间、以及文本与图像之间的相似性；

结果确定模块，用于根据相似性确定查询分类结果。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图文统一编码方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述图文统一编码方法的步骤。

本发明实施例提供的图文统一编码方法、装置、计算机设备及存储介质，通过构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；采用训练好的图文编码模型对图文进行统一编码，实现基于双向生成网络的图文统一编码方法，能快速实现对图像和文本数据的统一编码表示，提高图文查询检索效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的图文统一编码方法的一个实施例的流程图；

图3是本申请一个图文数据统一编码模型的结构示例图；

图4是根据本申请的图文统一编码装置的一个实施例的结构示意图；

图5是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器( Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3 )、MP4( Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4 )播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的图文统一编码方法由服务器执行，相应地，图文统一编码装置设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。

请参阅图2，图2示出本发明实施例提供的一种图文统一编码方法，以该方法应用在图1中的服务端为例进行说明，详述如下：

S201：构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器。

可选地，图文数据统一编码模型还包括向量相似性度量判别器，向量相似性度量判别器将图像子网络和文本子网络连接起来。

具体地，本实施例总体框架如图3所示，包括两个子网络：一个为图像子网络，用于从图像模态编码并生成文本模态；另一个为文本子网络用于从文本模态编码并生成图像模态。它们均以端到端的方式进行训练。图像子网络包括图像向量生成器、文本生成器；文本子网络包括文本向量生成器、图像生成器。为了确保两个子网络学习图像和文本表示在共同的表示空间，通过向量相似性度量判别器将图像子网络和文本子网络之间连接起来。同时，模型通过图像相似性度量判别器和文本相似性度量判别器保证文本和图像向量保留足够的语义信息。

其中，文本向量生成器用于将原始文本数据转换为文本向量，可采用已有深度学习网络结构，优选地，本实施例采用BERT深度预训练模型结构；

图像向量生成器用于将原始图像数据转换为图像向量，可采用已有深度学习网络结构，本实施例采用VGG19或VGG16模型，使用模型的最后一个全连接层的特征作为图像向量表示；

图像生成器基于文本向量生成图像，可采用已有深度学习网络结构，优选地，本实施例采用MirrorGAN模型；

文本生成器基于图像向量生成文本，可采用已有深度学习网络结构，优选地，本实施例采用RankGAN模型；

通过文本向量生成器，将原始文本转换成文本向量a，再通过图像生成器，生成文本向量对应的图像/>；同时，通过图像向量生成器，将原始图像/>转换为图像向量b，通过文本生成器，生成图像向量对应的新文本/>。

为了确保图像向量和文本向量在共同的表示空间，需要越小，本发明通过向量相似性度量判别器计算图像向量和文本向量之间的相似度，本发明采用余弦相似度来度量：

；

其中，表示两个向量相似性度量值，/>；

模型通过文本相似性度量判别器和图像相似性度量判别器保证文本和图像向量保留足够的语义信息，即与/>越小。

图像相似性度量判别器用于判断原始图像和生成图像之间的相似度，本发明采用SSIM（结构相似度度量) 来度量：

；

其中，表示两个图像相似性度量值/>，/>和/>、/>和/>分别为/>和的平均值和标准差，/>为/>和/>的协方差，C1、C2是正值常数，用于防止公式出现除0异常。

文本相似性度量判别器用于判断原始文本和生成文本之间的相似度，本发明采用TF-IDF计算相似度；

；

；

某词的，根据TF-IDF生成两文本各自的词频向量，并计算两个向量的余弦相似度/>，值越大就表示越相似。

S202：对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组。

在一具体可选实施方式中，对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组包括：

基于预设打分规则，对图文数据集进行打分标注，分数为0-100，0表示完全不相关，100表示非常相关；

设定相关性阀值，将相关性平均分数超过相关性阀值的图像和文本分为一组，得到图文数据分组。

S203：采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型。

在一具体可选实施方式中，采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型包括：

定义图文统一编码模型的相似性度量损失函数F为文本、图像、向量三个相似性度量算法度量损失的加权和，两段文本、两张图像和两个向量相似性度量值分别为、/>、/>，权重分别为/>、/>、/>，且/>，/>；

固定权重为第一权重值，并采用第一权重值训练文本向量生成器和图像向量生成器，直至相似性度量损失函数F收敛。

固定权重为第二权重值，并采用第二权重值训练文本向量生成器和图像向量生成器，训练图像生成器和文本生成器，直至相似性度量损失函数收敛。

迭代循环训练，直至相似性度量损失函数F达到停止阀值时结束训练，得到训练好的图文编码模型。

S204：采用训练好的图文编码模型对图文进行统一编码。

在一具体可选实施方式中，在采用训练好的图文编码模型对图文进行统一编码之后，图文统一编码方法还包括：

在接收到检索查询请求时，获取检索查询请求中的待查询数据；

采用训练好的图文编码模型对待查询数据进行统一编码方法，得到待查询编码向量；

基于待查询编码向量离判断图像之间、文本之间、以及文本与图像之间的相似性；

根据相似性确定查询分类结果。

本实施例中，构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；采用训练好的图文编码模型对图文进行统一编码，实现基于双向生成网络的图文统一编码方法，能快速实现对图像和文本数据的统一编码表示，提高图文查询检索效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图4示出与上述实施例图文统一编码方法一一对应的图文统一编码装置的原理框图。如图4所示，该图文统一编码装置包括模型构建模块31、标注分组模块32、模型训练模块33和统一编码模块34。各功能模块详细说明如下：

模型构建模块31，用于构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；

标注分组模块32，用于对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；

模型训练模块33，用于采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；

统一编码模块34，用于采用训练好的图文编码模型对图文进行统一编码。

可选地，所述标注分组模块32包括：

标准单元，用于基于预设打分规则，对图文数据集进行打分标注，分数为0-100，0表示完全不相关，100表示非常相关；

分组单元，用于设定相关性阀值，将相关性平均分数超过相关性阀值的图像和文本分为一组，得到图文数据分组。

可选地，所述模型训练模块33包括：

加权单元，用于定义图文统一编码模型的相似性度量损失函数F为文本、图像、向量三个相似性度量算法度量损失的加权和，两段文本、两张图像和两个向量相似性度量值分别为、/>、/>，权重分别为/>、/>、/>，且/>，/>；

第一训练单元，用于固定权重为第一权重值，并采用第一权重值训练文本向量生成器和图像向量生成器，直至相似性度量损失函数F收敛；

第二训练单元，用于固定权重为第二权重值，并采用第二权重值训练文本向量生成器和图像向量生成器，训练图像生成器和文本生成器，直至相似性度量损失函数收敛；

迭代训练单元，用于迭代循环训练，直至相似性度量损失函数F达到停止阀值时结束训练，得到训练好的图文编码模型。

可选地，所述图文统一编码装置还包括：

请求分析模块，用于在接收到检索查询请求时，获取检索查询请求中的待查询数据；

数据编码模块，用于采用训练好的图文编码模型对待查询数据进行统一编码方法，得到待查询编码向量；

相似性计算模块，用于基于待查询编码向量离判断图像之间、文本之间、以及文本与图像之间的相似性；

结果确定模块，用于根据相似性确定查询分类结果。

关于图文统一编码装置的具体限定可以参见上文中对于图文统一编码方法的限定，在此不再赘述。上述图文统一编码装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图5，图5为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或D界面显示存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如图文统一编码的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行图文统一编码的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的图文统一编码方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种图文统一编码方法，其特征在于，包括：

构建基于双向生成网络的图文数据统一编码模型，其中，所述图文数据统一编码模型包括图像子网络和文本子网络，所述图像子网络包括图像向量生成器、文本生成器，所述文本子网络包括文本向量生成器、图像生成器；

对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；

采用所述图文数据分组对所述图文统一编码模型进行训练，得到训练好的图文编码模型；

采用所述训练好的图文编码模型对所述图文进行统一编码。

2.如权利要求1所述的图文统一编码方法，其特征在于，所述图文数据统一编码模型还包括向量相似性度量判别器，所述向量相似性度量判别器将所述图像子网络和所述文本子网络连接起来。

3.如权利要求2所述的图文统一编码方法，其特征在于，所述对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组包括：

基于预设打分规则，对所述图文数据集进行打分标注，分数为0-100，0表示完全不相关，100表示非常相关；

设定相关性阀值，将相关性平均分数超过相关性阀值的图像和文本分为一组，得到所述图文数据分组。

4.如权利要求1所述的图文统一编码方法，其特征在于，所述采用所述图文数据分组对所述图文统一编码模型进行训练，得到训练好的图文编码模型包括：

定义图文统一编码模型的相似性度量损失函数F为文本、图像、向量三个相似性度量算法度量损失的加权和，两段文本、两张图像和两个向量相似性度量值分别为、/>、/>，权重分别为/>、/>、/>，且/>，/>；

固定所述权重为第一权重值，并采用所述第一权重值训练文本向量生成器和图像向量生成器，直至相似性度量损失函数F收敛；

固定所述权重为第二权重值，并采用所述第二权重值训练文本向量生成器和图像向量生成器，训练图像生成器和文本生成器，直至相似性度量损失函数收敛；

迭代循环训练，直至相似性度量损失函数F达到停止阀值时结束训练，得到所述训练好的图文编码模型。

5.如权利要求1所述的图文统一编码方法，其特征在于，在所述采用所述训练好的图文编码模型对所述图文进行统一编码之后，所述图文统一编码方法还包括：

在接收到检索查询请求时，获取所述检索查询请求中的待查询数据；

采用所述训练好的图文编码模型对所述待查询数据进行统一编码方法，得到待查询编码向量；

基于所述待查询编码向量离判断图像之间、文本之间、以及文本与图像之间的相似性；

根据所述相似性确定查询分类结果。

6.一种图文统一编码装置，其特征在于，所述图文统一编码装置包括：

模型构建模块，用于构建基于双向生成网络的图文数据统一编码模型，其中，图文数据统一编码模型包括图像子网络和文本子网络，图像子网络包括图像向量生成器、文本生成器，文本子网络包括文本向量生成器、图像生成器；

标注分组模块，用于对图文数据集进行相关性标注，并根据相关性分组，得到图文数据分组；

模型训练模块，用于采用图文数据分组对图文统一编码模型进行训练，得到训练好的图文编码模型；

统一编码模块，用于采用训练好的图文编码模型对图文进行统一编码。

7.如权利要求6所述的图文统一编码装置，其特征在于，所述标注分组模块包括：

标准单元，用于基于预设打分规则，对图文数据集进行打分标注，分数为0-100，0表示完全不相关，100表示非常相关；

分组单元，用于设定相关性阀值，将相关性平均分数超过相关性阀值的图像和文本分为一组，得到图文数据分组。

8.如权利要求6所述的图文统一编码装置，其特征在于，所述图文统一编码装置还包括：

请求分析模块，用于在接收到检索查询请求时，获取检索查询请求中的待查询数据；

数据编码模块，用于采用训练好的图文编码模型对待查询数据进行统一编码方法，得到待查询编码向量；

相似性计算模块，用于基于待查询编码向量离判断图像之间、文本之间、以及文本与图像之间的相似性；

结果确定模块，用于根据相似性确定查询分类结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的图文统一编码方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的图文统一编码方法。