CN113516143A

CN113516143A - 文本图像匹配方法、装置、计算机设备及存储介质

Info

Publication number: CN113516143A
Application number: CN202011350030.7A
Authority: CN
Inventors: 郜晨阳; 蔡冠羽; 蒋忻洋; 张均; 宫毅非; 彭湃; 孙星; 郭晓威; 黄小明; 黄飞跃
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-11-26
Filing date: 2020-11-26
Publication date: 2021-10-19

Abstract

本申请是关于一种文本图像匹配方法、装置、计算机设备及存储介质，属于图像处理技术领域。该方法包括：获取第一特征以及第二特征；第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的，获取第一特征与第二特征之间的第一特征相似度；基于第一特征相似度，对第一特征以及第二特征进行加权，获得第一加权特征以及第二加权特征；基于第一特征、第二特征、第一加权特征以及第二加权特征，获取第一文本与第一图像的第二特征相似度；基于第二特征相似度，获取匹配信息。通过上述方案，提高了文本图像特征匹配的准确度。

Description

文本图像匹配方法、装置、计算机设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种文本图像匹配方法、装置、计算机设备及存储介质。

背景技术

图像处理是计算机视觉领域的一个重要研究方向，基于机器学习的方式来构建图像分类模型，并通过图像分类模型进行图像识别，是一种应用广泛的图像识别方法。

在相关技术中，当需要对于用户输入的文本信息找到匹配的图像时，可以基于机器学习的方式，通过预定义的图像文本特征对齐方式，来提取用户输入的文本对应的全局文本特征向量，以及各个候选图像对应的全局图像特征向量，或者提取用户输入的文本对应的局部文本特征向量，以及各个候选图像对应的局部图像特征向量，并根据全局向量之间的相似度或者局部向量之间的相似度确定图像与文本之间的匹配程度，进而选择与用于输入文本最接近的图像。

在上述技术方案中，仅通过图像文本特征对齐计算的方法，可能出现通过文本的局部特征无法确定图像是否匹配的情况，比如，“瘦的”属于局部文本特征通过局部图像特征无法确定图像是否匹配，这就导致了进行文本图像匹配的准确度较差。

发明内容

本申请实施例提供了一种文本图像匹配方法、装置、计算机设备及存储介质，在文本图像匹配过程中，通过对经过编码后的多尺度文本特征以及多尺度图像特征添加对应的注意力权重，从而获取文本图像匹配关系，可以提高文本图像匹配的准确度。该技术方案如下：

一方面，提供了一种文本图像匹配方法，所述方法包括：

获取第一特征以及第二特征；所述第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；所述第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的；

获取所述第一特征与所述第二特征之间的第一特征相似度；

基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征；

基于所述第一特征、所述第二特征、所述第一加权特征以及所述第二加权特征，获取所述第一文本与所述第一图像的第二特征相似度；

基于所述第二特征相似度，获取匹配信息，所述匹配信息用于指示所述第一文本与所述第一图像之间的匹配关系。

一方面，提供了一种文本图像匹配装置，所述装置包括：

特征获取模块，用于获取第一特征以及第二特征；所述第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；所述第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的；

第一相似度获取模块，用于获取所述第一特征与所述第二特征之间的第一特征相似度；

加权特征获取模块，用于基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征；

第二相似度获取模块，用于基于所述第一特征、所述第二特征、所述第一加权特征以及所述第二加权特征，获取所述第一文本与所述第一图像的第二特征相似度；

匹配信息获取模块，用于基于所述第二特征相似度，获取匹配信息，所述匹配信息用于指示所述第一文本与所述第一图像之间的匹配关系。

在一种可能的实现方式中，所述特征获取模块，包括：

第一键特征生成子模块，用于将包含至少两种尺度的文本特征经过第一编码器进行编码，生成第一键特征；

第一值特征生成子模块，用于将包含至少两种尺度的文本特征经过第二编码器进行编码，生成第一值特征；

第二查询特征生成子模块，用于将包含至少两种尺度的图像特征经过第三编码器进行编码，生成第二查询特征；

第二值特征生成子模块，用于将包含至少两种尺度的图像特征经过第四编码器进行编码，生成第二值特征；

其中，所述第一特征包括所述第一键特征以及所述第一值特征；所述第二特征包括所述第二查询特征以及所述第二值特征。

在一种可能的实现方式中，所述第一相似度获取模块，包括：

第一相似度获取子模块，用于获取所述第一键特征与所述第二查询特征之间的相似度，作为所述第一特征相似度。

在一种可能的实现方式中，所述第二相似度获取模块，包括：

第一权重获取子模块，用于基于第一相似度，获取第一注意力权重；所述第一相似度是第一文本特征与各个编码后的图像特征之间的所述第一特征相似度；所述第一文本特征是任一编码后的文本特征；

第一加权特征生成子模块，用于以所述第一注意力权重对所述第一值特征进行加权，生成第一加权值特征；

第二权重获取子模块，用于基于第二相似度，获取第二注意力权重；所述第二相似度是第一图像特征与各个所述编码后的文本特征之间的所述第一特征相似度；所述第一图像特征是任一所述编码后的图像特征；

第二加权特征生成子模块，用于以所述第二注意力权重对所述第二值特征进行加权，生成第二加权值特征。

第一目标相似度获取子模块，用于将所述第一加权值特征与所述第二值特征进行相似度计算，获取第一目标相似度；

第二目标相似度获取子模块，用于将所述第一值特征与所述第二加权值特征进行相似度计算，获取第二目标相似度；

第二相似度获取子模块，用于基于所述第一目标相似度与所述第二目标相似度获取所述第二特征相似度。

在一种可能的实现方式中，所述特征获取模块，包括：

文本特征获取子模块，用于将所述第一文本输入到文本图像匹配模型中的文本特征提取层，获取所述第一文本对应的至少两种尺度的文本特征；

图像特征获取子模块，用于将所述第一图像输入所述文本图像匹配模型中的图像特征提取层，获取所述第一图像对应的至少两种尺度的图像特征；

特征获取子模块，用于将所述第一文本对应的至少两种尺度的文本特征以及所述第一图像对应的至少两种尺度的图像特征输入所述文本图像匹配模型中的全连接层，获得所述第一特征以及所述第二特征；

其中，所述文本图像匹配模型是通过文本样本、图像样本以及所述文本样本和所述图像样本之间的匹配关系训练获得的。

在一种可能的实现方式中，所述装置还包括：

第一样本特征提取子模块，用于将所述文本样本输入到所述文本图像匹配模型中的所述文本特征提取层，获取所述文本样本对应的至少两种尺度的文本特征；

第二样本特征提取子模块，用于将所述图像样本输入所述文本图像匹配模型中的所述图像特征提取层，获取所述图像样本对应的至少两种尺度的图像特征；

样本特征获取子模块，用于将所述文本样本对应的至少两种尺度的文本特征以及所述图像样本对应的至少两种尺度的图像特征输入所述文本图像匹配模型中的所述全连接层，获取所述文本样本对应的第一样本特征以及所述图像样本对应的第二样本特征；

第一样本相似度获取子模块，用于基于所述第一样本特征以及所述第二样本特征，获取所述文本样本以及所述图像样本对应的第一样本特征相似度；

第二样本相似度获取子模块，用于基于所述第一样本特征相似度，对所述第一样本特征以及所述第二样本特征进行加权，获取所述文本样本以及所述图像样本对应的第二样本特征相似度；

损失函数值获取子模块，用于基于所述第二样本特征相似度，以及所述文本样本和所述图像样本之间的匹配关系，获取损失函数值；

模型更新子模块，用于基于所述损失函数值，更新所述文本图像匹配模型。

另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的文本图像匹配方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的文本图像匹配方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的文本图像匹配方法。

本申请提供的技术方案可以包括以下有益效果：

在本申请实施例所示的方案中，将获取到的具有至少两种尺度的文本特征以及具有至少两种尺度的图像特征经过编码后获取对应的第一特征以及第二特征，通过计算第一特征与第二特征之间的相似度，对第一特征以及第二特征进行加权后进行相似度计算，从而确定文本与图像的匹配关系。通过上述方案，可以通过对第一特征以及第二特征添加注意力权重确定多尺度特征之间的匹配关系，从而实现了获取不同特征尺度之间的匹配信息，进而提高了文本图像特征匹配的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种文本图像匹配系统的示意图；

图2是根据一示例性实施例示出的一种文本图像匹配方法的流程示意图；

图3是根据一示例性实施例示出的一种文本图像匹配与模型训练方法的流程示意图；

图4是图3所示实施例涉及的一种模型训练结构示意图；

图5是图3所示实施例涉及的一种文本图像匹配应用示意图；

图6是根据一示例性实施例示出的一种文本图像匹配系统的结构示意图；

图7是根据一示例性实施例示出的一种文本图像匹配装置的框图；

图8是根据一示例性实施例示出的一种计算机设备的结构示意图；

图9是根据一示例性实施例示出的计算机设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

应当理解的是，在本文中提及的“若干个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

为了方便理解，下面对本申请实施例中涉及的名词进行说明。

1)人工智能(Artificial Intelligence，AI)

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

2)计算机视觉(Computer Vision，CV)

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3Dimensional，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

3)机器学习(Machine Learning，ML)

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

4)自然语言处理(Nature Language Processing，NLP)

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

本申请实施例提供的方案涉及人工智能的自然语言处理、图像处理、机器学习等技术，具体通过如下实施例进行说明：

本申请实施例的方案包括模型训练阶段和文本图像匹配阶段。图1是根据一示例性实施例示出的一种文本图像匹配系统的示意图。如图1所示，在模型训练阶段，模型训练设备110通过预先设置好的训练样本集训练出准确性较高的文本图像匹配模型，在文本图像匹配阶段，文本图像匹配设备120根据训练出的文本图像匹配模型以及输入的目标文本，在候选图像集合中，找寻与该输入的目标文本相似度最高的图像作为与目标文本匹配的候选图像。

其中，上述模型训练设备110和文本图像匹配设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是终端或服务器。

可选的，上述模型训练设备110和文本图像匹配设备120可以是同一个设备，或者，模型训练设备110和文本图像匹配设备120也可以是不同的设备。并且，当模型训练设备110和文本图像匹配设备120是不同的设备时，模型训练设备110和文本图像匹配设备120可以是同一类型的设备，比如模型训练设备110和文本图像匹配设备120可以都是服务器；或者，模型训练设备110和文本图像匹配设备120也可以是不同类型的设备。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

图2是根据一示例性实施例示出的一种文本图像匹配方法的流程示意图。该文本图像匹配方法可以由计算机设备执行。其中，上述计算机设备可以是服务器。该方法可以由上述图1所示实施例中的文本图像匹配设备执行。如图2所示，该文本图像匹配方法可以包括如下步骤：

步骤201中，获取第一特征以及第二特征；第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的。

在本申请实施例中，计算机设备获取到第一文本包含的至少两种尺度的文本特征经过编码得到的第一特征，以及获取到第一图像包含的至少两种尺度的图像特征经过编码后得到的第二特征。

其中，第一特征中包含经过编码后的至少两种尺度的文本特征，第二特征中包含经过编码后的至少两种尺度的图像特征。

在一种可能的实现方式中，第一文本是包含描述信息的文本，第一图像是对应于第一文本的候选图像集中的任一图像。

其中，候选图像集是预先存储在数据库中的，包含至少两张图像。

在一种可能的实现方式中，不同尺度的文本特征中包含从不同信息级别的文本特征中提取出的文本对应的特征。上述信息级别可以是文章、段落、句子、词语中的任意一者，即不同尺度的文本特征可以是文章对应的文本特征、段落对应的文本特征、句子对应的文本特征或词语对应的文本特征。不同尺度图像特征是从不同大小的图像中提取出的特征，其中图像的大小可以指图像的分辨率大小。对于不同分辨率大小的图像，其图像中包含的信息量大小也不同，通常分辨率越大的图像包含的信息量越多，因此从分辨率更大的图像中，获取的图像特征的尺度也越大。

在一种可能的实现方式中，通过编码器实现对第一文本包含的至少两种尺度的文本特征以及第一图像包含的至少两种尺度的图像特征进行编码。

步骤202中，获取第一特征与第二特征之间的第一特征相似度。

在本申请实施例中，计算机设备根据获取到的第一特征以及第二特征，计算确定第一特征中包含的各个编码后的文本特征以及第二特征中包含的各个编码后的图像特征之间的第一特征相似度。

其中，第一特征相似度用于指示第一特征中包含的各个编码后的文本特征以及第二特征中包含的各个编码后的图像特征之间的特征相似程度。

步骤203中，基于第一特征相似度，对第一特征以及第二特征进行加权，获得第一加权特征以及第二加权特征。

在本申请实施例中，计算机设备根据计算得到的第一特征相似度，基于注意力机制分别计算第一特征中包含的各个编码后的文本特征以及第二特征中包含的各个编码后的图像特征对应的注意力权重，根据计算得到的注意力权重对第一特征以及第二特征进行加权，获得第一特征加权后的第一加权特征，以及第二特征加权后的第二加权特征。

在一种可能的实现方式中，编码后的不同尺度的文本特征以及编码后的不同尺度的图像特征进行匹配的过程中，组成文本图像特征对，对于不同的文本图像特征对计算对应的注意力权重，当获取到第一特征中包含的各个编码后的文本特征以及第二特征中包含的各个编码后的图像特征分别对应的注意力权重后，获得第一特征加权后的第一加权特征，以及第二特征加权后的第二加权特征。

步骤204中，基于第一特征、第二特征、第一加权特征以及第二加权特征，获取第一文本与第一图像的第二特征相似度。

在一种可能的实现方式中，第二特征相似度是基于第一特征以及第二加权特征进行相似度计算，获得第一文本与第一图像之间的特征相似度。或者，第二特征相似度是基于第一加权特征以及第二特征进行相似度计算，获得第一文本与第一图像之间的特征相似度。或者，第二特征相似度是基于第一特征以及第二加权特征进行相似度计算，以及第一加权特征与第二特征进行相似度计算，共同计算确定的特征相似度。

步骤205中，基于第二特征相似度，获取匹配信息，匹配信息用于指示第一文本与第一图像之间的匹配关系。

在本申请实施例中，计算机设备根据获取到的编码后的各个文本特征与图像特征之间的第二特征相似度，获得各个特征之间的匹配关系，从而获取第一文本以及第一图像之间的匹配关系。

在一种可能的实现方式中，基于第二特征相似度与相似度阈值的关系，确定第一文本与第一图像之间的匹配关系。

当获取到第一文本与第一图像的第二特征相似度后，可以根据第二特征相似度与相似度阈值进行比较，当第二特征相似度高于相似度阈值时，可以确定第一文本与第一图像匹配；当第二特征相似度不高于相似度阈值时，可以确定该第一文本与第一图像不匹配。

在一种可能的实现方式中，计算机设备将大于相似度阈值的第二特征相似度对应的第一图像获取为目标图像。

即特征相似度大于相似度阈值的图像都有几率是与第一文本对应的目标图像，此时将所有第二特征相似度大于相似度阈值的图像，作为第一文本对应的目标图像，提高了获取第一文本匹配的图像的准确性。

综上所述，本申请实施例所示的方案，将获取到的具有至少两种尺度的文本特征以及具有至少两种尺度的图像特征经过编码后获取对应的第一特征以及第二特征，通过计算第一特征与第二特征之间的相似度，对第一特征以及第二特征进行加权后进行相似度计算，从而确定文本与图像的匹配关系。通过上述方案，可以通过对第一特征以及第二特征添加注意力权重确定多尺度特征之间的匹配关系，从而实现了获取不同特征尺度之间的匹配信息，进而提高了文本图像特征匹配的准确度。

图3是根据一示例性实施例示出的一种文本图像匹配与模型训练方法的流程示意图。该文本图像匹配与模型训练方法可以分别由模型训练设备和文本图像匹配设备执行。其中，上述模型训练设备可以是服务器，文本图像匹配设备可以是终端。如图3所示，该文本图像匹配与模型训练方法可以包括如下步骤：

步骤301至步骤308为模型训练设备执行的文本图像匹配模型的训练过程，包括如下步骤：

步骤301中，获取训练样本集。

在本申请实施例中，模型训练设备获取到文本样本以及图像样本。

其中，训练样本集中可以包含文本样本以及与文本样本相匹配的图像样本以及与文本样本不匹配的图像样本。

步骤302中，将文本样本输入到文本图像匹配模型中的文本特征提取层，获取文本样本对应的至少两种尺度的文本特征。

在本申请实施例中，模型训练设备将文本样本输入到文本图像匹配模型中的文本特征提取层，通过进行特征提取可以获取到文本样本对应的至少两种尺度的文本特征。

在一种可能的实现方式中，文本特征提取层是BERT(Bidirectional EncoderRepresentations from Transformers，来自变压器的双向编码器表示)模型。

其中，BERT模型是基于在海量的语料的基础上运行自监督学习方法获取的预训练模型，BERT模型通过少量的样本文本进行模型参数的微调，即可以实现将文本样本较为准确地转换为包含文本样本的语义特征的特征向量。

将文本样本输入BERT模型，输出文本样本对应的语义特征的特征向量，由于特征向量(即文本全局特征)是将文本样本的全部文本输入BERT模型得到的特征向量，因此特征向量包含了文本样本对应的全局特征，也就是根据样本文本整体上的语义获取的向量信息。

通过将文本样本的部分文本内容输入文本特征提取层，可以输出部分文本内容对应的局部特征。

其中，各个局部特征以及全局特征可以属于不同尺度的文本特征。

步骤303中，将图像样本输入文本图像匹配模型中的图像特征提取层，获取图像样本对应的至少两种尺度的图像特征。

在本申请实施例中，模型训练设备将图像样本输入到文本图像匹配模型中进行特征提取，经过图像特征提取层针对不同尺度的特征提取，获取图像样本对应的至少两种尺度的图像特征。

在一种可能的实现方式中，至少两种尺度的图像特征包括全局图像特征以及至少一种尺度的局部图像特征；图像特征提取层包括全局特征提取层与至少一个局部特征提取层；全局特征提取层包含至少两个特征提取层；局部特征提取层包含至少一个特征提取层；特征提取层用于提取图像特征。

在一种可能的实现方式中，基于图像样本，以及全局特征提取层的各个特征提取层，获得图像样本的全局特征。

在一种可能的实现方式中，图像特征提取层是一种卷积神经网络(ConvolutionalNeural Network，CNN)。

步骤304中，将文本样本对应的至少两种尺度的文本特征以及图像样本对应的至少两种尺度的图像特征输入文本图像匹配模型中的全连接层，获取文本样本对应的第一样本特征以及图像样本对应的第二样本特征。

在本申请实施例中，模型训练设备将获取到的文本样本对应的至少两种尺度的文本特征以及图像样本对应的至少两种尺度的图像特征，输入到文本图像匹配模型中的全连接层，分别获取文本样本对应的第一样本特征以及图像样本对应的第二样本特征。

在一种可能的实现方式中，获取到的文本样本对应的至少两种尺度的文本特征以及图像样本对应的至少两种尺度的图像特征通过全连接层的不同的编码器对提取特征进行编码，获取文本样本对应的第一样本特征以及图像样本对应的第二样本特征。

文本样本对应的第一样本特征是包含各个经过编码后的文本样本对应的文本特征。图像样本对应的第二样本特征是包含各个经过编码后的图像样本对应的图像特征。

步骤305中，基于第一样本特征以及第二样本特征，获取文本样本以及图像样本对应的第一样本特征相似度。

在本申请实施例中，模型训练设备根据文本样本对应的第一样本特征以及图像样本对应的第二样本特征，计算文本样本以及图像样本对应的第一样本特征相似度。

在一种可能的实现方式中，相似度计算方法是余弦距离计算相似度或者是欧式距离计算相似度。

步骤306中，基于第一样本特征相似度，对第一样本特征以及第二样本特征进行加权，获取文本样本以及图像样本对应的第二样本特征相似度。

在本申请实施例中，模型训练设备根据获取到的文本样本以及图像样本对应的第一样本特征相似度，对文本样本对应的第一样本特征以及图像样本对应的第二样本特征进行加权计算，获取文本样本以及图像样本对应的第二样本特征相似度。

在一种可能的实现方式中，对文本样本对应的第一样本特征以及图像样本对应的第二样本特征进行加权计算时，各个特征对应的注意力权重是通过文本样本以及图像样本对应的第一样本特征相似度根据注意力权重的计算方法获取的。

步骤307中，基于第二样本特征相似度输入损失函数，以及文本样本和图像样本之间的匹配关系获取损失函数值。

在本申请实施例中，模型训练设备将文本样本以及图像样本对应的第二样本特征相似度输入损失函数，根据文本样本和图像样本之间的匹配关系，计算得到对应的损失函数值。

其中，各个文本样本与各个图像样本之间可以组成图像文本对，该图像文本对可以指示文本样本与图像样本的匹配情况。

比如，图像文本对可以表示为，

其中，y_i,j可以表示第i个图像样本和第j个文本样本是否匹配，若y_i,j＝0，则表示第i个图像样本和第j个文本样本不匹配，若y_i,j＝1，则表示第i个图像样本和第j个文本样本匹配。B是匹配的图像文本对的数量。I_i表示第i个图像样本对应的编码后的特征，T_j表示第j个文本样本对应的编码后的特征。

在一种可能的实现方式中，损失函数是相对熵(Kullback-Leibler Divergence，K-L散度)函数。

K-L散度函数可以用于衡量不同的连续分布之间的距离,在连续的输出分布的空间上上进行直接回归。

其中，损失函数是定义如下所示，

L_CSAL＝L_i+L_t

其中，S(I_i,T_j)用于指示图像样本到文本样本的第二特征相似度，S′(T_j,I_i)用于指示文本样本到图像样本的第二特征相似度。L_CSAL用于指示损失函数值，y_i,j可以表示第i个图像样本和第j个文本样本是否匹配。

步骤308中，基于损失函数值，更新文本图像匹配模型。

在本申请实施例中，模型训练设备根据计算得到的损失函数值更新文本图像模型中的各个模型参数，从而更新文本图像匹配模型，提高文本图像匹配模型的准确度。

图4是本申请实施例涉及的一种模型训练结构示意图，如图4所示，多尺度图像样本特征通过值编码器以及查询编码器，分别输出第二值特征以及第二查询特征；多尺度文本特征通过键编码器以及值编码器，分别输出第一样本键特征以及第一样本值特征；基于第一样本键特征与第二样本查询特征计算确定注意力权重(S401)，分别对第一样本值特征以及第二样本值特征进行加权处理，生成注意力加权文本特征以及注意力加权图像特征，分别通过第一样本值特征与第二加权样本值特征进行相似度计算以及通过第一加权样本值特征与第二样本值特征进行相似度计算(S402)，根据获取的相似度值，确定损失函数值，基于损失函数值对文本图像匹配模型进行更新。

步骤309至步骤313为文本图像匹配设备执行的文本图像匹配过程，包括如下步骤：

步骤309中，通过更新后的文本图像匹配模型获取第一特征以及第二特征。

在本申请实施例中，用户在文本图像匹配设备侧输入需要进行图像匹配的第一文本，将第一文本通过更新后的文本图像匹配模型获取第一特征，将数据库中存储的各个图像输入更新后的文本图像匹配模型获取第二特征。

在一种可能的实现方式中，将第一文本输入到文本图像匹配模型中的文本特征提取层，获取第一文本对应的至少两种尺度的文本特征；将第一图像输入文本图像匹配模型中的图像特征提取层，获取第一图像对应的至少两种尺度的图像特征；将第一文本对应的至少两种尺度的文本特征以及第一图像对应的至少两种尺度的图像特征输入文本图像匹配模型中的全连接层，获得第一特征以及第二特征。

其中，文本图像匹配模型是通过文本样本、图像样本以及文本样本和图像样本之间的匹配关系训练获得的。

其中，第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的。

在一种可能的实现方式中，第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的特征矩阵；第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的特征矩阵。

在一种可能的实现方式中，文本图像匹配设备同时将包含至少两种尺度的文本特征经过第一编码器进行编码，生成第一键特征；将包含至少两种尺度的文本特征经过第二编码器进行编码，生成第一值特征；将包含至少两种尺度的图像特征经过第三编码器进行编码，生成第二查询特征；将包含至少两种尺度的图像特征经过第四编码器进行编码，生成第二值特征。

其中，第一特征可以包括第一键特征以及第一值特征；第二特征可以包括第二查询特征以及第二值特征。第一编码器、第二编码器、第三编码器以及第四编码器可以位于文本图像识别模型中的全连接层，用于对各个文本特征以及图像特征进行编码。

在一种可能的实现方式中，第一键特征与第一值特征中包含的各个编码后的文本特征是相同的，第二查询特征与第二值特征中包含的各个编码后的图像特征是相同的。

示例性的，第一编码器可以是键编码器(key encoder)，第二编码器可以是值编码器(value encoder)，通过键编码器和值编码器对第一文本对应的多尺度文本特征进行编码，得到多尺度文本特征对应的第一键特征以及第一值特征，其中，第一键特征以及第一值特征的特征维度可以是768维。获取的多尺度的第一键特征可以记作，

T_K＝{t_k1，t_k2，…，t_kn}

获取的多尺度的第一值特征可以记作，

T_V＝{t_v1，t_v2，…，t_vn}

其中，n可以为多尺度的文本特征的数量。键编码器以及值编码器可以是不同的编码器，且均为768到768的全连接层。

示例性的，第三编码器可以是查询编码器(query encoder)，第四编码器可以是值编码器(value encoder)，通过查询编码器和值编码器对第一图像对应的多尺度图像特征进行编码，得到多尺度图像特征对应的第二查询特征以及第二值特征，其中，第二查询特征以及第二值特征的特征维度可以是768维。获取的多尺度的第二查询特征可以记作，

I_Q＝{I_q1，I_q2，…，I_qm}

获取的多尺度的第二值特征可以记作，

I_V＝{i_v1，i_v2，…，i_vm}

其中，m可以为多尺度的图像特征的数量。查询编码器和值编码器可以是不同的编码器，且均为768到768的全连接层。

步骤310中，获取第一特征与第二特征之间的第一特征相似度。

在本申请实施例中，文本图像匹配设备根据获取到的第一文本对应的第一特征与第一图像对应的第二特征进行相似度计算，获取第一特征相似度。

其中，第一图像可以是各个图像中的任一图像。

在一种可能的实现方式中，第一特征相似度通过余弦距离计算相似度的方法进行计算。

在一种可能的实现方式中，获取第一键特征与第二查询特征之间的相似度，作为第一特征相似度。

通过获取第一图像对应的第二查询特征以及第一文本对应的第一键特征进行余弦距离计算，获取第一特征相似度。

其中，计算第一图像对应的第二查询特征以及第一文本对应的第一键特征的相似度公式如下，

其中，i_qb为第二查询特征，属于I_Q中，t_ka为第一键特征，属于T_K中，n为多尺度文本特征的数量，m为多尺度图像特征的数量。

步骤311中，基于第一特征相似度，对第一特征以及第二特征进行加权，获得第一加权特征以及第二加权特征。

在本申请实施例中，文本图像匹配设备根据获取到的第一特征相似度确定各个特征对应的注意力权重，根据注意力权重对第一特征以及第二特征进行加权计算，获得第一特征对应的第一加权特征以及第二特征对应的第二加权特征。

在一种可能的实现方式中，基于第一相似度，获取第一注意力权重；第一相似度是第一文本特征与各个编码后的图像特征之间的第一特征相似度；第一文本特征是任一编码后的文本特征，然后以第一注意力权重对第一值特征进行加权，生成第一加权值特征。

示例性的，第一注意力权重计算公式如下所示，

其中，s′_a,b是第一特征相似度，λ₁是设定的比例因子。

示例性的，第一加权值特征的计算公式如下，

其中，r_va是第一加权值特征，t_va是第一值特征。

在一种可能的实现方式中，基于第二相似度，获取第二注意力权重；第二相似度是第一图像特征与各个编码后的文本特征之间的第一特征相似度；第一图像特征是任一编码后的图像特征，然后以第二注意力权重对第二值特征进行加权，生成第二加权值特征。

示例性的，第二注意力权重计算公式如下所示，

其中，s′_a,b是第一特征相似度，λ₁是设定的比例因子。

示例性的，第二加权值特征的计算公式如下，

其中，r_vb是第二加权值特征，t_vb是第二值特征。

步骤312中，基于第一特征、第二特征、第一加权特征以及第二加权特征，获取第一文本与第一图像的第二特征相似度。

在本申请实施例中，文本图像匹配设备根据获取到的第一特征、第二特征、第一加权特征以及第二加权特征可以分别计算得到第一文本与第一图像之间的第二特征相似度。

在一种可能的实现方式中，将第一加权值特征与第二值特征进行相似度计算，获取第一目标相似度；将第一值特征与第二加权值特征进行相似度计算，获取第二目标相似度；基于第一目标相似度与第二目标相似度获取第二特征相似度。

其中，第二特征相似度可以是第一目标相似度，或者，第二特征相似度可以是第二目标相似度，或者，第二特征相似度可以是第一目标相似度与第二目标相似度相加得到的。

示例性的，第一目标相似度对应的是第一图像到第一文本的相似度，该相似度的计算公式如下所示，

其中，i_va是第二值特征，r_va是第一加权值特征。S(I,T)为第一目标相似度。

示例性的，第二目标相似度对应的是第一文本到第一图像的相似度，该相似度的计算公式如下所示，

其中，t_va是第一值特征，r_vb是第二加权值特征。S′(I,T)为第二目标相似度。

步骤313中，基于第二特征相似度，获取匹配信息。

在本申请实施例中，文本图像匹配设备根据第二特征相似度获取第一文本与第一图像之间的匹配关系。

在一种可能的实现方式中，第二特征相似度与匹配关系呈正相关。

示例性的，将第一目标相似度与第二目标相似度之和作为第二特征相似度。

比如，计算出需要搜索的人的描述文本特征和数据库中所有的行人图像特征的相似度S(I,T)和S′(I,T)，将二者相加作为最终的相似度，相似度最高的图像即为符合描述文本信息的行人图像。

图5是本申请实施例涉及的一种文本图像匹配应用示意图。如图5所示，本申请实施例涉及的文本图像匹配方法可以应用在根据文本寻人，例如，通过寻人启事51中的信息，确定需要搜索的目标文本(即该人的外貌与穿着的描述文本)，并将该目标文本输入文本图像匹配应用52，此时文本图像匹配模型获取该目标文本，并根据该文本图像匹配模型对应的候选图像集，与该目标文本通过本申请实施例所示方法进行文本图像匹配，输出与目标文本匹配的包含候选人物的目标图像。

图6是根据一示例性实施例示出的一种文本图像匹配系统的结构示意图。其中，模型训练过程在模型训练设备610中执行，文本图像匹配过程在文本图像匹配设备620中执行，如图6所示，多尺度图像样本特征通过值编码器以及查询编码器，分别输出第二样本值特征以及第二样本查询特征；多尺度文本样本特征通过键编码器以及值编码器，分别输出第一样本键特征以及第一样本值特征；基于第一样本键特征与第二样本查询特征计算确定注意力权重(S611)，分别对第一样本值特征以及第二样本值特征进行加权处理，生成注意力加权文本样本特征以及注意力加权图像样本特征，分别通过第一样本值特征与第二加权样本值特征进行相似度计算以及通过第一加权样本值特征与第二样本值特征进行相似度计算(S612)，根据获取的相似度值，确定损失函数值，基于损失函数值对文本图像匹配模型进行更新(S613)。在文本图像匹配设备620中，输入寻人启事621中的信息，确定需要搜索的目标文本，并将该目标文本输入文本图像匹配模型622中，并根据该文本图像匹配模型622对应的候选图像集623，与该目标文本通过本申请实施例所示方法进行文本图像匹配，输出与目标文本匹配的包含候选人物的目标图像624。

图7是根据一示例性实施例示出的一种文本图像匹配装置的框图，如图7所示，该文本图像匹配装置可以通过硬件或者软硬结合的方式实现为计算机设备中的全部或者部分，以执行图2或图3对应实施例所示的方法的全部或部分步骤。该文本图像匹配装置可以包括：

特征获取模块710，用于获取第一特征以及第二特征；所述第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；所述第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的；

第一相似度获取模块720，用于获取所述第一特征与所述第二特征之间的第一特征相似度；

加权特征获取模块730，用于基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征；

第二相似度获取模块740，用于基于所述第一特征、所述第二特征、所述第一加权特征以及所述第二加权特征，获取所述第一文本与所述第一图像的第二特征相似度；

匹配信息获取模块750，用于基于所述第二特征相似度，获取匹配信息，所述匹配信息用于指示所述第一文本与所述第一图像之间的匹配关系。

在一种可能的实现方式中，所述特征获取模块710，包括：

在一种可能的实现方式中，所述第一相似度获取模块720，包括：

在一种可能的实现方式中，所述第二相似度获取模块740，包括：

在一种可能的实现方式中，所述特征获取模块710，包括：

在一种可能的实现方式中，所述装置还包括：

图8是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(Random Access Memory，RAM)802和只读存储器(Read-Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机设备可读介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机设备可读介质(未示出)。

不失一般性，所述计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable ReadOnly Memory，EPROM)、带电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)，CD-ROM、数字视频光盘(Digital Video Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机设备存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

根据本公开的各种实施例，所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机设备系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器801通过执行该一个或一个以上程序来实现图2或图3所示的方法的全部或者部分步骤。

图9是根据一示例性实施例示出的计算机设备900的结构框图。该计算机设备900可以是图1所示的文本图像匹配系统中的终端。

通常，计算机设备900包括有：处理器901和存储器902。

处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的方法。

在一些实施例中，计算机设备900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。

外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置计算机设备900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在计算机设备900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在计算机设备900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。

摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在计算机设备900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。

定位组件908用于定位计算机设备900的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源909用于为计算机设备900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，计算机设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。

加速度传感器911可以检测以计算机设备900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制触摸显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器912可以检测计算机设备900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对计算机设备900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器913可以设置在计算机设备900的侧边框和/或触摸显示屏905的下层。当压力传感器913设置在计算机设备900的侧边框时，可以检测用户对计算机设备900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在触摸显示屏905的下层时，由处理器901根据用户对触摸显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置计算机设备900的正面、背面或侧面。当计算机设备900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。

光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制触摸显示屏905的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏905的显示亮度；当环境光强度较低时，调低触摸显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。

接近传感器916，也称距离传感器，通常设置在计算机设备900的前面板。接近传感器916用于采集用户与计算机设备900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与计算机设备900的正面之间的距离逐渐变小时，由处理器901控制触摸显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与计算机设备900的正面之间的距离逐渐变大时，由处理器901控制触摸显示屏905从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图9中示出的结构并不构成对计算机设备900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在一示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括至少一条指令、至少一段程序、代码集或指令集的存储器，上述至少一条指令、至少一段程序、代码集或指令集可由处理器执行以完成上述图2或图3任一实施例所示的方法的全部或者部分步骤。例如，非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本公开实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机设备可读介质中或者作为计算机设备可读介质上的一个或多个指令或代码进行传输。计算机设备可读介质包括计算机设备存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机设备程序的任何介质。存储介质可以是通用或专用计算机设备能够存取的任何可用介质。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种文本图像匹配方法，其特征在于，所述方法包括：

获取所述第一特征与所述第二特征之间的第一特征相似度；

2.根据权利要求1所述的方法，其特征在于，所述获取第一特征以及第二特征，包括：

将包含至少两种尺度的文本特征经过第一编码器进行编码，生成第一键特征；

将包含至少两种尺度的文本特征经过第二编码器进行编码，生成第一值特征；

将包含至少两种尺度的图像特征经过第三编码器进行编码，生成第二查询特征；

将包含至少两种尺度的图像特征经过第四编码器进行编码，生成第二值特征；

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一特征与所述第二特征之间的第一特征相似度，包括：

获取所述第一键特征与所述第二查询特征之间的相似度，作为所述第一特征相似度。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征，包括：

基于第一相似度，获取第一注意力权重；所述第一相似度是第一文本特征与各个编码后的图像特征之间的所述第一特征相似度；所述第一文本特征是任一编码后的文本特征；

以所述第一注意力权重对所述第一值特征进行加权，生成第一加权值特征；

基于第二相似度，获取第二注意力权重；所述第二相似度是第一图像特征与各个所述编码后的文本特征之间的所述第一特征相似度；所述第一图像特征是任一所述编码后的图像特征；

以所述第二注意力权重对所述第二值特征进行加权，生成第二加权值特征。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征，包括：

将所述第一加权值特征与所述第二值特征进行相似度计算，获取第一目标相似度；

将所述第一值特征与所述第二加权值特征进行相似度计算，获取第二目标相似度；

基于所述第一目标相似度与所述第二目标相似度获取所述第二特征相似度。

6.根据权利要求1所述的方法，其特征在于，所述获取第一特征以及第二特征，包括：

将所述第一文本输入到文本图像匹配模型中的文本特征提取层，获取所述第一文本对应的至少两种尺度的文本特征；

将所述第一图像输入所述文本图像匹配模型中的图像特征提取层，获取所述第一图像对应的至少两种尺度的图像特征；

将所述第一文本对应的至少两种尺度的文本特征以及所述第一图像对应的至少两种尺度的图像特征输入所述文本图像匹配模型中的全连接层，获得所述第一特征以及所述第二特征；

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述文本样本输入到所述文本图像匹配模型中的所述文本特征提取层，获取所述文本样本对应的至少两种尺度的文本特征；

将所述图像样本输入所述文本图像匹配模型中的所述图像特征提取层，获取所述图像样本对应的至少两种尺度的图像特征；

将所述文本样本对应的至少两种尺度的文本特征以及所述图像样本对应的至少两种尺度的图像特征输入所述文本图像匹配模型中的所述全连接层，获取所述文本样本对应的第一样本特征以及所述图像样本对应的第二样本特征；

基于所述第一样本特征以及所述第二样本特征，获取所述文本样本以及所述图像样本对应的第一样本特征相似度；

基于所述第一样本特征相似度，对所述第一样本特征以及所述第二样本特征进行加权，获取所述文本样本以及所述图像样本对应的第二样本特征相似度；

基于所述第二样本特征相似度，以及所述文本样本和所述图像样本之间的匹配关系，获取损失函数值；

基于所述损失函数值，更新所述文本图像匹配模型。

8.一种文本图像匹配装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的文本图像匹配方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的文本图像匹配方法。