CN114299294A

CN114299294A - 预测方法、推荐方法及其相关设备

Info

Publication number: CN114299294A
Application number: CN202111350020.8A
Authority: CN
Inventors: 赵旭; 张海雷
Original assignee: Beijing Xiaolai Infinite Technology Co ltd
Current assignee: Beijing Xiaolai Infinite Technology Co ltd
Priority date: 2021-11-15
Filing date: 2021-11-15
Publication date: 2022-04-08

Abstract

本公开提出一种预测方法、推荐方法及其相关设备，其中，预测方法包括：获取社交用户的头像图，以及用户昵称；对头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征；对用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征；根据头像图像特征和昵称文本特征预测社交用户的性别。由此，根据头像图像特征和昵称文本特征进行社交用户的性别预测，提高了社交用户的性别预测准确度。

Description

预测方法、推荐方法及其相关设备

技术领域

本公开涉及人工智能技术领域，尤其涉及一种预测方法、推荐方法及其相关设备。

背景技术

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。其中，人工智能最重要的方面就是语音识别技术。

目前，一些社交应用可以向社交用户推送个性化图像，社交用户可以将个性化图像分享给其他用户，或者利用该个性化图像在社交应用中发表状态等。

相关技术中，在社交应用中，可以根据社交用户对应的社交头像，确定社交用户性别，并根据社交用户性别向社交用户推送与性别匹配的个性化图像，然而，仅仅根据社交头像确定社交用户性别的方式，导致准确度较低，降低了用户体验。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本公开的第一个目的在于提出一种预测方法，以实现通过提取社交用户的头像图对应的头像图像特征，和用户昵称对应的昵称文本特征，根据头像图像特征和昵称文本特征进行社交用户的性别预测，提高了社交用户的性别预测准确度。

本公开的第二个目的在于提出一种推荐方法。

本公开的第三个目的在于提出一种预测装置。

本公开的第四个目的在于提出一种推荐装置。

本公开的第五个目的在于提出一种电子设备。

本公开的第六个目的在于提出一种存储有计算机指令的非瞬时计算机可读存储介质。

本公开的第七个目的在于提出一种计算机程序产品。

为达上述目的，本公开第一方面实施例提出了一种预测方法，包括：获取社交用户的头像图，以及用户昵称；对所述头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征；对所述用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征；根据所述头像图像特征和所述昵称文本特征预测所述社交用户的性别。

本公开实施例的预测方法，通过提取社交用户的头像图对应的头像图像特征，和用户昵称对应的昵称文本特征，根据头像图像特征和昵称文本特征进行社交用户的性别预测，提高了社交用户的性别预测准确度。

为达上述目的，本公开第二方面实施例提出了一种推荐方法，包括：采用本公开第一方面实施例所述的方法预测社交用户的性别；根据预测出的性别，向所述社交用户推荐与所述性别匹配的图像资源。

为达上述目的，本公开第三方面实施例提出了一种预测装置，包括：第一获取模块，用于获取社交用户的头像图，以及用户昵称；第一提取模块，用于对所述头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征；第二提取模块，用于对所述用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征；第一预测模块，用于根据所述头像图像特征和所述昵称文本特征预测所述社交用户的性别。

为达上述目的，本公开第四方面实施例提出了一种推荐装置，包括：预测模块，用于采用本公开第三方面实施例所述的装置预测社交用户的性别；推荐模块，用于根据预测出的性别，向所述社交用户推荐与所述性别匹配的图像资源。

为达上述目的，本公开第五方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面实施例所述的方法，或者，执行本公开第二方面实施例所述的方法。

为达上述目的，本公开第六方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面实施例所述的方法，或者，执行本公开第二方面实施例所述的方法。

为达上述目的，本公开第七方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开第一方面实施例所述的方法，或者，实现本公开第二方面实施例所述的方法。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本公开实施例所提供的一种线层神经网络的结构示意图；

图2为本公开实施例所提供的一种预测方法的流程示意图；

图3为本公开实施例所提供的另一种预测方法的流程示意图；

图4为本公开实施例所提供的一种基于多模态基础模型的预测方法的流程示意图；

图5为本公开实施例所提供的一种用户的头像图示意图；

图6为本公开实施例所提供的注意力机制的结构示意图；

图7为本公开实施例所提供的一种预测方法的流程示意图；

图8为本公开实施例的根据注意力网络确定头像图像特征和昵称文本特征的注意力权重的流程示意图；

图9为本公开实施例所提供的另一种预测方法的流程示意图；

图10为本公开实施例所提供的另一种预测方法的流程示意图；

图11为本公开实施例所提供的一种卷积神经网络的结构示意图；

图12为本公开实施例所提供的另一种预测方法的流程示意图；

图13为本公开实施例所提供的一种翻译模型的结构示意图；

图14为本公开实施例所提供的另一种预测方法的流程示意图；

图15为本公开实施例提供的一种推荐方法的流程示意图；

图16为本公开实施例提供的一种预测装置的结构示意图；

图17为本公开实施例提供的一种推荐装置的结构示意图；

图18是根据本公开实施例的预测方法或者推荐方法的电子设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

目前，如图1所示，在性别预测中，还可将用户昵称经过统计语言模型(如N-Grame)处理为多个特征向量，将多个特征向量(如，x₁、x₂、x_N-1以及x_N等)输入线层神经网络中进行性别预测。但是，仅仅根据用户昵称确定社交用户性别的方式，导致准确度较低，降低了用户体验。

针对上述问题，本公开提出一种预测方法、推荐方法及其相关设备。

在具体描述本公开实施例之前，为了便于理解，首先对本公开常用技术词进行介绍。

用户昵称：社交用户在社交应用上使用的名字；

差异特征：头像图像特征和昵称文本特征逐位作差，可得到头像图像特征和昵称文本特征之间的差异特征；

视觉情感符号：即表情符号；

第一置信度：融合特征经过全连接层的输出采用激活函数激活，得到的概率值；

第二置信度：将训练样本中的头像图和用户昵称输入预测网络，预测网络中激活函数输出的概率值。

下面参考附图描述本公开实施例的预测方法、推荐方法及其相关设备。

图2为本公开实施例所提供的一种预测方法的流程示意图。

如图2所示，该预测方法包括以下步骤：

步骤201，获取社交用户的头像图，以及用户昵称。

在本公开实施例中，社交应用页面中可包括社交用户的头像图以及用户昵称，不同的用户可在社交应用页面中设置不同的头像图和用户昵称，社交应用可建立登录信息与头像图之间的关联关系、登录信息与用户昵称之间的关联关系。因此，在本公开实施例中，可根据登录信息查询上述关联关系，获取社交用户的头像图以及用户昵称。

步骤202，对头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征。

在本公开实施例中，卷积神经网络(Convolutional Neural Networks,简称CNN)可为包括多层密集卷积层的密集卷积神经网络，通过包括多层密集卷积层的密集卷积神经网络对头像图进行图像特征提取，得到头像图像特征。

步骤203，对用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征。

在本公开实施例中，可将用户昵称的字符作为翻译模型(Transformer)的输入，采用翻译模型的编码层对用户昵称的字符进行特征提取，以得到昵称文本特征。

步骤204，根据头像图像特征和昵称文本特征预测社交用户的性别。

进一步地，可通过注意力网络获取头像图像特征以及昵称文本特征对应的注意力权重，并根据注意力权重获取头像图像特征和昵称文本特征的融合特征，并根据融合特征进行社交用户的性别预测。

综上，通过提取社交用户的头像图对应的头像图像特征以及用户昵称对应的昵称文本特征，根据头像图像特征和昵称文本特征进行社交用户的性别预测，提高了社交用户的性别预测准确度。

为了根据头像图像特征和昵称文本特征准确地预测社交用户的性别，如图3所示，图3为本公开实施例所提供的另一种预测方法的流程示意图，在本公开实施例中，可获取头像图像特征和昵称文本特征之间的差异特征，将头像图像特征、昵称文本特征和差异特征输入注意力网络，得到头像图像特征和昵称文本特征对应的注意力权重，根据头像图像特征和昵称文本特征对应的注意力权重，得到头像图像特征和昵称文本特征的融合特征，根据融合特征，预测社交用户的性别。图3所示实施例可包括如下步骤：

步骤301，获取社交用户的头像图，以及用户昵称。

步骤302，对头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征。

步骤303，对用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征。

步骤304，获取头像图像特征和昵称文本特征之间的差异特征。

需要说明的是，如图4所示，在多模态基础模型中(如，多模态baseline模型)，头像图像经过CNN抽取得到图像特征，昵称文本数据经过翻译模型Transformer编码层得到文本特征，文本特征和图像特征输入全连接层，经过全连接层的激活函数Sigmoid得到置信度(范围为[0，1])，根据该置信度得到预测结果。

需要了解的是，对于社交用户的头像图偏中性，通过昵称可以区分性别，如图5所示，图5左侧部分对应的头像图像和右侧部分对应的头像图像经过卷积神经网络得到的头像图像特征基本类似，图5左侧部分对应的用户昵称为“X小宝”，图5右侧部分对应的用户昵称为“X国强”，“X国强”可预测为男性，因此，可采用注意力权重弱化用户昵称对应的社交用户的头像图像特征，昵称文本特征得到加权。

在本公开实施例中，为了进一步加强昵称文本特征，弱化头像图像特征，可将头像图像特征和昵称文本特征逐位作差，以得到头像图像特征和昵称文本特征之间的差异特征。

步骤305，将头像图像特征、昵称文本特征和差异特征输入注意力网络，以得到头像图像特征和昵称文本特征的注意力权重。

进一步地，将头像图像特征、昵称文本特征和差异特征拼接后，将得到的拼接向量输入注意力网络，拼接向量经过注意力网络的全连接层以及非线性变换后，得到头像图像特征和昵称文本特征的注意力权重。

其中，注意力机制的结构示意图可如图6所示，图6为本公开实施例所提供的一种注意力机制结构示意图，该注意力机制既考虑了通道上的注意力机制又考虑了空间上的注意力机制，而且输入和输出的特征维度完全一致可以即插即用。其中，通道注意力模块可将输入的特征图F(H×W×C)分别经过基于宽度(width)和高度(height)的全局最大池化(Global Max Pooling)和全局平均池化(Global AveragePooling)，得到两个1×1×C的特征图，接着，再将它们分别送入一个两层的神经网络(MLP)，第一层神经元个数为C/r(r为减少率)，激活函数为Relu，第二层神经元个数为C，这个两层的神经网络是共享的。而后，将MLP输出的特征进行基于element-wise的加和操作，再经过Sigmoid激活操作，生成最终的通道注意力特征(Channel Attention Feature)，即Mc。最后，将Mc和输入特征图F做对应元素逐个相乘(element-wise)乘法操作，生成空间注意力(Spatial Attention)模块需要的输入特征。将通道注意力模块输出的特征图F’作为空间注意力模块的输入特征图。首先做一个基于通道的Global Max Pooling和Global Average Pooling，得到两个H×W×1的特征图，然后将这2个特征图基于通道做拼接操作(通道拼接)。然后经过一个7×7卷积(7×7比3×3效果要好)操作，降维为1个通道，即H×W×1。再经过激活函数(Sigmoid)生成空间注意力特征(Spatial Attention Feature)，即Ms。最后将该Ms和该模块的输入特征做乘法，得到最终生成的特征。

步骤306，根据注意力权重，对头像图像特征和昵称文本特征进行融合，以得到融合特征。

进而，根据注意力权重，对头像图像特征和昵称文本特征进行加权求和，将加权求和结果作为融合特征。

步骤307，根据融合特征预测社交用户的性别。

可选地，将融合特征输入预测网络的全连接层；将全连接层的输出采用激活函数激活，以得到第一置信度；根据第一置信度是否小于设定阈值，确定社交用户的性别。

也就是说，为了提高预测社交用户的性别的准确度，可采用预测网络的全连接层对融合特征进行分类，如，将融合特征输入预测网络的全连接层，并将全连接层的输出采用激活函数进行激活，得到第一置信度，将第一置信度与设定阈值进行比对，在第一置信度小于设定阈值时，可确定社交用户的性别。其中，需要说明的是，可预先设置第一置信度大于或等于设定阈值时，该第一置信度对应的社交用户的性别，以及第一置信度小于设定阈值时，该第一置信度对应的社交用户的性别。比如，在第一置信度小于设定阈值时，可确定社交用户的性别为女性，在第一置信度大于或等于设定阈值时，可确定社交用户的性别为男性；又比如，在第一置信度小于设定阈值时，可确定社交用户的性别为男性，在第一置信度大于或等于设定阈值时，可确定社交用户的性别为女性。

为了更加清楚地说明上述实施例，现举例进行说明。

如图7所示，对头像图采用卷积神经网络(Convolutional Neural Networks,简称CNN)进行图像特征提取，以得到头像图像特征，对用户昵称采用翻译模型(Transformer模型)进行文本特征提取，以得到昵称文本特征；根据注意力网络(图7中Attention单元)确定头像图像特征和昵称文本特征的注意力权重(图7中Attention权重[1,2])，接着，根据注意力权重，对头像图像特征和昵称文本特征进行加权求和，以得到融合特征，将融合特征输入至全连接层(全连接网络)，并将全连接层的输出采用激活函数激活(Sigmoid)，以得到第一置信度(第一置信度的取值范围为[0,1])，根据第一置信度是否小于设定阈值，确定社交用户的性别。

其中，根据注意力网络确定头像图像特征和昵称文本特征的注意力权重如图8所示，图8为本公开实施例的根据注意力网络确定头像图像特征和昵称文本特征的注意力权重的流程示意图，为了弱化头像图像特征，昵称文本特征得到增强，可获取头像图像特征和昵称文本特征之间的差异特征，将头像图像特征(如，256维)、昵称文本特征(如，256维)和差异特征(如，256维)输入注意力网络，注意力网络将头像图像特征(如，256维)、昵称文本特征(如，256维)和差异特征(如，256维)进行拼接，得到拼接特征向量(如，768维)，拼接特征向量经过全连接网络和非线性变换后得到二维的头像图像特征和昵称文本特征的激活权重(注意力权重)，具体可通过如下代码实现：

需要说明的是，步骤301至303的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过获取头像图像特征和昵称文本特征之间的差异特征；将头像图像特征、昵称文本特征和差异特征输入注意力网络，以得到头像图像特征和昵称文本特征的注意力权重；根据注意力权重，对头像图像特征和昵称文本特征进行融合，以得到融合特征；根据融合特征预测社交用户的性别。由此，通过头像图像特征、昵称文本特征以及像图像特征和昵称文本特征之间的差异特征，可准确地预测社交用户的性别。

为了清楚地说明如何根据注意力权重，对头像图像特征和昵称文本特征进行融合，以得到融合特征，本公开实施例提出另一种预测方法的流程示意图。图9为本公开实施例所提供的另一种预测方法的流程示意图。

如图9所示，该预测方法可包括如下步骤：

步骤901，获取社交用户的头像图，以及用户昵称。

步骤902，对头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征。

步骤903，对用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征。

步骤904，获取头像图像特征和昵称文本特征之间的差异特征。

步骤905，将头像图像特征、昵称文本特征和差异特征输入注意力网络，以得到头像图像特征和昵称文本特征的注意力权重。

步骤906，根据用户昵称的长度，以及包含的视觉情感符号数量、数字数量和字母数量中的至少一个，生成附加文本特征。

需要了解的是，由于用户昵称中的一些字符与性别具有相关性，在本公开实施例中，可根据用户昵称的长度，以及包含的视觉情感符号数量、数字数量和字母数量中的至少一个，生成附件文本特征，比如，可根据用户昵称的长度，以及包含的视觉情感符号数量、数字数量和字母数量，生成四维的附加文本特征，如，附加文本特征为[用户昵称的长度,视觉情感符号数量，数字数量，字母数量]。

步骤907，将附加文本特征与昵称文本特征拼接，并根据注意力权重对拼接后的昵称文本特征和头像图像特征进行融合，以得到融合特征。

进一步地，为了增强昵称文本特征，可将附件文本特征与昵称文本特征进行拼接，根据注意力权重对拼接后的昵称文本特征和头像图像特征进行加权求和，将加权求和结果作为融合特征。

步骤908，根据融合特征预测社交用户的性别。

需要说明的是，步骤901至905、步骤908的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过根据用户昵称的长度，以及包含的视觉情感符号数量、数字数量和字母数量中的至少一个，生成附加文本特征；将附加文本特征与昵称文本特征拼接，并根据注意力权重对拼接后的昵称文本特征和头像图像特征进行融合，以得到融合特征。由此，根据注意力权重对拼接后的昵称文本特征和头像图像特征进行融合，可弱化头像图像特征，增强昵称文本特征，提高了预测社交用户的性别准确性。

为了准确地得到头像图像特征，如图10所示，图10为本公开实施例所提供的另一种预测方法的流程示意图，在本公开实施例中，可采用多个密集卷积层对头像图像进行特征提取，以得到头像图像特征，图10所示实施例可包括如下步骤：

步骤1001，获取社交用户的头像图，以及用户昵称。

步骤1002，将头像图输入首个密集卷积层。

在本公开实施例中，卷积神经网络可为密集卷积神经网络(如，DenseNet121)，可将头像图像输入密集卷积神经网络的首个密集卷积层。

步骤1003，对于密集卷积神经网络中除首个密集卷积层之外的各剩余密集卷积层，将排序在前的各密集卷积层的输出作为本层密集卷积层的输入进行图像特征提取，以得到头像图像特征。

进一步地，对于密集卷积神经网络中除首个密集卷积层之外的各剩余密集卷积层，可将排序在前的各密集卷积层的输出作为本层密集卷积层的输入进行图像特征提取，以得到头像图像特征。

举例而言，如图11所示，密集卷积层x₀为首个密集卷积层，将头像图像输入首个密集卷积层x₀中，将首个密集卷积层x₀的输出作为密集卷积层x₁的输入，将密集卷积层x₁的输出以及首个密集卷积层x₀的输出作为密集卷积层x₂的输入，同理，将密集卷积层x₀、x₁以及x₂的输出作为密集卷积层x₃的输入，将密集卷积层x₀、x₁、x₂和x₃的输出作为密集卷积层x₄的输入，依次类推，将密集卷积神经网络的最后一层密集卷积层的输出作为头像图像特征。

步骤1004，对用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征。

步骤1005，根据头像图像特征和昵称文本特征预测社交用户的性别。

需要说明的是，步骤1001、步骤1004至步骤1005的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过将头像图输入首个密集卷积层；对于密集卷积神经网络中除首个密集卷积层之外的各剩余密集卷积层，将排序在前的各密集卷积层的输出作为本层密集卷积层的输入进行图像特征提取，以得到头像图像特征，由此，通过密集卷积神经网络，可准确地得到头像图像对应的头像图像特征。

为了准确地得到昵称文本特征，如图12所示，图12为本公开实施例所提供的另一种预测方法的流程示意图，在本公开实施例中，可对用户昵称中的字符进行编码，以得到输入编码序列，将编码序列输入翻译模型中进行特征提取，以得到昵称文本特征，图9所示实施例可包括如下步骤：

步骤1201，获取社交用户的头像图，以及用户昵称。

步骤1202，对头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征。

步骤1203，将用户昵称中的字符进行编码，以得到输入编码序列；其中，输入编码序列中包括n个字符位置。

在本公开实施例中，可对用户昵称中的字符进行编码，以得到用户昵称对应的输入编码序列，其中，编码序列中包括n个字符位置，n的最大值可为32。

步骤1204，将输入编码序列输入翻译模型中的至少一层注意力编码层进行特征提取，以得到n个字符位置上的m维编码向量。

在本公开实施例中，翻译模型可包括一层或多层注意力编码层，将输入编码序列输入翻译模型中的至少一层注意力编码层进行特征提取，以得到n个字符位置上的m维编码向量。

步骤1205，对n个字符位置上的m维编码向量进行向量平均得到m维平均编码向量。

进一步地，对翻译模型最后一层的输出的特征n×m在n个字符上进行向量平均，得到m维平均编码向量。

步骤1206，根据m维平均编码向量进行非线性映射，得到m’维的文本特征，其中，m’大于m。

进而，将m维向量进行非线性映射，得到m’维的昵称文本特征，其中，m’大于m。

举例而言，如图13所示，图13为本公开实施例所提供的一种翻译模型的结构示意图。该翻译模型(如图13右侧部分，Multi-Head Attention)可包括4层注意力编码层，将编码序列(最长32位)输入该翻译模型中，翻译模型的最后一层可输出32×128编码向量，对32×128编码向量进行在32个字符上进行向量平均，可得到128维平均编码向量，对128维平均编码向量进行非线性变换，可得到256维的昵称文本特征。

其中，Multi-Head Attention是通过多个(如，h个)不同的线性变换对Q，K，V进行投影，最后将不同的注意力结果拼接起来；接着，对拼接结果采用缩放-点积(Scaled Dot-Product Attention)进行注意力计算；接着，对注意力计算的结果经过连接层(Concat)与线性层(Liner)进行非线性变换处理。其中，Scaled Dot-Product Attention的结构可如图13左侧部分所示。在Scaled Dot-Product Attention中，将Q、K经过矩阵点乘(MatMul)，将矩阵相乘的结果进行缩放(Scale)和掩码(Mask)处理，将掩码后的结果经过激活函数SoftMax进行处理，将激活函数的处理结果与V进行矩阵点乘，可表现为如下公式：

其中，QKV分别为注意力层的输入与模型参数执行矩阵运算得到的三个矩阵。d_k表示归一化因子，T表示矩阵的转置操作。在d_k很小的时候和点积结果相似，d_k大的时候，如果不进行缩放则表现更好，但点积的计算速度更快，进行缩放后可减少影响。

步骤1207，根据头像图像特征和昵称文本特征预测社交用户的性别。

需要说明的是，步骤1201至1202、步骤1207的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过将用户昵称中的字符进行编码，以得到输入编码序列；其中，输入编码序列中包括n个字符位置；将输入编码序列输入翻译模型中的至少一层注意力编码层进行特征提取，以得到n个字符位置上的m维编码向量；对n个字符位置上的m维编码向量进行向量平均得到m维平均编码向量；根据m维平均编码向量进行非线性映射，得到m’维的昵称文本特征。由此，根据翻译模型可准确地获取昵称文本特征。

为了根据融合特征准确地预测社交用户的性别，如图14所示，图14为本公开实施例所提供的另一种预测方法的流程示意图，在本公开实施例中，在根据融合特征预测社交用户的性别之前，可对预测网络进行训练，以使经过训练过的预测网络根据融合特征进行社交用户的性别预测，图14所示实施例可包括如下步骤：

步骤1401，获取社交用户的头像图，以及用户昵称。

步骤1402，对头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征。

步骤1403，对用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征。

步骤1404，获取多个训练样本。

在本公开实施例中，每个训练样本可包括头像图和对应的用户昵称，对每个训练样本可进行期望性别标注，其中，训练样本可以通过网络爬虫技术，在线采集社交软件中的头像图和用户昵称，将头像图和对应的用户昵称作为训练样本，或者，训练样本中的头像图也可以为线下采集的图像，或者，训练样本中的头像图也可以为人工合成的图像，用户昵称可为人工编辑的昵称，等等，本公开实施例对此并不做限制。

步骤1405，对多个训练样本中的头像图和用户昵称，采用预测网络进行预测，以得到预测网络中激活函数输出的第二置信度。

进一步地，将训练样本中的头像图和用户昵称，输入预测网络的全连接层中，将全连接层的输出采用激活函数激活，该激活函数可输出训练样本对应的第二置信度。

步骤1406，从各训练样本对应的第二置信度中，筛选掉设定区间内的第二置信度，以保留多个目标置信度。

需要了解的是，由于一些训练样本(头像以及昵称)无法区分性别，所以在预测网络的训练最终阶段损失值抖动会比较明显，但是，这些训练样本对应的社交用户的性别预测往往不准确(这些训练样本有时标签是男性，有时标签是女性)，经过分析后，可确定这些训练样本归一化的概率区分不大，置信度基本分布在设定区间。因此，在本公开实施例中，可对激活函数输出的训练样本对应的第二置信度，筛选掉设定区间内的第二置信度，以保留多个目标置信度。示例性代码可如下：

“

//将sigmoid低于阈值的idx掩码掉

eg:threshold＝0.8//需要将prob>0.8和prob<0.2的保留

probs＝[0.81,0.7，0.4，0.19,0.3,0.7]

得到mask＝[1,0,0,1,0,0]//

def get_mask(self,probs,threshold):

probs＝tf.reshape(probs,[-1])

mask1＝tf.math.less(probs,1-threshold)

mask2＝tf.math.greater(probs,threshold)

return tf.math.logical_or(mask1,mask2)

def mask_loss(self,loss,probs):

mask＝self.get_mask(probs,self.mask_loss_thres)

mask＝tf.cast(mask,loss.dtype)

recall＝tf.reduce_mean(mask)

loss＝loss*mask

//扔掉了一部分数据的损失值，所以需要将剩下的损失值放大，

防止模型将结果全部预测到这个区间//

loss＝tf.math.divide_no_nan(loss,recall)

return loss”。

步骤1407，根据保留的多个目标置信度和对应训练样本所标注的期望性别，确定多个损失值。

进一步地，将多个保留的多个目标置信度与预设阈值进行比对，可确定多个目标置信度对应的预测性别，根据预测性别与期望性别，结合设定的损失函数，可确定多个损失值。

步骤1408，根据多个损失值，对预测网络进行模型参数调整。

进而，根据多个损失值，对预测网络进行模型参数调整，以使损失值最小化。

作为一种示例，根据多个训练样本的总数和设定区间内的第二置信度的数量之比，对多个损失值进行取值调整；根据取值调整后的损失值，对预测网络进行模型参数调整。

也就是说，在本公开实施例中，将多个训练样本的总数与设定区间内的第二置信度的数量进行相比，以确定多个训练样本的总数和设定区间内的第二置信度的数量比值，根据该比值，对多个损失值进行等比放大，将等比放大后的多个损失值作为取值调整后的损失值，根据该取值调整后的损失值，对预测网络进行模型参数调整。

作为另一种示例，采用梯度中心化策略，对各损失值的梯度进行调整；根据调整后的各损失值的梯度，调整预测网络的模型参数。

在本公开实施例中，梯度中心化是指将梯度向量中心化为零均值，各损失值的梯度向量进行中心化调整，并根据调整后的各损失值的梯度，调整预测网络的模型参数，以提高预测网络的训练的稳定性和提高最终的结果。梯度中心化的代码可为如下所示：

步骤1409，根据头像图像特征和昵称文本特征预测社交用户的性别。

需要说明的是，步骤1401至1403、步骤1409的执行过程可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。

综上，通过获取多个训练样本；对多个训练样本中的头像图和用户昵称，采用预测网络进行预测，以得到预测网络中激活函数输出的第二置信度；从各训练样本对应的第二置信度中，筛选掉设定区间内的第二置信度，以保留多个目标置信度；根据保留的多个目标置信度和对应训练样本所标注的期望性别，确定多个损失值。由此，通过训练样本可对预测网络进行训练，可使经过训练的预测网络根据融合特征进行社交用户的性别预测。

本公开实施例的预测方法，通过提取社交用户的头像图对应的头像图像特征以及用户昵称对应的昵称文本特征，根据头像图像特征和昵称文本特征进行社交用户的性别预测，提高了社交用户的性别预测准确度。

为了根据社交用户性别向社交用户推送与性别匹配的个性化图像，以提高用户体验，如图15所示，图15为本公开实施例提供的一种推荐方法的流程示意图，在本公开实施例中，可采用图1至图14实施例所述的预测方法预测社交用户的性别，并根据预测出的性别，向社交用户推荐与性别匹配的图像资源。图15所示实施例可包括如下步骤：

步骤1501，采用如图1至图14实施例所述的预测方法预测社交用户的性别。

在本公开实施例中，可采用图1至图14实施例所述的预测方法对社交用户的头像图和用户昵称进行性别预测。

步骤1502，根据预测出的性别，向社交用户推荐与性别匹配的图像资源。

进一步地，在向社交用户推荐图像资源时，可根据预测出的性别，向社交用户推荐与性别匹配的图像资源。

综上，通过采用如图1至图14实施例所述的预测方法预测社交用户的性别，根据预测出的性别，向社交用户推荐与性别匹配的图像资源，由此，根据预测出的社交用户的性别，向社交用户推送与性别匹配的个性化图像，提高了用户体验。

为了实现上述图1至图14实施例，本公开还提出一种预测装置。

图16为本公开实施例提供的一种预测装置的结构示意图。

如图16所示，该预测装置包括：获取模块1610、第一提取模块1620、第二提取模块1630以及预测模块1640。

其中，获取模块1610，用于获取社交用户的头像图，以及用户昵称；第一提取模块1620，用于对头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征；第二提取模块1630，用于对所述用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征；预测模块1640，用于根据头像图像特征和昵称文本特征预测社交用户的性别。

作为本公开实施例的一种可能实现方式，预测模块1640，用于：获取头像图像特征和昵称文本特征之间的差异特征；将头像图像特征、昵称文本特征和差异特征输入注意力网络，以得到头像特征和昵称文本特征的注意力权重；根据注意力权重，对头像图像特征和昵称文本特征进行融合，以得到融合特征；根据融合特征预测社交用户的性别。

作为本公开实施例的一种可能实现方式，预测模块1640，还用于：将融合特征输入预测网络的全连接层；将全连接层的输出采用激活函数激活，以得到第一置信度；根据第一置信度是否小于设定阈值，确定社交用户的性别。

作为本公开实施例的一种可能实现方式，预测模块1640，还用于：根据用户昵称的长度，以及包含的视觉情感符号数量、数字数量和字母数量中的至少一个，生成附加文本特征；将附加文本特征与昵称文本特征拼接，并根据注意力权重对拼接后的昵称文本特征和头像图像特征进行融合，以得到融合特征。

作为本公开实施例的一种可能实现方式，卷积神经网络为包括多层密集卷积层的密集卷积神经网络，第一提取模块1620，用于：将头像图输入首个密集卷积层；对于密集卷积神经网络中除首个密集卷积层之外的各剩余密集卷积层，将排序在前的各密集卷积层的输出作为本层密集卷积层的输入进行图像特征提取，以得到头像图像特征。

作为本公开实施例的一种可能实现方式，第二提取模块1630，用于将用户昵称中的字符进行编码，以得到输入编码序列；其中，输入编码序列中包括n个字符位置；将输入编码序列输入所述翻译模型中的至少一层注意力编码层进行特征提取，以得到n个字符位置上的m维编码向量；对n个字符位置上的m维编码向量进行向量平均得到m维平均编码向量；根据m维平均编码向量进行非线性映射，得到m’维的昵称文本特征，其中，m’大于m。

作为本公开实施例的一种可能实现方式，预测装置1600还包括：样本获取模块、样本预测模块、筛选模块、确定模块以及训练模块。

其中，样本获取模块，用于获取多个训练样本；样本预测模块，用于对所述多个训练样本中的头像图和用户昵称，采用所述预测网络进行预测，以得到所述预测网络中激活函数输出的第二置信度；筛选模块，用于从各所述训练样本对应的第二置信度中，筛选掉设定区间内的第二置信度，以保留多个目标置信度；确定模块，用于根据保留的多个目标置信度和对应训练样本所标注的期望性别，确定多个损失值；训练模块，用于根据所述多个损失值，对所述预测网络进行模型参数调整。

作为本公开实施例的一种可能实现方式，训练模块，用于根据所述多个训练样本的总数和所述设定区间内的第二置信度的数量之比，对所述多个损失值进行取值调整；根据取值调整后的损失值，对所述预测网络进行模型参数调整。

作为本公开实施例的一种可能实现方式，训练模块，还用于采用梯度中心化策略，对各损失值的梯度进行调整；根据调整后的各损失值的梯度，调整预测网络的模型参数。

本公开实施例的预测装置，通过提取社交用户的头像图对应的头像图像特征以及用户昵称对应的昵称文本特征，根据头像图像特征和昵称文本特征进行社交用户的性别预测，提高了社交用户的性别预测准确度。

为了实现上述图15所示实施例，本公开还提出一种推荐装置。

图17为本公开实施例提供的一种推荐装置的结构示意图。

如图17所示，该推荐装置1700包括：预测模块1710和推荐模块1720。

其中，预测模块1710，用于采用如图16所述的装置预测社交用户的性别；推荐模块1720，用于根据预测出的性别，向社交用户推荐与性别匹配的图像资源。

本公开实施例的推荐装置，通过采用如图16实施例所述的预测装置预测社交用户的性别，根据预测出的性别，向社交用户推荐与性别匹配的图像资源，由此，根据预测出的社交用户的性别，可向社交用户推送与性别匹配的个性化图像，提高了用户体验。

为了实现上述实施例，本公开还提出一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行图1至图14实施例所述的预测方法，或者，执行图15实施例所述的推荐方法。

为了实现上述实施例，本公开还提出一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行图1至图14实施例所述的预测方法，或者，执行图15实施例所述的推荐方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现图1至图14实施例所述的预测方法，或者，实现图15实施例所述的推荐方法。

如图18所示，图18是根据本公开实施例的预测方法或者推荐方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图15所示，该电子设备包括：一个或多个处理器1801、存储器1802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图18中以一个处理器1801为例。

存储器1802即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的预测方法或推荐方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的预测方法或推荐方法。

存储器1802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的预测方法和推荐方法对应的程序指令/模块(例如，附图16所示的获取模块1610、第一提取模块1620、第二提取模块1630以及预测模块1640；附图17所示的预测模块1710和推荐模块1720)。处理器1801通过运行存储在存储器1802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的预测方法或者推荐方法。

存储器1802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语义表示模型的生成的电子设备的使用所创建的数据等。此外，存储器1802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1802可选包括相对于处理器1801远程设置的存储器，这些远程存储器可以通过网络连接至预测方法或者推荐方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

预测方法或者推荐方法的电子设备还可以包括：输入装置1803和输出装置1804。处理器1801、存储器1802、输入装置1803和输出装置1804可以通过总线或者其他方式连接，图18中以通过总线连接为例。

输入装置1803可接收输入的数字或字符信息，以及产生与预测方法或者推荐方法的生成的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

另外，本公开的技术方案中所涉及的信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提出的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种预测方法，其特征在于，包括：

获取社交用户的头像图，以及用户昵称；

对所述头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征；

对所述用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征；

根据所述头像图像特征和所述昵称文本特征预测所述社交用户的性别。

2.根据权利要求1所述的方法，其特征在于，所述根据所述头像图像特征和所述昵称文本特征预测所述社交用户的性别，包括：

获取所述头像图像特征和所述昵称文本特征之间的差异特征；

将所述头像图像特征、所述昵称文本特征和所述差异特征输入注意力网络，以得到所述头像图像特征和所述昵称文本特征的注意力权重；

根据所述注意力权重，对所述头像图像特征和所述昵称文本特征进行融合，以得到融合特征；

根据所述融合特征预测所述社交用户的性别。

3.根据权利要求2所述的方法，其特征在于，所述根据所述融合特征预测所述社交用户的性别，包括：

将所述融合特征输入预测网络的全连接层；

将所述全连接层的输出采用激活函数激活，以得到第一置信度；

根据所述第一置信度是否小于设定阈值，确定所述社交用户的性别。

4.根据权利要求2所述的方法，其特征在于，所述根据所述注意力权重，对所述头像图像特征和所述昵称文本特征进行融合，以得到融合特征，包括：

根据所述用户昵称的长度，以及包含的视觉情感符号数量、数字数量和字母数量中的至少一个，生成附加文本特征；

将所述附加文本特征与所述昵称文本特征拼接，并根据所述注意力权重对拼接后的昵称文本特征和所述头像图像特征进行融合，以得到融合特征。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述卷积神经网络为包括多层密集卷积层的密集卷积神经网络，所述对所述头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征，包括：

将所述头像图输入首个所述密集卷积层；

对于所述密集卷积神经网络中除首个所述密集卷积层之外的各剩余密集卷积层，将排序在前的各密集卷积层的输出作为本层密集卷积层的输入进行图像特征提取，以得到所述头像图像特征。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征，包括：

将所述用户昵称中的字符进行编码，以得到输入编码序列；其中，所述输入编码序列中包括n个字符位置；

将所述输入编码序列输入所述翻译模型中的至少一层注意力编码层进行特征提取，以得到n个字符位置上的m维编码向量；

对所述n个字符位置上的m维编码向量进行向量平均得到m维平均编码向量；

根据所述m维平均编码向量进行非线性映射，得到m’维的昵称文本特征，其中，m’大于m。

7.根据权利要求3所述的方法，其特征在于，所述根据所述融合特征预测所述社交用户的性别之前，还包括：

获取多个训练样本；

对所述多个训练样本中的头像图和用户昵称，采用所述预测网络进行预测，以得到所述预测网络中激活函数输出的第二置信度；

从各所述训练样本对应的第二置信度中，筛选掉设定区间内的第二置信度，以保留多个目标置信度；

根据保留的多个目标置信度和对应训练样本所标注的期望性别，确定多个损失值；

根据所述多个损失值，对所述预测网络进行模型参数调整。

8.根据权利要求7所述的方法，其特征在于，所述根据所述多个损失值，对所述预测网络进行模型参数调整，包括：

根据所述多个训练样本的总数和所述设定区间内的第二置信度的数量之比，对所述多个损失值进行取值调整；

根据取值调整后的损失值，对所述预测网络进行模型参数调整。

9.根据权利要求7所述的方法，其特征在于，所述根据所述多个损失值，对所述预测网络进行模型参数调整，包括：

采用梯度中心化策略，对各所述损失值的梯度进行调整；

根据调整后的各所述损失值的梯度，调整所述预测网络的模型参数。

10.一种推荐方法，其特征在于，包括：

采用如权利要求1-9任一项所述的方法预测社交用户的性别；

根据预测出的性别，向所述社交用户推荐与所述性别匹配的图像资源。

11.一种预测装置，其特征在于，包括：

获取模块，用于获取社交用户的头像图，以及用户昵称；

第一提取模块，用于对所述头像图采用卷积神经网络进行图像特征提取，以得到头像图像特征；

第二提取模块，用于对所述用户昵称采用翻译模型进行文本特征提取，以得到昵称文本特征；

预测模块，用于根据所述头像图像特征和所述昵称文本特征预测所述社交用户的性别。

12.根据权利要求11所述的装置，其特征在于，所述预测模块，用于：

将所述头像图像特征、所述昵称文本特征和所述差异特征输入注意力网络，以得到所述头像特征和所述昵称文本特征的注意力权重；

根据所述融合特征预测所述社交用户的性别。

13.根据权利要求12所述的装置，其特征在于，所述预测模块，还用于：

将所述融合特征输入预测网络的全连接层；

14.根据权利要求12所述的装置，其特征在于，所述预测模块，还用于：

15.根据权利要求11-14任一项所述的装置，其特征在于，所述卷积神经网络为包括多层密集卷积层的密集卷积神经网络，所述第一提取模块，用于：

将所述头像图输入首个所述密集卷积层；

16.一种推荐装置，其特征在于，包括：

预测模块，用于采用如权利要求11-15任一项所述的装置预测社交用户的性别；

推荐模块，用于根据预测出的性别，向所述社交用户推荐与所述性别匹配的图像资源。

17.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法，或者，执行权利要求10所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法，或者，执行权利要求10所述的方法。