CN108388480B - 短串相关性校验方法和装置 - Google Patents

Abstract

本发明公开了短串相关性校验方法和装置，所述方法包括：获取第一短串；获取与第一短串相对应的第二短串；分别将获取到的每个第二短串与第一短串组成一个校验对；获取校验对的深层语义特征；根据深层语义特征，确定出校验对中的两个短串之间的相关性。应用本发明所述方案，能够提高校验结果的准确性等。

Description

短串相关性校验方法和装置

【技术领域】

本发明涉及网络技术，特别涉及短串相关性校验方法和装置。

【背景技术】

在很多场景中，都会涉及到短串相关性校验的问题，短串，通常是指比较短的字符串，如长度小于预定阈值的字符串。

比如，在广告触发系统中，当用户输入查询词(query)后，会触发出一批拍卖词(bidword)，需要分别确定出用户输入的query与触发出的各bidword之间的相关性，进而将相关性较高的bidword对应的广告展现给用户。

短串相关性校验，即指对两个短串的相关性进行评估、进行打分等。

现有技术中，主要是从文本字面相似度上来对两个短串的相关性进行校验，校验结果的准确性较差。

【发明内容】

有鉴于此，本发明提供了短串相关性校验方法和装置，能够提高校验结果的准确性。

具体技术方案如下：

一种短串相关性校验方法，包括：

获取第一短串；

获取与所述第一短串相对应的第二短串；

分别将获取到的每个第二短串与所述第一短串组成一个校验对；

获取所述校验对的深层语义特征；

根据所述深层语义特征，确定出所述校验对中的两个短串之间的相关性。

根据本发明一优选实施例，所述深层语义特征包括以下任一类特征或任意组合：

行为类特征、语义类特征、IP类特征。

根据本发明一优选实施例，所述根据所述深层语义特征，确定出所述校验对中的两个短串之间的相关性包括：

将所述深层语义特征输入迭代决策树GBDT模型；

将所述GBDT模型的输出结果作为所述校验对中的两个短串之间的相关性确定结果。

根据本发明一优选实施例，所述将所述深层语义特征输入GBDT模型包括：

当所述深层语义特征数大于一时，对所述深层语义特征进行预处理，包括：将符合组合要求的深层语义特征进行组合；

将进行预处理后的深层语义特征输入所述GBDT模型。

根据本发明一优选实施例，该方法进一步包括：

增大选定的区分力强的深层语义特征在所述GBDT模型的处理过程中的权重。

根据本发明一优选实施例，所述第一短串包括：查询词query；所述第二短串包括：拍卖词bidword。

一种短串相关性校验装置，包括：获取模块以及处理模块；

所述获取模块，用于获取第一短串，并获取与所述第一短串相对应的第二短串，将所述第一短串和所述第二短串发送给所述处理模块；

所述处理模块，用于分别将获取到的每个第二短串与所述第一短串组成一个校验对，获取所述校验对的深层语义特征，根据所述深层语义特征，确定出所述校验对中的两个短串之间的相关性。

根据本发明一优选实施例，所述深层语义特征包括以下任一类特征或任意组合：

行为类特征、语义类特征、IP类特征。

根据本发明一优选实施例，所述处理模块中包括：特征处理子单元以及相关性处理子单元；

所述特征处理子单元，用于分别将获取到的每个第二短串与所述第一短串组成一个校验对，获取所述校验对的深层语义特征，将所述深层语义特征发送给所述相关性处理子单元；

所述相关性处理子单元，用于将所述深层语义特征输入迭代决策树GBDT模型，将所述GBDT模型的输出结果作为所述校验对中的两个短串之间的相关性确定结果。

根据本发明一优选实施例，所述相关性处理子单元进一步用于，

当所述深层语义特征数大于一时，对所述深层语义特征进行预处理，包括：将符合组合要求的深层语义特征进行组合；

将进行预处理后的深层语义特征输入所述GBDT模型。

根据本发明一优选实施例，所述相关性处理子单元进一步用于，

增大选定的区分力强的深层语义特征在所述GBDT模型的处理过程中的权重。

根据本发明一优选实施例，所述第一短串包括：查询词query；所述第二短串包括：拍卖词bidword。

基于上述介绍可以看出，采用本发明所述方案，可根据获取到的深层语义特征，确定出两个短串之间的相关性，从而相比于现有技术，引入了更为合理的新的特征，进而提高了校验结果的准确性，在此基础上，还可对输入深层语义特征的GBDT模型进行优化，从而进一步提高了校验结果的准确性。

【附图说明】

图1为本发明所述短串相关性校验方法实施例的流程图。

图2为本发明所述短串相关性校验装置实施例的组成结构示意图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。

实施例一

图1为本发明所述短串相关性校验方法实施例的流程图，如图1所示，包括以下具体实现方式：

在11中，获取第一短串；

在12中，获取与第一短串相对应的第二短串；

在13中，分别将获取到的每个第二短串与第一短串组成一个校验对；

在14中，获取每个校验对的深层语义特征；

在15中，根据获取到的深层语义特征，确定出每个校验对中的两个短串之间的相关性。

以广告触发系统为例，上述第一短串可为用户输入的query，相应地，第二短串可为由query触发出的bidword，通常，触发出的bidword数会大于一，即会触发出多个bidword。

针对每个bidword，可分别将其与用户输入的query组成一个校验对，并分别获取每个校验对的深层语义特征，进而根据获取到的深层语义特征，确定出校验对中的两个短串之间的相关性。

后续，可选取出相关性较高的bidword，并将选取出的bidword对应的广告展现给用户。

其中，针对每个校验对，可分别获取其如下深层语义特征：行为类特征、语义类特征、IP类特征，根据实际需要，可获取上述任一类特征或其任意组合。

语义类特征可包括word2vec特征、GloVe特征等。

可通过收集到的训练样本训练得到一个word2vec模型，针对每个校验对，可分别将该校验对中的信息输入给word2vec模型，从而得到word2vec模型输出的word2vec向量，该word2vec向量即为所需的word2vec特征。

如何得到训练样本以及如何训练得到word2vec模型为现有技术。

另外，针对每个校验对，还可通过GloVe(Global Vectors for WordRepresentation)算法分别确定出该校验对中的两个短串之间的匹配程度，将确定结果作为所需的GloVe特征，具体实现为现有技术。

行为类特征可包括深度神经网络(DNN，Deep Neural Network)特征等。可基于共同点击、共同购买等用户行为信息构建DNN模型。

比如，可通过收集到的训练样本训练得到一个pairwise模型，针对每个校验对，可分别将该校验对中的信息输入pairwise模型，从而得到pairwise模型的输出结果，即所需的pairwise特征，pairwise特征能够体现校验对中的两个短串之间的匹配程度。

在训练pairwise模型时，可将一组校验对以及该组校验对中的两个校验对孰优孰劣的判定结果作为一个训练样本。

仍以query和bidword为例，假设用户输入的query为“鲜花”，触发出的bidword包括“鲜花速递”、“鲜花网”等，根据过往统计，点击“鲜花速递”对应的广告的用户明显多于点击“鲜花网”对应的广告的用户，那么，可将“鲜花-鲜花速递”和“鲜花-鲜花网”作为一组校验对，同时判定“鲜花-鲜花速递”优于“鲜花-鲜花网”。

根据上述训练样本，可训练得到pairwise模型，该pairwise模型的作用是当后续向模型中输入一个校验对中的信息后，输出关于该校验对中的两个短串之间的匹配程度的判定结果。

类似地，还可基于上述训练样本，训练得到一个clicksim模型，clicksim模型和pairwise模型同属于DNN模型，区别在于模型结构即模型处理方式不同，clicksim模型的具体结构可根据实际需要而定，针对每个校验对，clicksim模型同样可输出关于该校验对中的两个短串之间的匹配程度的判定结果。

通过采用不同模型结构的DNN模型来判定两个短串之间的匹配程度，可提高判定结果的准确性。

IP类特征可包括wordurl特征等。

可通过收集到的训练样本训练得到一个wordurl模型，针对每个校验对，可分别将该校验对中的信息输入wordurl模型，从而得到wordurl模型输出的word2vec向量，该word2vec向量即为所需的wordurl特征。

仍以query和bidword为例，可利用query和bidword训练得到前述word2vec模型，与之不同的是，需要利用query、bidword以及bidword对应的统一资源定位符(URL，UniformResoure Locator)来训练得到wordurl模型，如何进行训练为现有技术。

需要说明的是，以上所述仅为举例说明，并不用于限制本发明的技术方案，在实际应用中，上述行为类特征、语义类特征、IP类特征中具体包括哪些特征可根据实际需要而定，不限于以上所示，另外，除上述行为类特征、语义类特征、IP类特征之外，如果需要，还可以获取其它任意深层语义特征，同样不限于以上所示。

针对每个校验对，在得到上述深层语义特征之后，可将该校验对的深层语义特征输入迭代决策树(GBDT，Gradient Boosting Decision Tree)模型，将GBDT模型的输出结果作为该校验对中的两个短串之间的相关性确定结果。

传统的GBDT模型假设特征之间相互独立，但实际上特征之间相互独立的情况比较少，多数情况下，特征之间相互影响，因此，本发明所述方案中，对传统的GBDT模型进行优化，加入组合特征。

即：针对每个校验对，当获取到的深层语义特征数大于一时，对获取到的深层语义特征进行预处理，包括：将符合组合要求的深层语义特征进行组合，然后将进行预处理后的深层语义特征输入GBDT模型。

可预先设置组合要求(即组合规则)，进而将符合组合要求的深层语义特征进行组合，如深层语义特征a和深层语义特征b符合组合要求，那么则将深层语义特征a和深层语义特征b进行组合，从而得到一个组合特征，如何进行组合可根据实际需要而定，比如，可将深层语义特征a和深层语义特征b的取值相加。

如果一个深层语义特征不符合与其它深层语义特征相组合的组合要求，那么则可不进行组合。

之后，将组合特征和未进行组合的特征均输入GBDT模型。

除按照上述方式对传统的GBDT模型进行优化之外，还可以对传统的GBDT模型进行以下优化：增大选定的区分力强的深层语义特征在GBDT模型的处理过程中的权重。

比如，相比于其它深层语义特征，某一个或某几个深层语义特征更能体现校验对中的两个短串之间的相关性，那么则可认为这一个或这几个深层语义特征为区分力强的深层语义特征，相应地，增大这一个或这几个深层语义特征在GBDT模型的处理过程中的权重。

如何选定区分力强的深层语义特征可根据实际需要而定，同样，将权重增大的幅度等也可根据实际需要而定。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

实施例二

图2为本发明所述短串相关性校验装置实施例的组成结构示意图，如图2所示，包括：获取模块21以及处理模块22。

获取模块21，用于获取第一短串，并获取与第一短串相对应的第二短串，将第一短串和第二短串发送给处理模块22。

处理模块22，用于分别将获取到的每个第二短串与第一短串组成一个校验对，获取校验对的深层语义特征，根据深层语义特征，确定出校验对中的两个短串之间的相关性。

以广告触发系统为例，上述第一短串可为用户输入的query，相应地，第二短串可为由query触发出的bidword，通常，触发出的bidword数会大于一，即会触发出多个bidword。

针对每个bidword，处理模块22可分别将其与用户输入的query组成一个校验对，并分别获取每个校验对的深层语义特征，进而根据获取到的深层语义特征，确定出校验对中的两个短串之间的相关性。

后续，还可以选取出相关性较高的bidword，并将选取出的bidword对应的广告展现给用户。

其中，深层语义特征可包括以下任一类特征或任意组合：行为类特征、语义类特征、IP类特征。

语义类特征可包括word2vec特征、GloVe特征等；行为类特征可包括DNN特征等；IP类特征可包括wordurl特征等。

如图2所示，处理模块22中可具体包括：特征处理子单元221以及相关性处理子单元222。

特征处理子单元221，用于分别将获取到的每个第二短串与第一短串组成一个校验对，获取校验对的深层语义特征，将深层语义特征发送给相关性处理子单元222。

相关性处理子单元222，用于将深层语义特征输入GBDT模型，将GBDT模型的输出结果作为校验对中的两个短串之间的相关性确定结果。

传统的GBDT模型假设特征之间相互独立，但实际上特征之间相互独立的情况比较少，多数情况下，特征之间相互影响，因此，本发明所述方案中，对传统的GBDT模型进行优化，加入组合特征。

即相关性处理子单元222可进一步用于，当深层语义特征数大于一时，对深层语义特征进行预处理，包括：将符合组合要求的深层语义特征进行组合；将进行预处理后的深层语义特征输入GBDT模型。

除按照上述方式对传统的GBDT模型进行优化之外，还可对传统的GBDT模型进行以下优化：增大选定的区分力强的深层语义特征在GBDT模型的处理过程中的权重。

即相关性处理子单元222可进一步用于，增大选定的区分力强的深层语义特征在GBDT模型的处理过程中的权重。

图2所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。

总之，采用本发明所述方案，可根据获取到的深层语义特征，确定出两个短串之间的相关性，从而相比于现有技术，引入了更为合理的新的特征，进而提高了校验结果的准确性，在此基础上，还可对输入深层语义特征的GBDT模型进行优化，从而进一步提高了校验结果的准确性，另外，本发明所述方案实现起来简单方便，从而便于进行普及和推广。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种短串相关性校验方法，其特征在于，包括：

获取第一短串；

获取与所述第一短串相对应的第二短串；

分别将获取到的每个第二短串与所述第一短串组成一个校验对；

获取所述校验对的深层语义特征；

将所述深层语义特征输入迭代决策树GBDT模型，包括：当所述深层语义特征数大于一时，对所述深层语义特征进行以下预处理：将符合组合要求的深层语义特征进行组合，将进行预处理后的深层语义特征输入所述GBDT模型；将所述GBDT模型的输出结果作为所述校验对中的两个短串之间的相关性确定结果。

2.根据权利要求1所述的方法，其特征在于，

所述深层语义特征包括以下任一类特征或任意组合：

行为类特征、语义类特征、IP类特征。

3.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：

增大选定的区分力强的深层语义特征在所述GBDT模型的处理过程中的权重。

4.根据权利要求1所述的方法，其特征在于，

所述第一短串包括：查询词query；

所述第二短串包括：拍卖词bidword。

5.一种短串相关性校验装置，其特征在于，包括：获取模块以及处理模块；

所述获取模块，用于获取第一短串，并获取与所述第一短串相对应的第二短串，将所述第一短串和所述第二短串发送给所述处理模块；

所述处理模块，用于分别将获取到的每个第二短串与所述第一短串组成一个校验对，获取所述校验对的深层语义特征，根据所述深层语义特征，确定出所述校验对中的两个短串之间的相关性；

其中，所述处理模块中包括：特征处理子单元以及相关性处理子单元；

所述特征处理子单元，用于分别将获取到的每个第二短串与所述第一短串组成一个校验对，获取所述校验对的深层语义特征，将所述深层语义特征发送给所述相关性处理子单元；

所述相关性处理子单元，用于将所述深层语义特征输入迭代决策树GBDT模型，将所述GBDT模型的输出结果作为所述校验对中的两个短串之间的相关性确定结果，还用于当所述深层语义特征数大于一时，对所述深层语义特征进行以下预处理：将符合组合要求的深层语义特征进行组合，将进行预处理后的深层语义特征输入所述GBDT模型。

6.根据权利要求5所述的装置，其特征在于，

所述深层语义特征包括以下任一类特征或任意组合：

行为类特征、语义类特征、IP类特征。

7.根据权利要求5所述的装置，其特征在于，

所述相关性处理子单元进一步用于，

增大选定的区分力强的深层语义特征在所述GBDT模型的处理过程中的权重。

8.根据权利要求5所述的装置，其特征在于，

所述第一短串包括：查询词query；

所述第二短串包括：拍卖词bidword。

Images