CN111652312B - 一种有选择特性的集合间契合程度的度量方法、系统以及存储介质 - Google Patents

Abstract

本发明公开了一种有选择特性的集合间契合程度的度量方法、系统，以及存储介质，本方案首先构建待度量集合的推送向量与选择向量，这里的待度集合可以为规模为1的集合；接着，获取共同获得待度量集合中样本推送的选择主体集合；接着，凝练选择主体，寻找其中点击过待度量集合中样本的用户集合；接着，基于凝练得到的用户集合节选待度量集合的推送向量与点击向量。本方案可实现集合与集合、样本与集合、样本与样本契合程度计算方式的统一且可大幅度提高计算效率。

Description

一种有选择特性的集合间契合程度的度量方法、系统以及存 储介质

技术领域

本发明涉及互联网、人工智能领域中数据样本处理技术，具体涉及样本间契合程度的度量技术。

背景技术

在互联网与人工智能应用中，很多数据样本具有选择特性或者投票特性，比如网页链接的点击数据可视为对网页的选择或者投票、商品的购买数据可视为对商品的选择或者投票，文章资讯的阅读也可视为对相关资料的选择或者投票。

在实际系统中，常需要计算具有选择特性的样本间的契合程度，比如利用该契合程度表示网页间、商品间、或者文章资讯间的同质程度或者说相似程度。现有的通用计算方法包括皮尔逊相似性度量、余弦相似性度量、杰卡德相似性度量等，尤其是杰卡德相似性度量在具有选择特性的离散样本时有较好的应用效果。

随着大数据时代互联网与人工智能应用需求的升级与多样化，在样本间契合程度的基础上，进一步需要获取具有选择特性的样本集合之间的契合程度，比如一组文章资讯与另一组文章资讯间的契合程度。度量这样的集合间契合程度的一种直接方法是利用上文介绍的传统方法(皮尔逊相似性度量、余弦相似性度量、杰卡德相似性度量等)分别两两计算不同集合中样本相似度作为样本间契合程度，然后在利用平均等统计手段获得集合间的契合程度度量。

如此度量方法最典型的缺陷是过高的计算复杂度，因为它需要两两计算相似度，随着集合数目与集合中样本数目的提高，涉及的计算量快速提高。此外，该方法计算集合间契合程度完全是在样本层面进行的，忽略了集合本身的属性，缺失统一性。

发明内容

针对现有具有选择特性的样本集合间契合程度的度量技术存在计算效率低以及缺失统一性的问题，需要一种新的具有选择特性的样本集合间契合程度的度量方案。

为此，本发明的目的在于提供一种有选择特性的集合间契合程度的度量方法，其可对有选择特性的样本或集合间(如样本与样本、样本与集合、或集合与集合)契合程度进行度量且计算高效，内涵统一；据此，本发明还进一步提供一种度量系统，以及存储介质。

为了达到上述目的，本发明提供的有选择特性的集合间契合程度的度量方法，包括：

构建待度量集合的推送向量与选择向量，所述待度集合可以为规模为1的集合；

获取共同获得待度量集合中样本推送的选择主体集合；

凝练选择主体，寻找其中点击过待度量集合中样本的用户集合；

基于凝练得到的用户集合节选待度量集合的推送向量与选择向量；

计算待度量集合间契合度。

进一步地，所述集合的推送向量由该集合中每个样本推送指示向量相加获得。

进一步地，所述集合的选择向量可通过该集合中每个样本选择指示向量相加获得。

进一步地，所述度量方法在求取选择主体集合时，对于每个集合的推送向量，筛选出共同主体。

进一步地，所所述度量方法在凝练选择主体时，通过选择主体对两个集合的选择操作以进行凝练。

进一步地，所述方法中基于凝练得到的用户集合，通过向量点乘的方式节选待度量集合的推送向量与选择向量。

为了达到上述目的，本发明提供的有选择特性的集合间契合程度的度量系统，包括：

向量构建模块，所述向量构建模块用于构建待度量集合的推送向量与选择向量；所述待度集合可以为规模为1的集合；

主体选择模块，所述主体选择模块在向量构建模块对待度量集合构建相应推送向量与选择向量后，对待度量集合求取共同获得待度量集合中样本推送的选择主体集合；

凝练模块，所述凝练模块对主体选择模块求取的选择主体集合进行凝练寻找其中点击过待度量集合中样本的用户集合；

节选模块，所述节选模块基于凝练模块凝练得到的用户集合节选待度量集合的推送向量与点击向量；

契合度计算模块，所述契合度计算模块根据节选模块获得待度量集合的推送向量与点击向量进行待度量集合间契合度计算。

进一步地，所述度量系统中还包括输入模块，所述输入模块用于输入待度量集合。

为了达到上述目的，本发明提供的存储介质，所述存储介质包括存储的程序，所述程序执行上述的度量方法。

本发明提供的方案可以用于计算有选择特性的样本集合间的契合程度，并且实现集合与集合、样本与集合、样本与样本契合程度计算方式的统一；同时在计算集合与集合契合程度时避免穷举计算两个集合中样本的两两契合程度，大幅度提高计算效率，保证集合间契合程度与样本间契合程度相同的计算复杂度。

本发明提供的方案可适用于互联网与人工智能应用中数据处理的多种任务。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明实例中有选择特性的样本或集合间契合程度的统一度量流程示例图；

图2为本发明实例中有选择特性的样本或集合间契合程度的统一度量系统的组成示例图；

图3为本发明实例中一种应用示例示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

本方案针对具有选择特性的样本a，创新的采用两个稀疏向量

与

数学表示其特性。

其中P_a表示N个选择主体(如网民、购买用户、文章咨询读者等)被推送样本a的指示向量，如果样本a被推送给选择主体i，则

记为1，否则

记为0；

C_a表示所有选择主体选择样本a的指示向量，如果选择主体i选择了样本a，则

记为1，否则

记为0；常量N表示选择主体的总数，一般取值很大的数，但每个选择主体被推送样本的数量与选择样本的数量非常有限，所以P_a与C_a高度稀疏。如此，可以通过非常稀疏的向量(存储)高效的指示选择主体对于样本的选择与否。

在此基础上，本方案中将一个样本将作为规模为1的集合，由此使得样本与样本契合程度的度量、样本与集合契合程度的度量都可以统一为集合与集合间契合程度的度量。

基于上述方案，以下给出了一种用于有选择特性的样本或集合间契合程度的统一度量方法。

参见图1，其所示为本统一度量方法的基本流程示例。由图可知，本统一度量方法主要包括如下步骤：

步骤1：针对待度量集合构建相应的推送向量与选择向量。

作为举例，对于任意一个集合A，推广样本推送向量与选择向量的概念，即将推送向量(push vector)P_a与选择向量(Click Vector)C_a从样本a推广到集合A，记为P_A与C_A，构建集合推送向量

与选择向量

其中Z表示自然数域。

需要说明的，这里的集合可以为规模为1的集合，即为一个样本。

具体的，该推送向量P_A表示N个选择主体被推送集合A中样本的数量向量，可通过集合A中每个样本推送指示向量相加获得。

该选择向量C_A表示N个选择主体选择集合A中样本的数量向量，可通过集合A中每个样本选择指示向量相加获得。

步骤2：获取共同获得待度量集合中样本推送的选择主体集合。

由于契合度度量是基于选择主体的选择行为来计算的，对于每个集合的推送向量(P_A与P_B)，可以首先将共同主体筛选出来，这样相对于所有选择主体的数量，通过选择主体数量大大减少，可以大幅提高运算效率。

作为举例，对于任意两个集合A与B，在经过步骤(1)各自构建相应的向量后，求取共同获得集合A与B中样本推送的选择主体的集合。

由于只有这部分选择主体至少同时得到了集合A与B中的样本，针对这些选择主体的后续统计与计算可大幅提高运算效率。由于同时两个集合都有操作的选择主体相对于所有选择主体的数量来说非常少，由此可大幅提高运算效率。

该部分选择主体可以表示为

U＝(P_A＞0)∧(P_B＞0)；

其中∧表示元素与操作。

步骤3：凝练选择主体，寻找其中点击过待度量集合中样本的用户集合。

本步骤中对于步骤2中选出的选择主体集合，通过选择主体对两个集合的选择操作可以进行进一步的凝练，该操作可以规避两个集合中对选择主体都不激发兴趣的样本对于契合度度量的影响。

作为举例，不同于样本层面的操作，本实例在集合层面操作进一步对U凝练，寻找其中点击过A中样本或者点击过B中样本的用户集合，即：

U′＝U∧((C_A+C_B)＞0)；

其中，U是步骤2中确定的部分选择主体，C_A与C_B分别是定义的两个集合的选择向量，∧表示按位与操作，+表示按位加操作。

步骤4：基于凝练得到的用户集合节选待度量集合的推送向量与选择向量。

本步骤中通过步骤3得到的筛选后的选择主体，对于原本保存的集合推送向量与选择向量，进行凝练，仅保留筛选后的选择主体的推送与选择记录。

作为举例，本实例中利用U′节选集合A与B的推送向量与选择向量，得到如下C′_A，P′_A，C′_B，P′_B：

其中运算符°表示向量点乘，U′为步骤3中确定的用户集合，C_A与C_B分别是定义的两个集合的选择向量，P_A与P_B分别是定义的两个集合的推送向量。

步骤5：计算待度量集合间契合度。

本步骤中计算的待度量集合间契合度，可体现两个集合中一致选择与所有可能选择的比例，对高稀疏性样本或集合仍能保持优异效果。同时，本方案统一实现样本与样本、样本与集合、集合与集合的契合程度度量，避免集合穷举计算两个集合中样本的两两契合程度。

作为举例，本实例中通过以下公式计算集合与集合间契合度F：

其中运算符∑*表示向量*所有元素相加，C′_A，P′_A，C′_B，P′_B都是步骤4的结果，∑是向量所有元素加操作，F即获得的集合间契合度。

进一步地，针对上述计算公式，若将一个样本作为规模为1的集合，即可计算样本a与集合B间的契合程度F’，公式可以等价简化为：

其中C′_A，P′_A，C′_B，P′_B都是步骤4的结果，由于从集合A化为样本a,所以记为C′_a，P′_a，运算符∑是向量所有元素加操作，F′即获得的集合与样本间契合度。

再进一步地，两个样本a与b之间的契合程度F”可以等价简化为：

其中C′_A，P′_A，C′_B，P′_B都是步骤4的结果，由于从集合A与B退化为样本a与b,所以记为C′_a，P′_a，C′_b，P′_b运算符∑是向量所有元素加操作，F”即获得的集合与样本间契合度。

上式可以进一步等价的通过以下方法计算：

其中C′_A，P′_A，C′_B，P′_B都是步骤4的结果，由于从集合A与B退化为样本a与b,所以记为C′_a，P′_a，C′_b，P′_b，运算符∧表示按位与操作，∨表示按位或操作。

由上可知，本实例方案能够实现对样本与样本、样本与集合、集合与集合的契合程度的统一度量。

目前计算两个集合的相似度或契合度，往往通过计算集合间所有样本的两两相似度，然后通过某种统计方式获得，当集合中样本规模很大时，这种运算复杂度会呈指数增长，而本实例方案在计算集合与集合契合程度时，通过提前运算并存储每个集合的两个向量，即推送向量与选择向量，由此来实现避免穷举计算两个集合中样本的两两契合程度，大幅度提高计算效率，保证集合间契合程度与样本间契合程度相同的计算复杂度。

在此原理方案的基础上，本方案构建了一套有选择特性的样本或集合间契合程度的统一度量系统，以对有选择特性的样本或集合间契合程度进行统一且高效的度量。

参见图2，其所示为本实例给出的统一度量系统100的组成示例方案。

由图可知，该统一度量系统100主要由输入模块110、向量构建模块120、主体选择模块130、凝练模块140、节选模块150、契合度计算模块160相互配合构成。

本系统中的输入模块110用于向系统内输入待度量集合。对于该输入模块110的构成可根据实际需求而定，此处不加以限定。

这里需要说明的，待度集合可以为规模为1的集合，即一个样本。

本实例中的向量构建模块120与输入模块110配合连接，用于针对输入模块110输入的待度量集合，分别构建相应的推送向量与选择向量。

对于该向量构建模块120的构成方案可根据实际需求而定，此处不加以限定。作为举例，该向量构建模块120基于前述步骤(1)的技术方案构成而成，并可按照步骤(1)的技术要求来构建待度集合相应的推送向量与选择向量。

本实例中的主体选择模块130与向量构建模块120配合连接，用于在向量构建模块对待度量集合构建相应推送向量与选择向量后，对待度量集合求取共同获得待度量集合中样本推送的选择主体集合。

对于该主体选择模块130的构成方案可根据实际需求而定，此处不加以限定。作为举例，该向量构建模块120基于前述步骤(2)的技术方案构成而成，并可按照步骤(2)的技术要求来计算共同推送选择主体集合。

本实例中的凝练模块140，其与主体选择模块130配合连接，用于对主体选择模块求取的选择主体集合进行凝练寻找其中点击过待度量集合中样本的用户集合。

对于该凝练模块140的构成方案可根据实际需求而定，此处不加以限定。作为举例，该向量构建模块120基于前述步骤(3)的技术方案构成而成，并可按照步骤(3)的技术要求来凝练寻找点击过待度量集合中样本的用户集合。

本实例中的节选模块150，其与凝练模块140配合连接，基于凝练模块凝练得到的用户集合节选待度量集合的推送向量与点击向量。

对于该节选模块150的构成方案可根据实际需求而定，此处不加以限定。作为举例，该节选模块150基于前述步骤(4)的技术方案构成而成，并可按照步骤(4)的技术要求来节选待度量集合的推送向量与点击向量。

本实例中的契合度计算模块160，其与节选模块150配合连接，根据节选模块获得待度量集合的推送向量与点击向量进行待度量集合间契合度计算。

对于该契合度计算模块160的构成方案可根据实际需求而定，此处不加以限定。作为举例，该契合度计算模块160基于前述步骤(5)的技术方案构成而成，并可按照步骤(5)的技术要求来完成待度量集合间契合度计算。

由此形成的系统统一度量系统100能够对集合与集合、样本与集合、样本与样本间的契合程度进行统一且高效的度量计算。

本系统在具体实现时，具体可相应的软件程序形式呈现，并可存储在相应的存储介质中，这里对于存储介质的构型形式不加以限定。

针对上述方案，以下通过以具体应用实例来进一步说明其实施过程。

参见图2，其所示为基于节点的推荐系统的实现原理图。在以知识、兴趣为底层概念的推荐系统中，一些最新的方法通过将知识点、兴趣点相契合的文章资讯或者商品服务聚合成节点然后实现精准推荐。

此类推荐系统中，高效计算节点间的契合程度是基本关键操作。在实施本发明所提出方案时，集合对应图3所示知识图中的节点(v₁,v₂,…)，样本对应帖子，选择主体对应用户。

首先，利用推荐系统对于每个帖子对用户的推送信息与用户的点击信息可以得到每个帖子，也就是每个样本的推送向量与选择向量；

然后按照本实例给出的统一度量方法中的步骤1到步骤5的顺序调取相应的公式进行计算，就可以得到节点间，也就是集合间的基于用户交互的契合程度度量。

最后，需要说明的，上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.有选择特性的集合间契合程度的度量方法，其特征在于，包括：

首先，构建待度量集合的推送向量与选择向量；集合推送向量为

集合选择向量

其中Z表示自然数域；推送向量P_A表示N个选择主体被推送集合A中样本的数量向量，通过集合A中每个样本推送向量相加获得；选择向量C_A表示N个选择主体选择集合A中样本的数量向量，通过集合A中每个样本选择向量相加获得；

定义向量

与

其中P_a表示N个选择主体被推送样本a的推送向量，如果样本a被推送给选择主体i，则

记为1，否则

记为0；C_a表示所有选择主体选择样本a的选择向量，如果选择主体i选择了样本a，则

记为1，否则

记为0；常量N表示选择主体的总数；

接着，获取共同获得待度量集合中样本推送的选择主体集合；

接着，凝练选择主体：寻找选择主体集合点击过待度量集合中样本的用户集合；

接着，基于凝练得到的用户集合节选待度量集合的推送向量与选择向量；

最后，计算待度量集合间契合度，并且在计算集合与集合契合程度时，提前运算并存储每个集合的推送向量与选择向量。

2.根据权利要求1所述的度量方法，其特征在于，所述方法中基于凝练得到的用户集合，通过向量点乘的方式节选待度量集合的推送向量与选择向量。

3.有选择特性的集合间契合程度的度量系统，其特征在于，包括：

向量构建模块，所述向量构建模块用于构建待度量集合的推送向量与选择向量；集合推送向量为

集合选择向量

其中Z表示自然数域；推送向量P_A表示N个选择主体被推送集合A中样本的数量向量，通过集合A中每个样本推送向量相加获得；选择向量C_A表示N个选择主体选择集合A中样本的数量向量，通过集合A中每个样本选择向量相加获得；定义向量

与

其中P_a表示N个选择主体被推送样本a的推送向量，如果样本a被推送给选择主体i，则

记为1，否则

记为0；C_a表示所有选择主体选择样本a的选择向量，如果选择主体i选择了样本a，则

记为1，否则

记为0；常量N表示选择主体的总数；

主体选择模块，所述主体选择模块在向量构建模块对待度量集合构建相应推送向量与选择向量后，对待度量集合求取共同获得待度量集合中样本推送的选择主体集合；

凝练模块，所述凝练模块对主体选择模块求取的选择主体集合进行凝练寻找其中点击过待度量集合中样本的用户集合；

节选模块，所述节选模块基于凝练模块凝练得到的用户集合节选待度量集合的推送向量与选择向量；

契合度计算模块，所述契合度计算模块根据节选模块获得待度量集合的推送向量与选择向量进行待度量集合间契合度计算。

4.根据权利要求3所述的度量系统，其特征在于，所述度量系统中还包括输入模块，所述输入模块用于输入待度量集合。

5.一种计算机可读存储介质，所述存储介质包括存储的程序，其特征在于，所述程序执行权利要求1-2中任一项所述的度量方法。

Images