发明内容
本说明书一个或多个实施例描述了一种资源发放模型的评估方法及装置,可以评估待评估模型相对于对照模型的资源转化值,从而可以得出待评估模型相对于对照模型,发放的资源是否更符合用户需求。
根据第一方面,提供了一种资源发放模型的评估方法,所述方法包括:
获取第一用户集合中各个用户对应的第一历史数据记录,其中所述第一用户集合包括第一用户,其对应的第一历史数据记录包括第一用户的用户特征,第一资源的标识,以及所述第一资源的使用信息;所述第一资源为在第一预设历史期间从预设的多种资源中向所述第一用户选择发放的资源;
利用待评估模型,根据所述第一用户的用户特征,确定向所述第一用户发放所述第一资源的第一概率;
获取对照模型向所述第一用户发放所述第一资源的第二概率;
基于所述第一概率、所述第二概率、所述第一用户对所述第一资源的使用信息,确定所述第一用户对应的待评估模型和对照模型的资源转化比;
基于所述第一用户集合中各个用户对应的待评估模型和对照模型的资源转化比,确定所述待评估模型相对于所述对照模型的资源转化值。
在一个实施例中,所述第一资源为以下任一种:
优惠券、支付红包、代金券、折扣券。
在一个实施例中,所述待评估模型使用第二用户集合中各个用户对应的第二历史数据记录进行训练得到;每条第二历史数据记录包括对应用户的用户特征、在所述第一预设历史期间向对应用户发放的资源的标识、在所述第一预设历史期间向对应用户发放的资源的使用信息。
在一个实施例中,所述对照模型为随机发放模型。
在一个实施例中,所述对照模型使用第三用户集合中各个用户对应的第三历史数据记录进行训练得到;每条第三历史数据记录包括对应用户的用户特征、在第二预设历史期间向对应用户发放的资源的标识、在所述第二预设历史期间向对应用户发放的资源的使用信息;所述第二预设期间为所述第一预设期间之前的时间段;
所述获取对照模型向所述第一用户发放所述第一资源的第二概率,包括:利用所述对照模型,根据所述第一用户的用户特征,确定向所述第一用户发放所述第一资源的第二概率。
在一个实施例中,所述方法还包括:基于所述第一资源使用信息,确定所述第一用户的资源使用值;
所述基于所述第一概率、所述第二概率、所述第一资源的使用信息,确定所述第一用户对应的待评估模型和对照模型的资源转化比,包括:
计算所述第一概率与所述第二概率的比值;
计算所述比值和所述第一用户的资源使用值的乘积,以得到所述第一用户对应的待评估模型和对照模型的资源转化比。
在一个示例中,所述第一资源具有有效期;所述第一资源的使用信息指示出,所述第一用户是否在所述有效期内使用了所述第一资源;
基于所述第一资源的使用信息,确定所述第一用户的资源使用值包括:
根据所述第一用户是否在所述有效期内使用了所述第一资源,将预设的两个离散值中的一个作为所述资源使用值。
在一个示例中,所述第一资源具有有效期;所述第一资源的使用信息指示出,所述第一用户在所述有效期内使用所述第一资源的比例;
基于所述第一资源的使用信息,确定所述第一用户的资源使用值包括:
将所述第一用户在所述有效期内使用所述第一资源的比例,作为所述资源使用值。
在一个实施例中,所述基于所述第一用户集合中各个用户对应的待评估模型和对照模型的资源转化比,确定所述待评估模型相对于所述对照模型的资源转化值,包括:
计算所述第一用户集合的各个用户对应的待评估模型和对照模型的资源转化比的平均值,以得到所述待评估模型相对于所述对照模型的资源转化值。
在一个实施例中,所述预设的多种资源中的任意种资源的标识被至少一条所述第一历史数据记录所包括。
根据第二方面,提供了一种资源发放模型的评估装置,所述装置包括:
第一获取单元,配置为获取第一用户集合中各个用户对应的第一历史数据记录,其中所述第一用户集合包括第一用户,其对应的第一历史数据记录包括第一用户的用户特征,第一资源的标识,以及所述第一资源的使用信息;所述第一资源为在第一预设历史期间从预设的多种资源中向所述第一用户选择发放的资源;
第一确定单元,配置为利用待评估模型,根据所述第一用户的用户特征,确定向所述第一用户发放所述第一资源的第一概率;
第二获取单元,配置为获取对照模型向所述第一用户发放所述第一资源的第二概率;
第二确定单元,配置为基于所述第一概率、所述第二概率、所述第一用户对所述第一资源的使用信息,确定所述第一用户对应的待评估模型和对照模型的资源转化比;
第三确定单元,配置为基于所述第一用户集合中各个用户对应的待评估模型和对照模型的资源转化比,确定所述待评估模型相对于所述对照模型的资源转化值。
根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面的方法。
根据第四方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。
根据本说明书实施例提供的方法和装置,通过本说明书实施例的方案,可基于历史上发放给用户的资源在待评估模型下和对照模型下的发放概率,以及该资源的使用信息信息,得到待评估模型相对于对照模型的资源转化值,可以评估待评估模型向用户发放的资源与用户的需求的匹配程度的高低。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
支付宝等电商平台,提供的服务种类日益丰富,例如生活缴费、交通出行、财富管理等,这为用户生活提供了便利。参考图1,电商平台可向用户发放资源,用户可以通过终端在电商平台上使用资源,从而方便用户体验或消费资源对应的服务。
电商平台可提供多种资源,例如电子资源(例如,手机流量,网盘存储空间)、虚拟资源(例如,VIP账号使用时间)、优惠券、支付红包、代金券、折扣券等。对于任意用户,电商平台可通过资源发放模型从所述多种资源中选择一种向该用户发放。可存在多个资源发放模型,例如随机发放模型、根据不同的用户特征进行训练得到的模型等,以供电商平台选择使用。容易理解,向用户发放的资源与用户的需求是否匹配,直接影响了用户体验,因此,需要对资源发放模型进行评估,以确定其是否相对于其他模型更适合用于资源发放。
根据一种方案,可以采用受试者工作特征(Receiver OperatingCharacteristic,ROC)曲线作为评价标准,具体可以绘制待评估模型对应的ROC曲线,然后计算该ROC曲线的ROC曲线线下面积(Area Under ROC Curve,AUC),一般地,该AUC越大,可以认为该资源发放模型越优。该方案适用于分类模型,即当资源发放模型为分类模型时,可以采用该方案进行评估。并且,该方案反映的是模型分类效果,无法直接体现其向用户发放的资源与用户的需求是否匹配。
本说明书实施例提供了一种资源发放模型的评估方法,其可以用于评估发放策略为概率策略的资源发放模型。具体的,可以分别获取历史上发放给用户的资源,在待评估模型下和对照模型下的发放概率;然后基于用户对该资源的使用信息,待评估模型下和对照模型下的发放概率,得到待评估模型相对于对照模型的资源转化值。容易理解,用户对该资源的使用信息反映了该资源与用户的需求是否匹配,其结合该资源在两个资源发放模型下的概率,得到的资源转化值,可以反映出这两个资源发放模型中哪一个模型发放与用户需求匹配的资源的概率更高,从而可以评估待评估模型相对对照模型的优劣。简而言之,本说明书实施例提供的资源发放模型的评估方法,可以评估待评估模型向用户发放的资源与用户的需求的匹配程度的高低。
接下来,参考图1,对本说明书实施例提供的资源发放模型的评估方法进行具体介绍。所述方法可以由任何具有计算、处理能力的装置、设备、平台、设备集群执行。如图1所示,所述方法包括如下步骤。步骤200、获取第一用户集合中各个用户对应的第一历史数据记录,其中所述第一用户集合包括第一用户,其对应的第一历史数据记录包括第一用户的用户特征,第一资源的标识,以及所述第一用户对所述第一资源的使用信息;所述第一资源为在第一预设历史期间从预设的多种资源中向所述第一用户选择发放的资源;步骤202、利用待评估模型,根据所述第一用户的用户特征,确定向所述第一用户发放所述第一资源的第一概率;步骤204、获取对照模型向所述第一用户发放所述第一资源的第二概率;步骤206、基于所述第一概率、所述第二概率、所述第一用户对所述第一资源的使用信息,确定所述第一用户对应的待评估模型和对照模型的资源转化比;步骤208、基于所述第一用户集合中各个用户对应的待评估模型和对照模型的资源转化比,确定所述待评估模型相对于所述对照模型的资源转化值。
接下来,结合具体例子对上述各步骤进行具体介绍。
首先,在步骤200中,获取第一用户集合中各个用户对应的第一历史数据记录,其中所述第一用户集合包括第一用户,其对应的第一历史数据记录包括第一用户的用户特征,第一资源的标识,以及所述第一资源的使用信息;所述第一资源为在第一预设历史期间从预设的多种资源中向所述第一用户选择发放的资源。
第一预设历史期间为当前时间之前的一个时间段,比如当前时间之前的一周或一个月等,再比如节日前后的一段时间。在第一预设历史期间,可以将预设的多种资源,例如电子资源、虚拟资源、优惠券、支付红包、代金券、折扣券等,发放给多个用户,其中,对于任一个用户,可向其发放一种资源,例如向其发放免费流量或支付红包等。
对于所述多个用户中的各用户,可以获取其用户日志数据以及向其发放的资源对应的流水日志数据。这些数据中包括用户特征、资源的标识、用户对资源的使用信息。将这些数据和对应的用户标识进行关联,从而可以得到所述多个用户中各用户各自对应历史数据记录。
用户特征可以理解为用户画像,例如用户的年龄、性别、职业、消费过的服务、购买过的商品等。用户特征可以从用户的注册信息获取,或者通过收集各用户的历史行为获取。
所述多个用户包括所述第一用户集合,为方便描述,可以将所述第一用户集合中各用户对应的历史数据记录称为第一历史数据记录。
所述第一用户集合对应的多条第一历史数据记录用作评估资源发放模型的评估数据集。
在一个实施例中,所述预设的多种资源中的任意种资源的标识被至少一条所述第一历史数据记录所包括。也就是说,为了实现对资源发放模型的全面评估,采用的评估数据集覆盖了所述预设的多种资源中各个资源。例如,假定有10种资源,那么可以使得获得的第一用户集合中各个用户被分发的资源种类的并集包含这10种资源,也就是,每种资源至少包含在一个用户对应的历史数据记录中。
接着,在步骤202中,采用待评估模型,根据所述第一用户的用户特征,确定向所述第一用户发放所述第一资源的第一概率。
发放策略为概率策略,且发放各资源的概率与用户特征相关联的资源发放模型,可以作为待评估模型。以所述第一用户为例,将其用户特征输入待评估模型,待评估模型可以输出向其发放所述第一资源的概率,即第一概率。
在一个实施例中,所述待评估模型使用第二用户集合中各个用户对应的第二历史数据记录进行训练得到。
可以将所述多个用户划分为所述第一用户集合和所述第二用户集合。如步骤200中所说,所述第一用户集合中各用户对应的第一历史数据记录用作评估数据集。为方便描述,所述第二用户集合中各用户对应的历史数据记录可称为第二历史数据记录。因此,第二历史数据记录的数据格式与第一历史数据记录可以相同,即每条第二历史数据记录包括对应用户的用户特征、在所述第一预设历史期间向对应用户发放的资源的标识、在所述第一预设历史期间向对应用户发放的资源的使用信息。
第二历史数据记录可作为训练数据集,以训练得到所述待评估模型。具体的,可以将每条第二历史数据记录中的资源使用信息作为样本标签,将其他信息作为样本特征,训练待评估模型。具体训练过程,可以参考现有技术的介绍,在此不再赘述。
另外,在步骤204中,获取对照模型向所述第一用户发放所述第一资源的第二概率。
需要说明的是,虽在行文上,将步骤204放在了步骤202之后进行描述,但不说明在执行时,步骤204必然在步骤202之后执行。步骤204可以与步骤202可以同时执行,也可以在执行步骤202之前执行,也可以在执行步骤202之后执行。
在一个实施例中,所述对照模型为随机发放模型。
随机发放模型的发放策略为随机发放,对于M种资源中任一种资源,向任一用户发放该资源的概率为
在一个实施例中,可以将在训练所述待评估模型之前训练的模型作为对照模型。具体的,对照模型的训练数据集对应的资源发放时间在待评估模型的训练数据集对应的资源发放时间之前。
为方便描述,将用作对照模型的训练数据集的每一条历史数据记录称为第三历史数据记录,将各条第三历史数据记录对应的用户组成的用户集合称为第三用户集合。
第三用户集合可以包括第一用户集合中用户,也可以包括第二用户集合中的用户。
第三历史数据记录的数据格式与第二历史数据记录相同,包括对应用户的用户特征、向对应用户发放的资源的标识、向对应用户发放的资源的使用信息。与第二历史数据记录不同的是,第三历史数据记录中资源的发放时间所在的时间段早于第二历史数据记录中资源的发放时间所在的时间段。
容易理解,即使对于同一用户,在不同时间段获取或收集的用户特征也不尽相同;并且,在不同时间两次发放的资源,即使属于一种资源,其对应的使用信息也可能是不同的。因此,采用多条第三历史数据记录训练的资源发放模型,和采用多条第二历史数据记录训练的资源发放模型往往是不同的。进而,可以将采用多条第三历史数据记录训练的资源发放模型用作对照模型。
在该实施例中,可以将所述第一用户的用户特征输入对照模型,对照模型可以输出向所述第一用户发放所述第一资源的概率,即第二概率。
其次,在步骤206中,基于所述第一概率、所述第二概率、所述第一用户对所述第一资源的使用信息,确定所述第一用户对应的待评估模型和对照模型的资源转化比。
在一个实施例中,可以基于第一用户集合中任一用户对应的资源的使用信息,确定所述该用户的资源使用值;并计算该用户对应的第一概率与第二概率的比值;然后计算所述比值和该用户的资源使用值的乘积,以得到该用户对应的待评估模型和对照模型的资源转化比。
在该实施例的一个示例中,可以通过公式(1)计算第i个用户对应的待评估模型和对照模型的资源转化比Zi。
其中,Ri表示第i个用户的资源使用值,Bi表示第i个用户对应的第一概率,Ai表示第i个用户对应的第二概率。
在该实施例的一个示例中,对于第一用户集合中的任一用户,其对应的资源具有有效期。
在该示例的一个例子中,第一用户集合中的任一用户对应的资源的使用信息指示出该用户是否在该资源的有效期内使用了该资源。可以预设两个离散值,分别对应用户在资源的有效期内使用了资源和没有使用资源。在一个例子中,预设的两个离散值分别为1和0,其中1对应用户在资源的有效期内使用了资源,0对应用户在资源的有效期内没有使用资源。当用户对应的资源的使用信息指示出该用户在该资源的有效期内使用了该资源,则将1作为该用户的资源使用值Ri。当用户对应的资源的使用信息指示出该用户在该资源的有效期内没有使用了该资源,则将0作为该用户的资源使用值Ri。
在该示例的一个例子中,第一用户集合中的任一用户对应的资源可以包括多个子资源,所述多个子资源可以分开使用。例如资源可以包括两个支付红包,用户可以先使用其中一个红包,然后再使用另一个红包。或者,资源可以按照比例使用,例如资源可以为具有一定面额的代金券,可以根据用户消费的服务不同,该代金券可以抵扣的金额不同,又例如资源为一定额度的手机流量,用户在领取之后可以在一定期限内在该额度之后免费使用流量。因此,第一用户集合中的任一用户对应的资源的使用信息可以指示出,该用户在该资源有效期内使用该资源的比例;例如,资源为两个支付红包,用户使用了一个,未使用另一个,使用该资源的比例为使用的红包的面额占两个红包总面额的比例;再例如,资源为代金券,使用资源的比例为用户使用代金券抵扣的金额占该代金券面额的比例,或者资源为手机流量,使用资源的比例为用户在一定期限内使用的流量和发放流量的额度的比例。
在该例子中,可以用户将使用资源的比例,作为该用户的资源使用值Ri。
如此,基于步骤203和204分别确定的第一概率、第二概率,以及以上确定的第一用户的资源使用值,可以确定第一用户对应的待评估模型和对照模型的资源转化比。
然后,在步骤208中,基于所述第一用户集合中各个用户对应的待评估模型和对照模型的资源转化比,确定所述待评估模型相对于所述对照模型的资源转化值。
待评估模型相对于对照模型的资源转化值可用于表征相对于对照模型,待评估模型发放与用户需求匹配的资源的概率的高低。将待评估模型相对于对照模型的资源转化值作为评估资源发放模型的指标,可以筛选出可以较大概率向用户发放符合用户需要的资源的资源发放模型。
在该实施例的一个示例中,待评估模型相对于对照模型的资源转化值E可通过公式(2)计算得到。
其中,n表示第一用户集合中用户的个数,Zi表示第一用户集合第i个用户对应的待评估模型和对照模型的资源转化比,具体可以通过公式(1)计算得到。
在该实施例的一个示例中,计算所述第一用户集合的各个用户对应的待评估模型和对照模型的资源转化比的平均值,以得到所述待评估模型相对于所述对照模型的资源转化值。
在该示例的一个例子中,待评估模型和对照模型的资源转化比的平均值可以为简单平均值
具体可通过公式(3)计算得到。
其中,n表示第一用户集合中用户的个数,Zi表示第一用户集合第i个用户对应的待评估模型和对照模型的资源转化比,具体可以通过公式(1)计算得到。
如前所述,在一个具体实现方式中,第一集合中各个用户的资源使用值可以为0或1。考虑到对于资源值使用值为0的用户i,按照公式(1)进行计算时Z
i值必然为0而与第一概率和第二概率的大小无关,进而对
的评估没有贡献,在一个实施例中,在按照公式(3)进行计算时,仅选取资源使用值不为0的用户。在该实现方式中,如果/>
大于1,则表明相对于对照模型,待评估模型发放与用户需求匹配的资源的概率更高。
在该示例的一个例子中,可以假设共有m种资源,可以预设各种资源的权重,例如可以根据各种资源的成本预先设置权重。待评估模型和对照模型的资源转化比的平均值可以为加权平均值
可通过公式(5)计算得到。
其中,n表示第一用户集合中用户的个数;Zi表示第一用户集合第i个用户对应的待评估模型和对照模型的资源转化比,具体可以通过公式(1)计算得到;θ表示各种资源构成的集合;设定第i个用户对应的资源为第j个资源,aij表示第i个用户对应的资源的权重。
根据本说明书实施例提供的资源发放模型的评估方法,基于历史上发放给用户的资源在待评估模型下和对照模型下的发放概率,以及该资源的使用信息,得到待评估模型相对于对照模型的资源转化值,可以评估待评估模型向用户发放的资源与用户的需求的匹配程度的高低。
如此,对于多个待评估模型,可以固定对照模型,分别计算多个待评估模型相对于该对照模型的资源转化值,作为该待评估模型性能优劣的指标。资源转化值更高的待评估模型对应于更优异的性能,利用这样的模型进行资源发放,会有更大的概率发放出与用户需求相匹配的资源类型。
第二方面,本说明书实施例提供了一种资源发放模型的评估装置300。参考图3,所述装置300包括:
第一获取单元310,配置为获取第一用户集合中各个用户对应的第一历史数据记录,其中所述第一用户集合包括第一用户,其对应的第一历史数据记录包括第一用户的用户特征,第一资源的标识,以及所述第一资源的使用信息;所述第一资源为在第一预设历史期间从预设的多种资源中向所述第一用户选择发放的资源;
第一确定单元320,配置为利用待评估模型,根据所述第一用户的用户特征,确定待评估模型向所述第一用户发放所述第一资源的第一概率;
第二获取单元330,配置为获取对照模型向所述第一用户发放所述第一资源的第二概率;
第二确定单元340,配置为基于所述第一概率、所述第二概率、所述第一用户对所述第一资源的使用信息,确定所述第一用户对应的待评估模型和对照模型的资源转化比;
第三确定单元350,配置为基于所述第一用户集合中各个用户对应的待评估模型和对照模型的资源转化比,确定所述待评估模型相对于所述对照模型的资源转化值。
在一个实施例中,所述第一资源为以下任一种:
优惠券、支付红包、代金券、折扣券。
在一个实施例中,所述待评估模型使用第二用户集合中各个用户对应的第二历史数据记录进行训练得到;每条第二历史数据记录包括对应用户的用户特征、在所述第一预设历史期间向对应用户发放的资源的标识、在所述第一预设历史期间向对应用户发放的资源的使用信息。
在一个实施例中,所述对照模型为随机发放模型。
在一个实施例中,所述对照模型使用第三用户集合中各个用户对应的第三历史数据记录进行训练得到;每条第三历史数据记录包括对应用户的用户特征、在第二预设历史期间向对应用户发放的资源的标识、在所述第二预设历史期间向对应用户发放的资源的使用信息;所述第二预设期间为所述第一预设期间之前的时间段;
所述第二获取单元330还配置为,利用所述对照模型,根据所述第一用户的用户特征,确定向所述第一用户发放所述第一资源的第二概率。
在一个实施例中,所述装置300还包括第四确定单元360,配置为基于所述第一资源使用信息,确定所述第一用户的资源使用值;
所述第二确定单元340还配置为,计算所述第一概率与所述第二概率的比值;
所述第二确定单元340还配置为,计算所述比值和所述第一用户的资源使用值的乘积,以得到所述第一用户对应的待评估模型和对照模型的资源转化比。
在一个示例中,所述第一资源具有有效期;所述第一资源的使用信息指示出,所述第一用户是否在所述有效期内使用了所述第一资源;
所述第四确定单元360还配置为,根据所述第一用户是否在所述有效期内使用了所述第一资源,将预设的两个离散值中的一个作为所述资源使用值。
在一个示例中,所述第一资源具有有效期;所述第一资源的使用信息指示出,所述第一用户在所述有效期内使用所述第一资源的比例;
所述第四确定单元360还配置为,将所述第一用户在所述有效期内使用所述第一资源的比例,作为所述资源使用值。
在一个实施例中,所述第三确定单元350还配置为,计算所述第一用户集合的各个用户对应的待评估模型和对照模型的资源转化比的平均值,以得到所述待评估模型相对于所述对照模型的资源转化值。
在一个实施例中,所述预设的多种资源中的任意种资源的标识被至少一条所述第一历史数据记录所包括。
装置300的各功能单元可以参考图2所示的方法实施例实现,在此不再赘述。
另一方面,本说明书的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行图2所示的方法。
另一方面,本说明书的实施例提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现图2所示的方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。