CN111724238B - 产品推荐准确度评价方法、装置、设备及存储介质 - Google Patents

产品推荐准确度评价方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111724238B
CN111724238B CN202010581224.1A CN202010581224A CN111724238B CN 111724238 B CN111724238 B CN 111724238B CN 202010581224 A CN202010581224 A CN 202010581224A CN 111724238 B CN111724238 B CN 111724238B
Authority
CN
China
Prior art keywords
product
user
user behavior
recommended
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010581224.1A
Other languages
English (en)
Other versions
CN111724238A (zh
Inventor
蔡金成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202010581224.1A priority Critical patent/CN111724238B/zh
Publication of CN111724238A publication Critical patent/CN111724238A/zh
Application granted granted Critical
Publication of CN111724238B publication Critical patent/CN111724238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据，公开了一种产品推荐准确度评价方法，包括：获取用户浏览产品时的第一用户行为信息，包括用户行为特征以对应的发生次数；将第一用户行为信息输入预置行为权重模型进行预测，输出用户行为特征与用户浏览产品之间的关联度权重；获取待评价的包含排序信息的产品推荐信息以及对应的第二用户行为信息，结合关联度权重，计算用户账户与推荐产品的关联度系数，再结合推荐产品的排序信息，对产品推荐准确度评价，得到产品推荐模型的评价得分，得到评价等级。此外，本发明还涉及区块链技术，用户行为信息可存储于区块链中。通过关联度权重准确定位用户账号与推荐产品的关联度系数，计算得到的推荐模型对产品推荐准确度的评价等级更准确。

Description

产品推荐准确度评价方法、装置、设备及存储介质
技术领域
本发明涉及大数据风险管控，尤其涉及一种产品推荐准确度评价方法、装置、设备及存储介质。
背景技术
得益与大数据时代的发展，在我们注册账号及使用一个app或者网站，尤其是购物类型的app或者网站，随着使用时间的延长，app或者网站总能越来越靠近我们的心，向我们推荐我们心仪的产品；而搜索引擎也能根据我们输入的内容从不同地方为我们推荐与输入内容相关的资料，解决我们的疑问。而有时候并非如此，购物网站推荐与用户相关度不高的产品，在搜索引擎输入关键字无法得到我们想要的答案，故对这些app、网站、搜索引擎等与信息推荐相关的系统进推荐优劣的评估也很必要。
当前已有多种衡量搜索引擎算法与推荐算法的指标，如准确率、精确率、召回率等，而归一化折损累积增益NDCG(Normalized Discounted Cumulative Gain，归一化折损累积增益)是一个常用于评价搜索引擎算法与推荐算法准确度的指标，NDCG为DCG(Discounted Cumulative Gain，折损累积增益)与IDCG(Idea Discounted CumulativeGain，理想折损累积增益)比值。输入一个关键词得到多种关联的推荐结果，或者根据用户的兴趣度向用户推荐多种商品，IDCG描述的是推荐结果如果在最佳排序方式下，计算得到的指标得分。对于搜索引擎来说，本身带有客观属性的关键词来说尚可客观描述与推荐结果的关联程度；而对于推荐算法，用户与推荐的商品则难以客观的描述两者的关联度高低，现有技术是通过用户对商品的已有评分作为两者的关联度评价，但对于没有评分的商品则难以定义该商品与用户的关联性，导致难以准确定义IDCG的值，影响NDCG对推荐算法的评估准确度。
发明内容
本发明的主要目的在于解决现有推荐模型评估技术对推荐模型的评估不够准确的问题。
本发明第一方面提供了一种产品推荐准确度评价方法，包括：
获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
可选地，在本发明第一方面的第一种实现方式中，在所述将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重之前，还包括：
获取训练数据宽表模板，其中，所述训练数据宽表模板包含多种用户行为特征对应的标题字段；
将所述多种用户行为特征中的发生次数写入所述数据宽表模板中对应的标题字段下的表列中；
为所述多种用户行为特征添加身份标识符，并设置所述用户购买行为为目标变量，设置所述其他用户行为为辅助变量，生成训练数据宽表。
可选地，在本发明第一方面的第二种实现方式中，所述将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重包括：
设置行为权重模型的训练参数，其中，所述训练参数包括最大迭代次数、停止迭代变量阈值、迭代步长；
根据由所述第一用户行为信息生成的训练数据宽表中的训练数据，初始化所述多种用户行为特征对应的关联度权重；
根据初始化的关联度权重，对所述训练数据进行转换，得到对应的转换训练数据；
对所述转换训练数据对应的多种用户行为特征进行估值，并计算所述多种用户行为特征的估值与对应多种用户行为特征的的初始估值的估值差；
根据上代关联度权重、迭代步长、多种用户行为特征的估值差得到当代关联度权重；
当所述多种用户行为特征对应的迭代变化量均小于停止迭代变化量阈值时，将所述多种用户行为特征对应的当代关联度权重对应输出。
可选地，在本发明第一方面的第三种实现方式中，所述根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数包括：
解析所述第二用户行为信息，得到多种用户行为特征；
基于所述多种用户行为特征对应的发生次数与所述关联度权重，计算所述多种用户行为特征与所述推荐产品的单项关联度得分；
统计所述多种用户行为特征的单项关联度得分，得到所述用户账号与所述产品推荐信息的关联度系数。
可选地，在本发明第一方面的第四种实现方式中，所述根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分包括：
根据所述产品排序信息，得到所述推荐产品的推荐排序；
采用以下公式计算所述产品推荐模型的折损累积增益，并将所述折损累积增益作为所述产品推荐模型的评价得分：
Figure BDA0002553271740000031
其中，DCGp为折损累积增益，rel1为第一个推荐产品的关联度得分，i表示所述推荐产品在所述推荐排序中的排序位置，reli为第i个推荐产品的关联度得分，log2(i)为第i个推荐产品的折损值，p为大于等于2的正整数。
可选地，在本发明第一方面的第五种实现方式中，在所述根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分之后，还包括：
根据所述用户账号与所述推荐产品的关联度系数由高至低对所述推荐产品进行重排，得到所述推荐产品的最优排序；
根据所述最优排序，从所述推荐产品中剔除不符合评估规则的推荐产品；
采用以下公式计算所述产品推荐模型的理想折损累积增益：
Figure BDA0002553271740000032
其中，IDCGp为理想折损累积增益，j表示所述推荐产品在所述最优排序中的排序位置，relj为剔除不符合评估规则的推荐产品后第j个推荐产品的关联度得分，log2(j+1)为第j个推荐产品的折损值。
可选地，在本发明第一方面的第六种实现方式中，所述根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级包括：
根据所述理想折损累积增益，对所述折损累积增益进行归一化处理；
根据归一化处理后的折损累积增益，得到所述产品推荐模型的评价等级。
本发明第二方面提供了一种产品推荐准确度评价装置，包括：
第一用户行为信息获取模块，用于获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
关联度权重预测模块，用于将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
第二用户行为信息获取模块，用于获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
关联度系数计算模块，用于根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
准确度评价模块，用于根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
评价等级生成模块，用于根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
可选地，在本发明第二方面的第一种实现方式中，在所述关联度权重预测模块之前还包括训练数据宽表生成模块，其具体用于：
获取训练数据宽表模板，其中，所述训练数据宽表模板包含多种用户行为特征对应的标题字段；
将所述多种用户行为特征中的发生次数写入所述数据宽表模板中对应的标题字段下的表列中；
为所述多种用户行为特征添加身份标识符，并设置所述用户购买行为为目标变量，设置所述其他用户行为为辅助变量，生成训练数据宽表。
可选地，在本发明第二方面的第二种实现方式中，所述关联度权重预测模块还包括：
参数设置单元，用于设置行为权重模型的训练参数，其中，所述训练参数包括最大迭代次数、停止迭代变量阈值、迭代步长；
数据初始化单元，用于根据由所述第一用户行为信息生成的训练数据宽表中的训练数据，初始化所述多种用户行为特征对应的关联度权重；
数据转换单元，用于根据初始化的关联度权重，对所述训练数据进行转换，得到对应的转换训练数据；
特征估值单元，用于对所述转换训练数据对应的多种用户行为特征进行估值，并计算所述多种用户行为特征的估值与对应多种用户行为特征的的初始估值的估值差；
关联度权重训练单元，用于根据上代关联度权重、迭代步长、多种用户行为特征的估值差得到当代关联度权重；当所述多种用户行为特征对应的迭代变化量均小于停止迭代变化量阈值时，将所述多种用户行为特征对应的当代关联度权重对应输出。
可选地，在本发明第二方面的第三种实现方式中，所述所述关联度系数计算模块包括：
解析单元，用于解析所述第二用户行为信息，得到多种用户行为特征；
单项关联度得分计算单元，用于基于所述多种用户行为特征对应的发生次数与所述关联度权重，计算所述多种用户行为特征与所述推荐产品的单项关联度得分；
关联度系数统计单元，用于统计所述多种用户行为特征的单项关联度得分，得到所述用户账号与所述产品推荐信息的关联度系数。
可选地，在本发明第二方面的第四种实现方式中，所述准确度评价模块具体用于：
根据所述产品排序信息，得到所述推荐产品的推荐排序；
采用以下公式计算所述产品推荐模型的折损累积增益，并将所述折损累积增益作为所述产品推荐模型的评价得分：
Figure BDA0002553271740000051
其中，DCGp为折损累积增益，rel1为第一个推荐产品的关联度得分，i表示所述推荐产品在所述推荐排序中的排序位置，reli为第i个推荐产品的关联度得分，log2(i)为第i个推荐产品的折损值，p为大于等于2的正整数。
可选地，在本发明第二方面的第五种实现方式中，在所述准确度评价模块之后，还包括最优折损评估模块，所述最由折损评估模块具体包括：
重排单元，用于根据所述用户账号与所述推荐产品的关联度系数由高至低对所述推荐产品进行重排，得到所述推荐产品的最优排序；
剔除单元，用于根据所述最优排序，从所述推荐产品中剔除不符合评估规则的推荐产品；
计算单元，用于采用以下公式计算所述产品推荐模型的理想折损累积增益：
Figure BDA0002553271740000061
其中，IDCGp为理想折损累积增益，j表示所述推荐产品在所述最优排序中的排序位置，relj为剔除不符合评估规则的推荐产品后第j个推荐产品的关联度得分，log2(j+1)为第j个推荐产品的折损值。
可选地，在本发明第二方面的第六种实现方式中，所述评价等级生成模块具体用于：
根据所述理想折损累积增益，对所述折损累积增益进行归一化处理；
根据归一化处理后的折损累积增益，得到所述产品推荐模型的评价等级。
本发明第三方面提供了一种产品推荐准确度评价设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述产品推荐准确度评价设备执行上述的产品推荐准确度评价方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的产品推荐准确度评价方法。
本发明提供的技术方案中，通过用户账号对产品的历史第一用户行为信息，以关联度权重模型训练出用户行为中每一个用户行为特征与用户浏览产品的关联度权重，再以此计算出用户账号与每一个推荐产品的关联度系数，根据关联度系数计算出预置评估模型的理想折损累积增益，最后根据推荐模型评估算法计算出产品推荐模型的推荐评估得分，可准确定位用户账号与产品的关联度，并以此计算出对该推荐算法评估模型的推荐评估得分更准确。
附图说明
图1为本发明中产品推荐准确度评价方法的第一个实施例示意图；
图2为本发明中产品推荐准确度评价方法的第二个实施例示意图；
图3为本发明中产品推荐准确度评价方法的第三个实施例示意图；
图4为本发明中产品推荐准确度评价方法的第四个实施例示意图；
图5为本发明中产品推荐准确度评价装置的一个实施例示意图；
图6为本发明中产品推荐准确度评价装置的另一个实施例示意图；
图7为本发明中产品推荐准确度评价设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种产品推荐准确度评价方法、装置、设备及存储介质，通过用户账号对产品的历史第一用户行为信息，以关联度权重模型训练出用户行为中每一个用户行为特征与用户浏览产品的关联度权重，再以此计算出用户账号与每一个推荐产品的关联度系数，根据关联度系数计算出预置评估模型的理想折损累积增益，最后根据推荐模型评估算法计算出产品推荐模型的推荐评估得分，可准确定位用户账号与产品的关联度，并以此计算出对该推荐算法评估模型的推荐评估得分更准确。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中产品推荐准确度评价方法的第一个实施例包括：
101、获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
可以理解的是，本发明的执行主体可以为产品推荐准确度评价装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。需要强调的是，为进一步保证上述用户行为信息的私密和安全性，上述用户用户行为信息还可以存储于一区块链的节点中。
本实施例中，根据用户浏览产品时的历史用户信息来预测用户行为中多种用户行为特征与用户是否会购买产品的关联度影响大小，可更客观准确地评价用户行为特征与产品的关联度。其中，多种用户行为特征包括用户对产品的点击、收藏、加购、下单、购买等操作。
102、将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
本实施例中，推荐算法的目的在于推荐用户感兴趣的产品，并吸引用户购买该产品，可以理解为，用户是否购买该产品等同于用户与该产品的关联度是否足够高，购买即有足够高的关联度，无购买即关联度不足，故对于用户对产品曾经进行的点击、收藏、加购、下单、购买等操作，以购买做为目标变量，点击、收藏、加购、下单做为辅助变量，利用多元逻辑回归模型，比如sklearn来训练训练点击、收藏、加购、下单等用户行为对购买行为的影响权重，即为每一个用户行为对产品的关联度权重。
103、获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
本实施例中，当利用本系统评估某一个销售网站的推荐算法时，先爬取该销售网站中，用户账号与对应的产品推荐信息，及用户对推荐产品进行操作的第二用户行为信息，以两者作为评估样本，其中，样本数量越大，对该推荐算法的推荐评估得分越准确。另外，由于本系统是根据用户行为特征与产品的关联系数来评估推荐算法的准确度，即对用户账号的留存时间或者活跃程度有一定的限制，对于新用户账号或者留存时间较短的用户账号，并不存在或者存在较少对推荐产品进行操作的痕迹，以此来评价该推荐算法的准确度意义不大，故在获取用户账号的产品推荐信息及相关的用户行为信息时，可限定用户账号留存时间为半年或者一年以上，或者活跃程度高的留存时间为三个月以上的用户账号。
104、根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
本实施例中，对于推荐产品，用户若对该推荐产品的操作次数越多，对应用户行为特征关联度权重越大，则用户对该推荐产品的兴趣度越大，即关联度系数越大。故以用户每一个用户行为特征的关联度权重乘以对推荐产品对应的操作次数，即可得到每一个用户行为特征影响用户与产品关联度的单项关联度得分，再累加，即可得到最终该用户对推荐产品的关联度系数。具体的，关联度系数的计算公式如下：
Figure BDA0002553271740000081
其中，i表示第i个用户行为特征，Ni表示第i个用户行为特征的操作次数，Wi标识第i个用户行为特征的关联度权重，n为正整数。
105、根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
本实施例中，对产品推荐模型的评价得分NDCG的前身是折损累积增益(DCG)，而DCG的前身则为累积增益(CG)，用户账号对每一个推荐产品的关联度系数累加即可得到CG，表示用户账号对所述产品推荐结果的关联度，但缺乏对推荐产品位置的考虑，推荐产品的排序位置越前，越能增加用户购买的机会，排序位置越后，推荐产品曝光的几率越低，故在CG的基础上加入排序折损因子，排序位置越靠后的推荐产品其影响力越小，即DCG。由于推荐产品数量随着用户账号不同而不同，返回的DCG亦无可比性，故需要对DCG做归一化处理，得到最终的对产品推荐模型的评价得分，其中DCG的归一化处理由IDCG介入，故在计算得到较客观的关联度系数之后，以此计算出的理想折损累积增益更准确，对产品推荐模型的评价得分的真正推荐评估得分影响更小。
具体的，产品推荐模型的评价得分、DCG、IDCG计算方式如下：
Figure BDA0002553271740000091
其中，i表示所述推荐产品在所述推荐排序中的排序位置，reli为第i个推荐产品的关联度得分，log2(i)为第i个推荐产品的折损值，p为大于等于2的正整数。
Figure BDA0002553271740000092
其中，i表示所述推荐产品在所述推荐排序中的排序位置，reli为第i个推荐产品的关联度得分，log2(i)为第i个推荐产品的折损值。
Figure BDA0002553271740000093
106、根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
本实施例中，预置的推荐模型的准确度评价规则规定了不同评价得分区间对应不同的评价等级，不同评价等级确定了不同产品推荐模型的优劣程度。在计算得到待评价的产品推荐模的评价得分之后，即可得到对应的评价等级。
具体的，若预置的推荐模型的准确度评价规则中规定了五个评价等级，“好”，“较好”。“中等”，“较差”，“差”，如下所述：
评价得分区间[a,b)：“好”；评价得分区间[b,c)：“较好”；评价得分区间[c,d)：“中等”；评价得分区间[d,e)：“较差”；评价得分区间[e,f)：“差”。
本发明实施例中，通过用户账号对产品的历史第一用户行为信息，以关联度权重模型训练出用户行为中每一个用户行为特征与用户浏览产品的关联度权重，再以此计算出用户账号与每一个推荐产品的关联度系数，根据关联度系数计算出预置评估模型的理想折损累积增益，最后根据推荐模型评估算法计算出产品推荐模型的推荐评估得分，可准确定位用户账号与产品的关联度，并以此计算出对该推荐算法评估模型的推荐评估得分更准确。
请参阅图2，本发明中产品推荐准确度评价方法的第二个实施例包括：
201、获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
202、获取训练数据宽表模板，其中，所述训练数据宽表模板包含多种用户行为特征对应的标题字段；
本实施例中，在利用第一用户行为信息，调用关联度权重训练模型训练每一个用户行为特征的关联度权重之前，需先对第一用户行为的相关数据做初步的处理，做为模型训练的数据源。模型训练的数据源其格式都统一由训练数据宽表模板控制，对第一用户行为信息内的数据进行过滤及处理，这里只需要获取用户行为特征及相对的用户行为次数，并依次填入训练数据宽表模型对应的标题字段下即可。
具体的，比如用户行为特征包括点击、收藏、加购、下单、购买，则训练数据宽表模板为对应的点击、收藏、加购、下单、购买五个标题字段，标题之下的表列可填入每一个对应用户行为特征的用户行为次数。
203、将所述多种用户行为特征中的发生次数写入所述数据宽表模板中对应的标题字段下的表列中；
本实施例中，用户使用用户账号曾经对产品操作过的用户行为特征带有对应的用户操作次数，只需将用户操作次数顺序填入对应的标题字段下的表列中即可。比如用户1曾操作过的产品有[产品1，产品2，产品3，产品4]，而用户1对产品1、产品2、产品3、产品4、的用户行为次数[点击，收藏，加购，下单，是否购买(1为购买，0为未购买)]分别为：[8,2,2,1,1]，[7,2,3,2,1]，[2,0,1,0,0]，[7,1,0,1,0]，则训练数据宽表模板中，点击标题字段下的表列顺序填入8，7，2,7；收藏标题字段下的表列顺序填入2,2,0,1；加购标题字段下的表列顺序填入2,3,1,0；下单标题字段下的表列顺序填入1,2,0,1；购买标题字段下的表列顺序填入1,1,0,0即可。
204、为所述多种用户行为特征添加身份标识符，并设置所述用户购买行为为目标变量，设置所述其他用户行为为辅助变量，生成训练数据宽表；
本实施例中，将填入训练数据宽表模板中的训练数据进行标注身份标识符，不同类型的数据在关联度权重训练模型中的作用不同，可通过身份标识符来区分及特异性获取。其中，用户行为特征中的用户购买行为用户衡量用户是否对对应的产品感兴趣，购买了即感兴趣，则用户与该产品的关联度高，未购买即不感兴趣，则用户与该产品的关联度低，可做为训练模型的目标变量，即控制变量，用于解释多元逻辑回归的结果，而其他用户行为特征如点击、收藏、加购、下单则作为训练模型的辅助变量，即特征变量，以辅助变量影响目标变量的原则对模型进行训练，这里先对相关的变量先做分类的标识，并设置好目标变量与辅助变量，生成预置关联度权重模型所需的训练数据宽表。
比如，用户行为特征中的点击、收藏、加购、下单、购买分别用字段a、字段b、字段c、字段d、字段e、进行标识，再通过字段e设置购买为目标变量，通过字段a、字段b、字段c、字段d为辅助变量。
205、将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
206、获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
207、根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
208、根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
209、根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
本发明实施例中，通过提前构建训练数据的数据宽表，对多种用户行为信息进行初步的结构化拼接，分为目标变量与辅助变量，有助于提升模型训练效率时数据获取效率。
请参阅图3，本发明中产品推荐准确度评价方法的第三个实施例包括：
301、获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
302、设置行为权重模型的训练参数，其中，所述训练参数包括最大迭代次数、停止迭代变量阈值、迭代步长；
303、根据由所述第一用户行为信息生成的训练数据宽表中的训练数据，初始化所述多种用户行为特征对应的关联度权重；
本实施例中，训练数据宽表中的训练数据分为目标变量与辅助变量两类数据，将目标变量类型的数据转换为第一数据集Xi＝{X1,X2,...Xk,Yk}，其中X1至Xk分别为m个维度的向量表示，Y为k个维度的向量表示；将辅助变量类型的数据转换为第二数据集X'i＝{X'1,X'2,...,X'k}，X′1至X′k，分别为n个维度的向量表示；由于训练的数集维度不同，因此在应用模型进行训练前需对数据维度进行扩展，将维度权重设置为m+n+1，对用的训练数据的维度权重为
Figure BDA0002553271740000121
304、根据初始化的关联度权重，对所述训练数据进行转换，得到对应的转换训练数据；
本实施例中，进行初次迭代计算时，采用转换公式对训练数据进行转换：
Figure BDA0002553271740000122
对第一数据集转换至对应的第一转换训练数据C1、C2...、Ck；采用转换公式
Figure BDA0002553271740000123
对第二数据转换得到对应的第二转换训练数据C′1、C′2...、C′k。i∈(1，K)，
Figure BDA0002553271740000124
与
Figure BDA0002553271740000125
表示在初次迭代时表示各元素的初始维度权重。
305、对所述转换训练数据对应的多种用户行为特征进行估值，并计算所述多种用户行为特征的估值与对应多种用户行为特征的的初始估值的估值差；
本实施例中，采用公式Zi＝Ci+C'i对训练数据的转换数据中进行叠加计算，采用公式Y'i＝sigmoid(Zi)＝1/(1+exp(-Zi))对第一数据集中个元素估值，采用公式Ti＝Yi-Y'i求得各元素对应的估值差，其中，公式sigmoid与公式exp时本领域的常用公式。
306、根据上代关联度权重、迭代步长、多种用户行为特征的估值差得到当代关联度权重；
本实施例中，根据公式
Figure BDA0002553271740000126
更新前m+1各元素的维度权重，其中q∈(0，m)；根据公式
Figure BDA0002553271740000127
依次更新后n各元素的维度权重，其中，p∈(1，n)；汇总
Figure BDA0002553271740000128
和
Figure BDA0002553271740000129
得到当代唯独权重
Figure BDA00025532717400001210
且在个元素对应的迭代变化量均小于停止迭代变动阈值时，将元素对应的当代权重Wd对应输出。
307、当所述多种用户行为特征对应的迭代变化量均小于停止迭代变化量阈值时，将所述多种用户行为特征对应的当代关联度权重对应输出；
本实施例中，更新目标变量的维度权重的计算公式如下：
Figure BDA0002553271740000131
Figure BDA0002553271740000132
Figure BDA0002553271740000133
更新辅助变量的维度权重的计算公式如下：
Figure BDA0002553271740000134
Figure BDA0002553271740000135
Figure BDA0002553271740000136
当
Figure BDA0002553271740000137
小于停止迭代变化量阈值，则迭代结束，否则返回数据转换步骤进入下一轮迭代计算，直至迭代次数大于最大迭代次数Max时结束。
308、获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
309、根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
310、根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
311、根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
本发明实施例详细介绍了关联度权重的预测方法，得到各用户行为及对应执行次数与产品的相关程度，用于后续计算得到的理想折损累积增益更加准确。
请参阅图4，本发明中产品推荐准确度评价方法的第四个实施例包括：
401、获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
402、将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
403、获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
404、根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
405、根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
406、根据所述用户账号与所述推荐产品的关联度系数由高至低对所述推荐产品进行重排，得到所述推荐产品的最优排序；
本实施例中，产品推荐模型向用户推荐产品时计算得到的推荐产品的得分与本系统计算得到的关联度系数不一定相同，产品推荐模型与本系统按照各自的评估得分对产品进行排序，NDCG则是根据两者的排序差异计算得到。通过关联度系数由高至低对推荐产品进行重排，获取本系统评估的推荐产品的最优排序方式，以计算推荐产品的最优评估得分。
具体的，如产品推荐模型向用户A推荐的产品及排序为：[‘用户A’，‘产品1’，‘产品2’，‘产品3’，‘产品4’]，产品1的关联度系数为1.8，产品2的关联度系数为1.5，产品3的关联度系数为1.7，产品4的关联度系数为2.0，产品5的关联度系数为0，则重排后推荐产品的排序为[‘产品4’，‘产品1’，‘产品3’，‘产品2’，‘产品5’]。
407、根据所述最优排序，从所述推荐产品中剔除不符合评估规则的推荐产品；
本实施例中，对于用户无操作过的推荐产品并不在本系统的评估范围之内。由于NDCG的影响因素之一的关联度系数来源于训练分析用户对产品进行操作的用户行为信息，则NDCG的评估标准建立在用户已经对推荐产品进行过操作的基础之上，故用户未操作过的推荐产品从推荐产品评估队列中剔除。具体的剔除方法是检查推荐产品的关联度系数，若一个推荐产品的关联度系数为0，则剔除该产品。
具体的，如产品推荐模型向用户A推荐的产品及重排后的排序为[‘产品4’，‘产品1’，‘产品3’，‘产品2’，‘产品5’]，其中，最低的‘产品5’关联度系数为0，固剔除。
408、采用以下公式计算所述产品推荐模型的理想折损累积增益：
Figure BDA0002553271740000141
其中，IDCGp为理想折损累积增益，j表示所述推荐产品在所述最优排序中的排序位置，relj为剔除不符合评估规则的推荐产品后第j个推荐产品的关联度得分，log2(j+1)为第j个推荐产品的折损值；
本实时例中，按照本系统计算得到的关联度系数对推荐产品的排序位置进行重排，得到本系统所评估的针对用户的推荐产品最佳排序，然后计算对应的理想折损累积增益，IDCG公式计算方式与DCG公式计算方式类似，只是推荐产品的排序发送了改变，而IDCG的作用在于对DCG进行归一化处理。
具体的，如产品推荐模型向用户A推荐的产品及重排后的排序为[‘产品4’，‘产品1’，‘产品3’，‘产品2’，‘产品5’]，产品1的关联度系数为1.8，产品2的关联度系数为1.5，产品3的关联度系数为1.7，产品4的关联度系数为2.0，产品5的关联度系数为0，则产品推荐模型的理想折损累积增益：IDCG＝2.0+1.8/log22+1.7/log23+1.5/log24＝6.2。
409、根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
本发明实施例中，通过各个用户行为特征与产品之间的关联度系数来计算推荐模型的理想折损累积增益，由此定义的理想折损累积增益更贴合实际情况中，用户对产品的兴趣度。
上面对本发明实施例中产品推荐准确度评价方法进行了描述，下面对本发明实施例中产品推荐准确度评价装置进行描述，请参阅图5，本发明实施例中产品推荐准确度评价装置一个实施例包括：
第一用户行为信息获取模块501，用于获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
关联度权重预测模块502，用于将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
第二用户行为信息获取模块503，用于获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
关联度系数计算模块504，用于根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
准确度评价模块505，用于根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
评价等级生成模块506，用于根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
本发明实施例中，通过用户账号对产品的历史第一用户行为信息，以关联度权重模型训练出用户行为中每一个用户行为特征与用户浏览产品的关联度权重，再以此计算出用户账号与每一个推荐产品的关联度系数，根据关联度系数计算出预置评估模型的理想折损累积增益，最后根据推荐模型评估算法计算出产品推荐模型的推荐评估得分，可准确定位用户账号与产品的关联度，并以此计算出对该推荐算法评估模型的推荐评估得分更准确。
请参阅图6，本发明实施例中产品推荐准确度评价装置的另一个实施例包括：
第一用户行为信息获取模块601，用于获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
关联度权重预测模块602，用于将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
第二用户行为信息获取模块603，用于获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
关联度系数计算模块604，用于根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
准确度评价模块605，用于根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
评价等级生成模块606，用于根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级。
具体的，在所述关联度权重预测模块602之前还包括训练数据宽表生成模块607，其具体用于：
获取训练数据宽表模板，其中，所述训练数据宽表模板包含多种用户行为特征对应的标题字段；
将所述多种用户行为特征中的发生次数写入所述数据宽表模板中对应的标题字段下的表列中；
为所述多种用户行为特征添加身份标识符，并设置所述用户购买行为为目标变量，设置所述其他用户行为为辅助变量，生成训练数据宽表。
具体的，所述关联度权重预测模块602还包括：
参数设置单元6021，用于设置行为权重模型的训练参数，其中，所述训练参数包括最大迭代次数、停止迭代变量阈值、迭代步长；
数据初始化单元6022，用于根据由所述第一用户行为信息生成的训练数据宽表中的训练数据，初始化所述多种用户行为特征对应的关联度权重；
数据转换单元6023，用于根据初始化的关联度权重，对所述训练数据进行转换，得到对应的转换训练数据；
特征估值单元6024，用于对所述转换训练数据对应的多种用户行为特征进行估值，并计算所述多种用户行为特征的估值与对应多种用户行为特征的的初始估值的估值差；
关联度权重训练单元6025，用于根据上代关联度权重、迭代步长、多种用户行为特征的估值差得到当代关联度权重；当所述多种用户行为特征对应的迭代变化量均小于停止迭代变化量阈值时，将所述多种用户行为特征对应的当代关联度权重对应输出。
具体的，所述所述关联度系数计算模块604包括：
解析单元6041，用于解析所述第二用户行为信息，得到多种用户行为特征；
单项关联度得分计算单元6042，用于基于所述多种用户行为特征对应的发生次数与所述关联度权重，计算所述多种用户行为特征与所述推荐产品的单项关联度得分；
关联度系数统计单元6043，用于统计所述多种用户行为特征的单项关联度得分，得到所述用户账号与所述产品推荐信息的关联度系数。
具体的，所述准确度评估模块605具体用于：
根据所述产品排序信息，得到所述推荐产品的推荐排序；
采用以下公式计算所述产品推荐模型的折损累积增益，并将所述折损累积增益作为所述产品推荐模型的评价得分：
Figure BDA0002553271740000171
其中，DCGp为折损累积增益，rel1为第一个推荐产品的关联度得分，i表示所述推荐产品在所述推荐排序中的排序位置，reli为第i个推荐产品的关联度得分，log2(i)为第i个推荐产品的折损值，p为大于等于2的正整数。
具体的，在所述准确度评价模块605之后，还包括最优折损评估模块608，所述最优折损评估模块608具体包括：
重排单元6081，用于根据所述用户账号与所述推荐产品的关联度系数由高至低对所述推荐产品进行重排，得到所述推荐产品的最优排序；
剔除单元6082，用于根据所述最优排序，从所述推荐产品中剔除不符合评估规则的推荐产品；
计算单元6083，用于采用以下公式计算所述产品推荐模型的理想折损累积增益：
Figure BDA0002553271740000181
其中，IDCGp为理想折损累积增益，j表示所述推荐产品在所述最优排序中的排序位置，relj为剔除不符合评估规则的推荐产品后第j个推荐产品的关联度得分，log2(j+1)为第j个推荐产品的折损值。
具体的，所述评价等级生成模块606具体用于：
根据所述理想折损累积增益，对所述折损累积增益进行归一化处理；
根据归一化处理后的折损累积增益，得到所述产品推荐模型的评价等级。
本发明实施例中，通过提前构建训练数据的数据宽表，对多种用户行为信息进行初步的结构化拼接，分为目标变量与辅助变量，有助于提升模型训练效率时数据获取效率；详细介绍了关联度权重的预测方法，得到各用户行为及对应执行次数与产品的相关程度，用于后续计算得到的理想折损累积增益更加准确；通过各个用户行为特征与产品之间的关联度系数来计算推荐模型的理想折损累积增益，由此定义的理想折损累积增益更贴合实际情况中，用户对产品的兴趣度，并以此对折损累积增益进行归一化处理，计算所得的对该推荐算法评估模型的推荐评估得分更准确。
上面图5和图6从模块化功能实体的角度对本发明实施例中的产品推荐准确度评价装置进行详细描述，下面从硬件处理的角度对本发明实施例中产品推荐准确度评价设备进行详细描述。
图7是本发明实施例提供的一种产品推荐准确度评价设备的结构示意图，该产品推荐准确度评价设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对产品推荐准确度评价设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在产品推荐准确度评价设备700上执行存储介质730中的一系列指令操作。
产品推荐准确度评价设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的产品推荐准确度评价设备结构并不构成对产品推荐准确度评价设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述产品推荐准确度评价方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种产品推荐准确度评价方法，其特征在于，所述产品推荐准确度评价方法包括：
获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级；
所述根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数包括：
对于推荐产品，用户若对该推荐产品的操作次数越多，对应用户行为特征关联度权重越大，则用户对该推荐产品的兴趣度越大，即关联度系数越大；故以用户每一个用户行为特征的关联度权重乘以对推荐产品对应的操作次数，即可得到每一个用户行为特征影响用户与产品关联度的单项关联度得分，再累加，即可得到最终该用户对推荐产品的关联度系数。
2.根据权利要求1所述的产品推荐准确度评价方法，其特征在于，在所述将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重之前，还包括：
获取训练数据宽表模板，其中，所述训练数据宽表模板包含多种用户行为特征对应的标题字段；
将所述多种用户行为特征中的发生次数写入所述数据宽表模板中对应的标题字段下的表列中；
为所述多种用户行为特征添加身份标识符，并设置用户购买行为为目标变量，设置其他用户行为为辅助变量，生成训练数据宽表。
3.根据权利要求1所述的产品推荐准确度评价方法，其特征在于，所述将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重包括：
设置行为权重模型的训练参数，其中，所述训练参数包括最大迭代次数、停止迭代变量阈值、迭代步长；
根据由所述第一用户行为信息生成的训练数据宽表中的训练数据，初始化所述多种用户行为特征对应的关联度权重；
根据初始化的关联度权重，对所述训练数据进行转换，得到对应的转换训练数据；
对所述转换训练数据对应的多种用户行为特征进行估值，并计算所述多种用户行为特征的估值与对应多种用户行为特征的初始估值的估值差；
根据上代关联度权重、迭代步长、多种用户行为特征的估值差得到当代关联度权重；
当所述多种用户行为特征对应的迭代变化量均小于停止迭代变化量阈值时，将所述多种用户行为特征对应的当代关联度权重对应输出。
4.根据权利要求1所述的产品推荐准确度评价方法，其特征在于，所述根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数包括：
解析所述第二用户行为信息，得到多种用户行为特征；
基于所述多种用户行为特征对应的发生次数与所述关联度权重，计算所述多种用户行为特征与所述推荐产品的单项关联度得分；
统计所述多种用户行为特征的单项关联度得分，得到所述用户账号与所述产品推荐信息的关联度系数。
5.根据权利要求1所述的产品推荐准确度评价方法，其特征在于，所述根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分包括：
根据所述推荐产品的排序信息，得到所述推荐产品的推荐排序；
采用以下公式计算所述产品推荐模型的折损累积增益，并将所述折损累积增益作为所述产品推荐模型的评价得分：
Figure FDA0003665755120000031
其中，DCGp为折损累积增益，rel1为第一个推荐产品的关联度得分，i表示所述推荐产品在所述推荐排序中的排序位置，reli为第i个推荐产品的关联度得分，log2(i)为第i个推荐产品的折损值，p为大于等于2的正整数。
6.根据权利要求1-5中任一项所述的产品推荐准确度评价方法，其特征在于，在所述根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分之后，还包括：
根据所述用户账号与所述推荐产品的关联度系数由高至低对所述推荐产品进行重排，得到所述推荐产品的最优排序；
根据所述最优排序，从所述推荐产品中剔除不符合评估规则的推荐产品；
采用以下公式计算所述产品推荐模型的理想折损累积增益：
Figure FDA0003665755120000032
其中，IDCGp为理想折损累积增益，i表示所述推荐产品在推荐排序中的排序位置，j表示所述推荐产品在所述最优排序中的排序位置，relj为剔除不符合评估规则的推荐产品后第j个推荐产品的关联度得分，log2(j+1)为第j个推荐产品的折损值。
7.根据权利要求6所述的产品推荐准确度评价方法，其特征在于，所述根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级包括：
根据所述理想折损累积增益，对所述折损累积增益进行归一化处理；
根据归一化处理后的折损累积增益，得到所述产品推荐模型的评价等级。
8.一种产品推荐准确度评价装置，其特征在于，所述产品推荐准确度评价装置包括：
第一用户行为信息获取模块，用于获取预置用户账户记录的用户浏览产品时的第一用户行为信息，其中，所述第一用户行为信息包括用户浏览产品时发生的多种用户行为特征以及每种用户行为特征的发生次数；
关联度权重预测模块，用于将所述第一用户行为信息输入预置行为权重模型进行预测，输出所述用户行为特征与所述用户浏览产品之间的关联度权重；
第二用户行为信息获取模块，用于获取待评价的产品推荐模型向所述用户账户发送的产品推荐信息、所述用户账户记录的所述产品推荐信息对应的第二用户行为信息，其中，所述产品推荐信息包含有多种推荐产品的排序信息；
关联度系数计算模块，用于根据所述第二用户行为信息与所述关联度权重，计算所述用户账户与所述产品推荐信息中推荐产品的关联度系数；
准确度评价模块，用于根据所述关联度系数和所述推荐产品的排序信息，对所述产品推荐模型进行产品推荐准确度评价，得到评价得分；
评价等级生成模块，用于根据所述评价得分与预置推荐模型的准确度评价规则，确定所述产品推荐模型对应的评价等级；
所述关联度系数计算模块，还用于对于推荐产品，用户若对该推荐产品的操作次数越多，对应用户行为特征关联度权重越大，则用户对该推荐产品的兴趣度越大，即关联度系数越大；故以用户每一个用户行为特征的关联度权重乘以对推荐产品对应的操作次数，即可得到每一个用户行为特征影响用户与产品关联度的单项关联度得分，再累加，即可得到最终该用户对推荐产品的关联度系数。
9.一种产品推荐准确度评价设备，其特征在于，所述产品推荐准确度评价设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述产品推荐准确度评价设备执行如权利要求1-7中任一项所述的产品推荐准确度评价方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的产品推荐准确度评价方法。
CN202010581224.1A 2020-06-23 2020-06-23 产品推荐准确度评价方法、装置、设备及存储介质 Active CN111724238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010581224.1A CN111724238B (zh) 2020-06-23 2020-06-23 产品推荐准确度评价方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010581224.1A CN111724238B (zh) 2020-06-23 2020-06-23 产品推荐准确度评价方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111724238A CN111724238A (zh) 2020-09-29
CN111724238B true CN111724238B (zh) 2022-09-30

Family

ID=72568473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010581224.1A Active CN111724238B (zh) 2020-06-23 2020-06-23 产品推荐准确度评价方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111724238B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269943B (zh) * 2020-12-03 2021-04-02 北京达佳互联信息技术有限公司 一种信息推荐系统及方法
CN113763016A (zh) * 2021-01-18 2021-12-07 北京京东乾石科技有限公司 一种评价信息推送方法和装置
CN113436023B (zh) * 2021-07-06 2024-10-15 中国银行股份有限公司 基于区块链的理财产品推荐方法及装置
CN113515704B (zh) * 2021-07-22 2024-05-03 中移（杭州）信息技术有限公司 推荐效果评价方法、装置、系统及计算机程序产品
CN113516538B (zh) * 2021-07-28 2023-04-07 云南腾云信息产业有限公司 一种信息推送方法、装置及计算机设备
CN113987353B (zh) * 2021-10-29 2022-08-09 掌阅科技股份有限公司 书籍推荐方法、计算设备及存储介质
CN114723303B (zh) * 2022-04-15 2023-10-31 中国电信股份有限公司 机房节能空间确定方法、装置、设备及存储介质
CN118193821A (zh) * 2022-12-13 2024-06-14 顺丰科技有限公司 一种热词推荐算法的评估方法、装置及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9454782B2 (en) * 2014-09-24 2016-09-27 Wipro Limited Systems and methods for providing product recommendations
CN109190791A (zh) * 2018-07-25 2019-01-11 广州优视网络科技有限公司 应用推荐模型的评估方法、装置及电子设备
CN110196796B (zh) * 2019-05-15 2023-04-28 无线生活（杭州）信息科技有限公司 推荐算法的效果评价方法及装置

Also Published As

Publication number Publication date
CN111724238A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111724238B (zh) 产品推荐准确度评价方法、装置、设备及存储介质
CN107391687B (zh) 一种面向地方志网站的混合推荐系统
Li et al. Project success prediction in crowdfunding environments
TWI539305B (zh) Personalized information push method and device
CN103679462B (zh) 一种评论数据处理方法和装置、一种搜索方法和系统
TWI591556B (zh) Search engine results sorting method and system
CN106251174A (zh) 信息推荐方法及装置
CN109918563B (zh) 一种基于公开数据的图书推荐的方法
CN110008397B (zh) 一种推荐模型训练方法及装置
CN113051291A (zh) 工单信息的处理方法、装置、设备及存储介质
CN105469263A (zh) 一种商品推荐方法及装置
CN115098650B (zh) 基于历史数据模型的评论信息分析方法及相关装置
Jain et al. NFT Appraisal Prediction: Utilizing Search Trends, Public Market Data, Linear Regression and Recurrent Neural Networks
KR101625124B1 (ko) 특허 정량분석을 이용한 기술평가 방법
CN111507782A (zh) 一种用户流失归因聚焦方法、装置、存储介质及电子设备
JP5061999B2 (ja) 解析装置、解析方法及び解析プログラム
CN116362823A (zh) 用于行为稀疏场景的推荐模型训练方法、推荐方法及装置
Raykar et al. A fast algorithm for learning a ranking function from large-scale data sets
Lee et al. Enhancing accuracy and performance of collaborative filtering algorithm by stochastic SVD and its MapReduce implementation
CN113792084A (zh) 数据热度的分析方法、装置、设备及存储介质
CN115147020B (zh) 装修数据处理方法、装置、设备及存储介质
CN113420096B (zh) 指标体系的构建方法、装置、设备及存储介质
CN113095604B (zh) 产品数据的融合方法、装置、设备及存储介质
EP3493082A1 (en) A method of exploring databases of time-stamped data in order to discover dependencies between the data and predict future trends
Zhou et al. Learning the gain values and discount factors of discounted cumulative gains

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant