CN115221421A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115221421A
CN115221421A CN202210842108.XA CN202210842108A CN115221421A CN 115221421 A CN115221421 A CN 115221421A CN 202210842108 A CN202210842108 A CN 202210842108A CN 115221421 A CN115221421 A CN 115221421A
Authority
CN
China
Prior art keywords
target
user
demand degree
determining
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210842108.XA
Other languages
English (en)
Inventor
陈鹏
吴悦欣
蔡科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202210842108.XA priority Critical patent/CN115221421A/zh
Publication of CN115221421A publication Critical patent/CN115221421A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9536Search customisation based on social or collaborative filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法、装置、电子设备及存储介质。本发明涉及人工智能技术领域。该方法包括:获取目标用户的历史行为数据以及用户特征数据;基于集成算法对用户特征数据进行处理,得到目标用户对目标产品的第一需求度;对历史行为数据进行协同过滤处理,确定目标用户对目标产品的第二需求度;根据用户特征数据和预先设置至少一个评估维度,确定目标用户对目标产品的第三需求度;基于第一需求度、第二需求度、第三需求度以及相应的权重值,确定目标用户对目标产品的目标需求度。解决了现有技术中将交易频次高的产品推荐给用户,导致推荐产品与用户不适配的问题,实现提高推荐的目标产品与目标用户之间的适配性,达到满足用户需求的效果。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
目前,常常会将与用户适配的潜在产品进行推荐,以此来满足用户需求,提高用户体验,现今的产品推荐的方法,一般采用的是通过提取用户的历史交易信息中的特征数据,将交易频次较大的产品推荐给用户,或将与交易频次较大的产品相似度较高的其他产品推荐给用户。
这种方法存在的问题是,只能将用户已拥有的产品频繁的推荐给用户,无法准确预测每个用户的偏好,导致推荐结果的准确度低,以及导致出现推荐的产品往往不符合用户实际的偏好的问题。
发明内容
本发明提供了一种数据处理方法、装置、电子设备及存储介质,以实现在提高目标需求度确定准确性的同时,能够使基于目标需求度确定出的目标产品是与目标用户是相匹配的,达到满足用户需求的技术效果。
第一方面,本发明实施例提供了一种数据处理方法,该方法包括:
获取目标用户的历史行为数据以及用户特征数据;
基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度;
对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度;
根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度;
基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
第二方面,本发明实施例还提供了一种数据处理装置,该装置包括:
数据获取模块,用于获取目标用户的历史行为数据以及用户特征数据;
第一需求度确定模块,用于基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度;
第二需求度确定模块,用于对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度;
第三需求度确定模块,用于根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度;
目标需求度确定模块,用于基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明实施例中任一所述的数据处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例中任一所述的数据处理方法。
第五方面,本发明实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的数据处理方法。
本发明实施例的技术方案,通过获取目标用户的历史行为数据以及用户特征数据;基于集成算法对用户特征数据进行处理,得到目标用户对目标产品的第一需求度;对历史行为数据进行协同过滤处理,确定目标用户对目标产品的第二需求度;根据用户特征数据和预先设置至少一个评估维度,确定目标用户对目标产品的第三需求度;基于第一需求度、第二需求度、第三需求度以及相应的权重值,确定目标用户对目标产品的目标需求度,解决了现有技术中将用户历史交易信息中交易频次高的产品推荐给用户,导致推荐效果差、造成推荐产品与用户不适配的问题,实现了综合集成算法、协同过滤和评估维度等三种评估方法确定的需求度,并基于各需求度和相应的权重值,确定出可以有效、准确表征目标用户对目标产品需求程度的目标需求度,以基于目标需求度确定需要为目标用户推送的目标产品,以使确定出的为目标用户推送的目标产品是与目标用户是相匹配的,提高推荐效果,达到满足用户需求的技术效果。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据处理方法的流程图;
图2是根据本发明实施例二提供的一种数据处理方法的流程图;
图3是根据本发明实施例三提供的一种数据处理方法的流程图;
图4是根据本发明实施例四提供的一种数据处理方法的流程图;
图5是根据本发明实施例六提供的一种数据处理装置的结构示意图;
图6是实现本发明实施例的数据处理方法的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
实施例一
图1是根据本发明实施例一提供的一种数据处理方法的流程图,本实施例可适用于推荐的情况,该方法可以由数据处理装置来执行,该数据处理装置可以采用硬件和/或软件的形式实现,该数据处理装置可配置于计算设备中。如图1所示,该方法包括:
S110、获取目标用户的历史行为数据以及用户特征数据。
其中,目标用户可以理解为需要进行产品推荐的用户。历史行为数据中可以包含用户和产品之间的关系,可选的,历史行为数据中包括对至少一个待选择产品的历史获取记录信息,至少一个待选择产品中包括目标产品。如,历史行为数据中可以包括用户历史搜索产品、点击产品、加购产品和咨询产品等多项记录数据,也可以包括各种产品的类型信息、价格信息、销量信息、排名信息和风险记录等数据。用户特征数据包括用户基础数据以及资产信息。如,用户基础数据可以为与用户相关联的基础信息,基础信息是与用户相对应的,即不同用户对应的基础信息可能是不同的。
在本实施例中,可以在用户允许的情况下且能保证用户隐私的前提下,获取目标用户的基本信息和资产信息,作为用户特征数据,获取目标用户历史输入的搜索产品数据、点击产品数据、加购产品数据和咨询产品数据等,作为目标用户的历史行为数据。以使通过分析目标用户的历史行为数据以及用户特征数据,为目标用户推荐适配的产品,满足用户使用需求。
S120、基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度。
其中,集成算法可以理解为是集合了多个分类算法的算法,每个分类算法可以理解为一个分类器,多个分类算法可相同也可不同,例如,集成算法可以为Random forest(随机森林),也可以为Adaboost(自适应增强算法)、lightGBM(轻量级的梯度提升器)或XGBoost(分布式梯度增强算法),还可以是集合Random forest、Adaboost、lightGBM和XGBoost中至少两个算法的算法。需要说明的是,集成算法可由技术人员根据实际工作进行确定,示例性的,当计算资源不足时,可以采用随机森林等较为简单的模型,当计算资源足够时,建议lightGBM、XgBoost算法,在不降低精度的情况下,能够提高运算速度,极大节省计算时间,也可以将随机森林、lightGBM、XgBoost三种算法集成使用。
在实际应用中,在确定目标用户对待选择产品中目标产品需求程度的过程中,可以结合某个目标产品的基本信息,利用集成算法中的各分类算法对用户特征数据进行处理,以使每个分类算法预测目标用户对该目标产品的需求程度,得到多个概率值,可以通过统计各概率值,得到目标用户对该目标产品的第一需求度,例如,可以将各概率值的平均值或均方差等作为第一需求度。
需要说明的是,在步骤S120中,待选择产品中每一个目标产品均会得到一个第一需求度,假设有目标产品A,B,C,则会利用集成算法对产品A的产品特征和目标用户的用户特征进行分析,得到产品A的第一需求度,对产品B的产品特征和目标用户的用户特征进行分析,得到产品B的第一需求度,对产品C的产品特征和目标用户的用户特征进行分析,得到产品C的第一需求度。相应的,可以得到目标用户对每个目标产品的第一需求度。
S130、对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度。
为了提高推荐的有效性,可以根据目标用户的历史行为数据挖掘发现用户的兴趣偏好,以基于挖掘出的用户的兴趣偏好,推荐与兴趣偏好相似的产品给目标用户。
在实际应用中,可以通过对目标用户的历史行为数据进行协同过滤处理,确定目标用户对每个目标产品的第二需求度。例如,可以通过提取目标用户的历史行为数据中的行为特征,查找出和目标用户有相似兴趣(如有相似产品获取记录、从业于同一行业或年均收入接近)的其他用户,计算出目标用户和其他用户之间兴趣相似度,相应的,目标用户对兴趣相似度越高的相似用户所相关的产品的需求度可能越高,对兴趣相似度越低的相似用户所相关的产品的需求度可能越低。还可以通过历史行为数据查找出和目标用户所相关的产品有相似特征(如产品种类相似)的其他产品,计算产品之间的相似度,对于相似度越高的产品,目标用户对该产品的需求度可能越高,对于相似度越低的产品,目标用户对该产品的需求度可能越低,该需求度即为第二需求度。需要说明的是,上述其他用户的行为特征数据,也是在其他用户授权的情况下且能保证其他用户隐私的前提下获取得到的。
S140、根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度。
其中,评估维度可以为与用户相关的维度,如受教育程度信息、收入水平信息和工作种类信息等等;也可以为与商品相关的维度,具体的评估维度可以由技术人员根据实际工作情况确定,本技术方案对此不做限定。
具体的,可以结合某个目标产品所对应的基本信息和用户特征数据,对目标用户进行各评估维度的评估,得到相应的评估值,进而将各评估值进行加权融合处理,得到目标用户对该目标产品的最终评估值,作为第三需求度。
需要说明的是,上述S120至S140可以顺序执行,也可以并行执行,具体的执行顺序不做限定,上述顺序只是对各步骤中技术方案进行解释的顺序,不是各步骤的执行顺序。
S150、基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
其中,目标需求度可以用于表征对产品的需求程度,或者偏好程度。
需要说明的是,为了提高目标需求度确定的准确性,可以为确定对目标产品的需求度所采用的不同方式设置不同的权重值,以使在将基于不同方式确定的需求度进行加权融合后,得到可以准确表征目标用户对目标产品需求程度的目标需求度。
具体来说,在确定目标用户对某个目标产品的需求程度时,可以根据第一需求度和相应权重值的乘积,确定第一中间值;基于第二需求度和相应权重值的乘积,确定第二中间值;根据第三需求度和相应权重值的乘积,确定第三中间值;基于第一中间值、第二中间值以及第三中间值,确定目标需求度。
在本实施例中,可以将第一需求度与相应权重值作积处理,得到乘积数值,作为第一中间值;将第二需求度与相应权重值作积处理,得到第二中间值;将第三需求度与相应权重值作积处理,得到第三中间值。进一步的,可以将第一中间值、第二中间值以及第三中间值的均值或均值方差作为目标需求度。示例性的,第一需求度为p1,对应权重值为w1,第二需求度为p2,对应权重值为w2,第三需求度为p3,对应权重值为w3,此时目标需求度s=w1*p1+w2*p2+w3*p3
需要说明的是,在确定出目标用户对每个目标产品的目标需求度之后,可以满足用户需求和偏好的产品推荐给用户,例如,将目标用户对每个目标产品的目标需求度,按由大至小的顺序对各个目标产品进行推荐排序,可以将各目标产品按由大至小的顺序依次向目标用户推送。推送方式还可以是:若目标需求度大于预设需求度阈值,则向目标用户推送目标产品;若目标需求度小于预设需求度阈值,则不向目标用户推送目标产品。
具体的,可以将目标需求度与预设需求度阈值进行比对,若目标需求度大于预设需求度阈值,则认为目标用户对该目标产品的需求程度和偏好程度较高,此时可以向目标用户推送该目标产品。若目标需求度小于预设需求度阈值,则认为目标用户对该目标产品的需求程度和偏好程度较低,此时不向目标用户推送该目标产品。示例性的,可以设置一个需求度阈值T,当s≥T时,判定用户对目标产品的需求度高,即可以推荐,当s<T时,判定用户对目标产品的需求度低,不进行推荐。
本实施例的技术方案,通过获取目标用户的历史行为数据以及用户特征数据;基于集成算法对用户特征数据进行处理,得到目标用户对目标产品的第一需求度;对历史行为数据进行协同过滤处理,确定目标用户对目标产品的第二需求度;根据用户特征数据和预先设置至少一个评估维度,确定目标用户对目标产品的第三需求度;基于第一需求度、第二需求度、第三需求度以及相应的权重值,确定目标用户对目标产品的目标需求度,解决了现有技术中将用户历史交易信息中交易频次高的产品推荐给用户,导致推荐效果差、造成推荐产品与用户不适配的问题,实现了综合集成算法、协同过滤和评估维度等三种评估方法确定的需求度,并基于各需求度和相应的权重值,确定出可以有效、准确表征目标用户对目标产品需求程度的目标需求度,以基于目标需求度确定需要为目标用户推送的目标产品,以使确定出的为目标用户推送的目标产品是与目标用户是相匹配的,提高推荐效果,达到满足用户需求的技术效果。
实施例二
图2是根据本发明实施例二提供的一种数据处理方法的流程图,在前述实施例的基础上,在获取目标用户的历史行为数据以及用户特征数据之后,还可以分别对历史行为数据和用户特征数据进行特征提取,得到历史行为矩阵以及用户特征矩阵,以使处理后的数据可以适应模型,提高数据处理效率。其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图2所示,该方法具体包括如下步骤:
S210、获取目标用户的历史行为数据以及用户特征数据。
S220、分别对所述历史行为数据和所述用户特征数据进行特征提取,得到与所述历史行为数据相对应的历史行为矩阵,以及与所述用户特征数据相对应的用户特征矩阵。
其中,历史行为矩阵中可以包含目标用户与各待选择产品之间的关系。用户特征矩阵中可以包含目标用户与各行为特征之间的关系。
在实际应用中,可以利用特征提取算法分别提取历史行为数据和用户特征数据中的特征信息,得到与历史行为数据相对应的历史行为矩阵,例如,历史行为矩阵中的行可以对应于目标用户,每一列对应一个待选择产品信息,如果用户i与产品j之间存在交易行为,则第i行第j列的元素设为1,反之为0。示例性的,历史行为矩阵为[0 1 1],其中第一个0表示目标用户与产品A存在交易信息,第二个1表示目标用户与产品B存在交易信息,第三个1表示目标用户与和产品C存在交易信息。还可以得到用户特征数据相对应的用户特征矩阵,例如,用户特征矩阵的行对应于目标用户,每一列对应着一个用户行为特征,第i(用户i)行第j(行为特征j)列的元素可以为行为特征j的属性信息。以使后续基于模型对历史行为矩阵和用户特征矩阵进行数据处理,得到相应需求度,提高数据处理效率。
需要说明的是,为了进一步提高数据处理效率,可以在对历史行为数据和用户特征数据进行特征提取时,分别对两项数据进行清洗,如将异常值、错误数据进行删除或者修正,对空缺值进行补足等。例如,在确定异常值、错误数据或空缺值之后,对异常值、错误数据或空缺值进行清洗的方式可以为:以错误数据为例,可以采用蒙特卡洛算法基于与错误数据相关联的其他正常信息分析数据分布特性,寻找其分布函数,再由分布函数进行模拟产生新数值作为该错误数据对应的补充修正信息。例如某一用户缺少工作信息,那么可以基于和该用户的基本信息相似的其他用户的工作信息模拟,假设其他用户的工作信息通过分布柱状图、和样本经验分布函数分析发现近似服从正态分布,则可采用正态分布随机数生成器模拟产生该用户的工作信息。如果其他用户的数据分布过于复杂,难以采用分布函数加以模拟,可以采用马尔科夫链蒙特卡洛算法(MCMC)模拟产生修正估计值。
S230、将与所述用户特征数据相对应的用户特征矩阵输入至与所述集成算法相对应的预测模型中,得到所述目标用户对目标产品的第一需求度。
其中,预测模型可以是与集成算法相对应的、预先基于的训练样本矩阵训练得到的,训练样本矩阵与各待训练用户的用户特征矩阵相对应。如,可以在用户知情并授权的情况下,获取多个待训练用户的用户特征数据,可以将每一个用户的用户特征,和该用户对应的某个产品的产品特征,组合成一个训练样本,同时,记录该用户和该产品信息之间的交易行为(如存在交易行为或未存在交易行为)作为该训练样本的训练结果,得到与用户特征矩阵格式相同且包含多个训练样本和对应的训练结果的训练样本矩阵,将训练样本矩阵输入待训练模型中,对待训练模型进行拟合,固定好模型参数,确定模型结构得到预设模型。需要说明的是,为了提高预设模型的准确性,可以尽可能多而丰富的获取训练样本。
在实际应用中,可以将用户特征矩阵作为预测模型的输入,输出预测结果,预测结果可以为0-1范围内的数值,数值越大表示预测用户对该目标产品的需求概率越高,可以将该预测结果作为第一需求度。需要说明的是,若预测模型中包含多个分类模型,如Randomforest、lightGBM和XGBoost等,可以将每一个分类模型产生的预测概率作加权平均,得到预测模型综合输出的预测概率,作为第一需求度。
S240、将与所述历史行为数据相对应的历史行为矩阵输入至协同过滤模型中,得到所述目标用户对所述目标产品的第二需求度。
其中,协同过滤模型是基于预先确定的训练集数据矩阵确定的,训练集数据矩阵与各待训练用户的历史行为矩阵相对应。例如,可以在用户授权的情况下,获取多个待训练用户的历史行为数据,构建相应历史行为矩阵,可以将每一个用户的用户信息和对应的某个产品的产品信息,组合成一个训练样本,同时,记录该用户和该产品信息之间的交易行为(如存在交易行为或未存在交易行为)作为该训练样本的训练结果,得到包含多个训练样本和对应的训练结果的训练集数据矩阵,进而将训练集数据矩阵输入待训练协同过滤模型中,对待训练协同过滤模型进行拟合,拟合完成后,得到训练好的协同过滤模型。需要说明的是,为了提高协同过滤模型的准确性,可以尽可能多而丰富的获取训练集数据。以使协同过滤模型的输出结果能够有效的反映出每个用户对每个产品的需求程度。
在实际应用中,可以将与目标用户相对应的历史行为矩阵作为协同过滤模型的输入,将输入的历史行为矩阵和各待训练用户的历史行为矩阵中的数据进行相似度计算,如,根据各用户信息和各产品信息计算不同用户或者不同产品之间的相似度。例如,根据各用户之间的行为相似性(如对同一类型产品的偏好度高,可以认为行为相似性高)计算不同用户之间的相似度,进而可以认为某个用户对与自身相似度较高的其他用户所对应的产品的需求度越高,对与自身偏好产品类型所属同一类型的产品的需求度也越高。相应的,得到目标用户对每个目标产品的第二需求度。以使可以提高将与目标用户具有相似偏好用户所对应的产品可以推送给目标用户的可能性,提高推送效果。
S250、根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度。
S260、基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
本实施例的技术方案,通过分别对历史行为数据和用户特征数据进行特征提取,得到可以适应于模型输入的历史行为矩阵和用户特征矩阵,进而将与用户特征数据相对应的用户特征矩阵输入至与集成算法相对应的预测模型中,得到目标用户对目标产品的第一需求度;将与历史行为数据相对应的历史行为矩阵输入至协同过滤模型中,得到目标用户对目标产品的第二需求度,提高数据处理效率,提高产品推荐的便捷性。
实施例三
图3是根据本发明实施例三提供的一种数据处理方法的流程图,在前述实施例的基础上,对S140作进一步的细化。其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图3所示,该方法具体包括如下步骤:
S310、获取目标用户的历史行为数据以及用户特征数据。
S320、基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度。
S330、对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度。
S340、调取预先设置的评估表。
其中,评估表中包括至少一个评估维度,以及与各评估维度相关联的至少一个评估项以及相应的待选择评估值。在每个评估维度上的评估项个数可以是相同的,也可以是不相同的,可以根据实际情况进行设置。例如,受教育程度信息(评估维度1)所对应的评估项可以有2个,如优、良,每个评估项可以对应相应的评估值,如“优”对应的评估值为0.6,“良”对应的评估值为0.4;收入水平信息(评估维度2)所对应的评估项可以有5个;工作种类信息(评估维度3)所对应的评估项可以有8个等等。
具体的,可以根据用户行为信息和产品信息等相关数据,建立评估表,并将评估表储存在相应位置,在为目标用户推送适配产品时,从预设位置调取评估表,基于评估表中的信息对目标用户进行需求评估。
S350、根据所述用户特征数据,确定与其相对应的至少一个目标评估维度所对应的目标评估项。
具体的,在获取目标用户的用户特征数据之后,可以从各评估维度所对应的至少一个评估项中,确定与用户特征数据相对应的目标评估维度,以及各目标评估维度中与用户特征数据相对应的目标评估项,以使后续可以结合用户特征数据,在各目标评估项中选择相应的评估值对目标用户进行有效评估。
S360、基于所述目标评估项所对应的待选择评估值,确定目标评估值。
在实际应用中,可以参考用户特征数据,确定每个目标评估项所对应的待选择评估值,如,假设用户特征数据中工作种类信息为金融类,相应的待选择评估值为0.6,假设用户特征数据中工作种类信息为餐饮类,相应的待选择评估值为0.3,假设用户特征数据中工作种类信息为机械类,相应的待选择评估值为0.1,可以将确定的待选择评估值作为目标评估值。相应的,可以得到每个目标评估项所对应的目标评估值。
S370、基于目标评估值,确定所述目标用户对所述目标产品的第三需求度。
在实际应用中,可以结合每个目标评估项所对应的目标评估值,综合确定出目标用户对目标产品的第三需求度,如可以对各目标评估值进行加权平均处理,得到评估均值,可以将评估均值进行处理,得到在0-1范围内的数值,作为第三需求度。
需要说明的是,第三需求度可以基于人工经验方法进行确定,如,可以由人工参考用户特征数据在预先设置的评估表中于各目标评估项中选择相应的评估值对目标用户进行需求评估。还可以基于预先设置的人工经验判断模型进行确定,其中人工经验判断模型是基于专家个人经验构造完成,如,可以将与用户特征数据相对应的用户特征矩阵输入至人工经验判断模型中,或者预先确定专家关心的几个关键指标,将用户特征矩阵中与关键指标相对应的几列数据输入至人工经验判断模型中,输出相应的第三需求度,提高数据处理的便捷性。
S380、基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
本实施例的技术方案,通过调取预先设置的评估表,进而根据用户特征数据,确定评估表中与其相对应的至少一个目标评估维度所对应的目标评估项,基于目标评估项所对应的待选择评估值,确定目标评估值,基于目标评估值,确定目标用户对目标产品的第三需求度,以实现基人工经验方法评估目标用户的用户特征数据,提高评估的准确性,并将人工经验方法得到的第三需求度与第一需求度和第二需求度确定目标需求度,基于目标需求度选择与目标用户相适配的目标产品,提高推荐效果。
实施例四
图4是根据本发明实施例四提供的一种数据处理方法的流程图,在前述实施例的基础上,所述方法还包括对各需求度所对应的权重值进行更新。其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。
如图4所示,该方法具体包括如下步骤:
S410、获取目标用户的历史行为数据以及用户特征数据。
S420、基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度。
S430、对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度。
S440、根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度。
S450、基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
S460、确定预设时长内各目标产品与所述目标用户之间的隶属关系。
其中,隶属关系可以用于表征目标产品与目标用户之间的交易行为,如产品A与目标用户之间存在产品A隶属于目标用户的隶属关系,可以表示目标用户与产品A之间存在交易行为;产品B与目标用户之间未存在产品B隶属于目标用户的隶属关系,可以表示目标用户与产品B之间不存在交易行为。
为了提高推荐的准确性,可以基于实际推送的反馈信息,更新与第一需求度、第二需求度和第三需求度所对应的权重值。此时可以获取预设时长内各目标产品与目标用户之间的隶属关系,以基于隶属于目标用户的产品和未隶属于目标用户的产品更新各需求度的权重值。
S470、基于所述隶属关系和目标函数,确定目标数值。
需要说明的是,可以通过实际推送信息和实际推送的反馈信息,确定目标函数所需的参数值,以使将各参数值作为目标函数的入参,得到目标数值,以通过目标数值确定各需求度的权重值。
可选的,在基于隶属关系和目标函数,确定目标数值之前,还包括:根据推送的目标产品和隶属关系中隶属于目标用户的产品,确定第一物品数量;根据推送的目标产品和隶属关系中未隶属于目标用户的产品,确定第二物品数量;根据未推送的目标产品和隶属关系中隶属于目标用户的产品,确定第三物品数量;根据未推送的目标产品和隶属关系中未隶属于目标用户的产品,确定第四物品数量,以基于第一物品数量、第二物品数量和第三物品数量,确定目标数值。
其中,隶属关系中隶属于目标用户的产品可以表示目标用户拥有目标产品,隶属关系中未隶属于目标用户的产品可以表示目标用户未拥有目标产品。
在实际应用中,可以根据推送的目标产品和隶属关系中隶属于目标用户的产品,确定出为目标用户推送且隶属于目标用户的产品的数量,作为第一物品数量。根据推送的目标产品和隶属关系中未隶属于目标用户的产品,确定出为目标用户推送但未隶属于目标用户的产品的数量,作为第二物品数量。根据未推送的目标产品和隶属关系中隶属于目标用户的产品,确定出未为目标用户推送且隶属于目标用户的产品的数量,作为第三物品数量;根据未推送的目标产品和隶属关系中未隶属于目标用户的产品,确定出未为目标用户推送且未隶属于目标用户的产品的数量,作为第四物品数量,以基于第一物品数量、第二物品数量和第三物品数量,确定目标数值。例如,可以根据第一物品数量和第三物品数量,确定召回率;根据第一物品数量和第二物品数量,确定精准率;基于精准率、召回率以及目标函数,确定目标数值。
其中,召回率可以表征正确预测为正的占全部实际为正的比例。精准率可以表征正确预测为正的占全部预测为正的比例。
需要说明的是,在具体应用中,用户对产品的第一需求度、第二需求度和第三需求度这三项需求度所对应的权重值的调整,会影响用户对产品的目标需求度,进而会影响目标需求度与预设需求度阈值的比较,影响向用户推送产品的信息,也就是会影响第一物品数量、第二物品数量、第三物品数量和第四物品数量,进而会影响计算得到的精准率和召回率,并影响目标函数的输出结果。
在本实施例中,可以将第一物品数量与第一物品数量和第三物品数量的和的比值,作为召回率。将第一物品数量与第一物品数量和第二物品数量的和的比值,作为精准率。例如,第一物品数量为p,第二物品数量为q,第三物品数量为m,召回率r=p/(p+m),精准率pr=p/(p+q)。进一步的,目标函数可以如下所示:
Figure BDA0003750704100000171
其中,β为一个调节参数,当β大于1时,召回率r的变化在目标函数中的调节效果更加灵敏,反之精准率pr影响效果更大,β的数值可以根据实际工作情况进行确定。需要说明的是,目标函数的选取旨在使得最终结果需要在召回率和精准率之间取得平衡,所以F取值在0-1范围内,并且容易看出当β*r与
Figure BDA0003750704100000172
的数值越接近,同时pr与r数值越大时,F数值越高,也即认为评估效果越好。可以将精准率、召回率作为目标函数的入参,目标函数的输出结果会随着各项参数数值(如三项权重值、精准率或召回率)的改变而变化,可以通过调节第一需求度、第二需求度和第三需求度这三项需求度所对应的权重值,当能够使目标函数的输出结果达到最大时,可以将此时的参数数值作为目标数值,认为是能够使模型达到最优的估计值,在此估计值下的模型可以在实际应用中取得更好地预测效果,模型评估效果最好。
S480、基于所述目标数值,对各需求度所对应的权重值进行更新,以对下次获取到的历史行为数据和用户特征数据进行处理,确定下一目标用户对各目标产品的目标需求度。
在实际应用中,可以将目标函数的输出结果最大时所对应的权重参数数值作为新的权重值,以对下次获取到的历史行为数据和用户特征数据进行处理,确定下一目标用户对各目标产品的目标需求度,达到使推荐的产品与目标用户是最适配的效果。
需要说明的是,在基于目标数值,对各需求度所对应的权重值进行更新时,可以通过不断调节各需求度所对应的权重值,以使目标函数的输出结果达到最大,可以将输出结果达到最大时各需求度所对应的权重值作为新的权重值。可选的,基于目标数值,对各需求度所对应的权重值进行更新,包括:根据目标数值,确定各需求度所对应的权重值的更新百分比;基于相应的更新百分比,调整各权重值。
在实际应用中,可以在调节各需求度所对应的权重值时,计算目标函数的输出结果,将输出结果达到最大时各需求度所对应的权重值作为目标数值,进而可以对各需求度的权重值进行归一化处理,得到每个需求度所对应的更新百分比,如第一需求度占40%,第二需求度占40%、第三需求度占20%,以使三项权重值和为1,可以将各更新百分比作为新的权重值。以对下次获取到的历史行为数据和用户特征数据进行处理,得到下一目标用户对某个目标产品的第一需求度、第二需求度、第三需求度时,基于新的权重值确定下一目标用户对该目标产品的目标需求度。
本实施例的技术方案,通过确定预设时长内各目标产品与目标用户之间的隶属关系,基于隶属关系和目标函数,确定目标数值,进而基于目标数值,对各需求度所对应的权重值进行更新,以对下次获取到的历史行为数据和用户特征数据进行处理,确定下一目标用户对各目标产品的目标需求度,实现结合实际推荐的产品信息和实际推荐的反馈信息,动态调整权重值,提高目标需求度确定的准确性,进一步的提高基于目标需求度确定出的可推荐的目标产品与目标用户的适配性,提高推荐效果,满足用户需求。
实施例五
作为上述实施例的一可选实施例,为了使本领域技术人员进一步清楚本发明实施例的技术方案,给出具体的应用场景实例。具体的,可以参见下述具体内容。
示例性的,本实施例的技术方案通过将集成算法、协同过滤算法和人工经验推荐法进行加权组合,最终生成一个综合推荐系数作为用户对产品的目标需求度。首先可以在用户允许的情况下且能保证用户隐私的前提下,收集用户数据,如用户的历史行为数据以及用户特征数据。在获取这些数据信息后,可以对这些数据信息进行加工整理,如,确定与历史行为数据相对应的历史行为矩阵,该矩阵的行对应着各个用户,列对应着用户对各个产品的交易记录,如果用户i与产品j存在交易记录,则第i行第j列的元素为1,反之为0。确定与用户特征数据相对应的用户特征矩阵,该矩阵的行对应着各个客户,列对应着客户的各个行为特征。需要说明的是,为了进一步提高数据处理效率,可以在对历史行为数据和用户特征数据进行加工整理时,分别对两项数据进行清洗,如将异常值、错误数据进行删除或者修正,对空缺值进行补足等,清洗方式可以采用蒙特卡洛算法基于与缺失数据相关联的其他正常信息分析信息分布特性,寻找其分布函数,再由分布函数进行模拟产生新数值作为补充修正结果。例如某一用户缺少工作信息,那么可以基于和该用户的基本信息相似的其他用户的工作信息模拟,假设其他用户的工作信息通过分布柱状图、和样本经验分布函数分析发现近似服从正态分布,则可采用正态分布随机数生成器模拟产生该用户的工作信息。如果其他用户的数据分布过于复杂,难以采用分布函数加以模拟,可以采用马尔科夫链蒙特卡洛算法(MCMC)模拟产生修正估计值。
在上述方案的基础上,可以将用户特征矩阵输入至与集成算法相对应的预测模型中,得到目标用户对目标产品的第一需求度,其中,集成算法可以为lightGBM、XgBoost、随机森林等算法,可根据现实需要,自行选择。例如,当计算资源不足时,可以采用随机森林等较为简单的模型,当计算资源足够时,建议lightGBM、XgBoost算法,在不降低精度的情况下,能够提高运算速度,极大节省计算时间,也可以将随机森林、lightGBM、XgBoost三种算法集成使用。可以将与历史行为数据相对应的历史行为矩阵输入与集成算法相对应的预设模型中,对模型进行拟合,从而获得模型参数确定模型结构。预设模型可以以用户会产品的需求信息作为模型的目标特征,也即预测结果,有需求目标特征为1,无需求目标特征为0。需要说明的是,集成算法可以采用二分类问题预测模式,对结果进行二分类预测,预测结果为0-1范围内的数值,数值越大表示预测客户购买的此产品的概率越高。将此数值作为第一需求度,记为p1。如果是随机森林、lightGBM、XgBoost三种算法集成使用,可以将每一种算法预测产生的预测概率作加权平均,得到最后的第一需求度,仍记为p1。可以将历史行为矩阵输入至协同过滤模型中,通过记录每个用户对每个产品的行为特征,计算相似度进而完成协同过滤推荐模型的拟合工作。协同过滤模型拟合完成后,可用于推荐计算,模型最终输出的结果可以反映每个客户对每个产品的需求可能性的数据,将这个数据经过放缩、平移等数据处理方法,最终要使其转变为一个0-1之间的数值,作为第二需求度,可记为p2。可以采用人工经验推荐的方法对用户特征数据进行处理,得到第三需求度,例如,可以由人工参考用户特征数据在预先设置的评估表中于各目标评估项中选择相应的评估值对目标用户进行有效评估。还可以基于预先设置的人工经验判断模型进行确定,其中人工经验判断模型是基于专家个人经验构造完成,如,可以将与用户特征数据相对应的用户特征矩阵输入至人工经验判断模型中,或者预先确定专家关心的几个关键指标,将用户特征矩阵中与关键指标相对应的几列数据输入至人工经验判断模型中,输出相应的第三需求度,可记为p3
在上述方案的基础上,可以将得到的某个目标用户对产品的第一需求度、第二需求度、第三需求度进行加权组合,得到目标用户对产品最终的综合偏好系数,作为目标需求度。例如,第一需求度为p1,对应权重值为w1,第二需求度为p2,对应权重值为w2,第三需求度为p3,对应权重值为w3,此时目标需求度可为s=w1*p1+w2*p2+w3*p3,可以设置一个需求度阈值T,当s≥T时,判定用户对目标产品的需求度高,即可以推荐,当s<T时,判定用户对目标产品的需求度低,不进行推荐。
在上述方案的基础上,还可以确定预设时长内各目标产品与目标用户之间的隶属关系。进而根据推送的目标产品和隶属关系中隶属于目标用户的产品,确定出为目标用户推送且隶属于目标用户的产品的数量,作为第一物品数量,记为p。根据推送的目标产品和隶属关系中未隶属于目标用户的产品,确定出为目标用户推送但未隶属于目标用户的产品的数量,作为第二物品数量,记为q。根据未推送的目标产品和隶属关系中隶属于目标用户的产品,确定出未为目标用户推送且隶属于目标用户的产品的数量,作为第三物品数量,记为m。进一步的,得出召回率r=p/(p+m),精准率pr=p/(p+q),可以将精准率、召回率作为目标函数的入参,目标函数可以为:
Figure BDA0003750704100000211
其中,β为一个调节参数,当β大于1时,召回率r的变化在目标函数中的调节效果更加灵敏,反之精准率pr影响效果更大。需要说明的是,目标函数的选取旨在使得最终结果需要在召回率和精准率之间取得平衡,所以F取值在0-1范围内,并且容易看出当β*r与
Figure BDA0003750704100000212
的数值越接近,同时pr与r数值越大时F数值越高,也即认为评估效果越好。可以将精准率、召回率作为目标函数的入参,目标函数的输出结果会随着各项参数数值(如三项权重值、精准率或召回率)的改变而变化,可以通过调节第一需求度、第二需求度和第三需求度这三项需求度所对应的权重值,当能够使目标函数的输出结果达到最大时,可以将此时的参数数值作为目标数值,认为是能够使模型达到最优的估计值,在此估计值下的模型可以在实际应用中取得更好地预测效果,模型评估效果最好,并确定模型算法的各个参数及权重系数和阈值,从而给定模型结构更加客观的判定体系,从而确定最终推荐模型,应用于现实场景。
本实施例的技术方案,实现了综合集成算法、协同过滤和评估维度等三种评估方法确定的需求度,并基于各需求度和相应的权重值,确定出可以有效、准确表征目标用户对目标产品需求程度的目标需求度,以基于目标需求度确定需要为目标用户推送的目标产品,以使确定出的为目标用户推送的目标产品是与目标用户是相匹配的,提高推荐效果,达到满足用户需求的技术效果。
实施例六
图5是根据本发明实施例六提供的一种数据处理装置的结构示意图。如图5所示,该装置包括:数据获取模块510、第一需求度确定模块520、第二需求度确定模块530、第三需求度确定模块540和目标需求度确定模块550。
其中,数据获取模块510,用于获取目标用户的历史行为数据以及用户特征数据;第一需求度确定模块520,用于基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度;第二需求度确定模块530,用于对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度;第三需求度确定模块540,用于根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度;目标需求度确定模块550,用于基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
本实施例的技术方案,通过获取目标用户的历史行为数据以及用户特征数据;基于集成算法对用户特征数据进行处理,得到目标用户对目标产品的第一需求度;对历史行为数据进行协同过滤处理,确定目标用户对目标产品的第二需求度;根据用户特征数据和预先设置至少一个评估维度,确定目标用户对目标产品的第三需求度;基于第一需求度、第二需求度、第三需求度以及相应的权重值,确定目标用户对目标产品的目标需求度,解决了现有技术中将用户历史交易信息中交易频次高的产品推荐给用户,导致推荐效果差、造成推荐产品与用户不适配的问题,实现了综合集成算法、协同过滤和评估维度等三种评估方法确定的需求度,并基于各需求度和相应的权重值,确定出可以有效、准确表征目标用户对目标产品需求程度的目标需求度,以基于目标需求度确定需要为目标用户推送的目标产品,以使确定出的为目标用户推送的目标产品是与目标用户是相匹配的,提高推荐效果,达到满足用户需求的技术效果。
在上述装置的基础上,可选的,所述目标短信切片类型确定模块520,包括目标短信模板确定单元和目标短信切片类型确定单元。
在上述装置的基础上,可选的,所述历史行为数据中包括对至少一个待选择产品的历史获取记录信息,其中,所述至少一个待选择产品中包括所述目标产品,所述用户特征数据包括用户基础数据以及资产信息。
在上述装置的基础上,可选的,所述装置还包括特征提取模块,所述特征提取模块,用于分别对所述历史行为数据和所述用户特征数据进行特征提取,得到与所述历史行为数据相对应的历史行为矩阵,以及与所述用户特征数据相对应的用户特征矩阵。
在上述装置的基础上,可选的,所述第一需求度确定模块520,包括第一需求度确定单元。
第一需求度确定单元,用于将与所述用户特征数据相对应的用户特征矩阵输入至与所述集成算法相对应的预测模型中,得到所述目标用户对目标产品的第一需求度。
在上述装置的基础上,可选的,所述第二需求度确定模块530,包括第二需求度确定单元。
第二需求度确定单元,用于将与所述历史行为数据相对应的历史行为矩阵输入至协同过滤模型中,得到所述目标用户对所述目标产品的第二需求度;
其中,协同过滤模型是基于预先确定的训练集数据矩阵确定的,所述训练集数据矩阵与各待训练用户的历史行为矩阵相对应。
在上述装置的基础上,可选的,所述第三需求度确定模块540,包括评估表确定单元、目标评估项确定单元、目标评估值确定单元和第三需求度确定单元。
评估表确定单元,用于调取预先设置的评估表;其中,所述评估表中包括至少一个评估维度,以及与各评估维度相关联的至少一个评估项以及相应的待选择评估值;
目标评估项确定单元,用于根据所述用户特征数据,确定与其相对应的至少一个目标评估维度所对应的目标评估项;
目标评估值确定单元,用于基于所述目标评估项所对应的待选择评估值,确定目标评估值;
第三需求度确定单元,用于基于目标评估值,确定所述目标用户对所述目标产品的第三需求度。
在上述装置的基础上,可选的,所述目标需求度确定模块550,包括第一中间值确定单元、第二中间值确定单元、第三中间值确定单元和目标需求度确定单元。
第一中间值确定单元,用于根据第一需求度和相应权重值的乘积,确定第一中间值;
第二中间值确定单元,用于基于第二需求度和相应权重值的乘积,确定第二中间值;
第三中间值确定单元,用于根据第三需求度和相应权重值的乘积,确定第三中间值;
目标需求度确定单元,用于基于所述第一中间值、第二中间值以及第三中间值,确定所述目标需求度。
在上述装置的基础上,可选的,所述装置还包括产品推送模块,所述产品推送模块,用于若所述目标需求度大于预设需求度阈值,则向所述目标用户推送所述目标产品;
所述产品推送模块,还用于若所述目标需求度小于预设需求度阈值,则不向所述目标用户推送所述目标产品。
在上述装置的基础上,可选的,所述装置还包括权重值更新模块,所述权重值更新模块包括隶属关系确定单元、目标数值确定单元和权重值更新确定单元。
隶属关系确定单元,用于确定预设时长内各目标产品与所述目标用户之间的隶属关系;
目标数值确定单元,用于基于所述隶属关系和目标函数,确定目标数值;
权重值更新确定单元,用于基于所述目标数值,对各需求度所对应的权重值进行更新,以对下次获取到的历史行为数据和用户特征数据进行处理,确定下一目标用户对各目标产品的目标需求度。
在上述装置的基础上,可选的,所述权重值更新模块还包括第一物品数量确定单元、第二物品数量确定单元、第三物品数量确定单元和第四物品数量确定单元。
第一物品数量确定单元,用于根据推送的目标产品和所述隶属关系中隶属于所述目标用户的产品,确定第一物品数量;
第二物品数量确定单元,用于根据推送的目标产品和所述隶属关系中未隶属于所述目标用户的产品,确定第二物品数量;
第三物品数量确定单元,用于根据未推送的目标产品和所述隶属关系中隶属于所述目标用户的产品,确定第三物品数量;
第四物品数量确定单元,用于根据未推送的目标产品和所述隶属关系中未隶属于所述目标用户的产品,确定第四物品数量,以基于所述第一物品数量、第二物品数量和所述第三物品数量,确定所述目标数值。
在上述装置的基础上,可选的,所述目标数值确定单元包括召回率确定子单元、精准率确定子单元和目标数值确定子单元。
召回率确定子单元,用于根据所述第一物品数量和第三物品数量,确定召回率;
精准率确定子单元,用于根据所述第一物品数量和所述第二物品数量,确定精准率;
目标数值确定子单元,用于基于所述精准率、召回率以及目标函数,确定所述目标数值。
在上述装置的基础上,可选的,所述权重值更新确定单元包括更新百分比确定子单元和权重值更新子单元。
更新百分比确定子单元,用于根据所述目标数值,确定各需求度所对应的权重值的更新百分比;
权重值更新子单元,用于基于相应的更新百分比,调整各权重值。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。
实施例七
图6是实现本发明实施例的数据处理方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如数据处理方法。
在一些实施例中,数据处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的数据处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
实施例八
本发明实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现如本申请任一实施例所提供的数据处理方法。
计算机程序产品在实现的过程中,可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (16)

1.一种数据处理方法,其特征在于,包括:
获取目标用户的历史行为数据以及用户特征数据;
基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度;
对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度;
根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度;
基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
2.根据权利要求1所述的方法,其特征在于,所述历史行为数据中包括对至少一个待选择产品的历史获取记录信息,其中,所述至少一个待选择产品中包括所述目标产品,所述用户特征数据包括用户基础数据以及资产信息。
3.根据权利要求1所述的方法,其特征在于,在所述获取目标用户的历史行为数据以及用户特征数据之后,还包括:
分别对所述历史行为数据和所述用户特征数据进行特征提取,得到与所述历史行为数据相对应的历史行为矩阵,以及与所述用户特征数据相对应的用户特征矩阵。
4.根据权利要求1所述的方法,其特征在于,所述基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度,包括:
将与所述用户特征数据相对应的用户特征矩阵输入至与所述集成算法相对应的预测模型中,得到所述目标用户对目标产品的第一需求度。
5.根据权利要求1所述的方法,其特征在于,所述对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度,包括:
将与所述历史行为数据相对应的历史行为矩阵输入至协同过滤模型中,得到所述目标用户对所述目标产品的第二需求度;
其中,协同过滤模型是基于预先确定的训练集数据矩阵确定的,所述训练集数据矩阵与各待训练用户的历史行为矩阵相对应。
6.根据权利要求1所述的方法,其特征在于,所述根据所述用户特征数据和预先设置的至少一个评估维度,确定所述目标用户对所述目标产品的第三需求度,包括:
调取预先设置的评估表;其中,所述评估表中包括至少一个评估维度,以及与各评估维度相关联的至少一个评估项以及相应的待选择评估值;
根据所述用户特征数据,确定与其相对应的至少一个目标评估维度所对应的目标评估项;
基于所述目标评估项所对应的待选择评估值,确定目标评估值;
基于目标评估值,确定所述目标用户对所述目标产品的第三需求度。
7.根据权利要求1所述的方法,其特征在于,所述基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度,包括:
根据第一需求度和相应权重值的乘积,确定第一中间值;
基于第二需求度和相应权重值的乘积,确定第二中间值;
根据第三需求度和相应权重值的乘积,确定第三中间值;
基于所述第一中间值、第二中间值以及第三中间值,确定所述目标需求度。
8.根据权利要求1所述的方法,其特征在于,还包括:
若所述目标需求度大于预设需求度阈值,则向所述目标用户推送所述目标产品;
若所述目标需求度小于预设需求度阈值,则不向所述目标用户推送所述目标产品。
9.根据权利要求1所述的方法,其特征在于,还包括:
确定预设时长内各目标产品与所述目标用户之间的隶属关系;
基于所述隶属关系和目标函数,确定目标数值;
基于所述目标数值,对各需求度所对应的权重值进行更新,以对下次获取到的历史行为数据和用户特征数据进行处理,确定下一目标用户对各目标产品的目标需求度。
10.根据权利要求9所述的方法,其特征在于,在所述基于所述隶属关系和目标函数,确定目标数值之前,还包括:
根据推送的目标产品和所述隶属关系中隶属于所述目标用户的产品,确定第一物品数量;
根据推送的目标产品和所述隶属关系中未隶属于所述目标用户的产品,确定第二物品数量;
根据未推送的目标产品和所述隶属关系中隶属于所述目标用户的产品,确定第三物品数量;
根据未推送的目标产品和所述隶属关系中未隶属于所述目标用户的产品,确定第四物品数量,以基于所述第一物品数量、第二物品数量和所述第三物品数量,确定所述目标数值。
11.根据权利要求10所述的方法,其特征在于,所述基于所述隶属关系和目标函数,确定目标数值,包括:
根据所述第一物品数量和第三物品数量,确定召回率;
根据所述第一物品数量和所述第二物品数量,确定精准率;
基于所述精准率、召回率以及目标函数,确定所述目标数值。
12.根据权利要求11所述的方法,其特征在于,所述基于所述目标数值,对各需求度所对应的权重值进行更新,包括:
根据所述目标数值,确定各需求度所对应的权重值的更新百分比;
基于相应的更新百分比,调整各权重值。
13.一种数据处理装置,其特征在于,包括:
数据获取模块,用于获取目标用户的历史行为数据以及用户特征数据;
第一需求度确定模块,用于基于集成算法对所述用户特征数据进行处理,得到所述目标用户对目标产品的第一需求度;
第二需求度确定模块,用于对所述历史行为数据进行协同过滤处理,确定所述目标用户对所述目标产品的第二需求度;
第三需求度确定模块,用于根据所述用户特征数据和预先设置至少一个评估维度,确定所述目标用户对目标产品的第三需求度;
目标需求度确定模块,用于基于所述第一需求度、第二需求度、第三需求度以及相应的权重值,确定所述目标用户对所述目标产品的目标需求度。
14.一种电子设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-12中任一项所述的数据处理方法。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-12中任一所述的数据处理方法。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-12中任一项所述的数据处理方法。
CN202210842108.XA 2022-07-18 2022-07-18 数据处理方法、装置、电子设备及存储介质 Pending CN115221421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842108.XA CN115221421A (zh) 2022-07-18 2022-07-18 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842108.XA CN115221421A (zh) 2022-07-18 2022-07-18 数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115221421A true CN115221421A (zh) 2022-10-21

Family

ID=83611336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842108.XA Pending CN115221421A (zh) 2022-07-18 2022-07-18 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115221421A (zh)

Similar Documents

Publication Publication Date Title
CN110738527A (zh) 一种特征重要性排序方法、装置、设备和存储介质
CN111612581A (zh) 一种物品推荐的方法、装置、设备及存储介质
CN112818230A (zh) 内容推荐方法、装置、电子设备和存储介质
CN115545886A (zh) 逾期风险识别方法、装置、设备及存储介质
CN114090601B (zh) 一种数据筛选方法、装置、设备以及存储介质
CN114997916A (zh) 潜在用户的预测方法、系统、电子设备和存储介质
CN113283795A (zh) 基于二分类模型的数据处理方法及装置、介质、设备
CN116385081A (zh) 一种推荐物品的方法、装置、设备及存储介质
CN115034762A (zh) 一种岗位推荐方法、装置、存储介质、电子设备及产品
CN115545481A (zh) 一种风险等级确定方法、装置、电子设备及存储介质
CN116151991A (zh) 一种企业估值方法、装置、电子设备、存储介质及产品
CN115907926A (zh) 商品的推荐方法、装置、电子设备及存储介质
CN115860872A (zh) 一种目标物品确定方法、装置、电子设备及存储介质
EP3493082A1 (en) A method of exploring databases of time-stamped data in order to discover dependencies between the data and predict future trends
CN114418701A (zh) 一种生成推荐列表的方法、装置、电子设备及存储介质
CN115062687A (zh) 企业信用监控方法、装置、设备及存储介质
CN115619245A (zh) 一种基于数据降维方法的画像构建和分类方法及系统
CN115271866A (zh) 一种产品推荐方法、装置、电子设备及可读存储介质
CN114708117A (zh) 融合先验知识的用电安全检查评级方法、装置及设备
CN115221421A (zh) 数据处理方法、装置、电子设备及存储介质
CN113010782A (zh) 需求量获取方法、装置、电子设备以及计算机可读介质
CN114637921B (zh) 基于建模偶然不确定性的物品推荐方法、装置和设备
CN115455298A (zh) 目标物品确定方法、装置、电子设备及存储介质
CN114443988A (zh) 一种信息展示方法、装置、电子设备和存储介质
CN115858621A (zh) 用户行为预测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination