CN110610392A - 数据处理方法及系统、计算机系统和计算机可读存储介质 - Google Patents
数据处理方法及系统、计算机系统和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110610392A CN110610392A CN201810616843.2A CN201810616843A CN110610392A CN 110610392 A CN110610392 A CN 110610392A CN 201810616843 A CN201810616843 A CN 201810616843A CN 110610392 A CN110610392 A CN 110610392A
- Authority
- CN
- China
- Prior art keywords
- vector
- factor
- implicit
- implicit factor
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 548
- 238000011156 evaluation Methods 0.000 claims abstract description 103
- 238000013528 artificial neural network Methods 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000013210 evaluation model Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 90
- 230000006870 function Effects 0.000 claims description 87
- 238000000034 method Methods 0.000 claims description 43
- 238000005457 optimization Methods 0.000 claims description 35
- 238000000354 decomposition reaction Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 24
- 238000004590 computer program Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据处理方法，包括：根据第一样本数据确定第一向量集和第二向量集；将第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量；将第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量；根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数；以及根据优化后的目标函数生成预测评估模型，其中，预测评估模型用于预测用户对产品的评估值。本公开还提供了一种数据处理系统、一种计算机系统和一种计算机可读存储介质。
Description
技术领域
本公开涉及计算机技术领域，更具体地，涉及一种数据处理方法及系统、一种计算机系统和一种计算机可读存储介质。
背景技术
随着网络的迅速发展，使得信息量呈爆炸式地增长，为避免用户浏览大量无关的信息和产品，个性化推荐应运而生。个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和产品。个性化推荐系统能建立在海量数据挖掘基础上，帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。给定用户对产品的历史评估记录或行为，预测用户对新产品的评估值，是个性化推荐系统的典型模式之一。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：
相关技术中训练得到的预测评估模型的准确率低，导致个性化推荐效果差。
发明内容
有鉴于此，本公开提供了一种数据处理方法及系统、一种计算机系统和一种计算机可读存储介质。
本公开的一个方面提供了一种数据处理方法，包括根据第一样本数据确定第一向量集和第二向量集，其中，上述第一样本数据包括多个用户对不同产品的评估值，上述第一向量集中的每一个第一向量表征同一用户对不同产品的评估值，上述第二向量集中的每一个第二向量表征多个用户对同一产品的评估值；将上述第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量，其中，每一个第一向量具有对应的第一隐含因子向量，一个或多个第一隐含因子向量组成第一隐含因子向量集；将上述第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量，其中，每一个第二向量具有对应的第二隐含因子向量，一个或多个第二隐含因子向量组成第二隐含因子向量集；根据上述第一隐含因子向量集的误差和上述第二隐含因子向量集的误差优化目标函数；以及根据优化后的目标函数生成预测评估模型，其中，上述预测评估模型用于预测用户对产品的评估值。
根据本公开的实施例，上述方法还包括根据上述第一样本数据生成评估矩阵，其中，上述评估矩阵中的每一个元素表征用户对产品的评估值；将上述评估矩阵分解成第一矩阵和第二矩阵，其中，上述第一矩阵包括多个第三隐含因子向量，每一个第三隐含因子向量表征对应用户的隐含因子向量，上述第二矩阵包括多个第四隐含因子向量，每一个第四隐含因子向量表征对应产品的隐含因子向量；以及根据上述第一隐含因子向量集的误差和上述第二隐含因子向量集的误差优化目标函数包括：根据上述第一隐含因子向量和上述第三隐含因子向量之间的第一差值与上述第二隐含因子向量和上述第四隐含因子向量之间的第二差值优化上述目标函数。
根据本公开的实施例，上述方法还包括根据第二样本数据确定第三向量集和第四向量集，其中，上述第二样本数据包括多个用户的用户信息和多种产品的产品信息，上述第三向量集中的每一个第三向量表征同一用户的用户信息，上述第四向量集中的每一个第四向量表征同一产品的产品信息；将上述第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量包括：将第一向量和相应的第三向量一起输入上述第一神经网络，输出第五隐含因子向量；将上述第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量包括：将第二向量和相应的第四向量一起输入上述第二神经网络，输出第六隐含因子向量；以及根据上述第一隐含因子向量集的误差和上述第二隐含因子向量集的误差优化目标函数包括根据上述第五隐含因子向量和上述第三隐含因子向量之间的第三差值与上述第六隐含因子向量和上述第四隐含因子向量之间的第四差值优化上述目标函数。
根据本公开的实施例，上述方法还包括在将第一向量和相应的第三向量一起输入上述第一神经网络之前，将上述第一向量和上述相应的第三向量进行加噪声处理；将加噪声处理后的第一向量和相应的第三向量一起输入上述第一神经网络；以及/或者在将第二向量和相应的第四向量一起输入上述第二神经网络之前，将上述第二向量和上述相应的第四向量进行加噪声处理；将加噪声处理后的第二向量和相应的第四向量一起输入上述第二神经网络。
根据本公开的实施例，根据上述第五隐含因子向量和上述第三隐含因子向量之间的第三差值与上述第六隐含因子向量和上述第四隐含因子向量之间的第四差值优化上述目标函数包括确定上述目标函数中关于上述第三差值和上述第四差值的优化参数；以及基于上述优化参数优化上述目标函数。
本公开的另一个方面提供了一种数据处理系统，包括第一确定模块、第一输入模块、第二输入模块、优化模块和第一生成模块。第一确定模块用于根据第一样本数据确定第一向量集和第二向量集，其中，上述第一样本数据包括多个用户对不同产品的评估值，上述第一向量集中的每一个第一向量表征同一用户对不同产品的评估值，上述第二向量集中的每一个第二向量表征多个用户对同一产品的评估值；第一输入模块用于将上述第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量，其中，每一个第一向量具有对应的第一隐含因子向量，一个或多个第一隐含因子向量组成第一隐含因子向量集；第二输入模块用于将上述第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量，其中，每一个第二向量具有对应的第二隐含因子向量，一个或多个第二隐含因子向量组成第二隐含因子向量集；优化模块用于根据上述第一隐含因子向量集的误差和上述第二隐含因子向量集的误差优化目标函数；以及第一生成模块用于根据优化后的目标函数生成预测评估模型，其中，上述预测评估模型用于预测用户对产品的评估值。
根据本公开的实施例，上述系统还包括第二生成模块、分解模块。第二生成模块用于根据上述第一样本数据生成评估矩阵，其中，上述评估矩阵中的每一个元素表征用户对产品的评估值；分解模块用于将上述评估矩阵分解成第一矩阵和第二矩阵，其中，上述第一矩阵包括多个第三隐含因子向量，每一个第三隐含因子向量表征对应用户的隐含因子向量，上述第二矩阵包括多个第四隐含因子向量，每一个第四隐含因子向量表征对应产品的隐含因子向量；以及上述优化模块还用于根据上述第一隐含因子向量和上述第三隐含因子向量之间的第一差值与上述第二隐含因子向量和上述第四隐含因子向量之间的第二差值优化上述目标函数。
根据本公开的实施例，上述系统还包括第二确定模块、第三输入模块和第四输入模块。第二确定模块用于根据第二样本数据确定第三向量集和第四向量集，其中，上述第二样本数据包括多个用户的用户信息和多种产品的产品信息，上述第三向量集中的每一个第三向量表征同一用户的用户信息，上述第四向量集中的每一个第四向量表征同一产品的产品信息；第三输入模块用于将第一向量和相应的第三向量一起输入上述第一神经网络，输出第五隐含因子向量；第四输入模块用于将第二向量和相应的第四向量一起输入上述第二神经网络，输出第六隐含因子向量；以及上述优化模块还用于根据上述第五隐含因子向量和上述第三隐含因子向量之间的第三差值与上述第六隐含因子向量和上述第四隐含因子向量之间的第四差值优化上述目标函数。
根据本公开的实施例，上述系统还包括第一处理模块、第五输入模块、以及或者第二处理模块，第六输入模块。第一处理模块用于在将第一向量和相应的第三向量一起输入上述第一神经网络之前，将上述第一向量和上述相应的第三向量进行加噪声处理；第五输入模块用于将加噪声处理后的第一向量和相应的第三向量一起输入上述第一神经网络；以及/或者第二处理模块用于在将第二向量和相应的第四向量一起输入上述第二神经网络之前，将上述第二向量和上述相应的第四向量进行加噪声处理；第六输入模块用于将加噪声处理后的第二向量和相应的第四向量一起输入上述第二神经网络。
根据本公开的实施例，上述优化模块包括确定单元和优化单元。确定单元用于确定上述目标函数中关于上述第三差值和上述第四差值的优化参数；以及优化单元用于基于上述优化参数优化上述目标函数。
本公开的又一个方面提供了一种计算机系统，包括一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的数据处理方法。
本公开的再一个方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的数据处理方法。
本公开的再一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的数据处理方法。
根据本公开的实施例，将表征同一用户对不同产品的评估值的第一向量输入第一神经网络，输出第一隐含因子向量，将表征多个用户对同一产品的评估值的第二向量输入第二神经网络，输出第二隐含因子向量，根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数，从而根据优化后的目标函数生成预测评估模型的技术手段，由于考虑了第一隐含因子向量集的误差和第二隐含因子向量集的误差来优化目标函数，所以至少部分地克服了直接根据神经网络输出的第一隐含因子向量集和第二隐含因子向量集进行建模，导致隐含因子向量的细微误差波动都将被模型当做正常的样本值学习，影响预测评估模型的鲁棒性和最优化目标函数过程中对隐含因子向量学习的准确性，影响预测评估模型的准确率的技术问题，进而提高了预测评估模型的评估准确率，达到了个性化推荐的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的可以应用数据处理方法及系统的示例性系统架构；
图2示意性示出了根据本公开实施例的数据处理方法的流程图；
图3示意性示出了根据本公开另一实施例的数据处理方法的流程图；
图4示意性示出了根据本公开实施例的矩阵分解的示意图；
图5示意性示出了根据本公开另一实施例的数据处理方法的流程图；
图6示意性示出了根据本公开另一实施例的数据处理方法的流程图；
图7示意性示出了根据本公开实施例的将加噪声处理后的第一向量和相应的第三向量一起输入第一神经网络的示意图；
图8示意性示出了根据本公开实施例的aSDAE模型的示意图；
图9示意性示出了根据本公开另一实施例的生成预测评估模型的示意图；
图10示意性示出了根据本公开实施例的优化目标函数的流程图；
图11示意性示出了根据本公开实施例的数据处理系统的框图；
图12示意性示出了根据本公开另一实施例的数据处理系统的框图；
图13示意性示出了根据本公开另一实施例的数据处理系统的框图；
图14示意性示出了根据本公开另一实施例的数据处理系统的框图；
图15示意性示出了根据本公开实施例的优化模块的框图；以及
图16示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种数据处理方法及系统，该方法包括根据第一样本数据确定第一向量集和第二向量集，其中，第一样本数据包括多个用户对不同产品的评估值，第一向量集中的每一个第一向量表征同一用户对不同产品的评估值，第二向量集中的每一个第二向量表征多个用户对同一产品的评估值；将第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量，其中，每一个第一向量具有对应的第一隐含因子向量，一个或多个第一隐含因子向量组成第一隐含因子向量集；将第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量，其中，每一个第二向量具有对应的第二隐含因子向量，一个或多个第二隐含因子向量组成第二隐含因子向量集；根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数；以及根据优化后的目标函数生成预测评估模型，其中，预测评估模型用于预测用户对产品的评估值。
图1示意性示出了根据本公开实施例的可以应用数据处理方法及系统的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的数据处理方法方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据处理系统一般可以设置于服务器105中。本公开实施例所提供的数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理系统也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的数据处理方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的数据处理系统也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
例如，第一样本数据可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的数据处理方法，或者将第一样本数据发送到其他终端设备、服务器、或服务器集群，并由接收该第一样本数据的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的数据处理方法。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的数据处理方法的流程图。
如图2所示，该数据处理方法包括操作S201～S205。
在操作S201，根据第一样本数据确定第一向量集和第二向量集，其中，第一样本数据包括多个用户对不同产品的评估值，第一向量集中的每一个第一向量表征同一用户对不同产品的评估值，第二向量集中的每一个第二向量表征多个用户对同一产品的评估值。
根据本公开的实施例，第一样本数据中可以包含m个用户(user)和n种产品(item)，每个用户可以有对不同产品的评估值，例如，评估值可以为1，评估值也可以为0，评估值的大小可以用于表征用户对产品的喜爱程度，例如，评估值越大，用户越喜欢相应的产品，评估值为0，说明用户没有交易过相应的产品，表示用户i对产品j没有给出相应的评估值。
在操作S202，将第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量，其中，每一个第一向量具有对应的第一隐含因子向量，一个或多个第一隐含因子向量组成第一隐含因子向量集。
在操作S203，将第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量，其中，每一个第二向量具有对应的第二隐含因子向量，一个或多个第二隐含因子向量组成第二隐含因子向量集。
根据本公开的实施例，第一神经网络和第二神经网络所包含的隐藏层可以相同，也可以不同，每一层的权重系数等其他参数可以相同也可以不同。通过将第一向量集中的每一个第一向量输入第一神经网络，将第二向量集中的每一个第二向量输入第二神经网络，可以得到每一个第一向量相应的隐含因子向量和每一个第二向量相应的隐含因子向量。
在操作S204，根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数。
由于使用神经网络学习出来的隐含因子向量直接作为预测评估模型的隐含因子向量不符合客观实际，在客观上存在一定的误差，本公开根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数，也即考虑第一隐含因子向量集中的第一隐含因子向量的误差，以及第二隐含因子向量集中的第二隐含因子向量的误差优化目标函数。
在操作S205，根据优化后的目标函数生成预测评估模型，其中，预测评估模型用于预测用户对产品的评估值。
根据本公开的实施例，将表征同一用户对不同产品的评估值的第一向量输入第一神经网络，输出第一隐含因子向量，将表征多个用户对同一产品的评估值的第二向量输入第二神经网络，输出第二隐含因子向量，根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数，从而根据优化后的目标函数生成预测评估模型的技术手段，由于考虑了第一隐含因子向量集的误差和第二隐含因子向量集的误差来优化目标函数，所以至少部分地克服了直接根据神经网络输出的第一隐含因子向量集和第二隐含因子向量集进行建模，导致隐含因子向量的细微误差波动都将被模型当做正常的样本值学习，影响预测评估模型的鲁棒性和最优化目标函数过程中对隐含因子向量学习的准确性，影响预测评估模型的准确率的技术问题，进而提高了预测评估模型的评估准确率，达到了个性化推荐的技术效果。
下面参考图3～图10，结合具体实施例对图2所示的方法做进一步说明。
根据本公开的实施例，数据处理方法还包括根据第一样本数据生成评估矩阵，其中，评估矩阵中的每一个元素表征用户对产品的评估值。将评估矩阵分解成第一矩阵和第二矩阵，其中，第一矩阵包括多个第三隐含因子向量，每一个第三隐含因子向量表征对应用户的隐含因子向量，第二矩阵包括多个第四隐含因子向量，每一个第四隐含因子向量表征对应产品的隐含因子向量。根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数包括根据第一隐含因子向量和第三隐含因子向量之间的第一差值与第二隐含因子向量和第四隐含因子向量之间的第二差值优化目标函数。
图3示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图3所示，该数据处理方法还包括操作S206～S208。
在操作S206，根据第一样本数据生成评估矩阵，其中，评估矩阵中的每一个元素表征用户对产品的评估值。
根据本公开的实施例，例如评估矩阵每个元素Rij表示用户i对产品j的评估值。
在操作S207，将评估矩阵分解成第一矩阵和第二矩阵，其中，第一矩阵包括多个第三隐含因子向量，每一个第三隐含因子向量表征对应用户的隐含因子向量，第二矩阵包括多个第四隐含因子向量，每一个第四隐含因子向量表征对应产品的隐含因子向量。
在操作S208，根据第一隐含因子向量和第三隐含因子向量之间的第一差值与第二隐含因子向量和第四隐含因子向量之间的第二差值优化目标函数。
根据本公开的实施例，通过矩阵分解，原始的评估矩阵R可以被分解为两个低秩(low-rank)的第一矩阵U和第二矩阵V，其中U由各个用户的第三隐含因子向量(1atent factorvector)组成，而V由各个产品的第四隐含因子向量组成，R≈UVT。 ui表示第i个用户的隐含因子向量；vj表示第j种产品的隐含因子向量。
图4示意性示出了根据本公开实施例的矩阵分解的示意图。
如图4所示，用户(Uster)i对产品(Item)j的近似评估值可以通过计算第i个用户的隐含因子向量ui与第j种产品的隐含因子向量vj的内积得到，即给定稀疏的评估矩阵R，矩阵分解试图学习出U和V，从而实现对评估矩阵R中未知值得评估。
矩阵分解的目标优化函数可以表示为：
其中为损失函数，||·||F为费罗贝尼乌斯范数(Frobenius norm)，λ为归一化参数。
通过本公开的实施例，将第一神经网络输出的第一隐含因子向量和矩阵分解得到的第三隐含因子向量之间的第一差值作为误差，以及将第二神经网络输出的第二隐含因子向量和矩阵分解得到的第四隐含因子向量之间的第二差值作为误差，从而优化目标函数。可以提高优化目标函数过程中对隐含因子向量学习的准确性，提高预测评估模型的评估准确率。
根据本公开的实施例，数据处理方法还包括根据第二样本数据确定第三向量集和第四向量集，其中，第二样本数据包括多个用户的用户信息和多种产品的产品信息，第三向量集中的每一个第三向量表征同一用户的用户信息，第四向量集中的每一个第四向量表征同一产品的产品信息；将第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量包括将第一向量和相应的第三向量一起输入第一神经网络，输出第五隐含因子向量；将第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量包括将第二向量和相应的第四向量一起输入第二神经网络，输出第六隐含因子向量；以及根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数包括根据第五隐含因子向量和第三隐含因子向量之间的第三差值与第六隐含因子向量和第四隐含因子向量之间的第四差值优化目标函数。
图5示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图5所示，该数据处理方法还包括操作S209～S212。
在操作S209，根据第二样本数据确定第三向量集和第四向量集，其中，第二样本数据包括多个用户的用户信息和多种产品的产品信息，第三向量集中的每一个第三向量表征同一用户的用户信息，第四向量集中的每一个第四向量表征同一产品的产品信息。
在操作S210，将第一向量和相应的第三向量一起输入第一神经网络，输出第五隐含因子向量。
在操作S211，将第二向量和相应的第四向量一起输入第二神经网络，输出第六隐含因子向量。
在操作S212，根据第五隐含因子向量和第三隐含因子向量之间的第三差值与第六隐含因子向量和第四隐含因子向量之间的第四差值优化目标函数。
根据本公开的实施例，为了解决推荐系统中的冷启动和数据稀疏等问题，可以在分析过程中加入附加信息，即多个用户的用户信息和多种产品的产品信息。第二样本数据可以来源于用户或产品画像，例如用户的人口普查信息、用户操作数据和产品的种类信息等。不同用户的用户信息可以是如表1所示，不同产品的产品信息可以是如表2所示。
表1用户信息(X)
表2产品信息(Y)
根据本公开的实施例，可以将多个用户的用户信息和多种产品的产品信息特征向量化，如第三向量集中的每一个第三向量表征同一用户的用户信息，第四向量集中的每一个第四向量表征同一产品的产品信息。
不同用户对不同产品的评分值可以是如表3所示。假设评分等级为1-5，分数越大表明用户对该产品的喜爱程度越高，其中缺失值用0表示，通常用户-产品评分矩阵R中的评分等级值可以通过用户的隐式反馈(如用户在某种产品页面的停留时长、浏览次数等)或显示反馈(如用户对某种产品的评价分值等)综合计算得出。
表3用户-产品评分矩阵元素
| 用户/产品 | I1 | I2 | I3 | I4～I13 | I14 | I15 | I16 | I17 | I18 | I19 | I20 |
| U1 | 5 | 1 | |||||||||
| U2 | 0 | 1 | 2 | 2 | |||||||
| U3 | |||||||||||
| U4 | 2 | ||||||||||
| U4 | 4 | 3 | 2 |
通常用户-产品评分矩阵中存在许多缺损的值，即某个用户对某种产品的喜好程度是未知的，推荐算法旨在于发掘这些未知的值，即准确的发觉用户对未知产品的喜好程度，将用户感兴趣的未知产品推荐给用户，从而提高产品的销售量。
根据本公开的实施例，通过将第一向量和相应的第三向量一起输入第一神经网络，输出第五隐含因子向量，将第二向量和相应的第四向量一起输入第二神经网络，输出第六隐含因子向量，可以解决推荐系统中冷启动和数据稀疏等问题。
图6示意性示出了根据本公开另一实施例的数据处理方法的流程图。
如图6所示，该数据处理方法还包括操作S213～S216。
在操作S213，在将第一向量和相应的第三向量一起输入第一神经网络之前，将第一向量和相应的第三向量进行加噪声处理。
在操作S214，将加噪声处理后的第一向量和相应的第三向量一起输入第一神经网络。以及/或者
在操作S215，在将第二向量和相应的第四向量一起输入第二神经网络之前，将第二向量和相应的第四向量进行加噪声处理。
在操作S216，将加噪声处理后的第二向量和相应的第四向量一起输入第二神经网络。
根据本公开的实施例，给定用户-产品的评估矩阵将R转换为对于每个用户i∈{1，...，m}，为用户i对所有n种产品的评估值，即第一向量；将R转换为 对于每种产品j∈{1，...，n}，为所有m个用户对产品j的评估值，即第二向量。为S(user)的加噪声表示，为S(item)的加噪声表示。用户信息用表示，即第三向量，产品信息用表示，即第四向量，相应的加噪声分别表示为和
图7示意性示出了根据本公开实施例的将加噪声处理后的第一向量和相应的第三向量一起输入第一神经网络的示意图。
如图7所示，将加噪声处理后的第一向量和相应的第三向量一起输入第一神经网络，可以输出相应的值和
根据本公开的实施例，第一神经网络和第二神经网络可以采用深度模型aSDAE，通过深度模型aSDAE学习出来的特征表示与基于矩阵分解的协同过滤推荐算法的隐含因子向量之间的误差，并在最优化目标函数的过程中，最小化这种误差，能有利于更准确、客观地学习用户和产品的第一矩阵U和第二矩阵V，在一定程度上避免过拟合问题，提高预测评估模型的准确率，改善整个推荐系统的性能。
根据本公开的实施例，可以将aSDAE模型的中间层结果(即第层)作为评估矩阵R与用户和产品附加信息X、Y之间的桥梁。用户i∈{1，...，m}的第一隐含因子向量ui，可以来源于用户aSDAE模型以作为输入的第[(L+1)/2」层结果，产品j∈{1，...，n}的第二隐含因子向量vj可以来源于产品aSDAE模型以作为输入的第层结果。基于以作为输入的第层结果的误差和以作为输入的第层结果的误差优化目标函数。
图8示意性示出了根据本公开实施例的aSDAE模型的示意图。
如图8所示，给定样本集S＝[s1，...，sn]，相应的附加信息为X＝[x1，...，xn]，对S和X加噪声得到和假设aSDAE共有L层，对于每个样本及附加信息s和x，其对应的加噪声表示为和重构后表示为和
用户aSDAE模型(第一神经网络)对应图8的上虚线框内容，用于提取第一隐含因子向量，产品aSDAE模型(第二神经网络)对应图8的下虚线框内容，用于提取第二隐含因子向量，中间部分用矩阵分解的协同过滤方法将评估矩阵R分解为U和V。
使用
其中，为用户aSDAE模型以作为输入的第层结果；为产品aSDAE模型以作为输入的第层结果。
(1)对于aSDAE模型的每一个隐藏层l∈{1，...，L-1}，其隐藏层表示为其中Wl和Vl为第l层的权值矩阵，bl为第l层的偏置向量，g(·)为激活函数，且
(2)对于输出层第L层，WL和VL为第L层的权值矩阵，和为偏置向量，f(·)为激活函数。
(3)aSDAE模型的前L/2层为编码器，后L/2层为解码器。
本公开根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化的目标函数可以是如下公式：
其中为用户aSDAE模型以作为输入的第L层结果，为产品aSDAE模型以作为输入的第L层结果。其中Iij为指示矩阵，即当Rij＝0时，Iij＝0；当Rij≠0时，Iij＝1。α1和α2为S和X权衡参数，λ为归一化参数。
freg增加两个归一化项和得到：
其中Wl，Vl和W′l，V′l分别为用户和产品aSDAE模型在第l∈{1，...，L}的权值参数，bl和b′l为对应的偏置向量。
根据本公开的实施例，模型训练时可以采用随机梯度下降算法(SGD)来训练学习隐含因子向量ui和vj，那么其更新规则为：
其中表示当与U和V无关的变量固定时的目标函数，η为随机梯度下降算法的学习率。对ui和vj求导的过程，可以进一步细化为：
根据本公开的实施例，模型测试时根据学习得到用户和产品的隐含因子矩阵和可以近似地得到预测评估矩阵即因此，对于每个用户，基于评估矩阵可以得到对产品评估排序的列表。
根据本公开的实施例，可以客观地描述aSDAE模型学习出来的特征表示与基于矩阵分解的协同过滤推荐算法的隐含因子向量之间的误差，并在优化目标函数的过程中，最小化误差，能有利于更准确、客观地学习用户和产品的隐含因子矩阵U和V，在一定程度上避免过拟合问题，提高预测评估矩阵的准确率，增强学习过程的鲁棒性并改善整个推荐系统的性能。
图9示意性示出了根据本公开另一实施例的生成预测评估模型的示意图。
如图9所示，生成预测评估模型可以包括如下步骤(1)～(4)。
(1)在数据仓库中提取推荐相关的特征，即用户-产品评估矩阵R、用户附属信息X和产品附属信息Y。用户-产品评估矩阵R是某稀疏矩阵，其中某些值存在空缺，推荐系统能根据与当前用户具有相似喜好、兴趣的其他用户的评估值，预测出当前用户对未知产品的评估值。
(2)用户-产品评估矩阵R、用户附属信息X和产品附属信息Y作为模型输入，采用基于自动编码(Autoencoder)的深度协同过滤方法，对深度学习模型(Autoencoder)的模型参数及用户和产品的隐含因子矩阵U和V进行学习，采用随机梯度下降法对得到新的隐含因子矩阵U和V。
(3)通过学习得到的用户和产品的隐含因子矩阵U和V，近似地得到预测评估模型即可以获得原来在评估矩阵R中对未知产品的近似评估值。
(4)对于每个用户，基于预测评估模型可以得到对各种产品评估(喜好程度)排序的列表。
根据本公开的实施例，给定用户-产品的评估矩阵可以将R转换为对于每个用户i∈{1，...，m}，为用户i对所有n种产品的评估值。
例如：将用户-产品评估矩阵R转换为用户角度的评分矩阵S(user)，表示用户1对所有20件产品的评分； 表示用户2对所有20件产品的评分…… 表示用户5对所有20件产品的评分。
根据本公开的实施例，将用户-产品评估矩阵R转换为对于每种产品j∈{1，...，n}，为所有m个用户对产品j的评估值。
例如：将用户-产品评分矩阵R转换为产品角度的评分矩阵S(item)。表示用户1到用户5对第1件产品的评分，表示用户1到用户5对第2件产品的评分……表示用户1到用户5对第20件产品的评分。
为S(user)的加噪声表示，为S(item)的加噪声表示。用户和产品的附加信息(side information)分别用和表示，相应的加噪声表示为和
通过本公开的实施例，对输入向量施加某种噪声，有利于神经网络学习，从而提高预测评估模型的准确度。
图10示意性示出了根据本公开实施例的优化目标函数的流程图。
如图10所示，根据第五隐含因子向量和第三隐含因子向量之间的第三差值与第六隐含因子向量和第四隐含因子向量之间的第四差值优化目标函数包括操作S2121～S2122。
在操作S2121，确定目标函数中关于第三差值和第四差值的优化参数。
在操作S2122，基于优化参数优化目标函数。
根据本公开的实施例，目标函数可以是上述公式(2)中记载的公式，优化目标函数时可以先确定上述公式中的各个参数，例如α1和α2，归一化参数λ等，再进行优化。其中，α1和α2可以作为第三差值和第四差值的优化参数。
通过本公开的实施例，确定第三差值和第四差值的优化参数，有利于提高最优化目标函数过程中对隐含因子向量学习的准确性。
图11示意性示出了根据本公开实施例的数据处理系统的框图。
如图11所示，数据处理系统300包括第一确定模块301、第一输入模块302、第二输入模块303、优化模块304和第一生成模块305。
第一确定模块301用于根据第一样本数据确定第一向量集和第二向量集，其中，第一样本数据包括多个用户对不同产品的评估值，第一向量集中的每一个第一向量表征同一用户对不同产品的评估值，第二向量集中的每一个第二向量表征多个用户对同一产品的评估值。
第一输入模块302用于将第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量，其中，每一个第一向量具有对应的第一隐含因子向量，一个或多个第一隐含因子向量组成第一隐含因子向量集。
第二输入模块303用于将第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量，其中，每一个第二向量具有对应的第二隐含因子向量，一个或多个第二隐含因子向量组成第二隐含因子向量集。
优化模块304用于根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数。
第一生成模块305用于根据优化后的目标函数生成预测评估模型，其中，预测评估模型用于预测用户对产品的评估值。
根据本公开的实施例，将表征同一用户对不同产品的评估值的第一向量输入第一神经网络，输出第一隐含因子向量，将表征多个用户对同一产品的评估值的第二向量输入第二神经网络，输出第二隐含因子向量，根据第一隐含因子向量集的误差和第二隐含因子向量集的误差优化目标函数，从而根据优化后的目标函数生成预测评估模型的技术手段，由于考虑了第一隐含因子向量集的误差和第二隐含因子向量集的误差来优化目标函数，所以至少部分地克服了相关技术中直接根据神经网络输出的第一隐含因子向量集和第二隐含因子向量集进行建模，导致隐含因子向量的细微误差波动都将被模型当做正常的样本值学习，影响预测评估模型的鲁棒性和最优化目标函数过程中对隐含因子向量学习的准确性，影响预测评估模型的准确率的技术问题，进而提高了预测评估模型的评估准确率，达到了个性化推荐的技术效果。
图12示意性示出了根据本公开另一实施例的数据处理系统的框图。
如图12所示，数据处理系统300还包括第二生成模块306和分解模块307。
第二生成模块306用于根据第一样本数据生成评估矩阵，其中，评估矩阵中的每一个元素表征用户对产品的评估值。
分解模块307用于将评估矩阵分解成第一矩阵和第二矩阵，其中，第一矩阵包括多个第三隐含因子向量，每一个第三隐含因子向量表征对应用户的隐含因子向量，第二矩阵包括多个第四隐含因子向量，每一个第四隐含因子向量表征对应产品的隐含因子向量。
优化模块304还用于根据第一隐含因子向量和第三隐含因子向量之间的第一差值与第二隐含因子向量和第四隐含因子向量之间的第二差值优化目标函数。
通过本公开的实施例，将第一神经网络输出的第一隐含因子向量和矩阵分解得到的第三隐含因子向量之间的第一差值作为误差，以及将第二神经网络输出的第二隐含因子向量和矩阵分解得到的第四隐含因子向量之间的第二差值作为误差，从而优化目标函数。可以提高优化目标函数过程中对隐含因子向量学习的准确性，提高预测评估模型的评估准确率。
图13示意性示出了根据本公开另一实施例的数据处理系统的框图。
如图13所示，数据处理系统300还包括第二确定模块308、第三输入模块309和第四输入模块310。
第二确定模块308用于根据第二样本数据确定第三向量集和第四向量集，其中，第二样本数据包括多个用户的用户信息和多种产品的产品信息，第三向量集中的每一个第三向量表征同一用户的用户信息，第四向量集中的每一个第四向量表征同一产品的产品信息；
第三输入模块309用于将第一向量和相应的第三向量一起输入第一神经网络，输出第五隐含因子向量；
第四输入模块310用于将第二向量和相应的第四向量一起输入第二神经网络，输出第六隐含因子向量。
优化模块304还用于根据第五隐含因子向量和第三隐含因子向量之间的第三差值与第六隐含因子向量和第四隐含因子向量之间的第四差值优化目标函数。
根据本公开的实施例，通过将第一向量和相应的第三向量一起输入第一神经网络，输出第五隐含因子向量，将第二向量和相应的第四向量一起输入第二神经网络，输出第六隐含因子向量，可以解决推荐系统中冷启动和数据稀疏等问题。
图14示意性示出了根据本公开另一实施例的数据处理系统的框图。
如图14所示，数据处理系统300还包括第一处理模块311、第五输入模块312以及/或者第二处理模块313，第六输入模块314。
第一处理模块311用于在将第一向量和相应的第三向量一起输入第一神经网络之前，将第一向量和相应的第三向量进行加噪声处理。
第五输入模块312用于将加噪声处理后的第一向量和相应的第三向量一起输入第一神经网络。
第二处理模块313用于在将第二向量和相应的第四向量一起输入第二神经网络之前，将第二向量和相应的第四向量进行加噪声处理。
第六输入模块314用于将加噪声处理后的第二向量和相应的第四向量一起输入第二神经网络。
通过本公开的实施例，对输入向量施加某种噪声，有利于神经网络学习，从而提高预测评估模型的准确度。
图15示意性示出了根据本公开实施例的优化模块的框图。
如图15所示，优化模块304包括确定单元3041和优化单元3042。
确定单元3041用于确定目标函数中关于第三差值和第四差值的优化参数。
优化单元3042用于基于优化参数优化目标函数。
通过本公开的实施例，确定第三差值和第四差值的优化参数，有利于提高最优化目标函数过程中对隐含因子向量学习的准确性。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一确定模块301、第一输入模块302、第二输入模块303、优化模块304、第一生成模块305、第二生成模块306、分解模块307、第二确定模块308、第三输入模块309、第四输入模块310、第一处理模块311、第五输入模块312、第二处理模块313和第六输入模块314、确定单元3041和优化单元3042中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一确定模块301、第一输入模块302、第二输入模块303、优化模块304、第一生成模块305、第二生成模块306、分解模块307、第二确定模块308、第三输入模块309、第四输入模块310、第一处理模块311、第五输入模块312、第二处理模块313和第六输入模块314、确定单元3041和优化单元3042中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一确定模块301、第一输入模块302、第二输入模块303、优化模块304、第一生成模块305、第二生成模块306、分解模块307、第二确定模块308、第三输入模块309、第四输入模块310、第一处理模块311、第五输入模块312、第二处理模块313和第六输入模块314、确定单元3041和优化单元3042中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中数据处理系统部分与本公开的实施例中数据处理方法部分是相对应的，数据处理系统部分的描述具体参考数据处理方法部分，在此不再赘述。
本公开的又一个方面提供了一种计算机系统，包括一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的数据处理方法。
图16示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图16示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，根据本公开实施例的计算机系统500包括处理器501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 503中，存储有系统500操作所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统500还可以包括输入/输出(I/O)接口505，输入/输出(I/O)接口505也连接至总线504。系统500还可以包括连接至I/O接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (12)
1.一种数据处理方法，包括：
根据第一样本数据确定第一向量集和第二向量集，其中，所述第一样本数据包括多个用户对不同产品的评估值，所述第一向量集中的每一个第一向量表征同一用户对不同产品的评估值，所述第二向量集中的每一个第二向量表征多个用户对同一产品的评估值；
将所述第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量，其中，每一个第一向量具有对应的第一隐含因子向量，一个或多个第一隐含因子向量组成第一隐含因子向量集；
将所述第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量，其中，每一个第二向量具有对应的第二隐含因子向量，一个或多个第二隐含因子向量组成第二隐含因子向量集；
根据所述第一隐含因子向量集的误差和所述第二隐含因子向量集的误差优化目标函数；以及
根据优化后的目标函数生成预测评估模型，其中，所述预测评估模型用于预测用户对产品的评估值。
2.根据权利要求1所述的方法，其中，所述方法还包括：
根据所述第一样本数据生成评估矩阵，其中，所述评估矩阵中的每一个元素表征用户对产品的评估值；
将所述评估矩阵分解成第一矩阵和第二矩阵，其中，所述第一矩阵包括多个第三隐含因子向量，每一个第三隐含因子向量表征对应用户的隐含因子向量，所述第二矩阵包括多个第四隐含因子向量，每一个第四隐含因子向量表征对应产品的隐含因子向量；以及
根据所述第一隐含因子向量集的误差和所述第二隐含因子向量集的误差优化目标函数包括：根据所述第一隐含因子向量和所述第三隐含因子向量之间的第一差值与所述第二隐含因子向量和所述第四隐含因子向量之间的第二差值优化所述目标函数。
3.根据权利要求2所述的方法，其中，所述方法还包括：
根据第二样本数据确定第三向量集和第四向量集，其中，所述第二样本数据包括多个用户的用户信息和多种产品的产品信息，所述第三向量集中的每一个第三向量表征同一用户的用户信息，所述第四向量集中的每一个第四向量表征同一产品的产品信息；
将所述第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量包括：将第一向量和相应的第三向量一起输入所述第一神经网络，输出第五隐含因子向量；
将所述第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量包括：将第二向量和相应的第四向量一起输入所述第二神经网络，输出第六隐含因子向量；以及
根据所述第一隐含因子向量集的误差和所述第二隐含因子向量集的误差优化目标函数包括：根据所述第五隐含因子向量和所述第三隐含因子向量之间的第三差值与所述第六隐含因子向量和所述第四隐含因子向量之间的第四差值优化所述目标函数。
4.根据权利要求3所述的方法，其中，所述方法还包括：
在将第一向量和相应的第三向量一起输入所述第一神经网络之前，将所述第一向量和所述相应的第三向量进行加噪声处理；
将加噪声处理后的第一向量和相应的第三向量一起输入所述第一神经网络；以及/或者
在将第二向量和相应的第四向量一起输入所述第二神经网络之前，将所述第二向量和所述相应的第四向量进行加噪声处理；
将加噪声处理后的第二向量和相应的第四向量一起输入所述第二神经网络。
5.根据权利要求3所述的方法，其中，根据所述第五隐含因子向量和所述第三隐含因子向量之间的第三差值与所述第六隐含因子向量和所述第四隐含因子向量之间的第四差值优化所述目标函数包括：
确定所述目标函数中关于所述第三差值和所述第四差值的优化参数；以及
基于所述优化参数优化所述目标函数。
6.一种数据处理系统，包括：
第一确定模块，用于根据第一样本数据确定第一向量集和第二向量集，其中，所述第一样本数据包括多个用户对不同产品的评估值，所述第一向量集中的每一个第一向量表征同一用户对不同产品的评估值，所述第二向量集中的每一个第二向量表征多个用户对同一产品的评估值；
第一输入模块，用于将所述第一向量集中的每一个第一向量输入第一神经网络，输出第一隐含因子向量，其中，每一个第一向量具有对应的第一隐含因子向量，一个或多个第一隐含因子向量组成第一隐含因子向量集；
第二输入模块，用于将所述第二向量集中的每一个第二向量输入第二神经网络，输出第二隐含因子向量，其中，每一个第二向量具有对应的第二隐含因子向量，一个或多个第二隐含因子向量组成第二隐含因子向量集；
优化模块，用于根据所述第一隐含因子向量集的误差和所述第二隐含因子向量集的误差优化目标函数；以及
第一生成模块，用于根据优化后的目标函数生成预测评估模型，其中，所述预测评估模型用于预测用户对产品的评估值。
7.根据权利要求6所述的系统，其中，所述系统还包括：
第二生成模块，用于根据所述第一样本数据生成评估矩阵，其中，所述评估矩阵中的每一个元素表征用户对产品的评估值；
分解模块，用于将所述评估矩阵分解成第一矩阵和第二矩阵，其中，所述第一矩阵包括多个第三隐含因子向量，每一个第三隐含因子向量表征对应用户的隐含因子向量，所述第二矩阵包括多个第四隐含因子向量，每一个第四隐含因子向量表征对应产品的隐含因子向量；以及
所述优化模块还用于根据所述第一隐含因子向量和所述第三隐含因子向量之间的第一差值与所述第二隐含因子向量和所述第四隐含因子向量之间的第二差值优化所述目标函数。
8.根据权利要求7所述的系统，其中，所述系统还包括：
第二确定模块，用于根据第二样本数据确定第三向量集和第四向量集，其中，所述第二样本数据包括多个用户的用户信息和多种产品的产品信息，所述第三向量集中的每一个第三向量表征同一用户的用户信息，所述第四向量集中的每一个第四向量表征同一产品的产品信息；
第三输入模块，用于将第一向量和相应的第三向量一起输入所述第一神经网络，输出第五隐含因子向量；
第四输入模块，用于将第二向量和相应的第四向量一起输入所述第二神经网络，输出第六隐含因子向量；以及
所述优化模块还用于根据所述第五隐含因子向量和所述第三隐含因子向量之间的第三差值与所述第六隐含因子向量和所述第四隐含因子向量之间的第四差值优化所述目标函数。
9.根据权利要求8所述的系统，其中，所述系统还包括：
第一处理模块，用于在将第一向量和相应的第三向量一起输入所述第一神经网络之前，将所述第一向量和所述相应的第三向量进行加噪声处理；
第五输入模块，用于将加噪声处理后的第一向量和相应的第三向量一起输入所述第一神经网络；以及/或者
第二处理模块，用于在将第二向量和相应的第四向量一起输入所述第二神经网络之前，将所述第二向量和所述相应的第四向量进行加噪声处理；
第六输入模块，用于将加噪声处理后的第二向量和相应的第四向量一起输入所述第二神经网络。
10.根据权利要求8所述的系统，其中，所述优化模块包括：
确定单元，用于确定所述目标函数中关于所述第三差值和所述第四差值的优化参数；以及
优化单元，用于基于所述优化参数优化所述目标函数。
11.一种计算机系统，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至5中任一项所述的数据处理方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至5中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810616843.2A CN110610392A (zh) | 2018-06-14 | 2018-06-14 | 数据处理方法及系统、计算机系统和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810616843.2A CN110610392A (zh) | 2018-06-14 | 2018-06-14 | 数据处理方法及系统、计算机系统和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110610392A true CN110610392A (zh) | 2019-12-24 |
Family
ID=68887770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810616843.2A Pending CN110610392A (zh) | 2018-06-14 | 2018-06-14 | 数据处理方法及系统、计算机系统和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610392A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021139275A1 (zh) * | 2020-07-08 | 2021-07-15 | 平安科技（深圳）有限公司 | 患教教程推荐方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050130230A1 (en) * | 2003-09-23 | 2005-06-16 | Antoni Davalos | Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof |
| US20100217734A1 (en) * | 2009-02-23 | 2010-08-26 | Alibaba Group Holding Limited | Method and system for calculating value of website visitor |
| CN101826263A (zh) * | 2009-03-04 | 2010-09-08 | 中国科学院自动化研究所 | 基于客观标准的自动化口语评估系统 |
| CN106203460A (zh) * | 2015-05-05 | 2016-12-07 | 杜比实验室特许公司 | 训练信号处理模型以用于信号处理系统中的部件替换 |
| CN106815782A (zh) * | 2017-01-23 | 2017-06-09 | 重庆汇集源科技有限公司 | 一种基于神经网络统计学模型的房地产估值方法及系统 |
-
2018
- 2018-06-14 CN CN201810616843.2A patent/CN110610392A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050130230A1 (en) * | 2003-09-23 | 2005-06-16 | Antoni Davalos | Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof |
| US20100217734A1 (en) * | 2009-02-23 | 2010-08-26 | Alibaba Group Holding Limited | Method and system for calculating value of website visitor |
| CN101826263A (zh) * | 2009-03-04 | 2010-09-08 | 中国科学院自动化研究所 | 基于客观标准的自动化口语评估系统 |
| CN106203460A (zh) * | 2015-05-05 | 2016-12-07 | 杜比实验室特许公司 | 训练信号处理模型以用于信号处理系统中的部件替换 |
| CN106815782A (zh) * | 2017-01-23 | 2017-06-09 | 重庆汇集源科技有限公司 | 一种基于神经网络统计学模型的房地产估值方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021139275A1 (zh) * | 2020-07-08 | 2021-07-15 | 平安科技（深圳）有限公司 | 患教教程推荐方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992710B (zh) | 点击率预估方法、系统、介质和计算设备 | |
| US11681924B2 (en) | Training neural networks using a variational information bottleneck | |
| CN108197652B (zh) | 用于生成信息的方法和装置 | |
| US11315032B2 (en) | Method and system for recommending content items to a user based on tensor factorization | |
| CN110555451A (zh) | 信息识别方法和装置 | |
| CN115841366B (zh) | 物品推荐模型训练方法、装置、电子设备及存储介质 | |
| CN112966701A (zh) | 目标分类的方法和装置 | |
| CN114462532A (zh) | 模型训练方法、预测交易风险的方法、装置、设备及介质 | |
| CN114357170A (zh) | 模型训练方法、分析方法、装置、设备及介质 | |
| CN110245684B (zh) | 数据处理方法、电子设备和介质 | |
| CN111191677A (zh) | 用户特征数据生成方法、装置及电子设备 | |
| US11979309B2 (en) | System and method for discovering ad-hoc communities over large-scale implicit networks by wave relaxation | |
| CN113515625A (zh) | 测试结果分类模型训练方法、分类方法及装置 | |
| CN116155628B (zh) | 网络安全检测方法、训练方法、装置、电子设备和介质 | |
| CN110610392A (zh) | 数据处理方法及系统、计算机系统和计算机可读存储介质 | |
| CN113869904B (zh) | 可疑数据识别方法、装置、电子设备、介质和计算机程序 | |
| US20230206114A1 (en) | Fair selective classification via a variational mutual information upper bound for imposing sufficiency | |
| CN114139059A (zh) | 资源推荐模型的训练方法、资源推荐方法及装置 | |
| CN109299351B (zh) | 内容推荐方法和装置、电子设备及计算机可读介质 | |
| CN113052509A (zh) | 模型评估方法、模型评估装置、电子设备和存储介质 | |
| CN113159877A (zh) | 数据处理方法、装置、系统、计算机可读存储介质 | |
| CN114637921B (zh) | 基于建模偶然不确定性的物品推荐方法、装置和设备 | |
| CN110555105A (zh) | 对象处理方法及系统、计算机系统及计算机可读存储介质 | |
| CN116501993B (zh) | 房源数据推荐方法及装置 | |
| CN114692970A (zh) | 用户意向预测模型训练方法、用户意向预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |