CN107622427A - 深度学习的方法、装置及系统 - Google Patents

深度学习的方法、装置及系统 Download PDF

Info

Publication number
CN107622427A
CN107622427A CN201610550547.8A CN201610550547A CN107622427A CN 107622427 A CN107622427 A CN 107622427A CN 201610550547 A CN201610550547 A CN 201610550547A CN 107622427 A CN107622427 A CN 107622427A
Authority
CN
China
Prior art keywords
sample
deep learning
sample characteristics
learning model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610550547.8A
Other languages
English (en)
Other versions
CN107622427B (zh
Inventor
张斌
刘忠义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Network Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610550547.8A priority Critical patent/CN107622427B/zh
Publication of CN107622427A publication Critical patent/CN107622427A/zh
Application granted granted Critical
Publication of CN107622427B publication Critical patent/CN107622427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种深度学习的方法、装置及系统,涉及互联网技术领域,能够解决推荐商品与用户兴趣匹配度较差的问题。本发明的方法包括:调度平台向计算节点发送深度学习模型及预测样本;计算节点从预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;调度平台接收计算节点发送的处理结果,根据处理结果输出学习结果。本发明主要应用于购物网站向用户推荐商品的过程中。

Description

深度学习的方法、装置及系统
技术领域
本发明涉及互联网技术领域,尤其涉及一种深度学习的方法、装置及系统。
背景技术
商品推荐功能是购物网站经常使用的一种信息曝光手段,该功能可以基于单个用户浏览、收藏或购买商品的操作记录向用户推荐同类别或搭配使用的其他商品,也可以基于全网用户浏览、收藏或购买商品的统计数据向用户推荐网络爆款商品。从用户的角度讲,商品推荐功能可以提供更加丰富的商品信息,便于用户对不同商品进行横向比较并做出理性的购买决策;从购物网站的角度讲,商品推荐功能可以增加商品页面的流量引导,提高商品交易的转化率。由于具有诸多优点,商品推荐功能不仅愈发受到购物网站的重视,其推荐算法还被借鉴到了互联网的其他领域中,较为典型的例子为搜索引擎中的同类资源推荐。
目前,商品推荐功能主要用于推荐与用户购物目标存在关联关系的商品,例如用户浏览了A品牌的某型号键盘,那么购物网站会向用户推荐B品牌的同型号键盘或A品牌的其他型号键盘。随着网络智能化的不断发展,网络开发者不再满足于基于数据表层联系的商品推荐方式,他们更希望通过对用户行为的深层挖掘获得用户的购物偏好,在用户明确购物目标之前“预测”出其感兴趣的商品并予以推荐。或者换一种表述方式可以表述为:在用户对某商品产生购买动机之前,基于用户的潜在需求对该商品进行推荐。
为实现上述目标,网络开发者对推荐算法不断进行改进和优化。目前,商业上经常使用的推荐算法有两种:1、逻辑回归(Logistic Regression,简称LR)算法;2、梯度渐进决策树(Gradient Boosting Decision Tree,简称GBDT)算法。这两种算法都是以用户的行为特征作为输入(例如用户信息、商品信息、购物记录等),以匹配用户行为特征的商品作为输出,获得满足用户购物偏好的商品。例如,某用户年龄段为18至27岁,根据该特征向用户推荐年轻化定位的服饰品牌;或者,某用户为男性并且经常购买名贵奢侈品,根据该特征向用户推荐贵金属理财产品等。
但是实际应用中上述两种算法都存在一定的缺陷,逻辑回归算法是一种线性模型,其特点为一种行为特征的输入对应一种匹配商品的输出,因此行为特征之间的拟合性较差,无法以多种行为特征为输入综合分析用户偏好。梯度渐进决策树算法是一种树形模型,每个叶子节点记录一项基于一种行为特征判别获得的过滤结果,在进行商品匹配时,从父节点开始顺着某个节点分支向下遍历,节点分支上的所有行为特征都会对分析结果产生影响。与逻辑回归算法相比,梯度渐进决策树算法能够以多种行为特征为条件分析用户偏好,但是树形结构是一种逐层条件达成的拓扑结构,在进行偏好过滤时各层行为特征的作用是相互独立的;并且树形结构不是全联通拓扑结构,在进行分支遍历时无法融合其他分支上的行为特征。随着数据挖掘深度的不断增加,数据价值更多的体现在数据之间的组合关系上,如何对大量行为特征之间的组合关系进行捕捉,充分挖掘用户行为特征的数据价值,以获得更加准确的用户购物偏好,则成为摆在网络开发者面前的一道难题。
发明内容
本发明实施例提供了一种深度学习的方法、装置及系统,能够解决推荐商品与用户兴趣匹配度较差的问题。
为解决上述问题,第一方面,本发明实施例提供了一种深度学习的系统,该系统包括计算节点及调度平台,其中:
所述调度平台,用于向所述计算节点发送深度学习模型及预测样本;
所述计算节点,用于从所述预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于所述深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
所述调度平台,还用于接收所述计算节点发送的所述处理结果,根据所述处理结果输出学习结果。
第二方面,本发明实施例还提供了一种深度学习的方法,该方法包括:
计算节点从预测样本中提取一维向量形式的样本特征;
将一维向量形式的样本特征转换为二维数组形式的样本特征;
基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
第三方面,本发明实施例还提供了一种深度学习的方法,该方法包括:
调度平台向计算节点发送深度学习模型及预测样本,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
接收所述计算节点根据所述深度学习模型及所述预测样本获得的处理结果;
根据所述处理结果输出学习结果。
第四方面,本发明实施例还提供了一种深度学习的方法,该方法包括:
计算节点构建深度学习模型,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
从训练样本中提取一维向量形式的样本特征;
将一维向量形式的样本特征转换为二维数组形式的样本特征;
根据所述二维数组形式的样本特征对所述深度学习模型进行训练;
将训练后的深度学习模型上传到所述调度平台。
第五方面,本发明实施例还提供了一种深度学习的装置,该装置位于计算节点侧,该装置包括:
提取单元,用于从预测样本中提取一维向量形式的样本特征;
转换单元,用于将一维向量形式的样本特征转换为二维数组形式的样本特征;
处理单元,用于基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
第六方面,本发明实施例还提供了一种深度学习的装置,该装置位于调度平台侧,该装置包括:
发送单元,用于向计算节点发送深度学习模型及预测样本,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
接收单元,用于接收所述计算节点根据所述深度学习模型及所述预测样本获得的处理结果;
输出单元,用于根据所述处理结果输出学习结果。
第七方面,本发明实施例还提供了一种深度学习的装置,该装置位于计算节点侧,该装置包括:
构建单元,用于构建深度学习模型,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
提取单元,用于从训练样本中提取一维向量形式的样本特征;
转换单元,用于将一维向量形式的样本特征转换为二维数组形式的样本特征;
训练单元,用于根据所述二维数组形式的样本特征对所述深度学习模型进行训练;
发送单元,用于将训练后的深度学习模型上传到所述调度平台。
本发明实施例提供的深度学习的方法、装置及系统,能够由计算节点从预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果,并最终由调度平台根据该处理结果输出学习结果。当应用于商品推荐领域时,本发明实施例能够以二维子数组的形式将相邻样本特征之间的组合关系向上层进行抽象,因此可以捕捉到更多的相邻样本特征之间的组合关系,与现有技术中仅通过对行为特征的简单组合预测用户偏好相比,本发明实施例可以充分利用样本特征组合关系所蕴含的数据价值,对用户偏好进行更加全面、准确的深度预测,由此给出与用户兴趣匹配度更高的商品予以推荐。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例中深度学习的系统示意图;
图2a示出了本发明实施例中一维向量形式的样本特征的示意图;
图2b示出了本发明实施例中第一种二维数组形式的样本特征的示意图;
图2c示出了本发明实施例中第二种二维数组形式的样本特征的示意图;
图3示出了本发明实施例中第一种深度学习的方法流程图;
图4示出了本发明实施例中第二种深度学习的方法流程图;
图5示出了本发明实施例中第三种深度学习的方法流程图;
图6示出了本发明实施例中第四种深度学习的方法流程图;
图7示出了本发明实施例中第三种二维数组形式的样本特征的示意图;
图8示出了本发明实施例中第四种二维数组形式的样本特征的示意图;
图9示出了卷积神经网络结构的示意图;
图10示出了本发明实施例中构建卷积神经网络模型的流程图;
图11示出了本发明实施例中构建的卷积神经网络模型的示意图;
图12示出了本发明实施例中卷积神经网络模型的参数设置的示意图;
图13示出了本发明实施例中卷积过程的示意图;
图14示出了本发明实施例中第五种深度学习的方法流程图;
图15示出了本发明实施例中结果输出表的示意图;
图16示出了本发明实施例中第一种深度学习的装置的组成框图;
图17示出了本发明实施例中第二种深度学习的装置的组成框图;
图18示出了本发明实施例中第三种深度学习的装置的组成框图;
图19示出了本发明实施例中第四种深度学习的装置的组成框图;
图20示出了本发明实施例中第五种深度学习的装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种深度学习的系统,如图1所示,该系统包括:计算节点11及调度平台12,其中:
调度平台12,用于向计算节点11发送深度学习模型及预测样本。
调度平台12根据实际预测需求将预测任务分配给计算节点11进行计算。计算节点11根据从调度平台12下载的深度学习模型及预测样本进行预测。
本实施例中,预测工作可以由一个计算节点11完成,也可以由多个计算节点11组成的分布式系统联合完成。对于后者方式,每一个计算节点11都需要从调度平台12侧下载深度学习模型,对于预测样本,各个计算节点11获得的预测样本可以不同,此种方式可以用于多计算节点11针对不同用户或不同候选内容独立进行兴趣预测的场景中;或者,各个计算节点11也可以获得相同的预测样本,此种方式可以用于对预测结果准确性进行验证的场景中。
实际应用中,计算节点11可以是以物理机形态存在的设备,例如服务器,也可以是以虚拟机形态存在的计算进程,本实施例不对计算节点11的数量和性质进行限制。
计算节点11,用于从预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
样本特征的原始形态一般为字符串形式,在将这些样本特征进行首尾拼接后,获得一维向量形式的样本特征。例如在某些网络系统中,网站日志或统计信息中的数据可以是以KEY-VALUE形式存储的,因此拼接后的样本特征形式为:“a=12ID=3045683c=458…s=24n”。
二维数组中的每个单元对应记录一个样本特征。本实施例中,二维数组的行数和列数是可以自由设置的。例如,对于如图2a所示的一维样本特征,可以将其转换为图2b所示的矩形数组,或者转换为图2c所示的方形数组。
本实施例中,将样本特征从一维向量形式转换为二维数组形式的目的在于满足泛化处理对输入数据的格式的要求。与此同时,对样本特征进行升维还可以增加样本特征之间相邻排列的数量。例如,在图2a所示的一维向量中,样本特征“F7”分别与样本特征“F6”和“F8”相邻,而在图2c所示的二维数组中,样本特征“F7”则可以分别与样本特征“F2”、“F3”、“F4”、“F6”、“F8”、“F10”、“F11”及“F12”相邻。对样本特征进行升维处理能够增加样本特征之间的组合关系数量,提供更加丰富多样的样本材料,从而使得预测结果更加准确。
本实施例中,泛化处理是指深度学习模型基于相邻层之间“输入-输出”的继承特性,将输入数据逐层向上抽象为输出结果的过程,通过逐层抽象过程将样本特征的具体含义“提炼”为扩大的、上位的一般性含义。
在获得二维数组形式的样本特征后,计算节点11以二维子数组为单位,通过层层泛化得到融合了各个样本特征之间组合关系的泛化处理结果。本实施例中,二维子数组与二维数组的性质相同,均为二维形式的特征集合,一般情况下,二维子数组的尺寸最大不超过二维数组的尺寸,最小为“2*2”,即至少包括“2*2”共四个样本特征。
调度平台12,还用于接收计算节点11发送的处理结果,根据处理结果输出学习结果。
进一步的,计算节点11用于在接收深度学习模型及预测样本之前:
构建深度学习模型,从训练样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,根据二维数组形式的样本特征对深度学习模型进行训练,将训练后的深度学习模型上传到调度平台12。
本实施例中,深度学习模型是一种以二维数据为输入的模型,设计该模型的优势在于通过二维数据之间排序关系,更好的捕捉样本特征之间的关联关系,从而获得能够深度反映用户喜好的高价值数据。由于深度学习模型是一种以二维数据为输入的模型,因此与预测样本的样本特征类似,计算节点11在对模型进行训练时,也需要对训练样本的样本特征进行一维到二维的转换。
进一步的,训练样本中还包括标注信息,该标注信息用于对训练样本的处理结果进行标记,以便计算节点11在对模型进行训练后,基于该标注信息对处理结果的正确性进行验证。计算节点11用于:
根据训练结果及标注信息对训练后的深度学习模型进行调优。
进一步的,预测样本中的样本特征包括目标账号的属性信息及待推荐给目标账号的候选内容的属性信息;
计算节点11,用于基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,并最终泛化为目标账号对候选内容感兴趣的预测概率和/或不感兴趣的预测概率;调度平台12,用于根据预测概率向目标账号推荐候选内容。
当进行内容推荐时,目标账号为内容推荐对象的账号,本实施例中可以将某一目标群体的账号作为目标账号(例如参与某次秒杀抢购的账号),也可以将全网用户账号作为目标账号,本实施例对此不作限制。候选内容是指站点希望推荐给目标账号的内容,候选内容的选择由站点侧的预置规则确定,该预置规则可以为结合目标账号的历史记录确定候选内容,或者也可以为由站点独立确定候选内容。对于结合历史记录确定候选内容的情况,站点可以将与目标账号浏览、收藏或购买过的商品同属一个类别或近似类别的商品确定为候选内容,或者将目标账号浏览过的专栏中的商品确定为候选内容;对于独立确定候选内容的情况,站点可以将某个分类中的商品确定为候选内容,或者将某个商户提供的商品确定为候选内容。
本实施例中,样本特征的来源包括站点侧的网站日志以及站点服务器记录的统计信息,当然在一些实现方式中,样本特征也可以由客户端或第三方服务器予以统计记录并反馈给站点,本实施例不对样本特征的来源进行具体限制。
样本特征中至少需要包含目标账号的属性信息以及候选内容的属性信息。所述属性信息主要是指能够对预测用户偏好产生实质价值的数据信息,例如能够反映账号行为特点的信息,或者反映内容属性特点的信息。属性信息中应当包含起唯一标识作用的ID信息,例如账号ID及内容ID。实际应用中,本实施例中的样本特征还可以进一步包括内容分类信息、内容来源信息等其他属性信息。原则上,样本特征的种类和数量越全面,预测用户偏好的准确性越高。
样本特征的原始形态一般为字符串形式,在将这些样本特征进行首尾拼接后,获得一维向量形式的样本特征。例如在某些网络系统中,网站日志或统计信息中的数据可以是以KEY-VALUE形式存储的,因此拼接后的样本特征形式为:“a=12ID=3045683c=458…s=24n”。
本实施例中,计算节点11获得的处理结果具体可以为两个类别的预测概率,这两个概率值分别用于表征目标账号对候选内容“感兴趣”和“不感兴趣”的可能性大小。实际应用中,泛化处理结果可以仅为目标账号对候选内容“感兴趣”的预测概率,也可以仅为目标账号对候选内容“不感兴趣”的预测概率,或者两者兼有,本实施例对此不作限制。
计算节点11将预测概率发送给调用平台,调度平台12根据预测概率向目标账号推荐其可能感兴趣的候选内容。实际应用中,调度平台12可以对多个候选内容对应的预测概率进行排名,并根据该排名向目标账号推荐候选内容。具体的:
对于某个特定的目标账号,可以将该目标账号的属性信息分别与不同候选内容的属性信息进行组合,分别通过泛化处理获得该特定目标账号对不同候选内容的兴趣概率值,并排序得到该特定目标账号对各个候选内容是否感兴趣的预测概率排名。
当泛化处理结果为“感兴趣”的预测概率时,排名中数值越大者表征目标账号对该概率值对应的候选内容感兴趣的可能性越大;当泛化处理结果为“不感兴趣”的预测概率时,排名中数值越小者表征目标账号对该概率值对应的候选内容感兴趣的可能性越大。当泛化处理结果包含上述两种类型的预测概率时,可以分别或综合使用上述两类概率值排名。
本实施例中,向目标账号推荐其最可能感兴趣的一种或几种候选内容,实际应用中可以采用“TOP N”的形式,基于上述两类概率值排名统计获得候选内容的兴趣排名,该兴趣排名中目标账号对排名越靠前的候选内容感兴趣的可能性越大。然后从排名第一的候选内容开始,顺序选择预设数量为N的候选内容予以推荐。该预设数量通常为站点推荐策略中确定的内容推荐数量,其数值可以人工手动设定或算法自动设定。
在确定推荐的候选内容后,向目标账号推送这些候选内容的链接,或者在网页预留位置上(例如广告位)直接显示候选内容的图文信息,当然也可以通过FLASH窗口进行候选内容的图文信息展示,本实施例不对内容推荐方式进行具体限制。
本实施例提供的深度学习的系统,能够由计算节点从预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果,并最终由调度平台根据该处理结果输出学习结果。当应用于商品推荐领域时,本实施例能够以二维子数组的形式将相邻样本特征之间的组合关系向上层进行抽象,因此可以捕捉到更多的相邻样本特征之间的组合关系,与现有技术中仅通过对行为特征的简单组合预测用户偏好相比,本实施例可以充分利用样本特征组合关系所蕴含的数据价值,对用户偏好进行更加全面、准确的深度预测,由此给出与用户兴趣匹配度更高的商品予以推荐。
进一步的,本发明实施例还提供了一种深度学习的方法,该方法应用于计算节点侧,如图3所示,该方法包括:
301、计算节点从预测样本中提取一维向量形式的样本特征。
调度平台根据实际预测需求将预测任务分配给计算节点进行计算。计算节点根据从调度平台下载的深度学习模型及预测样本进行概率预测。
本实施例中,概率预测工作可以由一个计算节点完成,也可以由多个计算节点组成的分布式系统联合完成。
302、计算节点将一维向量形式的样本特征转换为二维数组形式的样本特征。
二维数组中的每个单元对应记录一个样本特征。本实施例中,二维数组的行数和列数可以自由设置。本实施例中,将样本特征从一维向量形式转换为二维数组形式的目的在于满足泛化处理对输入数据的格式的要求。与此同时,对样本特征进行升维还可以增加样本特征之间相邻排列的几率,从而为预测提供更加丰富多样的样本材料,使得处理结果更加准确。
303、计算节点基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
计算节点以二维子数组为单位,通过层层泛化得到融合了各个样本特征之间组合关系的泛化处理结果。本实施例中,二维子数组的尺寸最大不超过二维数组的尺寸,最小为“2*2”,即至少包括“2*2”共四个样本特征。
在获得处理结果后,计算节点将处理结果发送给调度平台,以使得调度平台根据该处理结果输出学习结果。例如在进行内容推荐时,计算节点将目标账号对候选内容感兴趣和/或不感兴趣的预测概率发送给调用平台,以使得调度平台根据该预测概率向目标账号推荐其可能感兴趣的候选内容。
进一步的,本发明实施例还提供了一种深度学习的方法,该方法主要应用于调度平台侧,如图4所示,该方法包括:
401、调度平台向计算节点发送深度学习模型及预测样本。
深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。调度平台根据实际预测需求将预测任务分配给计算节点进行计算。计算节点根据从调度平台下载的深度学习模型及预测样本进行概率预测。
本实施例中,调度平台可以根据预设的预测需求,自动选择具体时机和具体对象对深度学习模型进行灵活调度。具体的,预测需求可以包括:在预定时间点上进行单次调度预测,或者按照预设时间间隔进行周期性调度预测,再或者在不同的预设时段内采用不同的自定义调度模式进行调度(单次、多次、周期性等)。对于具体的预测对象,调度平台可以通过预设需求选择特定的目标账号和特定的候选内容进行组合。实际应用中预设需求可以以配置文件的形式预存在调度平台中,或者调度平台也可以通过专用的设置界面向外部提供结构化的需求设置功能。通过调度平台,站点可以方便灵活的制定个性化的预测任务,并且预测任务的执行能够由调度平台自行执行,自动化程度较高,无需人工值守。
进一步的,在本实施例的一种实现方式中,当预测样本数量较大时,调度平台还可以进行分布式调度计算,将预测任务分配给多个计算节点进行计算。各计算节点的计算过程可以是并行的,也可以是异步的,本实施例对此不作限制。以多个计算节点并行计算为例,任务的并行计算分为数据并行计算和模型并行计算两种。其中,数据并行计算是指:调度平台对预测样本数据进行切分,将不同的数据切片分配给不同的计算节点,每个计算节点使用相同的深度学习模型对自身分配的数据切片进行计算,然后调度平台将各个计算节点的预测结果进行融合获得最终预测结果。模型并行计算是指:调度平台对深度学习模型的层数进行切分,将各层的参数分配给不同的计算节点,所有计算节点使用相同的预测样本数据,各自负责一层或几层的计算任务,以前一层的计算结果作为下一层的输入,最终获得预测结果。本方式中,采用分布式计算可以大大缩短样本预测的耗时,满足商用领域对预测时效性的要求。
402、调度平台接收计算节点根据深度学习模型及预测样本获得的处理结果。
计算节点将一维向量形式的样本特征转换为二维数组形式的样本特征,基于深度学习模型,以二维子数组为单位,通过层层泛化得到融合了各个样本特征之间组合关系的泛化处理结果,并在获得处理结果后,将处理结果发送给调度平台。
403、调度平台根据处理结果输出学习结果。
例如在进行内容推荐时,计算节点将目标账号对候选内容感兴趣和/或不感兴趣的预测概率发送给调用平台,调度平台根据该预测概率向目标账号推荐其可能感兴趣的候选内容。
进一步的,本发明实施例还提供了一种深度学习的方法,该方法主要应用于计算节点侧,如图5所示,该方法包括:
501、计算节点构建深度学习模型。
如前所述,深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。二维子数组包含多个在二维数组中位置相邻的样本特征。
502、计算节点从训练样本中提取一维向量形式的样本特征。
在完成模型构建后,还需要对深度学习模型进行训练。计算节点侧预置有用于模型训练的训练样本,当进行内容推荐时,该训练样本的样本特征包括训练账号的属性信息及训练内容的属性信息。其中,训练账号及训练内容为为了进行模型训练而预选出来的对象,该账号及内容可以是由开发人员理论设定的,例如账号A对奶粉、尿布等商品感兴趣但对皮包、香水不感兴趣,或者账号B对零食、饮料感兴趣但对家具建材不感兴趣等。此外,该账号及内容也可以从站点运营过程中实际发生的结果中提取,例如某个用户账号主要购买奶粉、而另一用户账号则经常购买零食。对于后者情形,实际应用中应当注意保护真实用户数据的安全性,以防泄露。
503、计算节点将一维向量形式的样本特征转换为二维数组形式的样本特征。
如前所述,深度学习模型是一种以二维数据为输入的模型,与预测样本的样本特征类似,计算节点在对模型进行训练时,也需要对训练样本的样本特征进行一维到二维的转换。
504、计算节点根据二维数组形式的样本特征对深度学习模型进行训练。
505、计算节点将训练后的深度学习模型上传到调度平台。
调度平台根据预设的预测需求对深度学习模型进行调度。
本发明实施例提供的深度学习的方法,能够由计算节点从预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果,并最终由调度平台根据该处理结果输出学习结果。与现有技术中仅通过对行为特征的简单组合预测用户偏好相比,本发明实施例可以充分利用样本特征组合关系所蕴含的数据价值,获得更加全面、准确的预测结果。
下面,以内容推荐场景为例,给出本发明的另一实施例。为解决现有技术中推荐商品与用户兴趣匹配度不高的问题,本发明实施例提供了一种深度学习的方法。该方法可以应用于购物网站向用户推荐商品的过程中,也可以应用于其他垂直网站向用户进行深度学习的过程中,或者应用于搜索引擎向用户推荐网络资源的过程中,本实施例对其使用场景不作限制。
如图6所示,该方法包括:
601、计算节点构建深度学习模型。
本实施例中,主要以深度神经网络模型作为深度学习模型使用,深度神经网络具有多为数据输入,多层结构泛化的特点,能够对数据之间的关联关系进行较好的捕捉。而卷积神经网络(Convolutional Neural Network,简称CNN)作为深度神经网络的一种,主要用于对图像等二维数据进行特征提取,多用于图像识别、语音识别等领域。其能够将二维形式的数据转换为预设类别数量的、可以保留数据特征信息的一维向量数据予以输出,具有较强的数据拟合能力及数据泛化能力。为便于表述,本发明实施例后续将以卷积神经网络为例进行说明,但应当明确的是,该种说明方式并非意在限定本发明实施例仅能使用卷积神经网络进行兴趣预测。
本实施例中,基于卷积神经网络模型的结构特点及参数类型进行模型设计,包括对网络层数的设置、每层参数的设置、各层前后连接顺序的设置等。其中,对每层参数的设置又包括对数据输入层的窗口尺寸进行设置(决定了二维数组的尺寸大小)、对每一层泛化使用的内核映射区域尺寸进行设置(对于第一个隐层而言,其内核映射区域尺寸决定了二维子数组的大小)、以及数据输出层中类别数量、数据取值范围等参数进行设置,本发明后续实施例将单独对卷积神经网络模型的构建进行详细说明。
602、计算节点从训练样本中提取一维向量形式的样本特征。
在利用卷积神经网络模型进行兴趣预测之前,需要使用预选择的训练样本对模型进行训练和调优,以调整模型中的各种参数,从而保证模型预测结果的准确性。
训练样本在本质上与预测样本相似,其样本特征都包括账号的属性信息及内容的属性信息,但是在性质上与预测样本有稍许不同:训练样本属于已知样本,这种已知的概念不仅体现在账号的已知、内容的已知,更重要的是体现在账号对内容是否感兴趣这一结果的已知。因此相对预测样本而言,训练样本中还可以进一步包括一个用于表征训练账号对训练内容是否感兴趣的兴趣标注信息。因为本实施例中卷积神经网络模型采用监督式学习方式,因此需要一个已知的结果对学习过程进行“矫正”。这个结果需要提前预知,站点可以通过一些常规的统计手段获得特定账号对特征内容是否感兴趣的结果,将其作为兴趣标注信息添加到训练样本中。例如将账号点击浏览过的内容确定为该账号感兴趣的内容,将账号未点击浏览过的内容确定为该账号不感兴趣的内容等。
需要说明的是,与预测过程获得的兴趣概率值有所区别,兴趣标注信息定性的给出了“感兴趣”和“不感兴趣”两种结果。而预测结果不仅定性划分为“感兴趣”和“不感兴趣”两个类别的内容,并且还定量的给出两种类别的概率数值大小,以对是否感兴趣的可能性大小进行预测。
本实施例中所述的训练账号和训练内容,本质上与前述目标账号及候选内容分别同质,名称上的区分仅为便于表述。前后两者的属性信息在数量和种类上也是没有实质差异的。此外,训练样本与预测样本两者包含的样本特征的数量应当是相同的,这是由于训练过程和预测过程使用的是同一个卷积神经网络模型,该模型的数据输入层的窗口尺寸不会发生变化。在本实施例中,维度转换后的训练样本和预测样本均为9*9的二维数组,各自包含81个样本特征,但是两者样本特征的具体内容无须对应相同。
与预测样本类似,训练样本的来源也可以是站点日志或统计信息。
进一步的,在本实施例的一种实现方式中,为保证训练样本数据的真实性,从而保障模型预测结果的可靠性,在执行步骤602之前,可以对训练样本进行筛选和过滤,选择健壮(又称为鲁棒)的训练样本予以保留。所述健壮的训练样本是指符合真实用户操作行为/习惯/惯例的样本数据。具体的,可以剔除行为统计参数超过预设合理阈值的训练样本。其中,行为统计参数为站点获取或统计得到的反映用户操作行为的数据,合理阈值为站点侧预设的经验值,用以定量区分真实操作行为和非真实操作行为。下面给出两种过滤训练样本的示例:
1、上述行为统计参数为“商品购买频率”,合理阈值为“15件/天”。实际生活中,正常的网络用户在非促销期间内,每日购买的商品数量通常不会超过15件(零散计件者除外),而网络上一些商户为了提升店铺的销量数据,会使用特定机器账号进行“刷单”,从而使该账号一天购买的商品数量远远大于正常合理数量(例如2000件/天)。此种情况下,通过合理阈值的设置可以将这种虚假的账号信息剔除。
2、上述行为统计参数为“站点访问频率”,合理阈值为“50次/天”。实际生活中,真实的网络用户对同一个站点的访问次数一般很难超过一天50次,而当站点遭受DDOS攻击时,大量的僵尸机会在短时间内向站点发送大量访问请求(例如每天10万次)。此种情况下,通过合理阈值的设置可以将这种非人为操作的访问信息剔除。
进一步的,还可以从训练账号访问过的内容页面中选择训练样本。通常,站点网页中会存在多个内容页面,每个内容页面中显示有多种内容的链接。对于用户未点击进入的内容页面,用户未看见其中的内容并不代表用户对其不感兴趣。为获得用户对内容是否感兴趣的明确指征,本实施例可以借鉴搜索算法中pairwise选择训练样本的方式,仅从用户访问过的内容页面中提取训练样本。在用户访问过的内容页面中,根据用户点击链接进入浏览内容的行为确定用户对该链接对应的内容感兴趣,根据用户未点击链接进入浏览内容的行为确定用户对该链接对应的内容不感兴趣。由于取消了从未访问页面中提取训练样本,因此本实施例可以剔除不确定因素对模型训练结果的影响。
603、计算节点将一维向量形式的样本特征转换为二维数组形式的样本特征。
与预测样本类似,本实施例中获得的训练样本同样是一维向量形式的,需要执行本步骤将其转换为二维数组形式。
在维度转换前需要在一维向量中将相同类型的样本特征相邻排列。本实施例中,可用于模型训练和模型预测的样本特征属于不同的样本类型,这些样本类型包括但不限于是:账号特征、内容特征、内容来源特征、内容类型特征、账号-内容关联特征、账号-类型关联特征等。每一种样本特征中都包含多种具体的样本特征。例如在账号特征类型下,可以包含:账号ID、用户年龄、用户性别、登录频率、等级特权等具体的样本特征。
如前所述,本实施例是基于对样本特征之间的组合关系的挖掘预测用户兴趣,而通常情况下,不同类型样本特征之间的组合更有利于对账号、商品等对象的整体特性进行综合“塑造”,可以对构建用户偏好产生更大的价值,因此本实施例中将一维向量中同一类型的样本特征进行相邻排列。在转换为二维数组后,同一类型样本特征一般占据一行左右的位置,当使用二维子数组进行泛化处理时,可以使得二维子数组中包含有不同类型的样本特征,从而保证预测过程中对不同类型样本特征之间组合关系的挖掘,由此提升预测的准确性。
在对同类样本特征进行相邻排列后,还需要对一维向量中的样本特征进行归一化处理。归一化处理的目的在于对不同样本特征的数据形式进行统一,统一为相对某一参考值的比例系数(通常取值范围为[0,1]),并且消除样本特征中的数值单位,从而使模型能够对样本特征进行识别和计算。
本实施例中,二维数组的具体形式为比特图(bitmap)。在进行归一化处理后,根据一维向量中样本特征的索引信息,将一维向量中的样本特征顺序添加到二维数组中的不同单元中。一般情况下,数据存储时都会为数据分配一个索引信息,这个索引信息通常为一个数值。在进行二维转换时,可以根据索引信息的排序顺序,将各个索引信息对应的样本特征添加到二维数组中。
在本发明的一种实现方式中,可以按照之字形排序规则进行二维转换。所谓之字形转换是指在二维数组中相邻行首尾相接的进行排序,即第一行末尾接续到第二行末尾,第二行的开头接续到第三行开头,第三行末尾继续到第四行末尾,如此反复。示例性的,图7给出了一种之字形排序的二维数组,其中,第一行添加到最后一个样本特征F4后转入下一行继续进行样本特征添加。在第二行,下一个样本特征F5并非添加到第二行的第一个单元,而是添加到第二行的最后一个单元,从该最后一个单元开始,由后往前顺序添加样本特征F5、F6、F7和F8。当转入第三行时,再从第三行的第一个单元开始,由前往后顺序添加样本特征F9、F10、F11和F12。
之所以进行之字形排序是由于:一维向量中的同类样本特征是相邻排列的,如果按照逐行排列的方式添加到二维数组中,那么在换行处,前一行最后一个样本特征与下一行的第一个样本特征之间会相隔较远,无法被覆盖到同一个二维子数组中进行上层映射,由此影响模型训练或预测的准确性。例如对于图2c所示的转换方式,样本特征“F4”与样本特征“F5”就无法涵盖到一个3*3的二维子数组中。而如果按照图7所示方式进行之字形顺序添加,则在拐角处的样本特征“F4”和“F5”就可以涵盖到同一个3*3的二维子数组中。
实际应用中,二维数组的本质与一维向量的本质类似,都是一个数据流,在计算机的存储结构中,一维向量中的索引信息与二维数组中的单元是依次对应的。因此在设定好二维数组的尺寸后,可以直接将一维向量形式的样本特征输入到卷积神经网络模型中。在输入的过程中就可以基于索引信息自动完成一维向量向二维数组的转换,无需在模型外部使用附加手段对样本特征进行维度转换。简言之,本实施例中样本特征输入的过程就是样本特征维度转换的过程。因此,当对大数据量样本特征进行训练时(例如十亿或百亿量级的数据),能够大大提高模型训练或预测的速度。
604、计算节点根据二维数组形式的样本特征对深度学习模型进行训练。
模型训练过程是一个前向传播的过程,其过程与模型预测过程相同。在模型训练时,二维数组形式的样本特征进入卷积神经网络模型,相邻的样本特征在同一个二维子数组中被映射到上层特征图中的一个元素上。通过逐层泛化,最终抽象为训练账号对训练内容感兴趣和/或不感兴趣这两个类别的概率值。
进一步的,训练样本中还包括标注信息,在根据二维数组形式的样本特征对深度学习模型进行训练之后,所述方法进一步包括:
根据训练结果及标注信息对训练后的深度学习模型进行调优。
如前所述,模型训练过程是一种监督式的学习过程,在获得训练样本的兴趣概率值后,将其与兴趣标注信息进行比对,如果训练结果与兴趣标注信息一致,则说明模型参数的设置是恰当的,在对不同训练样本进行多次训练后,其结果若能在准确度、稳定性等方面达标,则可以省略模型调优这一步骤;如果训练得到的兴趣概率值与兴趣标注信息不一致,则需要执行调优步骤,根据两者的差异程度进行逐层反馈,顺序调节各层参数,以使训练结果趋近或等同于兴趣标注信息,这一过程又称作为后向传播。
本实施例中,训练结果是一种量化的概率值,而兴趣标注信息则是定性的判别结果,两者之间无法直接比对。因此在将两者进行比对前,需要对训练结果进行转化。例如当感兴趣的概率值超过一个预设的第一概率阈值时,确定训练结果为“感兴趣”,或者当不感兴趣的概率值超过一个预设的第二概率阈值时,确定训练结果为“不感兴趣”。示例性的,假设感兴趣的概率值为0.83,第一概率阈值为0.6,那么训练结果可以确定为“感兴趣”,或者当不感兴趣的概率值为0.42,而第二概率阈值为0.5时,训练结果可以确定为“感兴趣”。本实施例中,第一概率阈值和第二概率阈值可以相同也可以不同,本实施例对其具体数值不作限制。
通常,调优过程需要结合训练过程交替多次进行,才能够得到最终的参数设置,同时训练样本的内容、大小、数量等因素对训练调优的次数也有一定的影响。本实施例不对训练调优的次数具体次数或快慢程度进行限制。
605、计算节点将训练后的深度学习模型上传到调度平台。
计算节点将调优后的卷积神经网络模型解析为文本格式模型,然后向调度平台下载调度平台数据表,调度平台向计算节点发送调度平台数据表,计算节点将文本格式模型加载到调度平台数据表中,并将调度平台数据表上传到调度平台,由此使得调度平台接收到加载有卷积神经网络模型的调度平台数据表。
606、调度平台向计算节点发送深度学习模型及预测样本。
计算节点从调度平台加载调度平台数据表,调度平台将该调度平台数据表发送给计算节点,其中调度平台数据表中包括卷积神经网络模型的模型资源表。计算节点从调度平台数据表中获取模型资源表,并基于模型资源表对卷积神经网络模型进行初始化设置。然后计算节点从调度平台下载预测样本数据表,获得预测样本。
607、计算节点从预测样本中提取一维向量形式的样本特征。
与训练样本类似的,本实施例中也需要对预测样本中的同类样本特征进行相邻排列,并进行归一化处理。
608、计算节点将一维向量形式的样本特征转换为二维数组形式的样本特征。
本实施例中,二维数组的具体形式为比特图(bitmap)。在进行样本预测时,可以直接将一维向量形式的样本特征直接输入到卷积神经网络模型中,通过索引信息直接将样本特征以之字形规则添加到二维数组中。在二维数组中,同类样本特征位置相邻,并且在换行的拐角处也能够保证同类样本特征的相邻排列。示例性的如图8所示,对于一个具有81个样本特征的一维向量,输入到卷积神经网络模型中后,可以形成一个9*9的二维数组。其中,换行拐角处的样本特征相邻排列(例如F9和F10)。
本实施例中,通过索引信息输入样本特征可以在数据输入的过程中直接将一维向量转换为二维数组,无需在模型外部单独设置维度转换的手段。在对大量样本特征进行预测的过程中能够大大提高样本预测速度,提升样本预测效率。同时,二维数组中采用之字形规则进行排序能够保证相邻样本特征落于同一个二维子数组中,有利于对同类样本特征之间的数据价值进行挖掘,由此提高样本预测的准确性。
609、计算节点基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
计算节点通过卷积神经网络模型对二维数组中的二维子数组进行逐层泛化处理,并最终泛化为两个类别的概率值。二维数组进入卷积神经网络模型的输入层后,会通过多级隐层实现数据特征进行层层泛化。在每一层泛化过程中,前一层图像中的一个数据区域会整体映射为下一层特征图(Feature Map)中的一个数据点,由此将前一层数据区域中相邻数据的特征以及数据之间的关联特征提取到下层特征中。对于第一个隐层而言,其针对二维数组进行泛化,使用的数据区域即为前述二维子数组。基于模型参数设置,可以使各层特征图的尺寸逐层非线性递减,并在最后一层形成尺寸为1*1的特征图(即一维形式的数据)。通过层层泛化处理,最终将二维数组抽象为两个类型的预测概率。
610、调度平台接收计算节点根据深度学习模型及预测样本获得的处理结果。
611、调度平台根据处理结果输出学习结果。
调度平台将目标账号对不同候选内容的预测概率进行排名,然后根据排名向目标账号进行内容推荐。
本实施例提供的深度学习的方法,能够根据预测样本中的样本特征分析目标账号对候选内容感兴趣的可能性大小,并依据该分析结果对目标账号进行内容推荐。其中,分析过程使用到的模型为卷积神经网络模型,这种模型的特点在于以二维数据作为输入,通过层层泛化处理将二维数据中的特征信息向上层进行抽象,最终将特征信息提炼为预设几个类别的向量数据。由于卷积神经网络模型是以二维数据中的几个相邻数据整体为单位进行上层抽象的,因此该模型不仅可以获得数据本身的特征信息,还可以捕捉到相邻数据间的组合关系所表达出的特征信息。此外,卷积神经网络模型具有多层深度网络结构,其深层次的特征组合可以很好的表征复杂的现实问题。本发明将一维向量形式的样本特征向二维数组形式转化,利用卷积神经网络模型对二维数组中的二维子数组进行逐层泛化处理,最终泛化为“感兴趣”和“不感兴趣”两个类别的概率值,并以此作为内容推荐的最终依据。由于以二维子数组为单位进行泛化处理,因此二维子数组内相邻样本特征之间的组合关系得以被捕捉,与现有技术中仅通过对行为特征的简单组合预测用户偏好相比,本实施例可以充分利用样本特征和样本特征组合关系所蕴含的数据价值,对用户偏好进行更加全面、准确的深度预测,由此给出与用户兴趣匹配度更高内容予以推荐。
下面对构建卷积神经网络模型进行说明。
卷积神经网络是一种捕捉二维数据内容特征的神经网络,主要应用于图像识别领域。其通过对图像中像素点进行卷积和下采样处理,将二维数据泛化为包含图像内容特征的一维向量结果。由于卷积神经网络具有权值共享的特点,能够通过减少权值数量大大减少模型运算量、提高模型效率,因此获得了业界的广泛关注和应用。
卷积神经网络由数据输入层、卷积层、下采样层、激活函数层、全连接层以及数据输出层组成。其中数据输入层用于接收输入的二维图像数据;卷积层用于通过卷积计算将图像中的像素块(包含多个相邻像素点)映射为上层特征图中的特征点;下采样层用于对卷积后的特征图进行子抽样,将特征图中相邻的几个特征点抽样为上层特征图中的一个特征点,可以减少数据处理量同时保留特征信息;激活函数层用于将数据信息映射为预设取值范围内的数值,激活函数中的参数大小控制着映射的非线性程度,从数学角度看,非线性的激活函数对中央区的信号增益较大,对两侧区的信号增益小,在信号的特征空间映射上有很好的效果,从神经科学角度看,中央区酷似神经元的兴奋态,两侧区酷似神经元的抑制态,因而可以将重点特征推向中央区,将非重点特征推向两侧区;全连接层用于控制输出信息的类别数量,与数据输出层连接,输出一维向量形式的结果信息。
通常,卷积层连接于下采样层,下采样层通过激活函数层可以连接于下一个卷积层,也可以连接于全连接层。示例性的,卷积神经网络模型可以如图9所示,其中激活函数层未示出。实际应用中,卷积层、下采样层以及全连接层的数量可以人工设定,一般情况下,层级越多预测准确性越高,但是网络复杂度也越高,并且预测过程耗时越长。
本实施例中采用卷积神经网络进行样本预测,与传统卷积神经网络结构不同的是,本实施例中的卷积神经网络可以不包含下采样层。这是由于,与图像数据相比二维数组中的样本特征数量远远小于图像中的像素点数量,无需使用下采样层“缩减”样本特征数量,并且下采样是一种模糊抽样的过程,其在缩减数据量的同时必然会产生信息损失。因此本实施例结合样本特征的特点取消下采样层的设计,可以在不明显增加计算耗时的基础上,保留完整特征信息、保证预测结果的准确性。
具体的,构建卷积神经网络模型的过程如图10所示:
1001、计算节点顺序创建数据输入层、卷积层、激活函数层、全连接层以及数据输出层。
构建一个数据输出层和一个数据输出层,根据预期的模型效率构建至少一个卷积层、至少一个激活函数层以及至少一个全连接层。其中,激活函数层数量与全连接层数量一致,一个激活函数层对应连接于一个全连接层。实际应用中可以采用的激活函数包括但不限于是RELU、DROPOUT、SIGMOID等。
示例性的,如图11所示,本实施例中构建的卷积神经网络模型由一个数据输入层、两个卷积层、两个激活函数层、两个全连接层以及一个数据输出层组成。
1002、计算节点设置各层的类别维度及窗口尺寸。
类别维度决定了有下层抽象到上层的类别数量,窗口尺寸为各层中二维图像的尺寸。
对于数据输入层而言,类别维度为1,即表示输入一个二维数组;窗口尺寸为二维数组的尺寸。
对于卷积层、激活函数层及全连接层而言,类别维度表示每一层中特征图的数量,对于连接数据输出层的全连接层而言,其类别维度为“2”,即表示包含“感兴趣”和“不感兴趣”两个类别的数据信息;窗口尺寸表示本层特征图的尺寸,从数据输入层至数据输出层,窗口尺寸逐层非线性递减至“1*1”;对于连接数据输出层的全连接层而言,其窗口尺寸为“1*1”,表示输出的数据(概率值)是一维的。
对于数据输出层而言,类别维度为“2”,即表示包含“感兴趣”和“不感兴趣”两个类别的数据信息;窗口尺寸为“1*1”,表示输出的数据(概率值)是一维的。
1003、计算节点对于卷积层、全连接层以及激活函数层,设置内核映射区域尺寸、内核映射区域移动步进值以及窗口边缘扩展值。
内核映射区域尺寸决定了以何种尺寸的特征区域为单位向上层进行抽象,对于第一层卷积层而言,其内核映射区域的尺寸与前述二维子数组的区域形状对应一致;内核映射区域移动步进值主要针对卷积层进行设置,决定了内核映射区域移动的步幅大小,通常设置为“1”;窗口边缘扩展值主要针对卷积层进行设置,决定了对二维数组边缘外部覆盖的区域大小,当设置为“0”时,内核映射区域中不包括二维数组边缘外部的信息。
示例性的,卷积神经网络模型构建后的逻辑示意图可以如图12所示,需要说明的是,其中的具体数值仅为一种实现方式之一,并不作为对模型参数设置的绝对限定。
在图12中,各层里“Size=100*aa*bb*cc”中的“100”表示模型一次性处理的二维数组的数量,为简化图形复杂程度,图12中仅示出了针对一个二维数组的泛化过程。“aa”为类别维度,“bb*cc”为窗口尺寸。数据输入层中的“Size=100*1*9*9”表示输入100个尺寸为“9*9”、包含81个样本特征的二维数组。
卷积层1中的“Size=100*20*7*7”表示将每个二维数组卷积成20个特征图,每个特征图的尺寸为“7*7”。“Kernel:5*5Stride:1Pad:1”中的Kernel为内核映射区域尺寸,Stride为内核映射区域移动步进值,Pad为窗口边缘扩展值。
卷积层2里“Size=100*64*7*7”中的“64”表示以非全连接方式将卷积层1中的20个特征图卷积成64个特征图,每个特征图的尺寸为“7*7”。“Kernel:3*3Stride:1Pad:1”表示内核映射区域尺寸为“3*3”,内核映射区域移动步进值为“1”,窗口边缘扩展值为“1”。
激活函数层1中的“Size=100*64*7*7”与卷积层2中的参数设置一致,用于将卷积层2中的特征图映射到全连接层1中。
全连接层1中的“Size=100*200*1*1”中的“200”表示将卷积层2中的64个特征图全连接到200个特征图中,其具体连接方式请见卷积神经网络目前已公开的文献。“1*1”表示全连接层1中的特征图为“1*1”形式的特征图,即到该层时样本特征已转换为一维数据。
激活函数层2中的“Size=100*200*1*1”与全连接层1中的参数设置一致,用于将全连接层1中的特征图映射到全连接层2中。其中“scale:0.5”表示梯度值。
全连接层2中的“Size=100*2*1*1”中的“2”表示将全连接层1中的200个特征图全连接到2个特征图中。
数据输出层中的“Size=100*2*1*1”与全连接层2中的参数设置一致,表示输出“感兴趣”和“不感兴趣”两个类别的概率值,每个概率值为一维数据,取值范围为0到1。
本实施例中,通过卷积计算将二维子数组抽象到上层特征图中。下面,结合图8所示的二维数组以及图12所示的卷积神经网络模型,对卷积层1和卷积层2的卷积过程进行说明:
如图13所示,对于一个9*9的二维数组,以5*5的内核映射区域尺寸为单位进行卷积,每次提取一个不多于25个样本特征的二维子数组。卷积时,窗口边缘扩展1个单位,每提取一个二维子数组后向右移动一个步进值,当移动到最右边时,跳转到下一行左侧继续卷积。根据公式“(9-5+1+1*2)2”计算,可提取出对应49个二维子数组的特征点,这49个特征点组成一个7*7的特征图。如此进行20次非全连接形式的卷积后,得到卷积层1中的20张特征图。其中,上述公式中的第一个“1”为内核映射区域移动步进值,第二个“1”为窗口边缘扩展值,因为二维数组左右边缘各涉及一次扩展、上下边缘各涉及一次扩展,因此窗口边缘扩展值需要乘2。
类似的,在卷积层2中,以3*3的内核映射区域尺寸为单位,采用相同的方式对卷积层1中的20张特征图进行卷积,获得64张特征图。根据公式“(7-3+1+1*2)2”计算,卷积层2中特征图的尺寸同样为7*7。
本实施例中,内核映射区域是二维的(例如前述5*5或3*3),对二维样本特征的卷积等同于对内核映射区域中的多个一维样本特征的卷积,可以在二维样本特征的卷积过程中保留一维样本特征的卷积特性。
以上,对卷积神经网络模型的网络结构及构建方式进行了介绍,实际应用中,还可以采用Caffe(一种开源的卷积神经网络实现框架)或TensorFlow深度学习框架对上述方案进行实现。
下面,以购物网站向用户进行商品推荐为例,给出本发明的一个应用场景,如图14所示,该场景涉及的主要流程包括:
1401、计算节点构建卷积神经网络模型。
该卷积神经网络模型包括一个数据输入层、两个卷积层、两个激活函数层、两个全连接层以及一个数据输出层组成。由于样本特征量级不大,因此没有设置下采样层。
1402、计算节点通过训练样本对卷积神经网络模型进行训练调优。
训练样本中的样本特征分为六大类:用户(USER)、商品(ITEM)、商户(SELLER)、商品类别(CATEGORY)、用户与商品(USER-ITEM)、用户与商品类别(USER-CATEGORY)。其中,每一大类中又包括若干小类的样本特征,例如,用户(USER)类别中包括用户ID、用户年龄/性别/等级/特权、上网时长、购物记录等样本特征;商品(ITEM)类别中包括商品的ID、价格、重量、品牌等样本特征;商户(SELLER)类别中包括商户的ID、字号、资质、经营记录、信誉等级等样本特征;商品类别(CATEGORY)主要为商品的分类ID,这种分类可以是依据商品属性进行的分类,例如酒水饮料、婴儿用品等,也可以是依据站点的专栏类别或营销策略进行的分类,例如海外代购、本土直销等;用户与商品(USER-ITEM)主要包括用于表征用户账号与商品之间的关联关系的样本特征,例如用户浏览/收藏/购买/关注过某商品、用户给予某商品评价等;用户与商品类别(USER-CATEGORY)主要包括用于表征用户账号与商品类别之间的关联关系的样本特征,例如用户搜索过的某商品类别、用户经由推荐点击进入过的某商品类别、用户经常购买商品所属的某个商品类别等。
本场景中,从站点的日志埋点系统中获取用户的商品展现日志、商品点击日志、及商品购买日志,并从这些日志中提取训练样本,当然,训练样本中的部分样本特征还可以来自于站点的人口统计学数据,例如商户评价、商品质量评价、物流评价等。选择训练样本时,将用户展示但未点击的USER-ITEM对作为负样本(即表征用户对商品不感兴趣的样本)、展示有点击USER-ITEM对作为正样本(即表征用户对商品感兴趣的样本)。当考虑到训练样本的健壮性时,还可以仅从用户点击的浏览页面中选择正负样本。
本场景中,从上述六大类别样本特征中获取多个小类的样本特征,通过维度转换得到一个二维数组,并使用该二维数组对卷积神经网络模型进行训练调优。
1403、计算节点将调优后的卷积神经网络模型解析为文本格式的网络模型。
将网络模型解析为文本格式模型的目的在于便于将网络模型从计算节点迁移到调度平台中。
1404、计算节点使用线上线下数据交互工具下载调度平台数据表,将文本格式的卷积神经网络模型上传到调度平台数据表中。
文本格式的卷积神经网络模型被上传至调度平台数据表中,等待后续预测过程中进行下载。
1405、计算节点从调度平台下载调度平台数据表,加载模型资源表,对卷积神经网络模型进行初始化设置。
1406、计算节点从调度平台下载预测样本数据表,获得预测样本。
调度平台根据预设的调度需求,每日定时执行一次预测任务。通过MapReduce程序(一种大规模数据并行计算模型)将预测样本分配给分布式系统中的各个计算节点,由各个计算节点进行并行计算。
与训练样本类似的,预测样本也涉及上述六大类别的样本特征,其中,用户(USER)为目标账号的样本特征,商品(ITEM)为候选商品的样本特征。
1407、计算节点通过卷积神经网络模型执行预测任务。
多个计算节点分别对分配给自身的预测样本切片进行预测,获得预测结果。
1408、调度平台对预测结果进行汇总,生成结果输出表。
示例性的,结果输出表中的内容可以形如图15所示,其中,对m个目标账号进行商品推荐,每个目标账号给出n个候选商品的排名,商品排名越靠前者,目标账号对该商品感兴趣的可能性越大。
实际应用中,图14所示流程可以但不限于使用C++、Python、Java、Sql等语言及Spark、Mpi等计算框架进行实现。
进一步的,作为对上述方法实施例的实现,本发明另一个实施例还提供了一种深度学习的装置,该装置位于计算节点侧。如图16所示,该装置包括:提取单元161、转换单元162以及处理单元163,其中:
提取单元161,用于从预测样本中提取一维向量形式的样本特征;
转换单元162,用于将一维向量形式的样本特征转换为二维数组形式的样本特征;
处理单元163,用于基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
进一步的,转换单元162,用于根据一维向量中样本特征的索引信息,将一维向量中的样本特征按照之字形排序规则顺序添加到二维数组中的不同单元中。
进一步的,如图17所示,该装置还包括:
排序单元164,用于在将一维向量形式的样本特征转换为二维数组形式的样本特征之前,在一维向量中将相同类型的样本特征相邻排列。
进一步的,如图17所示,该装置还包括:
设置单元165,用于在从预测样本中提取一维向量形式的样本特征之前:
从调度平台加载调度平台数据表;
从调度平台数据表中获取模型资源表;
基于模型资源表对深度学习模型进行初始化设置。
进一步的,如图17所示,该装置还包括:
获取单元166,用于在从预测样本中提取一维向量形式的样本特征之前,从调度平台下载预测样本数据表,获得预测样本。
进一步的,提取单元161提取的预测样本中的样本特征包括目标账号的属性信息及待推荐给目标账号的候选内容的属性信息;
处理单元163用于基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,并最终泛化为目标账号对候选内容感兴趣的预测概率和/或不感兴趣的预测概率。
进一步的,作为对上述方法实施例的实现,本发明另一个实施例还提供了一种深度学习的装置,该装置位于调度平台侧。如图18所示,该装置包括:发送单元181、接收单元182以及输出单元183,其中,
发送单元181,用于向计算节点发送深度学习模型及预测样本,深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
接收单元182,用于接收计算节点根据深度学习模型及预测样本获得的处理结果;
输出单元183,用于根据处理结果输出学习结果。
进一步的,发送单元181,用于在向计算节点发送深度学习模型及预测样本之前向计算节点发送调度平台数据表;
接收单元182,用于接收计算节点上传的、加载有深度学习模型的调度平台数据表,其中,深度学习模型为文本格式模型。
进一步的,发送单元181,用于向计算节点发送预测样本数据表。
进一步的,发送单元181,用于向计算节点发送调度平台数据表,调度平台数据表中包括深度模型的模型资源表。
进一步的,发送单元181发送的预测样本中的样本特征包括目标账号的属性信息及待推荐给目标账号的候选内容的属性信息;
接收单元182,用于接收目标账号对候选内容感兴趣的预测概率和/或不感兴趣的预测概率;
输出单元183,用于:
将目标账号对不同候选内容的预测概率进行排名;
根据排名向目标账号推荐候选内容。
进一步的,作为对上述方法实施例的实现,本发明另一个实施例还提供了一种深度学习的装置,该装置位于计算节点侧。如图19所示,该装置包括:构建单元191、提取单元192、转换单元193、训练单元194以及发送单元195,其中:
构建单元191,用于构建深度学习模型,深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
提取单元192,用于从训练样本中提取一维向量形式的样本特征;
转换单元193,用于将一维向量形式的样本特征转换为二维数组形式的样本特征;
训练单元194,用于根据二维数组形式的样本特征对深度学习模型进行训练;
发送单元195,用于将训练后的深度学习模型上传到调度平台。
进一步的,转换单元193,用于根据一维向量中样本特征的索引信息,将一维向量中的样本特征按照之字形排序规则顺序添加到二维数组中的不同单元中。
进一步的,如图20所示,该装置还包括:
排序单元196,用于在将一维向量形式的样本特征转换为二维数组形式的样本特征之前,在一维向量中将相同类型的样本特征相邻排列。
进一步的,训练单元194使用的训练样本中还包括标注信息;
如图20所示装置还包括:
调优单元197,用于在根据二维数组形式的样本特征对深度学习模型进行训练之后,根据训练结果及标注信息对训练后的深度学习模型进行调优。
进一步的,发送单元195,用于:
将深度学习模型解析为文本格式模型;
向调度平台下载调度平台数据表;
将文本格式模型加载到调度平台数据表中;
将调度平台数据表上传到调度平台。
进一步的,构建单元191构建的深度学习模型用于获得目标账号对候选内容感兴趣的预测概率和/或不感兴趣的预测概率;
训练单元194使用的训练样本中的样本特征包括训练账号的属性信息及训练内容的属性信息,标注信息用于表征训练账号对训练内容是否感兴趣。
进一步的,提取单元192,用于在从训练样本中提取一维向量形式的样本特征之前,从训练账号访问过的内容页面中选择训练样本。
进一步的,提取单元192,用于在从训练样本中提取一维向量形式的样本特征之前,剔除行为统计参数超过预设合理阈值的训练样本。
进一步的,构建单元191构建的深度学习模型为卷积神经网络模型,构建单元191,用于:
顺序创建数据输入层、卷积层、激活函数层、全连接层以及数据输出层;
设置各层的类别维度及窗口尺寸;
对于卷积层、全连接层以及激活函数层,设置内核映射区域尺寸、内核映射区域移动步进值以及窗口边缘扩展值。
本发明实施例提供的深度学习的装置,能够由计算节点从预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果,并最终由调度平台根据该处理结果输出学习结果。当应用于商品推荐领域时,本发明实施例能够以二维子数组的形式将相邻样本特征之间的组合关系向上层进行抽象,因此可以捕捉到更多的相邻样本特征之间的组合关系,与现有技术中仅通过对行为特征的简单组合预测用户偏好相比,本发明实施例可以充分利用样本特征组合关系所蕴含的数据价值,对用户偏好进行更加全面、准确的深度预测,由此给出与用户兴趣匹配度更高的商品予以推荐。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的发明名称(如确定网站内链接等级的装置)中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (27)

1.一种深度学习的系统,其特征在于,所述系统包括计算节点及调度平台,其中:
所述调度平台,用于向所述计算节点发送深度学习模型及预测样本;
所述计算节点,用于从所述预测样本中提取一维向量形式的样本特征,将一维向量形式的样本特征转换为二维数组形式的样本特征,基于所述深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
所述调度平台,还用于接收所述计算节点发送的所述处理结果,根据所述处理结果输出学习结果。
2.根据权利要求1所述的系统,其特征在于,所述计算节点用于在接收所述深度学习模型及所述预测样本之前:
构建所述深度学习模型;
从训练样本中提取一维向量形式的样本特征;
将一维向量形式的样本特征转换为二维数组形式的样本特征;
根据所述二维数组形式的样本特征对所述深度学习模型进行训练;
将训练后的深度学习模型上传到所述调度平台。
3.根据权利要求2所述的系统,其特征在于,所述训练样本中还包括标注信息,所述计算节点用于:
根据训练结果及所述标注信息对训练后的深度学习模型进行调优。
4.根据权利要求1至3中任一项所述的系统,其特征在于,所述预测样本中的样本特征包括目标账号的属性信息及待推荐给所述目标账号的候选内容的属性信息;
所述计算节点,用于基于所述深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,并最终泛化为所述目标账号对所述候选内容感兴趣的预测概率和/或不感兴趣的预测概率;
所述调度平台,用于根据所述预测概率向所述目标账号推荐候选内容。
5.一种深度学习的方法,其特征在于,所述方法包括:
计算节点从预测样本中提取一维向量形式的样本特征;
将一维向量形式的样本特征转换为二维数组形式的样本特征;
基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
6.根据权利要求5所述的方法,其特征在于,所述将一维向量形式的样本特征转换为二维数组形式的样本特征,包括:
根据一维向量中样本特征的索引信息,将一维向量中的样本特征按照之字形排序规则顺序添加到所述二维数组中的不同单元中。
7.根据权利要求5所述的方法,其特征在于,在所述将一维向量形式的样本特征转换为二维数组形式的样本特征之前,所述方法进一步包括:
在一维向量中将相同类型的样本特征相邻排列。
8.根据权利要求5所述的方法,其特征在于,在所述从预测样本中提取一维向量形式的样本特征之前,所述方法进一步包括:
从调度平台加载调度平台数据表;
从所述调度平台数据表中获取模型资源表;
基于所述模型资源表对所述深度学习模型进行初始化设置。
9.根据权利要求5所述的方法,其特征在于,在所述从预测样本中提取一维向量形式的样本特征之前,所述方法进一步包括:
从调度平台下载预测样本数据表,获得所述预测样本。
10.根据权利要求5至9中任一项所述的方法,其特征在于,所述预测样本中的样本特征包括目标账号的属性信息及待推荐给所述目标账号的候选内容的属性信息;
所述基于所述深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果,包括:
基于所述深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,并最终泛化为所述目标账号对所述候选内容感兴趣的预测概率和/或不感兴趣的预测概率。
11.一种深度学习的方法,其特征在于,所述方法包括:
调度平台向计算节点发送深度学习模型及预测样本,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
接收所述计算节点根据所述深度学习模型及所述预测样本获得的处理结果;
根据所述处理结果输出学习结果。
12.根据权利要求11所述的方法,其特征在于,在所述向计算节点发送深度学习模型及预测样本之前,所述方法进一步包括:
向所述计算节点发送调度平台数据表;
接收所述计算节点上传的、加载有深度学习模型的调度平台数据表,其中,所述深度学习模型为文本格式模型。
13.根据权利要求11所述的方法,其特征在于,向计算节点发送预测样本,包括:
向所述计算节点发送预测样本数据表。
14.根据权利要求11所述的方法,其特征在于,向计算节点发送深度学习模型,包括:
向所述计算节点发送调度平台数据表,所述调度平台数据表中包括所述深度模型的模型资源表。
15.根据权利要求11至14中任一项所述的方法,其特征在于,所述预测样本中的样本特征包括目标账号的属性信息及待推荐给所述目标账号的候选内容的属性信息;
所述接收所述计算节点根据所述深度学习模型及所述预测样本获得的处理结果,包括:
接收所述目标账号对所述候选内容感兴趣的预测概率和/或不感兴趣的预测概率;
所述根据所述处理结果输出学习结果,包括:
将所述目标账号对不同候选内容的预测概率进行排名;
根据所述排名向所述目标账号推荐候选内容。
16.一种深度学习的方法,其特征在于,所述方法包括:
计算节点构建深度学习模型,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
从训练样本中提取一维向量形式的样本特征;
将一维向量形式的样本特征转换为二维数组形式的样本特征;
根据所述二维数组形式的样本特征对所述深度学习模型进行训练;
将训练后的深度学习模型上传到所述调度平台。
17.根据权利要求16所述的方法,其特征在于,所述将一维向量形式的样本特征转换为二维数组形式的样本特征,包括:
根据一维向量中样本特征的索引信息,将一维向量中的样本特征按照之字形排序规则顺序添加到所述二维数组中的不同单元中。
18.根据权利要求16所述的方法,其特征在于,在所述将一维向量形式的样本特征转换为二维数组形式的样本特征之前,所述方法进一步包括:
在一维向量中将相同类型的样本特征相邻排列。
19.根据权利要求16所述的方法,其特征在于,所述训练样本中还包括标注信息,在所述根据所述二维数组形式的样本特征对所述深度学习模型进行训练之后,所述方法进一步包括:
根据训练结果及所述标注信息对训练后的深度学习模型进行调优。
20.根据权利要求16所述的方法,其特征在于,所述将训练后的深度学习模型上传到所述调度平台,包括:
将所述深度学习模型解析为文本格式模型;
向所述调度平台下载调度平台数据表;
将文本格式模型加载到所述调度平台数据表中;
将所述调度平台数据表上传到所述调度平台。
21.根据权利要求16至20中任一项所述的方法,其特征在于,所述深度学习模型用于获得目标账号对候选内容感兴趣的预测概率和/或不感兴趣的预测概率;
所述训练样本中的样本特征包括训练账号的属性信息及训练内容的属性信息,所述标注信息用于表征训练账号对训练内容是否感兴趣。
22.根据权利要求21所述的方法,其特征在于,在所述从训练样本中提取一维向量形式的样本特征之前,所述方法进一步包括:
从训练账号访问过的内容页面中选择训练样本。
23.根据权利要求21所述的方法,其特征在于,在所述从训练样本中提取一维向量形式的样本特征之前,所述方法进一步包括:
剔除行为统计参数超过预设合理阈值的训练样本。
24.根据权利要求16所述的方法,其特征在于,所述深度学习模型为卷积神经网络模型,所述构建深度学习模型,包括:
顺序创建数据输入层、卷积层、激活函数层、全连接层以及数据输出层;
设置各层的类别维度及窗口尺寸;
对于所述卷积层、所述全连接层以及所述激活函数层,设置内核映射区域尺寸、内核映射区域移动步进值以及窗口边缘扩展值。
25.一种深度学习的装置,所述装置位于计算节点侧,其特征在于,所述装置包括:
提取单元,用于从预测样本中提取一维向量形式的样本特征;
转换单元,用于将一维向量形式的样本特征转换为二维数组形式的样本特征;
处理单元,用于基于深度学习模型,以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果。
26.一种深度学习的装置,所述装置位于调度平台侧,其特征在于,所述装置包括:
发送单元,用于向计算节点发送深度学习模型及预测样本,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
接收单元,用于接收所述计算节点根据所述深度学习模型及所述预测样本获得的处理结果;
输出单元,用于根据所述处理结果输出学习结果。
27.一种深度学习的装置,所述装置位于计算节点侧,其特征在于,所述装置包括:
构建单元,用于构建深度学习模型,所述深度学习模型用于以二维子数组为单位对二维数组中的样本特征进行泛化处理,获得处理结果;
提取单元,用于从训练样本中提取一维向量形式的样本特征;
转换单元,用于将一维向量形式的样本特征转换为二维数组形式的样本特征;
训练单元,用于根据所述二维数组形式的样本特征对所述深度学习模型进行训练;
发送单元,用于将训练后的深度学习模型上传到所述调度平台。
CN201610550547.8A 2016-07-13 2016-07-13 深度学习的方法、装置及系统 Active CN107622427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610550547.8A CN107622427B (zh) 2016-07-13 2016-07-13 深度学习的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610550547.8A CN107622427B (zh) 2016-07-13 2016-07-13 深度学习的方法、装置及系统

Publications (2)

Publication Number Publication Date
CN107622427A true CN107622427A (zh) 2018-01-23
CN107622427B CN107622427B (zh) 2021-04-06

Family

ID=61087051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610550547.8A Active CN107622427B (zh) 2016-07-13 2016-07-13 深度学习的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN107622427B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062246A (zh) * 2018-01-25 2018-05-22 北京百度网讯科技有限公司 用于深度学习框架的资源调度方法和装置
CN108804684A (zh) * 2018-06-13 2018-11-13 北京搜狗科技发展有限公司 一种数据处理方法和装置
CN108875777A (zh) * 2018-05-03 2018-11-23 浙江大学 基于双路神经网络的纺织面料中纤维种类及混纺比例识别方法
CN109034192A (zh) * 2018-06-20 2018-12-18 西南交通大学 一种基于深度学习的轨道-车体振动状态预测方法
CN109114431A (zh) * 2018-09-30 2019-01-01 天津科技大学 一种油气运输管道水合物监测技术
CN109347924A (zh) * 2018-09-20 2019-02-15 西北大学 一种基于群智感知的推荐方法
CN109446413A (zh) * 2018-09-25 2019-03-08 上海交通大学 基于物品关联关系的序列化推荐方法
CN109492241A (zh) * 2018-08-10 2019-03-19 北京中科寒武纪科技有限公司 转换方法、装置、计算机设备和存储介质
CN109492774A (zh) * 2018-11-06 2019-03-19 北京工业大学 一种基于深度学习的云资源调度方法
CN109711538A (zh) * 2018-12-14 2019-05-03 北京中科寒武纪科技有限公司 运算方法、装置及相关产品
CN110147252A (zh) * 2019-04-28 2019-08-20 深兰科技(上海)有限公司 一种卷积神经网络的并行计算方法及装置
CN110377340A (zh) * 2019-07-24 2019-10-25 北京中科寒武纪科技有限公司 运算方法、装置及相关产品
CN110457329A (zh) * 2019-08-16 2019-11-15 第四范式(北京)技术有限公司 一种实现个性化推荐的方法及装置
CN110598084A (zh) * 2018-05-24 2019-12-20 阿里巴巴集团控股有限公司 对象排序方法、商品排序方法、装置及电子设备
CN110874702A (zh) * 2018-09-04 2020-03-10 菜鸟智能物流控股有限公司 物流分拣场景下的模型训练方法、装置以及电子设备
CN111092935A (zh) * 2019-11-27 2020-05-01 中国联合网络通信集团有限公司 一种用于机器学习的数据共享方法和虚拟训练装置
CN111709819A (zh) * 2020-01-20 2020-09-25 山东佳联电子商务有限公司 一种点拍网基于图神经网络的产权交易推荐系统及推荐方法
CN111737575A (zh) * 2020-06-19 2020-10-02 北京字节跳动网络技术有限公司 内容分发方法、装置、可读介质及电子设备
CN112567418A (zh) * 2018-08-14 2021-03-26 萨玛派格股份有限公司 用于创建和管理与香料相关的用户配置文件的方法和系统
CN112805739A (zh) * 2018-10-05 2021-05-14 三星电子株式会社 电子设备及其控制方法
CN113063100A (zh) * 2019-12-30 2021-07-02 北京国双科技有限公司 管道泄漏的检测方法及装置
CN113159612A (zh) * 2021-05-08 2021-07-23 广东东方翠健康科技有限公司 一种基于区块链的评价输出方法及系统
CN114519114A (zh) * 2020-11-20 2022-05-20 北京达佳互联信息技术有限公司 多媒体资源分类模型构建方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090024547A1 (en) * 2007-07-17 2009-01-22 Ut-Battelle, Llc Multi-intelligent system for toxicogenomic applications (mista)
CN101694652A (zh) * 2009-09-30 2010-04-14 西安交通大学 一种基于极速神经网络的网络资源个性化推荐方法
CN103106535A (zh) * 2013-02-21 2013-05-15 电子科技大学 一种基于神经网络解决协同过滤推荐数据稀疏性的方法
CN104299006A (zh) * 2014-07-23 2015-01-21 中国传媒大学 一种基于深度神经网络的车牌识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090024547A1 (en) * 2007-07-17 2009-01-22 Ut-Battelle, Llc Multi-intelligent system for toxicogenomic applications (mista)
CN101694652A (zh) * 2009-09-30 2010-04-14 西安交通大学 一种基于极速神经网络的网络资源个性化推荐方法
CN103106535A (zh) * 2013-02-21 2013-05-15 电子科技大学 一种基于神经网络解决协同过滤推荐数据稀疏性的方法
CN104299006A (zh) * 2014-07-23 2015-01-21 中国传媒大学 一种基于深度神经网络的车牌识别方法

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062246A (zh) * 2018-01-25 2018-05-22 北京百度网讯科技有限公司 用于深度学习框架的资源调度方法和装置
CN108062246B (zh) * 2018-01-25 2019-06-14 北京百度网讯科技有限公司 用于深度学习框架的资源调度方法和装置
US11762697B2 (en) 2018-01-25 2023-09-19 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for scheduling resource for deep learning framework
CN108875777B (zh) * 2018-05-03 2022-03-15 浙江大学 基于双路神经网络的纺织面料中纤维种类及混纺比例识别方法
CN108875777A (zh) * 2018-05-03 2018-11-23 浙江大学 基于双路神经网络的纺织面料中纤维种类及混纺比例识别方法
CN110598084A (zh) * 2018-05-24 2019-12-20 阿里巴巴集团控股有限公司 对象排序方法、商品排序方法、装置及电子设备
CN108804684A (zh) * 2018-06-13 2018-11-13 北京搜狗科技发展有限公司 一种数据处理方法和装置
CN108804684B (zh) * 2018-06-13 2020-11-03 北京搜狗科技发展有限公司 一种数据处理方法和装置
CN109034192A (zh) * 2018-06-20 2018-12-18 西南交通大学 一种基于深度学习的轨道-车体振动状态预测方法
CN109034192B (zh) * 2018-06-20 2022-03-08 西南交通大学 一种基于深度学习的轨道-车体振动状态预测方法
CN109492241A (zh) * 2018-08-10 2019-03-19 北京中科寒武纪科技有限公司 转换方法、装置、计算机设备和存储介质
CN112567418A (zh) * 2018-08-14 2021-03-26 萨玛派格股份有限公司 用于创建和管理与香料相关的用户配置文件的方法和系统
CN110874702A (zh) * 2018-09-04 2020-03-10 菜鸟智能物流控股有限公司 物流分拣场景下的模型训练方法、装置以及电子设备
CN110874702B (zh) * 2018-09-04 2023-05-23 菜鸟智能物流控股有限公司 物流分拣场景下的模型训练方法、装置以及电子设备
CN109347924A (zh) * 2018-09-20 2019-02-15 西北大学 一种基于群智感知的推荐方法
CN109446413A (zh) * 2018-09-25 2019-03-08 上海交通大学 基于物品关联关系的序列化推荐方法
CN109446413B (zh) * 2018-09-25 2021-06-01 上海交通大学 基于物品关联关系的序列化推荐方法
CN109114431A (zh) * 2018-09-30 2019-01-01 天津科技大学 一种油气运输管道水合物监测技术
CN112805739A (zh) * 2018-10-05 2021-05-14 三星电子株式会社 电子设备及其控制方法
CN109492774A (zh) * 2018-11-06 2019-03-19 北京工业大学 一种基于深度学习的云资源调度方法
CN109492774B (zh) * 2018-11-06 2021-10-26 北京工业大学 一种基于深度学习的云资源调度方法
CN109711538A (zh) * 2018-12-14 2019-05-03 北京中科寒武纪科技有限公司 运算方法、装置及相关产品
CN109711538B (zh) * 2018-12-14 2021-01-15 安徽寒武纪信息科技有限公司 运算方法、装置及相关产品
CN110147252A (zh) * 2019-04-28 2019-08-20 深兰科技(上海)有限公司 一种卷积神经网络的并行计算方法及装置
CN110377340A (zh) * 2019-07-24 2019-10-25 北京中科寒武纪科技有限公司 运算方法、装置及相关产品
CN110457329A (zh) * 2019-08-16 2019-11-15 第四范式(北京)技术有限公司 一种实现个性化推荐的方法及装置
CN110457329B (zh) * 2019-08-16 2022-05-06 第四范式(北京)技术有限公司 一种实现个性化推荐的方法及装置
CN111092935B (zh) * 2019-11-27 2022-07-12 中国联合网络通信集团有限公司 一种用于机器学习的数据共享方法和虚拟训练装置
CN111092935A (zh) * 2019-11-27 2020-05-01 中国联合网络通信集团有限公司 一种用于机器学习的数据共享方法和虚拟训练装置
CN113063100A (zh) * 2019-12-30 2021-07-02 北京国双科技有限公司 管道泄漏的检测方法及装置
CN111709819A (zh) * 2020-01-20 2020-09-25 山东佳联电子商务有限公司 一种点拍网基于图神经网络的产权交易推荐系统及推荐方法
CN111737575A (zh) * 2020-06-19 2020-10-02 北京字节跳动网络技术有限公司 内容分发方法、装置、可读介质及电子设备
CN111737575B (zh) * 2020-06-19 2023-11-14 北京字节跳动网络技术有限公司 内容分发方法、装置、可读介质及电子设备
CN114519114A (zh) * 2020-11-20 2022-05-20 北京达佳互联信息技术有限公司 多媒体资源分类模型构建方法、装置、服务器及存储介质
CN113159612A (zh) * 2021-05-08 2021-07-23 广东东方翠健康科技有限公司 一种基于区块链的评价输出方法及系统
CN113159612B (zh) * 2021-05-08 2023-09-19 广东东方翠健康科技有限公司 一种基于区块链的评价输出方法及系统

Also Published As

Publication number Publication date
CN107622427B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN107622427A (zh) 深度学习的方法、装置及系统
US20170220943A1 (en) Systems and methods for automated data analysis and customer relationship management
CN110309119B (zh) 用于实现数据上传、处理和预测查询api公开的系统、方法和装置
CN113935434A (zh) 一种数据分析处理系统及自动建模方法
CN106327227A (zh) 一种信息推荐系统及信息推荐方法
CN107169806B (zh) 用于确定商品属性对于购买决策的影响度的方法及装置
CN109582876A (zh) 旅游行业用户画像构造方法、装置和计算机设备
CN109767032A (zh) 一种基于数据分析的企业财务运营数字化管理优化系统
Lee et al. Fundamentals of big data network analysis for research and industry
CN107679945A (zh) 建立消费对象推荐模型的方法以及相关方法及装置
Gangurde et al. Building prediction model using market basket analysis
Zhang [Retracted] Optimization of the Marketing Management System Based on Cloud Computing and Big Data
CN114861050A (zh) 一种基于神经网络的特征融合推荐方法及系统
Sitar-Tăut et al. A knowledge-driven digital nudging approach to recommender systems built on a modified Onicescu method
Alawadh et al. A survey on methods and applications of intelligent market basket analysis based on association rule.
Wei et al. Online shopping behavior analysis for smart business using big data analytics and blockchain security
KR102594089B1 (ko) B2b 시장을 위한 인공지능 기반 식자재 자동 발주 서비스 제공 시스템
US11663645B2 (en) Methods and apparatuses for determining personalized recommendations using customer segmentation
KR102311107B1 (ko) 딥러닝 모델을 자동으로 생성하는 딥러닝 솔루션 플랫폼과 연동 가능한 고객 이탈 방지 시스템에 의해서 수행되는, 고객의 이탈을 방지하기 위한 솔루션을 제공하는 고객 이탈 방지 방법
Kulkarni et al. Restaurants rating prediction using machine learning algorithms
US11341539B2 (en) Offer selection using sequential selection operations
Ghous et al. Deep Learning based Market Basket Analysis using Association Rules
CN113988977A (zh) 一种商品推荐方法及装置、计算机可读存储介质
Rofi'i Analysis of E-Commerce Purchase Patterns Using Big Data: An Integrative Approach to Understanding Consumer Behavior
Baig et al. Data Science for Marketing Analytics: A practical guide to forming a killer marketing strategy through data analysis with Python

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211105

Address after: No. 699, Wangshang Road, Binjiang District, Hangzhou, Zhejiang

Patentee after: Alibaba (China) Network Technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: ALIBABA GROUP HOLDING Ltd.

TR01 Transfer of patent right