CN109241031A - 模型生成方法、模型使用方法、装置、系统及存储介质 - Google Patents
模型生成方法、模型使用方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN109241031A CN109241031A CN201810919870.7A CN201810919870A CN109241031A CN 109241031 A CN109241031 A CN 109241031A CN 201810919870 A CN201810919870 A CN 201810919870A CN 109241031 A CN109241031 A CN 109241031A
- Authority
- CN
- China
- Prior art keywords
- model
- incremental
- alignment
- feature
- currently used
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种模型生成方法、模型使用方法、装置、系统及存储介质,其中模型生成方法包括:采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型;将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;按照预设采样周期采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型;将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。本发明实施例能够缩短模型的传输、加载时间,提高模型更新效率。
Description
技术领域
本发明实施例涉及通信技术领域,具体涉及一种模型生成方法、模型使用方法、装置、系统及存储介质。
背景技术
目前,在做媒体内容(比如:视频、文章、新闻资讯)推荐的时候,通常会由模型的生成端预先收集样本训练出模型(比如:预测模型),然后将训练出的模型发送给模型的使用端。当需要对当前用户推荐媒体内容时,使用端会通过这个模型对待推荐媒体内容进行打分,这个分数就是当前用户在看到该待推荐媒体内容时会接受/点击/查阅的概率,最后根据这个分数确定推荐策略,比如,确定是否要对当前用户推荐该待推荐媒体内容。
上述模型中,通常会包括从样本中提取的特征以及训练得到的每个特征对应的参数。随着时间的推移,将不断地会有新样本加入训练、模型也需要不断地更新。现有的模型更新方案,通常为全量更新方案,即生成端在采集到新样本之后,会对当前所拥有的所有样本进行训练,生成新模型,将新模型发送给使用端,使用端加载该新模型并进行更新,新模型中包括从所有样本中提取的特征及对应的参数,即新模型为全量模型,数据量较大,导致模型的传输、加载时间较长,模型更新效率较低。
发明内容
有鉴于此,本发明实施例提供了一种模型生成方法、模型使用方法、装置、系统及存储介质,能够缩短模型的传输、加载时间,提高模型更新效率。
本发明实施例提供的模型生成方法,包括:
采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练,得到对齐模型;
将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;
按照预设采样周期采集媒体内容的浏览日志,构建新样本,对所述新样本进行训练,得到增量模型;
将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
相应地,本发明实施例还提供了一种模型使用方法,包括:
接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练得到;
加载所述对齐模型,将所述对齐模型作为当前使用模型;
接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样周期采集媒体内容的浏览日志,构建新样本,并对所述新样本进行训练得到;
加载所述增量模型,将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
相应地,本发明实施例还提供了一种模型生成装置,包括:
对齐模型生成单元,用于采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练,得到对齐模型;
发送单元,用于将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;
增量模型生成单元,用于按照预设采样周期采集媒体内容的浏览日志,构建新样本,对所述新样本进行训练,得到增量模型;
所述发送单元还用于,将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;以及将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至所述当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
可选的,在一些实施例中,所述模型生成装置还包括:
判断单元,用于判断是否达到预设合并周期,所述预设合并周期大于所述预设采样周期;
合并模型生成单元,用于若达到所述预设合并周期,则将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型;
所述发送单元还用于,将所述合并模型发送给所述使用端,以使得所述使用端在发生重启事件时,将所述合并模型作为当前使用模型。
可选的,在一些实施例中,所述合并模型生成单元包括第一生成子单元;
所述第一生成子单元用于,针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;以及针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,将所述对齐模型中该特征对应的参数更新为所述增量模型中该特征对应的参数,得到所述合并模型。
可选的,在一些实施例中,所述合并模型生成单元包括第二生成子单元;
所述第二生成子单元用于,针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;以及针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,计算所述增量模型中该特征对应的参数与所述对齐模型中该特征对应的参数的均值,将所述对齐模型中该特征对应的参数更新为所述均值,得到所述合并模型。
可选的,在一些实施例中,所述模型生成装置还包括:
确定单元,用于确定所述合并模型中的每个特征是否满足预设裁剪条件;
剪裁模型生成单元,用于根据所述合并模型中满足所述预设裁剪条件的特征及对应的参数,生成剪裁模型;
所述发送单元还用于,将所述剪裁模型发送给所述使用端,以使得所述使用端根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
可选的,在一些实施例中,所述确定单元包括:
获取子单元,用于根据所述对齐模型和所述预设合并周期内得到的所述增量模型,获取所述合并模型中每个特征的活跃度信息,所述活跃度信息包括每个特征的第一次出现时间、最后一次出现时间、出现频率中的至少一个;
确定子单元,用于根据每个特征的活跃度信息确定每个特征是否满足预设剪裁条件。
可选的,在一些实施例中,所述使用端利用当前使用模型对待推荐媒体内容进行打分,包括:
获取所述待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
相应地,本发明实施例还提供了一种模型使用装置,包括:
接收单元,用于接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练得到,以及接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样采集媒体内容的浏览日志,构建新样本,并对所述新样本进行训练得到;
对齐单元,用于加载所述对齐模型,将所述对齐模型作为当前使用模型;
合并单元,用于加载所述增量模型,将所述增量模型合并至当前使用模型;
打分单元,用于利用当前使用模型对待推荐媒体内容进行打分。
可选的,在一些实施例中,所述接收单元还用于,接收所述生成端发送的合并模型,所述合并模型由所述生成端将预设合并周期内得到的所述增量模型合并至所述对齐模型得到;
所述模型使用装置还包括:
判断单元,用于判断是否发生重启事件;
恢复单元,用于若发生了所述重启事件,则加载所述合并模型,并将所述合并模型作为当前使用模型。
可选的,在一些实施例中,所述接收单元还用于,接收所述生成端发送的剪裁模型,所述剪裁模型由所述生成端根据所述合并模型中满足预设裁剪条件的特征及对应的参数生成;
所述模型使用装置还包括:
剪裁单元,用于根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
可选的,在一些实施例中,所述模型使用装置还包括:
删除单元,用于将在所述合并模型或所述对齐模型之前接收到的其他模型删除。
可选的,在一些实施例中,所述合并单元包括第一合并子单元;
所述第一合并子单元用于,针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,将当前使用模型中该特征对应的参数更新为所述增量模型中该特征对应的参数。
可选的,在一些实施例中,所述合并单元包括第二合并子单元;
所述第二合并子单元用于,针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,计算所述增量模型中该特征对应的参数与当前使用模型中该特征对应的参数的均值,将当前使用模型中该特征对应的参数更新为所述均值。
可选的,在一些实施例中,所述打分单元具体用于:
获取所述待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
此外,本发明实施例还提供了一种模型系统,包括本发明实施例提供的任一种模型生成装置、以及本发明实施例提供的任一种模型使用装置。
此外,本发明实施例还提供了一种存储介质,所述存储介质存储有多条指令,所述指令适于由处理器进行加载,以执行本发明实施例所提供的任一种模型生成方法中的步骤。
此外,本发明实施例还提供了另一种存储介质,所述存储介质存储有多条指令,所述指令适于由处理器进行加载,以执行本发明实施例所提供的任一种模型使用方法中的步骤。
本发明实施例中,模型的生成端首先会采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型,将对齐模型发送给使用端,即将使用端与生成端进行模型的同步对齐;此后,生成端将按照预设采样周期采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型,将增量模型直接发送给使用端,以使得使用端将增量模型合并至当前使用模型,得到全量模型,即在模型对齐之后,生成端每次只向使用端发送增量模型,由于增量模型只是对新样本进行训练得到的,增量模型中只包括从新样本中提取的特征及训练得到的对应的参数,相较于全量模型,数据量较小,因而大大缩短了模型的传输、加载时间,提高了模型更新效率。
附图说明
图1是本发明实施例所提供的模型系统的场景示意图。
图2是本发明实施例所提供的模型生成方法的流程示意图。
图3a是本发明实施例所提供的模型使用方法的流程示意图。
图3b是本发明实施例所提供的模型加载方法的流程示意图。
图4是本发明实施例所提供的模型生成装置的结构示意图。
图5是本发明实施例所提供的模型生成装置的另一结构示意图。
图6是本发明实施例所提供的模型使用装置的结构示意图。
图7是本发明实施例所提供的模型使用装置的另一结构示意图。
图8是本发明实施例所提供的服务器的结构示意图。
图9是本发明实施例所提供的模型系统的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
由于全量更新方案,存在模型的传输、加载时间较长,模型更新效率较低的问题,因而,本发明实施例提供了一种模型生成方法、模型使用方法、装置、系统及存储介质,能够缩短模型的传输、加载时间,提高模型更新效率。
请参阅图1,图1是本发明实施例的模型系统的场景示意图,该模型系统中包括模型的生成端、生成端具体可以集成在服务器(比如,参数服务器)或其他具备储存单元并安装有微处理器而具有运算能力的设备中。以生成端集成在服务器中为例,生成端用于执行本发明实施例提供的模型生成方法,具体地,生成端可以从终端采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型,然后将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;此后,生成端将按照预设采样周期(比如10分钟、30分钟等)采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型,将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至当前使用模型,使用端可以利用当前使用模型对待推荐媒体内容进行打分,这个打分可以表示当前用户在看到该待推荐媒体内容时,会接受/点击/查阅的概率;另外,由于模型中包括特征及对应的参数,所以,模型的具体合并方法可以是:针对当前使用模型中没有的,但增量模型中有的特征,可以将该特征及对应的参数加入到当前使用模型中,针对当前使用模型中有的,且增量模型中也有的特征,将当前使用模型中的该特征对应的参数更新为增量模型中的该特征对应的参数,合并之后,使用端相当于也有了全量模型。
另外,本发明实施例的模型系统中还可以包括中转机、使用端和终端,使用端具体可以集成在服务器(比如,排序服务器)或其他具备储存单元并安装有微处理器而具有运算能力的设备中,使用端用于执行本发明实施例提供的模型使用方法;终端用于接收使用端推荐的媒体内容,终端可以为手机、平板电脑等电子设备。本发明实施例中,生成端为模型的生产方,使用端为模型的使用方,生成端生成的各种模型可以通过中转机发送给使用端,使用端使用生成端发送过来的模型对待推荐媒体内容进行打分。比如,当使用端有多个视频需要进行推荐时,使用端可以获取每个待推荐视频的视频特征(比如媒体时长、类型、题材等),并获取当前用户的用户特征(比如用户的年龄、性别、职业等),将任意一个待推荐视频的视频特征和当前用户的用户特征输入当前使用模型,模型输出即为当前用户可能点击查看该待推荐视频的概率,以此类推,可以得到当前用户可能点击每个待推荐视频的概率,使用端可以根据该概率对多个待推荐视频进行排序,在排序之后,将多个待推荐视频发送至当前用户的终端。
需要说明的是,图1所示的模型系统的场景示意图仅仅是一个示例,本发明实施例描述的模型系统及场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着模型系统的演变和新业务平台的出现,本发明实施例的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
本实施例将从生成端描述本发明实施例提供的模型生成方法,该生成端具体可以集成在服务器中,如图2所示,本实施例的模型生成方法包括以下步骤:
步骤S101、采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型。
具体地,媒体内容可以为:视频、文章、新闻资讯等。本实施例的样本,可以来自媒体内容的浏览日志。比如,当生成的模型用于进行视频推荐时,样本可以来自用户浏览视频网站形成的浏览日志;当生成的模型用于进行新闻资讯推荐时,样本可以来自用户访问新闻网页形成的浏览日志。
以生成的模型用于视频推荐为例,生成端可以通过用户所使用的终端获取用户浏览视频网站形成的浏览日志,浏览日志中可以包括用户的国籍、年龄、性别、职业、学历、上网环境(比如无线保真WIFI网络,移动数据网络)等用户特征,以及视频的时长、类型、题材等视频特征,则可以从浏览日志中提取上述用户特征及视频特征,构建样本。一个用户在一段时间内的浏览日志可以构成一个样本,不同样本中包含的用户特征及视频特征的类型、数量可以相同或不同,生成端可以对一段时间内构建的所有样本进行训练,训练之后可以得到用于计算用户特征(可以用来表示用户)与视频特征(可以用来表示视频)之间关系的相关参数,所以训练得到的模型可如表1所示,包括特征及对应的参数,一个特征可以对应多个参数,模型中的特征可以是用户特征与视频特征的特征对,比如:少年-足球,模型中的特征可以是对应特征对的编码表示。
表1
历史样本可以是根据当前已经采集到的媒体内容的浏览日志构建的样本,比如,生成端初次启动训练系统后,先采集了过去一天某视频网站的全网用户(或预设用户)的浏览日志,并从每个浏览日志中提取用户特征及视频特征构建了大量的样本,则这些样本就为历史样本,对历史样本进行训练,将得到的模型作为对齐模型。
在得到对齐模型之后,可以根据历史样本的构建时间,为对齐模型添加时间戳,比如,可以直接将历史样本的构建时间作为对齐模型的时间戳,也可以将历史样本的构建时间编码后作为对齐模型的时间戳。
本实施例中,由于会生成多种模型,为便于区分和识别,可以为生成的模型定义一个通用的文件名结构,该文件名结构可如下:
[模型名称model_name]_[时间戳datetime]_类型type.text。
假如生成的模型用于视频推荐,历史样本的构建时间为2018年7月2日00:00,对齐模型的类型标识为align,则在得到对齐模型之后,可以将对齐模型的文件名设置为[视频]_[2018年7月2日00:00]_align.text。
步骤S102、将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型。
本实施例中,生成端会向使用端发送多种模型,每种模型的作用各不相同,生成端与使用端可以预先约定好各种模型的使用方法。比如,当使用端接收到类型为对齐模型的模型时,则可以停止使用其他模型并加载对齐模型,将对齐模型作为当前使用模型,以和生成端保持模型的同步对齐。使用端可以利用当前使用模型对待推荐媒体内容进行打分,当待推荐媒体内容有多个时,使用端可以利用当前使用模型对每一个待推荐媒体内容进行打分。
步骤S103、按照预设采样周期采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型。
预设采样周期可根据实际需求而定,预设采样周期越短,意味着模型训练的周期越短,模型的更新速度越快,同时对生成端及使用端的运算能力要求也越高。预设采样周期例如,可以设置为10分钟、30分钟等。
本实施例中,在采集到新样本之后,可以仅对采集到的新样本进行训练,将训练得到的模型作为增量模型。在得到增量模型之后,可以根据新样本的构建时间,为增量模型添加时间戳。
在一个具体的实施例中,假如生成的模型用于视频推荐,预设采样周期为30分钟,第一次新样本的构建时间为2018年7月2日00:30,增量模型的类型标识为incre,则按照通用的文件名结构,可以将第一个增量模型的文件名设置为[视频]_[2018年7月2日00:30]_incre.text。
由于用户群在不断地变化,媒体内容提供方所提供的媒体内容也在不断地变化,所以样本也在不断地变化,因而采用不同的样本训练得到模型是不同的,比如训练得到的不同模型中包含的特征可能不同,相同特征对应的参数也可能不同。
步骤S104、将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
本实施例中,生成端与使用端可以预先约定,当使用端接收到类型为增量模型的模型时,可以将接收到的增量模型合并至当前使用模型。比如,若使用端当前使用的模型为对齐模型,则可以将接收到的增量模型合并至对齐模型,合并之后得到的模型可以认为是全量模型。具体的合并方法例如:
(1)针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,将当前使用模型中该特征对应的参数更新为所述增量模型中该特征对应的参数。
(2)针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,计算所述增量模型中该特征对应的参数与当前使用模型中该特征对应的参数的均值,将当前使用模型中该特征对应的参数更新为所述均值。
需要说明的是,以上两种合并方法仅为举例说明,实际应用中,还可以采用其他方式进行模型合并,此处不做具体限定。
使用端利用当前使用模型对待推荐媒体内容进行打分具体可以如下:
获取所述待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
以使用端利用当前使用模型进行视频推荐为例,将对齐模型作为当前使用模型时,使用端可以获取待推荐视频的视频特征,并获取当前用户的用户特征(可以从当前用户的终端获取),将该视频特征及用户特征输入当前使用模型,模型输出即为该待推荐视频的得分,这个分数可以表示具有上述用户特征的当前用户,会点击查看具有上述视频特征的待推荐视频的概率,使用端可以根据该概率确定推荐策略。比如,可以根据计算结果确定是否要对当前用户推荐该待推荐视频,当待推荐视频有多个时,可以按照上述方法计算出每个待推荐视频的得分,即当前用户会点击查看每个待推荐视频的概率,按照计算结果将多个待推荐视频排序后推荐给当前用户。
本实施例中,在生成端与使用端进行模型的同步对齐之后,在每个预设采样周期到达时,生成端仅向使用端传输增量模型,由使用端进行模型合并得到全量模型。这种情况下,一旦使用端出现重启事件(正常重启或异常重启),则可能出现使用端无法恢复出或加载之前使用的模型的情况,而使用端目前得到的增量模型数据又不完整,从而导致使用端无法正常工作。为了应对这种情况,本实施例中,另外设置了合并周期,即预设合并周期,预设合并周期可以大于预设采样周期,预设合并周期可以设置的较大(因为重启事件发生的频率一般较低,这样可以减少传输的数据量),预设采样周期可以设置的较小(这样可以缩短样本的构建周期,加速模型的更新,提高打分的准确度),比如,预设采样周期为10分钟,30分钟,预设合并周期可以为24小时,48小时等。因此,在将所述增量模型发送给所述使用端之后,生成端还可以执行以下步骤:
判断是否达到预设合并周期;
若达到所述预设合并周期,则将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型;
将所述合并模型发送给所述使用端,以使得所述使用端在发生重启事件时,将所述合并模型作为当前使用模型;
若未达到预设合并周期,则继续执行按照预设采样周期采集新样本,对采集到的新样本进行训练,得到增量模型的步骤。
上述合并模型,在生成端,可以认为是一个全量模型,即在未达到预设合并周期时,生成端可以周期性向使用端发送增量模型,直至达到预设合并周期时,生成端向使用端发送一个全量模型。
本实施例中,生成端将预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型的方法可如下:
(1)针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,将所述对齐模型中该特征对应的参数更新为所述增量模型中该特征对应的参数,得到所述合并模型。
(2)针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,计算所述增量模型中该特征对应的参数与所述对齐模型中该特征对应的参数的均值,将所述对齐模型中该特征对应的参数更新为所述均值,得到所述合并模型。
由于在一个预设合并周期内,生成端可能生成了多个增量模型,为便于进行合并,生成端可以为每个增量模型按照其对应的新样本的构建时间添加上时间戳,则在上述两种合并方法中,生成端可以先按照时间戳从小到大的顺序对各个增量模型进行排序,排序之后,依次将每个增量模型与对齐模型进行合并,即转换成两两合并的形式。合并之后,生成端可以为合并模型添加该预设合并周期内最后生成的增量模型的时间戳(即该预设合并周期内的最大时间戳)。
在一个具体的实施例中,假如生成的模型用于视频推荐,预设合并周期为24小时,在该预设合并周期内,最后一次新样本的构建时间为2018年7月3日00:00,合并模型的类型标识为merge,则按照通用的文件名结构,可以将合并模型的文件名设置为[视频]_[2018年7月3日00:00]_merge.text。
生成端将合并模型发送给使用端之后,使用端可以判断是否发生了重启事件,若没有发生重启事件,则跳过该模型,直接加载下一个模型;若发生了重启事件,则加载该合并模型,并将该合并模型作为当前使用模型。即在使用端,合并模型只是作为一个备份,若发生重启事件,则启用,否则直接忽略。
进一步地,生成端还可以生成剪裁模型,以对使用端当前使用的模型进行特征精简,即在将所述合并模型发送给所述使用端之后,生成端还可以执行以下步骤:
确定所述合并模型中的每个特征是否满足预设裁剪条件;具体地,生成端可以根据所述对齐模型和所述预设合并周期内得到的所述增量模型,获取所述合并模型中每个特征的活跃度信息,所述活跃度信息包括每个特征的第一次出现时间、最后一次出现时间、出现频率中的至少一个。比如,生成端可以根据对齐模型和各个增量模型的时间戳,确定合并模型中每个特征的第一次出现时间(即创建时间),最后一次出现时间及出现频率,若某个特征的最后一次出现时间与当前时间间隔超过第一预设时间,和/或该特征的创建时间与当前时间间隔超过第二预设时间,和/或该特征的出现频率低于预设频率,则可以认为该特征满足预设裁剪条件;
根据所述合并模型中满足所述预设裁剪条件的特征及对应的参数,生成剪裁模型;即剪裁模型中可以包括满足预设条件的特征及对应的参数;
将所述剪裁模型发送给所述使用端,以使得所述使用端根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
生成端在生成剪裁模型之后,可以为剪裁模型添加合并模型的时间戳。假如合并模型的时间戳为2018年7月3日00:00,剪裁模型的类型标识为cut.,则按照通用的文件名结构,可以将剪裁模型的文件名设置为[视频]_[2018年7月3日00:00]_cut.text。
在使用端接收到剪裁模型之后,可以根据剪裁模型对当前使用的模型中的特征进行剪裁,比如,从当前使用模型中删除剪裁模型中包含的特征及对应的参数。
另外,在生成剪裁模型之后,生成端还可以按照剪裁模型对合并模型进行剪裁。在生成端再次启动训练系统时,生成端可以直接以合并模型的时间戳为起点,按照预设采样周期采集媒体内容的新的浏览日志,构建新样本,循环上述模型生成过程。
总结来说,本实施例中,以对齐模型为起点,增量模型相当于只是包括新增特征及对应参数,以及参数有变更部分的特征及对应参数的模型,而剪裁模型相当于只是包括需要剪裁的特征及对应参数的模型。
本实施例中,生成端在将生成的各个模型发送给使用端时,均可以通过中转机进行转发,则中转机上可能存储有大量的模型,中转机可以按照预设删除策略删除其上存储的模型。比如,中转机可以定期按照时间戳从小到大的顺序对接收到的所有模型进行一次排序,然后按照类型顺序:对齐模型、增量模型、合并模型、剪裁模型进行二次排序,排序之后,倒序找到对齐模型或合并模型,删除对齐模型或者合并模型之前的所有模型,以减少内存占用。
另外,生成端自身也会存储大量的模型,生成端也可以按照上述删除策略删除自身存储的模型。
本实施例中,模型的生成端首先会采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型,将对齐模型发送给使用端,以使得使用端将对齐模型作为当前使用模型,即将使用端与生成端进行模型的同步对齐;此后,生成端将按照预设采样周期采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型,将增量模型直接发送给使用端,以使得使用端将增量模型合并至当前使用模型,得到全量模型,即在模型对齐之后,生成端每次只向使用端发送增量模型,由于增量模型只是对新样本进行训练得到的,增量模型中只包括从新样本中提取的特征及对应的参数,相较于全量模型,数据量较小,因而大大缩短了模型的传输、加载时间,提高了模型更新效率。
下面将从使用端描述本发明实施例提供的模型使用方法,该使用端具体可以集成在服务器中,如图3a所示,本实施例的模型使用方法包括以下步骤:
步骤S201、接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练得到。
对齐模型的生成方法可以参阅前述实施例的描述,本实施例中,由于生成端会向使用端发送多种模型,每种模型的作用各不相同,生成端与使用端可以预先约定好各种模型的使用方法。比如,当使用端接收到类型为对齐模型的模型时,则可以停止使用其他模型,将其他模型删除并加载对齐模型,将对齐模型作为当前使用模型,以和生成端保持模型的同步对齐。
步骤S202、加载所述对齐模型,将所述对齐模型作为当前使用模型。
步骤S203、接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样周期采集媒体内容的浏览日志,构建新样本,并对新样本进行训练得到。
步骤S204、加载所述增量模型,将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
本实施例在,将所述增量模型合并至当前使用模型的具体合并方法例如:
(1)针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,将当前使用模型中该特征对应的参数更新为所述增量模型中该特征对应的参数。
比如:使用端当前使用模型如表2所示,接收到的增量模型如表3所示,则合并之后的模型可如表4所示。
特征(feature) | 参数(parameter) |
F1 | P11,P12,P13 |
F2 | P21,P22 |
F3 | P31,P32 |
表2
表3
特征(feature) | 参数(parameter) |
F1 | P11,P12,P13 |
F2 | P21,P22 |
F3 | P33,P34 |
F4 | P41,P42 |
表4
(2)针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,计算所述增量模型中该特征对应的参数与当前使用模型中该特征对应的参数的均值,将当前使用模型中该特征对应的参数更新为所述均值。
比如:使用端当前使用模型如表2所示,接收到的增量模型如表3所示,则合并之后的模型可如表5所示。
特征(feature) | 参数(parameter) |
F1 | P11,P12,P13 |
F2 | P21,P22 |
F3 | (P31+P33)/2,(P32+P34)/2 |
F4 | P41,P42 |
表5
需要说明的是,以上两种合并方法仅为举例说明,实际应用中,还可以采用其他方式进行模型合并,此处不做具体限定。
本实施例中,使用端还可能周期性接收到生成端发送的增量模型,针对接收到的每个增量模型,都可以按照上述方法将其合并至当前使用模型,这样生成端相当于一直使用的都是全量模型。
进一步地,使用端还可能接收到生成端发送的合并模型,在接收到合并模型之后,使用端可以判断是否发生了重启事件,若没有发生重启事件,则跳过该模型,直接加载下一个模型;若发生了重启事件,则加载该合并模型,并将该合并模型作为当前使用模型。即在使用端,合并模型只是作为一个备份,若发生重启事件,则启用,否则直接忽略。
进一步地,使用端还可能接收到生成端发送的剪裁模型,在使用端接收到剪裁模型之后,可以根据剪裁模型对当前使用的模型中的特征进行剪裁,比如,从当前使用模型中删除剪裁模型中包含的特征及对应的参数。
本实施例中,使用端会不断地接收到生成端发送过来的各种模型,在使用端,可以按照图3b所示的方法对接收到的模型进行加载,即使用端可以按照日期(时间戳)从小到大的顺序对接收到的所有模型进行一次排序,然后按照类型顺序:对齐模型、增量模型、合并模型、剪裁模型对所有模型进行二次排序,排序之后,从排序列表中第一个模型开始判断类型;若为对齐模型,则将目前拥有的所有模型删除并加载对齐模型,将对齐模型作为当前使用模型;若为增量模型,则直接加载并合并至当前使用模型;若为合并模型,则判断是否发生重启事件,若发生重启事件,则加载合并模型并将合并模型作为当前使用模型,若未发生重启事件,则跳过对齐模型,加载下一个模型;若为剪裁模型,则加载并对当前使用模型进行特征剪裁。
本实施例中,使用端利用当前使用模型对待推荐媒体内容进行打分具体可如下:
获取待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
以使用端利用当前使用模型进行视频推荐为例,使用端可以获取待推荐视频的视频特征,并获取当前用户的用户特征(可以从当前用户的终端获取),将该视频特征及用户特征输入当前使用模型,模型输出即为该待推荐视频的得分,这个分数可以表示具有上述用户特征的当前用户,会点击查看具有上述视频特征的待推荐视频的概率,使用端可以根据该概率确定推荐策略。比如,可以根据计算结果确定是否要对当前用户推荐该待推荐视频,当待推荐视频有多个时,可以按照上述方法计算出每个待推荐视频的得分,即当前用户会点击查看每个待推荐视频的概率,按照计算结果将多个待推荐视频排序后推荐给当前用户。
另外,使用端在接收生成端生成的各个模型时,均可以通过中转机进行转接,则经过一段时间之后,中转机及使用端上都可能存储有大量的模型,则中转机和使用端可以按照预设删除策略删除其上存储的模型。由于每个模型都具有时间戳,比如,中转机和使用端可以定期按照时间戳从小到大的顺序对接收到的所有模型进行一次排序,然后按照类型顺序:对齐模型、增量模型、合并模型、剪裁模型进行二次排序,排序之后,倒序找到对齐模型或合并模型,删除对齐模型或者合并模型之前的所有模型,以减少内存占用。
本实施例中,使用端在接收到生成端发送的对齐模型时,会将对齐模型作为当前使用模型,即将使用端与生成端进行模型的同步对齐;此后,使用端将周期性地接收到生成端发送的增量模型,在接收到增量模型之后,使用端会将增量模型合并至当前使用模型,得到全量模型,即在模型对齐之后,使用端每次只接收生成端发送增量模型,由于增量模型只是对新样本进行训练得到的,增量模型中只包括从新样本中提取的特征及对应的参数,相较于全量模型,数据量较小,因而大大缩短了模型的传输、加载时间,提高了模型更新效率。
为了更好地实施本发明实施例提供的模型生成方法,本发明实施例还提供一种模型生成装置,如图4所示,本实施例的装置包括:对齐模型生成单元301、发送单元302及增量模型生成单元303,其中:
对齐模型生成单元301,用于采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型;
发送单元302,用于将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;
增量模型生成单元303,用于按照预设采样周期采集媒体内容的浏览日志,构建新样本,对所述新样本进行训练,得到增量模型;
发送单元302还用于,将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至所述当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
一实施例中,如图5所示,所述模型生成装置还包括:
判断单元304,用于判断是否达到预设合并周期,所述预设合并周期大于所述预设采样周期;
合并模型生成单元305,用于若达到所述预设合并周期,则将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型;
所述发送单元302还用于,将所述合并模型发送给所述使用端,以使得所述使用端在发生重启事件时,将所述合并模型作为当前使用模型。
一实施例中,如图5所示,所述合并模型生成单元305包括第一生成子单元3051;
所述第一生成子单元3051用于,针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;以及针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,将所述对齐模型中该特征对应的参数更新为所述增量模型中该特征对应的参数,得到所述合并模型。
一实施例中,如图5所示,所述合并模型生成单元305包括第二生成子单元3052;
所述第二生成子单元3052用于,针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;以及针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,计算所述增量模型中该特征对应的参数与所述对齐模型中该特征对应的参数的均值,将所述对齐模型中该特征对应的参数更新为所述均值,得到所述合并模型。。
一实施例中,如图5所示,所述模型生成装置还包括:
确定单元306,用于确定所述合并模型中的每个特征是否满足预设裁剪条件;
剪裁模型生成单元307,用于根据所述合并模型中满足所述预设裁剪条件的特征及对应的参数,生成剪裁模型;
所述发送单元302还用于,将所述剪裁模型发送给所述使用端,以使得所述使用端根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
一实施例中,如图5所示,所述确定单元306包括:
获取子单元3061,用于根据所述对齐模型和所述预设合并周期内得到的所述增量模型,获取所述合并模型中每个特征的活跃度信息,所述活跃度信息包括每个特征的第一次出现时间、最后一次出现时间、出现频率中的至少一个;
确定子单元3062,用于根据每个特征的活跃度信息确定每个特征是否满足预设剪裁条件。
一实施例中,所述使用端利用当前使用模型对待推荐媒体内容进行打分,包括:
获取所述待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
需要说明的是,上述实施例提供的模型生成装置在生成模型时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的模型生成装置与模型生成方法属于同一构思,其具体实现过程详见方法实施例,此处不再赘述。
本实施例中,对齐模型生成单元首先会采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型,发送单元将对齐模型发送给使用端,即将使用端与生成端进行模型的同步对齐;此后,增量模型生成单元将按照预设采样周期采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型,发送单元将增量模型直接发送给使用端,以使得使用端将增量模型合并至当前使用模型,得到全量模型,即在模型对齐之后,发送单元每次只向使用端发送增量模型,由于增量模型只是对新样本进行训练得到的,增量模型中只包括从新样本中提取的特征及对应的参数,相较于全量模型,数据量较小,因而大大缩短了模型的传输、加载时间,提高了模型更新效率。
为了更好地实施本发明实施例提供的模型使用方法,本发明实施例还提供一种模型使用装置,如图6所示,本实施例的装置包括:接收单元401、对齐单元402、合并单元403和打分单元404,其中:
接收单元401,用于接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练得到,以及接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样采集媒体内容的浏览日志,构建新样本,并对新样本进行训练得到;
对齐单元402,用于加载所述对齐模型,并将所述对齐模型作为当前使用模型;
合并单元403,用于加载所述增量模型,将所述增量模型合并至当前使用模型;
打分单元404,用于利用当前使用模型对待推荐媒体内容进行打分。
一实施例中,所述接收单元401还用于,接收所述生成端发送的合并模型,所述合并模型由所述生成端将预设合并周期内得到的所述增量模型合并至所述对齐模型得到;
如图7所示,所述模型使用装置还包括:
判断单元405,用于判断是否发生重启事件;
恢复单元406,用于若发生了所述重启事件,则加载所述合并模型,并将所述合并模型作为当前使用模型。
一实施例中,所述接收单元401还用于,接收所述生成端发送的剪裁模型,所述剪裁模型由所述生成端根据所述合并模型中满足预设裁剪条件的特征及对应的参数生成;
如图7所示,所述模型使用装置还包括:
剪裁单元407,用于根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
一实施例中,如图7所示,所述模型使用装置还包括:
删除单元408,用于将在所述合并模型或所述对齐模型之前接收到的其他模型删除。
一实施例中,如图7所示,所述合并单元403包括第一合并子单元4031;
所述第一合并子单元4031用于,针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,将当前使用模型中该特征对应的参数更新为所述增量模型中该特征对应的参数。
一实施例中,如图7所示,所述合并单元403包括第二合并子单元4032;
所述第二合并子单元4032用于,针对仅存在于所述增量模型中,不存在于当前使用模型中的特征,将该特征及对应的参数,添加至当前使用模型中;以及针对即存在于所述增量模型中,又存在于当前使用模型中的特征,计算所述增量模型中该特征对应的参数与当前使用模型中该特征对应的参数的均值,将当前使用模型中该特征对应的参数更新为所述均值。
一实施例中,打分单元404具体用于:
获取所述待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
需要说明的是,上述实施例提供的模型使用装置在使用模型时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的模型使用装置与模型使用方法属于同一构思,其具体实现过程详见方法实施例,此处不再赘述。
本实施例中,在接收单元接收到生成端发送的对齐模型时,对齐单元会将对齐模型作为当前使用模型,即将使用端与生成端进行模型的同步对齐;此后,接收单元将周期性地接收到生成端发送的增量模型,在接收到增量模型之后,合并单元会将增量模型合并至当前使用模型,得到全量模型,即在模型对齐之后,接收单元每次只接收生成端发送增量模型,由于增量模型只是对新样本进行训练得到的,增量模型中只包括从新样本中提取的特征及对应的参数,相较于全量模型,数据量较小,因而大大缩短了模型的传输、加载时间,提高了模型更新效率。
相应的,本发明实施例还提供了一种服务器,该服务器中集成有本发明实施例提供的模型生成装置,或者该服务器中集成有本发明实施例提供的模型使用装置。如图8所示,其示出了本发明实施例所涉及的服务器的结构示意图,具体来讲:
该服务器可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、射频(Radio Frequency,RF)电路503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解,图7中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
RF电路503可用于收发信息过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器501处理;另外,将涉及上行的数据发送给基站。通常,RF电路503包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(Subscriber Identification Module,SIM)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路503还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobile communication,GSM)、通用分组无线服务(General PacketRadio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
服务器还包括给各个部件供电的电源504(比如电池),优选的,电源504可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元505,该输入单元505可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元505可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器501,并能接收处理器501发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元505还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
该服务器还可包括显示单元506,该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元506可包括显示面板,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器501以确定触摸事件的类型,随后处理器501根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图7中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
尽管未示出,服务器还可以包括摄像头、蓝牙模块等,在此不再赘述。
具体在本实施例中,当服务器中集成有本发明实施例提供的模型生成装置时,服务器中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型;
将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;
按照预设采样周期采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型;
将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
在一些实施例中,在将所述增量模型发送给所述使用端之后,处理器501还用于执行以下步骤:
判断是否达到预设合并周期,所述预设合并周期大于所述预设采样周期;
若达到所述预设合并周期,则将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型;
将所述合并模型发送给所述使用端,以使得所述使用端在发生重启事件时,将所述合并模型作为当前使用模型。
在一些实施例中,在将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型时,处理器501具体用于执行以下步骤:
针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;
针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,将所述对齐模型中该特征对应的参数更新为所述增量模型中该特征对应的参数,得到所述合并模型。
在一些实施例中,在将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型时,处理器501具体用于执行以下步骤:
针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;
针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,计算所述增量模型中该特征对应的参数与所述对齐模型中该特征对应的参数的均值,将所述对齐模型中该特征对应的参数更新为所述均值,得到所述合并模型。
在一些实施例中,在将所述合并模型发送给所述使用端之后,处理器501还用于执行以下步骤:
确定所述合并模型中的每个特征是否满足预设裁剪条件;
根据所述合并模型中满足所述预设裁剪条件的特征及对应的参数,生成剪裁模型;
将所述剪裁模型发送给所述使用端,以使得所述使用端根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
在一些实施例中,在确定所述合并模型中的每个特征是否满足预设裁剪条件时,处理器501具体用于执行以下步骤:
根据所述对齐模型和所述预设合并周期内得到的所述增量模型,获取所述合并模型中每个特征的活跃度信息,所述活跃度信息包括每个特征的第一次出现时间、最后一次出现时间、出现频率中的至少一个;
根据每个特征的活跃度信息确定每个特征是否满足预设剪裁条件。
另外,当服务器中集成有本发明实施例提供的模型使用装置时,服务器中的处理器501会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能,如下:
接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练得到;
加载所述对齐模型,将所述对齐模型作为当前使用模型;
接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样周期采集媒体内容的浏览日志,构建新样本,并对新样本进行训练得到;
加载所述增量模型,将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
在一些实施例中,处理器501还用于执行以下步骤:
接收所述生成端发送的合并模型,所述合并模型由所述生成端将预设合并周期内得到的所述增量模型合并至所述对齐模型得到;
判断是否发生重启事件;
若发生了所述重启事件,则加载所述合并模型,并将所述合并模型作为当前使用模型。
在一些实施例中,处理器501还用于执行以下步骤:
接收所述生成端发送的剪裁模型,所述剪裁模型由所述生成端根据所述合并模型中满足预设裁剪条件的特征及对应的参数生成;
根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
在一些实施例中,在接收到所述生成端发送的合并模型之后,处理器501还用于执行以下步骤:
将在所述合并模型或所述对齐模型之前接收到的其他模型删除。
在一些实施例中,在利用当前使用模型对待推荐媒体内容进行打分时,处理器501具体用于执行以下步骤:
获取所述待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
最后,本发明实施例还提供一种模型系统,该模型系统中包括本发明实施例所提供的任一种模型生成装置及模型使用装置,模型生成装置以及模型使用装置具体可参见前述实施例。
例如,以模型生成装置集成在参数服务器中,以模型使用装置集成在排序服务器中为例,模型系统可如图9所示,模型系统中可以包括生成端服务器601和使用端服务器602,具体可以如下:
生成端服务器601用于,采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练,得到对齐模型;将所述对齐模型发送给使用端服务器602,以使得所述使用端服务器602将所述对齐模型作为当前使用模型;按照预设采样周期采集媒体内容的浏览日志,构建新样本,对新样本进行训练,得到增量模型;将所述增量模型发送给使用端服务器602,以使得使用端服务器602将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
使用端服务器602用于,接收生成端服务器601发送的对齐模型,所述对齐模型由生成端服务器601采集媒体内容的历史浏览日志,构建历史样本,对历史样本进行训练得到;加载所述对齐模型,将所述对齐模型作为当前使用模型;接收生成端服务器601发送的增量模型,所述增量模型由生成端服务器601按照预设采样周期采集媒体内容的浏览日志,构建新样本,并对新样本进行训练得到;加载所述增量模型,并将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
以上各个设备的具体实施可参见前面的实施例,在此不作赘述。
由于该模型系统中包括本发明实施例所提供的任一种模型生成装置及模型使用装置,因此,可以实现本发明实施例所提供的任一种模型生成装置及模型使用装置所能实现的有益效果,详见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种模型生成方法中的步骤。例如,该指令可以执行如下步骤:
采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练,得到对齐模型;将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;按照预设采样周期采集媒体内容的浏览日志,构建新样本,对所述新样本进行训练,得到增量模型;将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
另外,本发明实施例还提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种模型使用方法中的步骤。例如,该指令可以执行如下步骤:
接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练得到;加载所述对齐模型,将所述对齐模型作为当前使用模型;接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样周期采集媒体内容的浏览日志,构建新样本,并对所述新样本进行训练得到;加载所述增量模型,并将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
Claims (15)
1.一种模型生成方法,其特征在于,包括:
采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练,得到对齐模型;
将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;
按照预设采样周期采集媒体内容的浏览日志,构建新样本,对所述新样本进行训练,得到增量模型;
将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
2.根据权利要求1所述的模型生成方法,其特征在于,在将所述增量模型发送给所述使用端之后,还包括:
判断是否达到预设合并周期,所述预设合并周期大于所述预设采样周期;
若达到所述预设合并周期,则将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型;
将所述合并模型发送给所述使用端,以使得所述使用端在发生重启事件时,将所述合并模型作为当前使用模型。
3.根据权利要求2所述的模型生成方法,其特征在于,所述将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型,包括:
针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;
针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,将所述对齐模型中该特征对应的参数更新为所述增量模型中该特征对应的参数,得到所述合并模型。
4.根据权利要求2所述的模型生成方法,其特征在于,所述将所述预设合并周期内得到的所述增量模型合并至所述对齐模型,得到合并模型,包括:
针对仅存在于所述增量模型中,不存在于所述对齐模型中的特征,将该特征及对应的参数,添加至所述对齐模型中;
针对即存在于所述增量模型中,又存在于所述对齐模型中的特征,计算所述增量模型中该特征对应的参数与所述对齐模型中该特征对应的参数的均值,将所述对齐模型中该特征对应的参数更新为所述均值,得到所述合并模型。
5.根据权利要求2至4任意一项所述的模型生成方法,其特征在于,在将所述合并模型发送给所述使用端之后,还包括:
确定所述合并模型中的每个特征是否满足预设裁剪条件;
根据所述合并模型中满足所述预设裁剪条件的特征及对应的参数,生成剪裁模型;
将所述剪裁模型发送给所述使用端,以使得所述使用端根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
6.根据权利要求5所述的模型生成方法,其特征在于,所述确定所述合并模型中的每个特征是否满足预设裁剪条件,包括:
根据所述对齐模型和所述预设合并周期内得到的所述增量模型,获取所述合并模型中每个特征的活跃度信息,所述活跃度信息包括每个特征的第一次出现时间、最后一次出现时间、出现频率中的至少一个;
根据每个特征的活跃度信息确定每个特征是否满足预设剪裁条件。
7.根据权利要求1所述的模型生成方法,其特征在于,所述利用当前使用模型对待推荐媒体内容进行打分包括:
获取所述待推荐媒体内容的内容特征,以及获取当前用户的用户特征;
将所述内容特征和所述用户特征输入当前使用模型,当前使用模型的输出为所述待推荐媒体内容的得分;
在得到多个所述待推荐媒体内容的得分之后,根据得分情况对多个所述待推荐媒体内容进行排序;
将排序之后的多个所述待推荐媒体内容推荐给所述当前用户。
8.一种模型使用方法,其特征在于,包括:
接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练得到;
加载所述对齐模型,将所述对齐模型作为当前使用模型;
接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样周期采集媒体内容的浏览日志,构建新样本,并对所述新样本进行训练得到;
加载所述增量模型,将所述增量模型合并至当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
9.根据权利要求8所述的模型使用方法,其特征在于,所述方法还包括:
接收所述生成端发送的合并模型,所述合并模型由所述生成端将预设合并周期内得到的所述增量模型合并至所述对齐模型得到;
判断是否发生重启事件;
若发生了所述重启事件,则加载所述合并模型,并将所述合并模型作为当前使用模型。
10.根据权利要求9所述的模型使用方法,其特征在于,所述方法还包括:
接收所述生成端发送的剪裁模型,所述剪裁模型由所述生成端根据所述合并模型中满足预设裁剪条件的特征及对应的参数生成;
根据所述剪裁模型对当前使用模型中的特征及对应的参数进行剪裁处理。
11.一种模型生成装置,其特征在于,包括:
对齐模型生成单元,用于采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练,得到对齐模型;
发送单元,用于将所述对齐模型发送给使用端,以使得所述使用端将所述对齐模型作为当前使用模型;
增量模型生成单元,用于按照预设采样周期采集媒体内容的浏览日志,构建新样本,对所述新样本进行训练,得到增量模型;
所述发送单元还用于,将所述增量模型发送给所述使用端,以使得所述使用端将所述增量模型合并至所述当前使用模型,并利用当前使用模型对待推荐媒体内容进行打分。
12.一种模型使用装置,其特征在于,包括:
接收单元,用于接收生成端发送的对齐模型,所述对齐模型由所述生成端采集媒体内容的历史浏览日志,构建历史样本,对所述历史样本进行训练得到,以及接收所述生成端发送的增量模型,所述增量模型由所述生成端按照预设采样采集媒体内容的浏览日志,构建新样本,并对所述新样本进行训练得到;
对齐单元,用于加载所述对齐模型,将所述对齐模型作为当前使用模型;
合并单元,用于加载所述增量模型,将所述增量模型合并至当前使用模型;
打分单元,用于利用当前使用模型对待推荐媒体内容进行打分。
13.一种模型系统,其特征在于,包括权利要求11所述的模型生成装置、以及权利要求12所述的模型使用装置。
14.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于由处理器进行加载,以执行权利要求1至7任一项所述的模型生成方法中的步骤。
15.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于由处理器进行加载,以执行权利要求8至10任一项所述的模型使用方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810919870.7A CN109241031B (zh) | 2018-08-14 | 2018-08-14 | 模型生成方法、模型使用方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810919870.7A CN109241031B (zh) | 2018-08-14 | 2018-08-14 | 模型生成方法、模型使用方法、装置、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109241031A true CN109241031A (zh) | 2019-01-18 |
CN109241031B CN109241031B (zh) | 2020-06-02 |
Family
ID=65070203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810919870.7A Active CN109241031B (zh) | 2018-08-14 | 2018-08-14 | 模型生成方法、模型使用方法、装置、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109241031B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992096A (zh) * | 2019-12-03 | 2020-04-10 | 秒针信息技术有限公司 | 预测模型训练方法、装置以及媒体标识预测方法及装置 |
CN111090815A (zh) * | 2019-12-31 | 2020-05-01 | 恩亿科(北京)数据科技有限公司 | 一种标签的生成方法及装置 |
WO2022048432A1 (zh) * | 2020-09-04 | 2022-03-10 | 腾讯科技(深圳)有限公司 | 构建推荐模型的方法、构建神经网络模型的方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262758A (zh) * | 2011-08-17 | 2011-11-30 | 国电南瑞科技股份有限公司 | 基于cime文件的时空多维电网模型统一建模和管理方法 |
CN104182911A (zh) * | 2014-08-25 | 2014-12-03 | 国家电网公司 | 一种实现配电网系统cim模型一致性的校验方法 |
CN105589971A (zh) * | 2016-01-08 | 2016-05-18 | 车智互联(北京)科技有限公司 | 训练推荐模型的方法、装置及推荐系统 |
CN106649760A (zh) * | 2016-12-27 | 2017-05-10 | 北京百度网讯科技有限公司 | 基于深度问答的提问型搜索词搜索方法及装置 |
-
2018
- 2018-08-14 CN CN201810919870.7A patent/CN109241031B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262758A (zh) * | 2011-08-17 | 2011-11-30 | 国电南瑞科技股份有限公司 | 基于cime文件的时空多维电网模型统一建模和管理方法 |
CN104182911A (zh) * | 2014-08-25 | 2014-12-03 | 国家电网公司 | 一种实现配电网系统cim模型一致性的校验方法 |
CN105589971A (zh) * | 2016-01-08 | 2016-05-18 | 车智互联(北京)科技有限公司 | 训练推荐模型的方法、装置及推荐系统 |
CN106649760A (zh) * | 2016-12-27 | 2017-05-10 | 北京百度网讯科技有限公司 | 基于深度问答的提问型搜索词搜索方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992096A (zh) * | 2019-12-03 | 2020-04-10 | 秒针信息技术有限公司 | 预测模型训练方法、装置以及媒体标识预测方法及装置 |
CN110992096B (zh) * | 2019-12-03 | 2023-08-29 | 秒针信息技术有限公司 | 预测模型训练方法、装置以及媒体标识预测方法及装置 |
CN111090815A (zh) * | 2019-12-31 | 2020-05-01 | 恩亿科(北京)数据科技有限公司 | 一种标签的生成方法及装置 |
WO2022048432A1 (zh) * | 2020-09-04 | 2022-03-10 | 腾讯科技(深圳)有限公司 | 构建推荐模型的方法、构建神经网络模型的方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109241031B (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107102941B (zh) | 一种测试用例的生成方法及装置 | |
CN105763431B (zh) | 一种信息推送方法、装置及系统 | |
CN108701038B (zh) | 一种终端展示广告的方法、终端及广告投放系统 | |
CN104572889A (zh) | 一种搜索词推荐方法、装置和系统 | |
CN106484858A (zh) | 热点内容推送方法和装置 | |
CN104239535A (zh) | 一种为文字配图的方法、服务器、终端及系统 | |
CN102236677A (zh) | 一种基于问答系统的信息匹配方法及系统 | |
CN102801817B (zh) | 基于用户上下文的推送方法及装置 | |
CN110472941A (zh) | 基于通知消息的日程创建方法和装置、终端、存储介质 | |
CN103455621B (zh) | 一种物流运单号的解析方法、装置和系统 | |
CN109768869B (zh) | 一种业务预测方法、系统和计算机存储介质 | |
CN109241031A (zh) | 模型生成方法、模型使用方法、装置、系统及存储介质 | |
CN102984357B (zh) | 一种联系人信息管理方法及装置 | |
CN103034498A (zh) | 整理应用程序的方法及系统 | |
CN103533152A (zh) | 一种移动终端的短信处理方法及系统 | |
CN106649236A (zh) | 修改提示的方法及装置 | |
CN109587328B (zh) | 消息管理方法和装置、存储介质及电子设备 | |
CN104424211A (zh) | 一种基于微博的业务数据的发布方法、装置和系统 | |
CN110633438A (zh) | 一种新闻事件处理的方法、终端、服务器及存储介质 | |
CN110069769A (zh) | 应用标签生成方法、装置及存储设备 | |
CN103501487A (zh) | 分类器更新方法、装置、终端、服务器及系统 | |
CN109857802A (zh) | 日志数据同步方法、装置、设备及计算机可读存储介质 | |
CN103488525A (zh) | 确定与情景相关的用户偏好 | |
CN104063400A (zh) | 数据搜索方法和装置 | |
CN106982128A (zh) | 基于网络的社群构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |