CN114418123A - 一种模型降噪方法、装置、电子设备及存储介质 - Google Patents

一种模型降噪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114418123A
CN114418123A CN202210097794.2A CN202210097794A CN114418123A CN 114418123 A CN114418123 A CN 114418123A CN 202210097794 A CN202210097794 A CN 202210097794A CN 114418123 A CN114418123 A CN 114418123A
Authority
CN
China
Prior art keywords
noise
label
sample
information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210097794.2A
Other languages
English (en)
Inventor
马小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN202210097794.2A priority Critical patent/CN114418123A/zh
Publication of CN114418123A publication Critical patent/CN114418123A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种模型降噪方法、装置、电子设备及存储介质,本公开涉及人工智能技术领域,尤其涉及深度学习、信息推荐等领域。具体实现方案为:获取携带噪声标签的样本集合;将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,得到降噪后的模型输出结果。采用本公开,可以提高模型精度,从而提高推荐准确率。

Description

一种模型降噪方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域,尤其涉及深度学习、信息推荐等领域。
背景技术
随着移动互联网的发展,终端设备(如手机、平板等)依托移动互联网可以实现信息分享、信息推荐等信息处理操作。采用人工智能技术可以更好、更快的实现这些信息处理操作。
以信息推荐系统为例,可以在该信息推荐系统的软/硬件设计中部署目标模型(即采用人工智能技术建模得到的训练后模型),通过该目标模型提高软/硬件的处理准确率。然而,在建模过程中存在噪声干扰,导致模型精度低,从而影响到信息推荐的准确率。
发明内容
本公开提供了一种模型降噪方法、信息推荐方法、信息分享方法、装置、电子设备以及存储介质。
根据本公开的一方面,提供了一种模型降噪方法,包括:
获取携带噪声标签的样本集合;
将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,得到降噪后的模型输出结果。
根据本公开的另一方面,提供了一种信息推荐方法,包括:
获取基于信息推荐操作得到针对多个信息内容的兴趣偏好;
对所述针对多个信息内容的兴趣偏好进行特征提取,得到多个第一特征;
将所述多个第一特征输入到上述模型降噪方法所述的训练好的目标模型中,进行对应所述多个第一特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
根据所述降噪后的模型输出结果执行信息推荐处理,得到信息推荐结果。
根据本公开的另一方面,提供了一种信息分享方法,包括:
获取基于信息分享操作得到的多个操作内容;
对所述多个操作内容进行特征提取,得到多个第二特征;
将所述多个第二特征输入到上述模型降噪方法所述的训练好的目标模型中,进行对应所述多个第二特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
根据所述降噪后的模型输出结果执行信息分享处理,得到信息分享结果。
根据本公开的另一方面,提供了一种模型降噪装置,包括:
获取单元,用于获取携带噪声标签的样本集合;
降噪单元,用于将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,得到降噪后的模型输出结果。
根据本公开的另一方面,提供了一种信息推荐装置,包括:
偏好获取单元,用于获取基于信息推荐操作得到针对多个信息内容的兴趣偏好;
第一特征提取单元,用于对所述针对多个信息内容的兴趣偏好进行特征提取,得到多个第一特征;
第一标签降噪单元,用于将所述多个第一特征输入到上述模型降噪方法所述的训练好的目标模型中,进行对应所述多个第一特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
信息推荐单元,用于根据所述降噪后的模型输出结果执行信息推荐处理,得到信息推荐结果。
根据本公开的另一方面,提供了一种信息分享装置,包括:
操作内容获取单元,用于获取基于信息分享操作得到的多个操作内容;
第二特征提取单元,用于对所述多个操作内容进行特征提取,得到多个第二特征;
第二标签降噪单元,用于将所述多个第二特征输入到上述模型降噪方法所述的训练好的目标模型中,进行对应所述多个第二特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
信息分享单元,用于根据所述降噪后的模型输出结果执行信息分享处理,得到信息分享结果。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
采用本公开,可以获取携带噪声标签的样本集合,将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,以得到降噪后的模型输出结果,从而,可以提高模型精度,以将该训练好的目标模型部署于信息推荐系统为例,模型精度的提高,还能提高信息推荐的准确率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的一分布式集群处理场景的示意图;
图2是根据本公开实施例的模型降噪方法的流程示意图;
图3根据本公开实施例的信息推荐方法的流程示意图;
图4根据本公开实施例的信息分享方法的流程示意图;
图5是根据本公开实施例的模型降噪装置的组成结构示意图;
图6是根据本公开实施例的信息推荐装置的组成结构示意图;
图7是根据本公开实施例的信息分享装置的组成结构示意图;
图8是用来实现本公开实施例的模型降噪方法、信息推荐方法及信息分享方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分,并不是限定顺序的意思,或者限定只有两个的意思,例如,第一特征和第二特征,是指代有两类/两个特征,第一特征可以为一个或多个,第二特征也可以为一个或多个。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
根据本公开的实施例,图1是根据本公开实施例的一分布式集群处理场景的示意图,该分布式集群系统为集群系统的一个示例,示例性的描述了可以利用该分布式集群系统进行模型降噪处理,本公开不限于单机或多机上的模型降噪处理,采用分布式的处理可以进一步提高模型降噪的精度。如图1所示,在该分布式集群系统中包括多个节点(如服务器集群101、服务器102、服务器集群103、服务器104、服务器105,服务器105还可以连接电子设备,如手机1051及台式机1052),多个节点间,以及多个节点与连接的电子设备间可以共同执行一个或多个模型降噪任务。可选地,该分布式集群系统中的多个节点可以采用数据并行的模型训练方式,则多个节点可以基于相同的训练方式执行模型降噪的训练任务,以更好的训练模型;若该分布式集群系统中的多个节点采用的是模型并行的模型训练方式,则多个节点可以基于不同的训练方式执行模型降噪的训练任务,以更好的训练模型。可选地,在每一轮模型训练完成后,多个节点之间都可以进行数据交换(如数据同步)。
根据本公开的实施例,提供了一种模型降噪方法,图2是根据本公开实施例的模型降噪方法的流程示意图,该方法可以应用于模型降噪装置,例如,该装置可以部署于单机、多机或集群系统中的终端或服务器或其它处理设备执行的情况下,可以实现模型降噪等等处理。其中,终端可以为用户设备(UE,User Equipment)、移动设备、个人数字处理(PDA,Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示,该方法应用于图1所示的集群系统中的任一节点或电子设备(手机或台式机等)中,包括:
S201、获取携带噪声标签的样本集合。
S202、将该携带噪声标签的样本集合输入到训练好的目标模型中,进行噪声标签的降噪处理,得到降噪后的模型输出结果。
S201-S202的一示例中,样本标签中存在噪声(存在噪声的标签称之为噪声标签),样本集合包括样本数据和样本标签,根据不同的应用场景,样本集合中的样本数据和样本标签是不同的。以信息推荐场景为例,样本数据用于表征针对第一信息执行第一操作后的驻留情况,比如针对网页浏览而言,用户点击网页上的一个资源(比如链接信息)后,样本数据可以是驻留在当前信息页面浏览所显示的信息内容的驻留情况(驻留情况可以是统计用户在该当前信息页面停留了多久);样本标签用于表征针对第一信息执行第一操作后的驻留时长,比如样本标签可以是用户在该当前信息页面的停留时间,停留的时间越长,说明用户对该当前信息页面中的信息内容或同类信息内容更感兴趣,得到用户偏好,从而通过统计用户偏好可以更好为用户进行信息推荐,提高信息推荐的准确率。考虑到该样本标签中存在噪声标签,由于噪声标签不能很好的统计出用户偏好,对信息推荐来说是干扰因素,因此,需要去掉噪声标签,可以通过建模实现降噪,将携带噪声标签的样本集合输入到训练好的目标模型中,进行该噪声标签的降噪处理,得到降噪后的模型输出结果。
采用本公开的实施例,可以获取携带噪声标签的样本集合,将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,以得到降噪后的模型输出结果,从而,可以提高模型精度,以将该训练好的目标模型部署于信息推荐系统为例,模型精度的提高,还能提高信息推荐的准确率。
一实施方式中,将携带噪声标签的样本集合输入到训练好的目标模型中,进行噪声标签的降噪处理,得到降噪后的模型输出结果,包括:该目标模型为时长回归模型的情况下,将该携带噪声标签的样本集合输入到该时长回归模型中,进行噪声标签的降噪处理,得到的模型输出结果为不包括噪音的目标值。采用本实施方式,以信息推荐场景为例,具体可以为时长回归模型,即通过时长回归模型,并基于输入该时长回归模型的样本数据和携带噪声标签的样本标签(如用户在当前信息页面的停留时间等),可以得到更好的信息推荐结果,而且通过该时长回归模型直接进行噪声标签的降噪处理,模型输出结果为不包括噪音的目标值,降噪后模型精度更高,则以信息推荐为例,将该时长回归模型部署于信息推荐系统中,信息推荐结果也更精确。需要指出都是,该目标模型根据不同的应用场景不限于上述时长回归模型,还可以是其他用于连续值预估的模型。
一实施方式中,还包括:根据携带噪声标签的样本集合(如样本集合中的样本标签记为yi,噪声标签包括在该yi中)及用于表征噪声标签概率最大化的预测值得到损失函数,通过该损失函数的反向传播对目标模型进行训练,得到训练好的目标模型。采用本实施方式,可以根据携带噪声标签的样本集合及用于表征噪声标签概率最大化的预测值(如记为pi)得到损失函数,将该损失函数用于目标模型的训练,可以得到训练好的目标模型,该训练好的目标模型其模型输出结果为不包括噪音的目标值,降噪后模型精度更高,以信息推荐为例,将该训练好的目标模型部署于信息推荐系统中,使得信息推荐结果也更精确。
一实施方式中,根据携带噪声标签的样本集合及用于表征噪声标签概率最大化的预测值得到损失函数,包括:从该携带噪声标签的样本集合中提取样本标签,得到样本标签与预测值间的第一差值,根据该第一差值及样本标签的方差,得到损失函数。采用本实施方式,通过计算该损失函数的第一种方式,比如,根据该样本标签与该预测值间的第一差值及样本标签的方差,得到该损失函数,之后,在该损失函数的反向传播中进行求导处理,对目标模型进行训练,从而得到训练好的目标模型。由于该训练好的目标模型其模型输出结果为不包括噪音的目标值,降噪后模型精度更高,以信息推荐为例,将该训练好的目标模型部署于信息推荐系统中,使得信息推荐结果也更精确。
一实施方式中,根据携带噪声标签的样本集合及用于表征噪声标签概率最大化的预测值得到损失函数,包括:从携带噪声标签的样本集合中提取样本标签,得到样本标签与预测值间的第一差值,根据该第一差值、样本标签的方差及用于平滑处理的超参数,得到损失函数。采用本实施方式,通过计算该损失函数的第二种方式,比如,根据该样本标签与该预测值间的第一差值、样本标签的方差及用于平滑处理的超参数,得到该损失函数,相比上述计算该损失函数的第一种方式,对损失函数的计算进行了优化,避免在后续的求导处理中出现求导结果为零的情况。之后,在该损失函数的反向传播中进行求导处理,对目标模型进行训练,从而得到训练好的目标模型。由于该训练好的目标模型其模型输出结果为不包括噪音的目标值,降噪后模型精度更高,以信息推荐为例,将该训练好的目标模型部署于信息推荐系统中,使得信息推荐结果也更精确。
根据本公开的实施例,提供了一种信息推荐方法,图3是根据本公开实施例的信息推荐方法的流程示意图,如图3所示,包括:
S301、获取基于信息推荐操作得到针对多个信息内容的兴趣偏好。
S302、对针对多个信息内容的兴趣偏好进行特征提取,得到多个第一特征。
S303、将多个第一特征输入到训练好的目标模型中,进行对应该多个第一特征的噪声标签的降噪处理,得到降噪后的模型输出结果。
S304、根据该降噪后的模型输出结果执行信息推荐处理,得到信息推荐结果。
S301-S304的一示例中,可以应用上述本公开实施例基于损失函数得到的该训练好的目标模型,获取基于信息推荐操作得到针对多个信息内容的兴趣偏好后,对针对多个信息内容的兴趣偏好进行特征提取,以得到多个第一特征,将该多个第一特征输入到该训练好的目标模型中,进行对应该多个第一特征的噪声标签的降噪处理,得到降噪后的模型输出结果,从而根据该降噪后的模型输出结果执行信息推荐处理,可以得到更为精确的信息推荐结果。
根据本公开的实施例,提供了一种信息分享方法,图4是根据本公开实施例的信息推荐方法的流程示意图,如图4所示,包括:
S401、获取基于信息分享操作得到的多个操作内容。
S402、对该多个操作内容进行特征提取,得到多个第二特征。
S403、将多个第二特征输入到训练好的目标模型中,进行对应该多个第二特征的噪声标签的降噪处理,得到降噪后的模型输出结果。
S404、根据该降噪后的模型输出结果执行信息分享处理,得到信息分享结果。
S401-S404的一示例中,可以应用上述本公开实施例基于损失函数得到的该训练好的目标模型,获取基于信息分享操作得到的多个操作内容后,对所述多个操作内容进行特征提取,以得到多个第二特征,将该多个第二特征输入到训练好的目标模型中,进行对应该多个第二特征的噪声标签的降噪处理,得到降噪后的模型输出结果,从而根据该降噪后的模型输出结果执行信息分享处理,可以得到更为精确的信息分享结果。
下面对上述本公开实施例提供的模型降噪方法进行示例说明。
以信息推荐场景为例,信息推荐系统可以根据用户在产品(APP、网站等)上的操作行为,猜测用户的兴趣偏好,最终给用户做个性化的信息推荐。在整个推荐过程中,涉及到可能产生数据的地方有用户自身、标的物、用户的操作行为、用户所在的场景(上下文)等部分,随着信息的高速发展,面对海量的信息,需要避免信息过载问题(即避免用户得到过多无效信息,使得用户直接得到所需的推荐信息),可以采用信息推荐系统来进行海量信息的过滤,最终使用户直接得到所需的推荐信息。结合人工智能技术,可以通过在信息推荐系统中部署模型,以基于用户在产品(APP、网站等)上的操作行为预测用户对某目标对象(如信息内容或某个物品)的评分或偏好,从而实现信息推荐。
在推荐系统领域,预估用户的停留时长是一项重要的任务,比如用户点击网页上的一个资源,比如点击链接信息后,在当前信息页面浏览所显示的信息内容,该预估用户的停留时长可以为:用户在该当前信息页面的停留时间,停留的时间越长,说明用户对该当前信息页面中的信息内容或同类信息内容更感兴趣,基于此,为用户进行信息推荐,可以提高信息推荐的准确率。而预估用户的停留时长主要是:将时长分桶问题转化为多分类问题或者直接使用模型来拟合需要预估的停留时长。然而,模型在建模过程中样本标签(比如用于表征该需要预估的停留时长)本身存在噪声,换言之,样本标签中存在此类噪声标签,由于相关技术中的建模过程中,要么不考虑噪声标签的影响,直接使用包含噪声标签的样本标签建模,或者先识别出噪声标签再人工校正或丢弃处理后再建模,模型精度低且处理效率慢。采用本应用示例,不仅具有普适性,适用于包括时长预估等连续值回归的建模领域,而且,事先考虑噪声标签的影响,在建模过程中直接去除噪声标签,从而提升了模型精度且处理效率快。
本应用示例中,以时长回归模型为例,也同样适用于除时长预估之外其他连续值回归建模所针对回归类型任务(如用于预估用户观看视频播放的完成率的完播率模型等),不限于该时长回归模型所针对的信息推荐任务。可以将该时长回归模型部署在终端或者服务器侧的信息推荐系统上运行,达到降噪后提高模型精度,最终提高信息推荐系统所达到的信息推荐准确率的目的。
一个样本集合可以由若干个特征组成,特征即为样本数据(可以称之为样本特征),样本标签用于对特征进行描述的。机器学习认为可以简单分为监督学习(即样本数据有对应的样本标签)、无监督学习(即样本数据没有对应的样本标签)、半监督学习(即样本数据中的部分样本数据有对应的样本标签)。本应用示例的时长回归模型可以采用监督学习(样本集合包括样本数据及对应该样本数据的样本标签,监督学习的目标就是通过样本数据及对应该样本数据的样本标签进行模型训练),即样本数据有对应的样本标签yi,以信息推荐系统中的停留时长预估为例:一个样本数据用来描述一个用户点击一个资源后在上面停留了多久,样本标签为停留时长。其中,样本数据可以根据不同的业务场景定义,比如有用户的兴趣偏好、用户属性、此资源的特征、用户和资源的组合特征等等。
假设样本数据i对应的样本标签为yi,考虑到样本标签中存在噪声标签,使yi的分布采用如下公式(1)所示的正态分布:
Figure BDA0003491652620000101
公式(1)中,
Figure BDA0003491652620000102
指正态分布,ui指yi正态分布的均值,
Figure BDA0003491652620000103
指yi的方差。需要指出的是,模型实际需要拟合的是ui,而不是直接拟合yi,从而直接建模了样本噪声。
为了使模型的预测值pi更准确,直接建模了样本噪声,并且使yi中噪声标签出现的概率最大化(基于极大似然估计方式来实现该概率最大化),需要选择对应噪声标签出现概率最大化的预测值,考虑到需要实现概率最大化,采用如下公式(2)计算概率最大化。
Figure BDA0003491652620000104
公式(2)中,Πi为连乘符号,σi是标准差,σi 2是方差,yi是样本标签,pi是预测值,对公式(2)得到的运算结果取负对数,将连乘的该运算结果转化为连加的运算,运算更方便。考虑到损失函数的优化一般是考虑梯度下降算法的最小化,取负对数还可以将最大化问题转化为最小化问题,丢弃常数项部分后采用如下公式(3)可以得到损失函数,采用公式(4)实现该损失函数对预测值pi进行求导处理,得到该损失函数对预测值pi求偏导得到的损失函数反向传播的梯度:
Figure BDA0003491652620000105
Figure BDA0003491652620000106
公式(3)-(4)中,L为损失函数,yi是样本标签,pi是预测值,σi 2是样本标签的方差,
Figure BDA0003491652620000111
是该损失函数对预测值pi求偏导得到的损失函数反向传播的梯度。
每个样本标签的损失函数还会用其对应的样本方差的倒数来调权重。样本方差可以反应样本的噪声,方差越大,噪声越大,损失梯度贡献越小,采用上述公式(3)得到的损失函数及进一步的公式(4)得到的损失函数反向传播,可以使得方差越小,噪声越小,则损失梯度贡献越大。考虑到采用公式(4)可能导致样本方差可能为零,损失函数及对应的求导处理的进一步优化可以采用如下公式(5)及公式(6)来实现:
Figure BDA0003491652620000112
Figure BDA0003491652620000113
公式(5)-(6)中,L为损失函数,yi是样本标签,pi是预测值,σi 2是样本标签的方差,σ2为用于平滑的超参数,
Figure BDA0003491652620000114
是该损失函数对预测值pi求偏导得到的损失函数反向传播的梯度。
针对σi 2而言,有两种计算方法,第一种计算方法是根据同一资源在不同用户下的时长分布来计算σi 2;第二种计算方法是将同一资源在不同用户下的时长分布进行时长分桶处理,只采用当前样本标签所在分桶附近的样本标签来计算σi 2。第二种计算方法相比第一种计算方法更精确。其中,就时长分桶处理而言,考虑到时长是一个连续值,而分类问题面对的样本标签是离散值,比如分类1、分类2、分类3等等,因此,采用时长分桶处理可以更好的针对离散值进行精确的σi 2运算,时长分桶是一种分类处理,先对时长进行时长分桶处理后按照不同类型分到对应的桶中,时长分桶的方式多种,比如等间距分桶(将时长介于0-10秒的样本标签分到第一个桶,将时长介于11-20秒的样本标签分到第二个桶等),保证每个桶下的样本标签的数量差不多即可。
采用本应用示例,针对样本标签中存在噪声标签的情况,无需通过模型先识别出该噪声标签,之后再通过人工手段对该噪声标签进行处理(如丢弃处理)等一系列繁琐的处理,而是在建模时考虑了该噪声标签的影响,通过系统性的建模,通过上述损失函数的计算公式所得到的优化后损失函数来得到训练好的目标模型,则通过该目标模型实现一站式的降噪处理,直接去除噪声标签。换言之,通过系统性的建模的方式识别出样本标签中携带有噪声的噪声标签,一边识别并直接降噪处理,从而通过该目标模型可以很好地去除噪声的影响,提高模型精度。
根据本公开的实施例,提供了一种模型降噪装置,图5是根据本公开实施例的模型降噪装置的组成结构示意图,如图5所示,模型降噪装置500包括:获取单元501,用于获取携带噪声标签的样本集合;降噪单元502,用于将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,得到降噪后的模型输出结果。
一实施方式中,所述携带噪声标签的样本集合,包括:样本数据、以及包含所述噪声标签的样本标签;其中,所述样本数据,用于表征针对第一信息执行第一操作后的驻留情况;所述样本标签,用于表征针对第一信息执行第一操作后的驻留时长。
一实施方式中所述降噪单元,用于:所述目标模型为时长回归模型的情况下,将所述携带噪声标签的样本集合输入到所述时长回归模型中,进行所述噪声标签的降噪处理,得到的所述模型输出结果为不包括噪音的目标值。
一实施方式中,还包括训练单元,用于:根据所述携带噪声标签的样本集合及用于表征所述噪声标签概率最大化的预测值得到损失函数;通过所述损失函数的反向传播对所述目标模型进行训练,得到所述训练好的目标模型。
一实施方式中,所述训练单元,用于:从所述携带噪声标签的样本集合中提取样本标签,得到所述样本标签与所述预测值间的第一差值;根据所述第一差值及所述样本标签的方差,得到所述损失函数。
一实施方式中,所述训练单元,用于:从所述携带噪声标签的样本集合中提取样本标签,得到所述样本标签与所述预测值间的第一差值;根据所述第一差值、所述样本标签的方差及用于平滑处理的超参数,得到所述损失函数。
根据本公开的实施例,提供了一种模型降噪装置,图6是根据本公开实施例的信息推荐装置的组成结构示意图,如图6所示,信息推荐装置600包括:偏好获取单元601,用于获取基于信息推荐操作得到针对多个信息内容的兴趣偏好;第一特征提取单元602,用于对所述针对多个信息内容的兴趣偏好进行特征提取,得到多个第一特征;第一标签降噪单元603,用于将所述多个第一特征输入到训练好的目标模型中,进行对应所述多个第一特征的噪声标签的降噪处理,得到降噪后的模型输出结果;信息推荐单元604,用于根据所述降噪后的模型输出结果执行信息推荐处理,得到信息推荐结果。
根据本公开的实施例,提供了一种模型降噪装置,图7是根据本公开实施例的信息分享装置的组成结构示意图,如图7所示,信息分享装置700包括:操作内容获取单元701,用于获取基于信息分享操作得到的多个操作内容;第二特征提取单元702,用于对所述多个操作内容进行特征提取,得到多个第二特征;第二标签降噪单元703,用于将所述多个第二特征输入到训练好的目标模型中,进行对应所述多个第二特征的噪声标签的降噪处理,得到降噪后的模型输出结果;信息分享单元704,用于根据所述降噪后的模型输出结果执行信息分享处理,得到信息分享结果。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如模型降噪方法。例如,在一些实施例中,模型降噪方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的模型降噪方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行模型降噪方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (19)

1.一种模型降噪的方法,包括:
获取携带噪声标签的样本集合;
将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,得到降噪后的模型输出结果。
2.根据权利要求1所述的方法,其中,所述携带噪声标签的样本集合,包括:样本数据、以及包含所述噪声标签的样本标签;其中,
所述样本数据,用于表征针对第一信息执行第一操作后的驻留情况;
所述样本标签,用于表征针对第一信息执行第一操作后的驻留时长。
3.根据权利要求1或2所述的方法,其中,所述将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,得到降噪后的模型输出结果,包括:
所述目标模型为时长回归模型的情况下,将所述携带噪声标签的样本集合输入到所述时长回归模型中,进行所述噪声标签的降噪处理,得到的所述模型输出结果为不包括噪音的目标值。
4.根据权利要求1或2所述的方法,还包括:
根据所述携带噪声标签的样本集合及用于表征所述噪声标签概率最大化的预测值得到损失函数;
通过所述损失函数的反向传播对所述目标模型进行训练,得到所述训练好的目标模型。
5.根据权利要求4所述的方法,其中,所述根据所述携带噪声标签的样本集合及用于表征所述噪声标签概率最大化的预测值得到损失函数,包括:
从所述携带噪声标签的样本集合中提取样本标签,得到所述样本标签与所述预测值间的第一差值;
根据所述第一差值及所述样本标签的方差,得到所述损失函数。
6.根据权利要求4所述的方法,其中,所述根据所述携带噪声标签的样本集合及用于表征所述噪声标签概率最大化的预测值得到损失函数,包括:
从所述携带噪声标签的样本集合中提取样本标签,得到所述样本标签与所述预测值间的第一差值;
根据所述第一差值、所述样本标签的方差及用于平滑处理的超参数,得到所述损失函数;
根据所述降噪后的模型输出结果执行信息分享处理,得到信息分享结果。
7.一种信息推荐方法,包括:
获取基于信息推荐操作得到针对多个信息内容的兴趣偏好;
对所述针对多个信息内容的兴趣偏好进行特征提取,得到多个第一特征;
将所述多个第一特征输入到训练好的目标模型中,进行对应所述多个第一特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
根据所述降噪后的模型输出结果执行信息推荐处理,得到信息推荐结果。
8.一种信息分享方法,包括:
获取基于信息分享操作得到的多个操作内容;
对所述多个操作内容进行特征提取,得到多个第二特征;
将所述多个第二特征输入到训练好的目标模型中,进行对应所述多个第二特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
根据所述降噪后的模型输出结果执行信息分享处理,得到信息分享结果。
9.一种模型降噪的装置,包括:
获取单元,用于获取携带噪声标签的样本集合;
降噪单元,用于将所述携带噪声标签的样本集合输入到训练好的目标模型中,进行所述噪声标签的降噪处理,得到降噪后的模型输出结果。
10.根据权利要求9所述的装置,其中,所述携带噪声标签的样本集合,包括:样本数据、以及包含所述噪声标签的样本标签;其中,
所述样本数据,用于表征针对第一信息执行第一操作后的驻留情况;
所述样本标签,用于表征针对第一信息执行第一操作后的驻留时长。
11.根据权利要求9或10所述的装置,其中,所述降噪单元,用于:
所述目标模型为时长回归模型的情况下,将所述携带噪声标签的样本集合输入到所述时长回归模型中,进行所述噪声标签的降噪处理,得到的所述模型输出结果为不包括噪音的目标值。
12.根据权利要求9或10所述的装置,还包括训练单元,用于:
根据所述携带噪声标签的样本集合及用于表征所述噪声标签概率最大化的预测值得到损失函数;
通过所述损失函数的反向传播对所述目标模型进行训练,得到所述训练好的目标模型。
13.根据权利要求12所述的装置,其中,所述训练单元,用于:
从所述携带噪声标签的样本集合中提取样本标签,得到所述样本标签与所述预测值间的第一差值;
根据所述第一差值及所述样本标签的方差,得到所述损失函数。
14.根据权利要求12所述的装置,其中,所述训练单元,用于:
从所述携带噪声标签的样本集合中提取样本标签,得到所述样本标签与所述预测值间的第一差值;
根据所述第一差值、所述样本标签的方差及用于平滑处理的超参数,得到所述损失函数。
15.一种信息推荐装置,包括:
偏好获取单元,用于获取基于信息推荐操作得到针对多个信息内容的兴趣偏好;
第一特征提取单元,用于对所述针对多个信息内容的兴趣偏好进行特征提取,得到多个第一特征;
第一标签降噪单元,用于将所述多个第一特征输入到训练好的目标模型中,进行对应所述多个第一特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
信息推荐单元,用于根据所述降噪后的模型输出结果执行信息推荐处理,得到信息推荐结果。
16.一种信息分享装置,包括:
操作内容获取单元,用于获取基于信息分享操作得到的多个操作内容;
第二特征提取单元,用于对所述多个操作内容进行特征提取,得到多个第二特征;
第二标签降噪单元,用于将所述多个第二特征输入到训练好的目标模型中,进行对应所述多个第二特征的噪声标签的降噪处理,得到降噪后的模型输出结果;
信息分享单元,用于根据所述降噪后的模型输出结果执行信息分享处理,得到信息分享结果。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202210097794.2A 2022-01-27 2022-01-27 一种模型降噪方法、装置、电子设备及存储介质 Pending CN114418123A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210097794.2A CN114418123A (zh) 2022-01-27 2022-01-27 一种模型降噪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210097794.2A CN114418123A (zh) 2022-01-27 2022-01-27 一种模型降噪方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114418123A true CN114418123A (zh) 2022-04-29

Family

ID=81278688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210097794.2A Pending CN114418123A (zh) 2022-01-27 2022-01-27 一种模型降噪方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114418123A (zh)

Similar Documents

Publication Publication Date Title
CN112560996B (zh) 用户画像识别模型训练方法、设备、可读存储介质及产品
CN114118287A (zh) 样本生成方法、装置、电子设备以及存储介质
CN114882321A (zh) 深度学习模型的训练方法、目标对象检测方法和装置
CN114187459A (zh) 目标检测模型的训练方法、装置、电子设备以及存储介质
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN115456167A (zh) 轻量级模型训练方法、图像处理方法、装置及电子设备
CN114065864A (zh) 联邦学习方法、联邦学习装置、电子设备以及存储介质
CN112949818A (zh) 模型蒸馏方法、装置、设备以及存储介质
CN114936323A (zh) 图表示模型的训练方法、装置及电子设备
CN112182370A (zh) 物品类目信息推送方法、装置、电子设备和介质
CN114861059A (zh) 资源推荐方法、装置、电子设备及存储介质
CN113205189B (zh) 训练预测模型的方法、预测方法及装置
CN113792876A (zh) 骨干网络的生成方法、装置、设备以及存储介质
CN114239853A (zh) 模型训练方法、装置、设备、存储介质以及程序产品
CN113657249A (zh) 训练方法、预测方法、装置、电子设备以及存储介质
CN114724144B (zh) 文本识别方法、模型的训练方法、装置、设备及介质
CN114860411B (zh) 多任务学习方法、装置、电子设备和存储介质
CN114139052B (zh) 用于智能推荐的排序模型训练方法、智能推荐方法及装置
CN115454261A (zh) 输入法候选词生成方法、装置、电子设备及可读存储介质
CN114418123A (zh) 一种模型降噪方法、装置、电子设备及存储介质
CN114817476A (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN114707638A (zh) 模型训练、对象识别方法及装置、设备、介质和产品
CN113408632A (zh) 提高图像分类准确性的方法、装置、电子设备及存储介质
CN113361575A (zh) 模型训练方法、装置和电子设备
CN112632384A (zh) 针对应用程序的数据处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination