CN113343028B - 意图确定模型的训练方法和装置 - Google Patents

意图确定模型的训练方法和装置 Download PDF

Info

Publication number
CN113343028B
CN113343028B CN202110605114.9A CN202110605114A CN113343028B CN 113343028 B CN113343028 B CN 113343028B CN 202110605114 A CN202110605114 A CN 202110605114A CN 113343028 B CN113343028 B CN 113343028B
Authority
CN
China
Prior art keywords
search
intention
user
label
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110605114.9A
Other languages
English (en)
Other versions
CN113343028A (zh
Inventor
张水发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110605114.9A priority Critical patent/CN113343028B/zh
Publication of CN113343028A publication Critical patent/CN113343028A/zh
Application granted granted Critical
Publication of CN113343028B publication Critical patent/CN113343028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本公开关于意图确定模型的训练方法和装置,所述方法包括:确定搜索词的搜索结果、搜索次数;确定对搜索结果进行用户意图操作第一比例,进行视频意图操作第二比例;根据搜索次数、第一比例以及第二比例,确定搜索词对应的目标样本标签;以搜索词作为样本生成训练样本集;将样本的特征输入意图确定模型得到样本对应的目标样本标签的预测结果,对意图确定模型进行训练得到训练后的意图确定模型。根据本公开,由于确定的搜索词对应的目标样本标签相对准确,以搜索词作为样本生成的训练样本集中样本对应的目标样本标签也就相对准确,基于训练样本集得到训练后的意图确定模型后,根据训练后的意图确定模型预测搜索词对应的意图标签也就相对准确。

Description

意图确定模型的训练方法和装置
技术领域
本公开涉及意图确定模型的确定领域,尤其涉及意图确定模型的训练方法、意图确定模型的训练装置、电子设备、计算机可读存储介质、计算机程序产品。
背景技术
用户在网站中输入搜索词(query)搜索时,一般会对应三种意图,一种是用户意图,另一种是视频意图,第三种是混合意图,也即对应用户意图和视频意图。
其中,搜索词对应用户意图是指针对搜索词对应的用户进行搜索;搜索词对应视频意图是指针对包含搜索词对应内容的视频进行搜索;混合意图是指既针对搜索词对应的用户进行搜索,又针对包含搜索词对应的视频进行搜索。
目前的一种是方式是基于用户针对搜索结果的点击确定意图,但是对于长尾词的效果较差,因为长尾词作为查询词的情况较少,所以针对长尾词的搜索结果的点击也就较少,根据较少的点击确定意图准确性较低。另一种方式是根据搜索词的语义确定意图,但是某些词汇在网站中是用户名,针对这种词汇,基于语义往往会确定为非用户,从而确定的意图往往为视频意图,导致不能准确地确定出搜索词的意图。进而在基于这些未能准确确定对应意图的搜索词作为样本构建训练样本集时,基于训练样本集训练得到的模型也就不能准确地预测搜索词对应的意图。
发明内容
本公开提供了意图确定模型的训练方法、意图确定模型的训练装置、电子设备、计算机可读存储介质、计算机程序产品,以至少解决相关技术中的技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提出一种意图确定模型的训练方法,包括:
确定基于搜索词进行搜索的搜索结果,以及基于所述搜索词进行搜索的搜索次数;
确定在基于所述搜索词进行的多次搜索中,用户对搜索结果进行操作的总次数、用户对所述搜索结果进行用户意图操作的第一次数以及用户对所述搜索结果进行视频意图操作的第二次数,根据所述第一次数和所述总次数确定第一比例,根据所述第二次数和所述总次数确定第二比例;
根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签,所述目标样本标签包括用户意图和/或视频意图标签;
以所述搜索词和所述目标样本标签作为样本生成训练样本集;
将所述样本的特征输入意图确定模型,得到所述样本对应的目标样本标签的预测结果,根据所述意图标签预测结果和目标样本标签,确定损失数据,基于所述损失数据对意图确定模型进行训练,得到训练后的意图确定模型。
在一个实施例中,基于所述损失数据对意图确定模型进行训练的收敛条件至少包括:
所述预测结果的准确率达到准确率阈值,其中,所述预测结果的准确率根据所述预测结果和所述样本对应的目标样本标签确定。
在一个实施例中,所述方法还包括:
获取至少一个专有名词,确定所述专有名词对应的目标样本标签包括视频意图标签;
在所述专有名词中确定被用作用户名的用户专有名词,确定所述用户专有名词对应的目标样本标签还包括用户意图标签;
其中,所述以所述搜索词和所述目标样本标签作为样本生成训练样本集包括:
以所述专有名词和所述专有名词对应的目标样本标签,以及所述搜索词和所述搜索词对应的目标样本标签作为样本生成训练样本集。
在一个实施例中,根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签包括:
确定所述搜索次数在多个数量区间中所属的目标数量区间,以及所述目标数量区间对应的目标比例阈值;
在所述第一比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括用户意图标签,和/或在所述第二比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括视频意图标签;
其中,每个所述数量区间不重叠,所述数量区间的下限值,与所述数量区间对应的比例阈值反相关。
在一个实施例中,所述用户意图操作包括以下至少之一:
点击所述搜索结果的发布者、进入所述发布者的主页、关注所述发布者。
在一个实施例中,所述视频意图操作包括:
点击所述搜索结果且未对所述搜索结果执行所述用户意图操作。
在一个实施例中,在所述对意图确定模型进行训练之前,所述方法还包括:
根据所述样本的属性信息确定所述样本的属性特征;
确定所述样本对应的搜索结果的操作特征;
将所述属性特征和所述操作特征作为所述样本的特征。
在一个实施例中,所述意图确定模型包括deep&wide模型,所述属性特征作为所述意图确定模型deep侧的输入,所述操作特征作为所述意图确定模型wide侧的输入。
在一个实施例中,所述操作特征包括以下至少之一:
对所述搜索结果的发布者的点击率、对所述发布者的关注率、对所述发布者主页的平均消费时间、对所述搜索结果的点击率、对所述搜索结果的点赞率、对所述搜索结果的关注率、对所述搜索结果的长播率、对所述搜索结果的零播率、对所述搜索结果的完播率。
在一个实施例中,所述方法还包括:
根据所述训练后的意图确定模型确定搜索词对应的目标样本标签为用户意图标签、或为视频意图标签、或为混合意图标签,其中,所述混合意图标签为包括用户意图和视频意图的标签。
根据本公开实施例的第二方面,提出一种意图确定模型的训练装置,包括:
搜索确定模块,被配置为确定基于搜索词进行搜索的搜索结果,以及基于所述搜索词进行搜索的搜索次数;
比例确定模块,被配置为确定在基于所述搜索词进行的多次搜索中,用户对搜索结果进行操作的总次数、用户对所述搜索结果进行用户意图操作的第一次数以及用户对所述搜索结果进行视频意图操作的第二次数,根据所述第一次数和所述总次数确定第一比例,根据所述第二次数和所述总次数确定第二比例;
意图确定模块,被配置为根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签,所述目标样本标签包括用户意图和/或视频意图标签;
样本集生成模块,被配置为以所述搜索词和所述目标样本标签作为样本生成训练样本集;
模型训练模块,被配置为将所述样本的特征输入意图确定模型,得到所述样本对应的目标样本标签的预测结果,根据所述意图标签预测结果和目标样本标签,确定损失数据,基于所述损失数据对意图确定模型进行训练,得到训练后的意图确定模型。
在一个实施例中,基于所述损失数据对意图确定模型进行训练的收敛条件至少包括:
所述预测结果的准确率达到准确率阈值,其中,所述预测结果的准确率根据所述预测结果和所述样本对应的目标样本标签确定。
在一个实施例中,所述装置还包括:
专有获取模块,被配置为获取至少一个专有名词,确定所述专有名词对应的目标样本标签包括视频意图标签;在所述专有名词中确定被用作用户名的用户专有名词,确定所述用户专有名词对应的目标样本标签还包括用户意图标签;
其中,所述样本集生成模块,被配置为以所述专有名词和所述专有名词对应的目标样本标签,以及所述搜索词和所述搜索词对应的目标样本标签作为样本生成训练样本集。
在一个实施例中,所述意图确定模块,被配置为确定所述搜索次数在多个数量区间中所属的目标数量区间,以及所述目标数量区间对应的目标比例阈值;在所述第一比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括用户意图标签,和/或在所述第二比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括视频意图标签;所述数量区间的下限值,与所述数量区间对应的比例阈值反相关。
在一个实施例中,所述用户意图操作包括以下至少之一:
点击所述搜索结果的发布者、进入所述发布者的主页、关注所述发布者。
在一个实施例中,所述视频意图操作包括:
点击所述搜索结果且未对所述搜索结果执行所述用户意图操作。
在一个实施例中,所述装置还包括:
特征确定模块,被配置为根据所述样本的属性信息确定所述样本的属性特征;以及确定所述样本对应的搜索结果的操作特征;将所述属性特征和所述操作特征作为所述样本的特征。
在一个实施例中,所述意图确定模型包括deep&wide模型,所述属性特征作为所述意图确定模型deep侧的输入,所述操作特征作为所述意图确定模型wide侧的输入。
在一个实施例中,所述操作特征包括以下至少之一:
对所述搜索结果的发布者的点击率、对所述发布者的关注率、对所述发布者主页的平均消费时间、对所述搜索结果的点击率、对所述搜索结果的点赞率、对所述搜索结果的关注率、对所述搜索结果的长播率、对所述搜索结果的零播率、对所述搜索结果的完播率。
在一个实施例中,所述装置还包括:
模型应用模块,被配置为根据所述训练后的意图确定模型确定搜索词对应的目标样本标签为用户意图标签、或为视频意图标签、或为混合意图标签,其中,所述混合意图标签为包括用户意图和视频意图的标签。
根据本公开实施例的第三方面,提出一种电子设备,包括:
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现上述意图确定模型的训练方法。
根据本公开实施例的第四方面,提出一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述意图确定模型的训练方法。
根据本公开实施例的第五方面,提出一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述意图确定模型的训练方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
根据本公开的实施例,综合考虑搜索次数和第一比例以及第二比例来确定搜索词对应的目标样本标签,可以相对准确地确定搜索词对应的目标样本标签是否包含用户意图标签、视频意图标签。由于确定的搜索词对应的目标样本标签相对准确,因此以搜索词作为样本生成的训练样本集中样本对应的目标样本标签也就相对准确,那么基于训练样本集训练得到训练后的意图确定模型预测搜索词对应的意图标签也就相对准确。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据本公开的实施例示出的一种意图确定模型的训练方法的示意流程图。
图2是根据本公开的实施例示出的另一种意图确定模型的训练方法的示意流程图。
图3是根据本公开的实施例示出的又一种意图确定模型的训练方法的示意流程图。
图4是根据本公开的实施例示出的又一种意图确定模型的训练方法的示意流程图。
图5是根据本公开的实施例示出的一种意图确定模型的训练装置的示意框图。
图6是根据本公开的实施例示出的另一种意图确定模型的训练装置的示意框图。
图7是根据本公开的实施例示出的又一种意图确定模型的训练装置的示意框图。
图8是根据本公开的实施例示出的又一种意图确定模型的训练装置的示意框图。
图9是根据本公开的实施例示出的一种电子设备的示意框图。
图10是根据本公开的实施例示出的另一种电子设备的示意框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据本公开的实施例示出的一种意图确定模型的训练方法的示意流程图。本实施例所示的方法可以适用于服务器、终端等电子设备。
如图1所示,所述意图确定模型的训练方法可以包括以下步骤:
在步骤S101中,确定基于搜索词进行搜索的搜索结果,以及基于所述搜索词进行搜索的搜索次数;
在步骤S102中,确定在基于所述搜索词进行的多次搜索中,用户对搜索结果进行操作的总次数、用户对所述搜索结果进行用户意图操作的第一次数以及用户对所述搜索结果进行视频意图操作的第二次数,根据所述第一次数和所述总次数确定第一比例,根据所述第二次数和所述总次数确定第二比例;
在步骤S103中,根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签,所述目标样本标签包括用户意图和/或视频意图标签;
在步骤S104中,以所述搜索词和所述目标样本标签作为样本生成训练样本集;
在步骤S105中,将所述样本的特征输入意图确定模型,得到所述样本对应的目标样本标签的预测结果,根据所述意图标签预测结果和目标样本标签,确定损失数据,基于所述损失数据对意图确定模型进行训练,得到训练后的意图确定模型。
在一个实施例中,网站可以提供搜索功能,用户可以在网站的搜索栏中以文字方式输入搜索词,也可以通过语音等方式输入搜索词,网站基于搜索词可以确定搜索结果显示给用户。搜索结果包括但不限于视频、图片、声音等,以下实施例主要针对视频这类搜索结果进行示例性说明。
在一个实施例中,可以确定基于搜索词进行搜索的搜索结果,并统计基于搜索词进行搜索的搜索次数,例如单位时间(例如小时、天、周等)内的搜索次数(Page View,简称PV)、输入量、复制量等。
在一个实施例中,基于每个搜索词进行搜索,可以得到相对应的搜索结果。针对每个搜索词,可以分别统计搜索次数。针对每个搜索词,可以分别在基于这个搜索词进行的多次搜索中,统计用户(所有用户)对搜索结果进行操作的总次数,以及确定用户对所述搜索结果进行用户意图操作的第一次数以及用户对所述搜索结果进行视频意图操作的第二次数。根据所述第一次数和所述总次数确定第一比例,例如第一次数与总次数之比;以及根据所述第二次数和所述总次数确定第二比例,例如第二次数与总次数之比。
在一个实施例中,所述用户意图操作包括以下至少之一:
点击所述搜索结果的发布者、进入所述发布者的主页、关注所述发布者。
用户意图操作可以理解为是针对搜索结果的发布者的专有操作,当针对搜索结果执行了用户意图操作,那么可以确定用户对搜索结果的发布者感兴趣,用户输入的搜索词更有可能对应用户意图标签,而搜索词的搜索次数越大,搜索词对应用户意图标签的置信度就越高。因此综合考虑搜索次数和第一比例来确定搜索词对应的目标样本标签,可以相对准确地确定搜索词是否对应用户意图标签。
在一个实施例中,所述视频意图操作包括以下至少之一:
点击所述搜索结果且未对所述搜索结果执行所述用户意图操作。
视频意图操作可以理解为针对搜索结果的专有操作,当针对搜索结果执行了视频意图操作,那么可以确定用户对搜索结果感兴趣,因此用户输入的搜索词更有可能对应视频意图标签,而搜索词的搜索次数越大,搜索词对应视频意图标签的置信度就越高。因此综合考虑搜索次数和第二比例来确定搜索词对应的目标样本标签,可以相对准确地确定搜索词是否对应视频意图标签。
需要说明的是,有关用户意图、视频意图和混合意图的含义,在背景技术中已进行示例性解释,在实施例中不再赘述。
在一个实施例中,搜索词对应的目标样本标签可以通过二维的标签表示,例如标签(1,0)表示搜索词对应用户意图标签,标签(0,1)表示搜索词对应视频意图标签,标签(1,1)表示搜索词对应混合意图标签。
在确定搜索词对应的目标样本标签后,可以以搜索词作为样本生成训练样本集。进而可以确定意图确定模型,然后以样本集中样本的特征作为输入,以对所述样本对应的目标样本标签的预测结果作为输出,对意图确定模型进行训练,训练得到的模型可以作为训练后的意图确定模型。
根据本公开的实施例,综合考虑搜索次数和第一比例以及第二比例来确定搜索词对应的目标样本标签,可以相对准确地确定搜索词对应的目标样本标签是否包含用户意图标签、视频意图标签。由于确定的搜索词对应的目标样本标签相对准确,因此以搜索词作为样本生成的训练样本集中样本对应的目标样本标签也就相对准确,那么基于训练样本集训练得到训练后的意图确定模型预测搜索词对应的意图标签也就相对准确。
根据本公开的实施例,即使搜索词是搜索次数较低的词汇(例如长尾词),也可以相对准确地确定其对应的目标样本标签。
例如针对长尾词而言,在相关技术中仅根据对长尾词的搜索结果的操作就确定长尾词对应的目标样本标签,但是长尾词的搜索次数较低,针对其搜索结果的操作数量也就较少,单独考虑少量的操作所确定的意图准确率较低。例如某长尾词长度达到27个字,其搜索次数仅为5次,例如每次访问后用户对搜索结果进行一次操作,那么就存在5次操作,这5次操作中1次为用户意图操作,4次为视频意图操作。这很可能是偶然事件导致的结果,如果仅据此就确定该长尾词对应混合意图,准确率是相对较低的,该长尾词实际上可能仅对应视频意图。
在本实施例中,由于综合考虑搜索次数和第一比例来确定搜索词对应的用户意图,综合考虑搜索次数和第二比例来确定搜索词对应的视频意图,例如在搜索次数较低的情况下,需要第一比例较高,才能确定搜索词对应用户意图,相应地,在搜索次数较低的情况下,需要第二比例较高,才能确定搜索词对应视频意图。例如在搜索次数较低情况下比例阈值为60%,针对上述长尾词的示例,视频意图操作的第二比例为80%,大于比例阈值,而搜索意图的比例为20%,小于比例阈值,则可以确定该长尾词仅对应视频意图,不对应用户意图,从而相对准确地确定长尾词对应的目标样本标签。
进而以确定了对应意图的长尾词作为样本生成训练样本集,再基于训练样本集进行学习得到模型,根据模型预测长尾词对应的目标样本标签也就相对准确。
在一个实施例中,基于所述损失数据对意图确定模型进行训练的收敛条件至少包括:
所述预测结果的准确率达到准确率阈值,其中,所述预测结果的准确率根据所述预测结果和所述样本对应的目标样本标签确定。
在一个实施例中,在训练过程中,可以根据所述样本对应的目标样本标签和预测结果确定所述预测结果的准确率,例如可以统计一段时间(可以根据需要设置)内基于样本得到的预测结果,与样本对应的目标样本标签相同的比例。
例如某个样本对应的目标样本标签为(1,0),若基于该样本得到的预测结果为(0,1)或(1,1),则可以确定预测结果不准确;若基于该样本得到的预测结果为(1,0),则可以确定预测结果准确。例如准确率阈值为90%,在一段时间内供进行了10000次预测,其中9500次预测结果准确,500次预测结果不准确,准确率为95%大于准确率阈值,则可以确定达到训练的收敛条件,训练结束,输出训练后的意图确定模型。进而可以使用训练后的意图确定模型对搜索词对应的意图标签进行预测,可以相对准确地预测得到搜索词对应的意图标签。
图2是根据本公开的实施例示出的另一种意图确定模型的训练方法的示意流程图。如图2所示,在一些实施例中,所述方法还包括:
在步骤S201中,获取至少一个专有名词,确定所述专有名词对应的目标样本标签包括视频意图标签;
在步骤S202中,在所述专有名词中确定被用作用户名的用户专有名词,确定所述用户专有名词对应的目标样本标签还包括用户意图标签;
其中,所述以所述搜索词和所述目标样本标签作为样本生成训练样本集包括:
在步骤S203中,以所述专有名词和所述专有名词对应的目标样本标签,以及所述搜索词和所述搜索词对应的目标样本标签作为样本生成训练样本集。
在一个实施例中,针对某些专有名词而言,一般情况下并不属于用户名,例如宝马、奔驰、奥迪,这些专有名词在一般情况下的语义是车名,而非用户名。但是在某些情况下,网站中的一些用户会使用这些通常情况下不属于用户名的专有名词作为用户名,在这类用户作为发布者发布视频时,如果仅考虑专有名词是否被用作用户名,那么将会导致被用作用户名的专有名词对应的目标样本标签仅包括用户意图标签,从而在这些专有名词作为搜索词时,搜索词对应的目标样本标签也仅包括用户意图标签,导致专有名词失去了原本应对应的视频意图标签,影响确定搜索词对应目标样本标签的准确度。
根据本实施例,可以获取至少一个专有名词,例如可以人工输入词汇作为专有名词,也可以从网站以外的数据源获取专有名词,例如从其他门户网站、搜索引擎网站、新闻网站、词典网站等获取,例如专有名词包括但不限于地名、国家名、人名、各学科中的专有名词(例如相对论、视场角、素描等),然后确定这些专有名词对应的目标样本标签包括视频意图。
另一方面,还可以在专有名词中确定被用作用户名的用户专有名词,确定用户专有名词对应的目标样本标签还包括用户意图标签,从而使得被用作用户名的专有名词对应的目标样本标签包括视频意图标签和用户意图标签,也即为混合意图标签,准确地确定了被用作用户名的专有名词对应的目标样本标签。
在一个实施例中,也可以确定站内被用作用户名的专有名词,然后确定这些专有名词对应混合意图标签,据此,可以减少其他服务器交互数据,提高确定搜索词对应意图标签的速度,并有利于确保数据的安全性。
图3是根据本公开的实施例示出的又一种意图确定模型的训练方法的示意流程图。如图3所示,在一些实施例中,根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签包括:
在步骤S301中,确定所述搜索次数在多个数量区间中所属的目标数量区间,以及所述目标数量区间对应的目标比例阈值;
在步骤S302中,在所述第一比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括用户意图标签,和/或在所述第二比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括视频意图标签。
其中,每个所述数量区间不重叠,所述数量区间的下限值,与所述数量区间对应的比例阈值反相关。
在一个实施例中,对于搜索次数处于下限较高的数量区间的搜索词,对其所进行的意图操作会相对较多,搜索词对应相应意图标签的偶然性较低,因此可以不必过多考虑偶然性的影响,所以确定搜索词对应意图标签的比例阈值就可以相对低一些。反之,对于搜索次数处于下限较低的数量区间的搜索词,对其所进行的意图操作会相对较少,搜索词对应相应意图标签的偶然性就较高,所以确定搜索词对应意图标签的比例阈值就可以相对高一些,以降低偶然性的影响。
需要说明的是,确定搜索词对应的目标样本标签是否包括用户意图标签时所参考的数量区间和比例阈值,与确定搜索词对应的目标样本标签是否包括视频意图标签时所参考的数量区间和比例阈值,可以相同,也可以不同。
例如在确定搜索词对应的目标样本标签是否包括用户意图标签时,参考的多个数量区间为n个数量区间,n个数量区间中第p+1个数量区间的下限值大于或等于第p个数量区间的上限值,且第p+1个数量区间对应的比例阈值小于第p个数量区间对应的比例阈值,1≤p≤n,n和p为整数。
以n=3为例,可以设置第1个数量区间为10至100,对应的比例阈值为50%;第2个数量区间为100至1000,对应的比例阈值为20%;第三个数量区间为1000以上,比例阈值为10%。
例如搜索词的搜索次数(例如每天的搜索次数)为66,第一比例为70%,那么搜索次数处于第1个数量区间,第一比例大于该区间对应的目标比例阈值50%,从而可以确定该搜索词对应的目标样本标签包括用户意图标签。而若第一比例小于目标比例阈值,则确定该搜索词对应的目标样本标签不包括用户意图标签。
例如搜索词的搜索次数(例如每天的搜索次数)为345,第一比例为30%,那么搜索次数处于第2个数量区间,第一比例大于该区间对应的目标比例阈值20%,从而可以确定该搜索词对应的目标样本标签包括用户意图标签。而若第一比例小于目标比例阈值,则确定该搜索词对应的目标样本标签不包括用户意图标签。
例如搜索词的搜索次数(例如每天的搜索次数)为3432,第一比例为15%,那么搜索次数处于第3个数量区间,第一比例大于该区间对应的目标比例阈值10%,从而可以确定该搜索词对应的目标样本标签包括用户意图标签。而若第一比例小于目标比例阈值,则确定该搜索词对应的目标样本标签不包括用户意图标签。
例如在确定搜索词对应的目标样本标签是否包括视频意图标签时,参考的多个数量区间为m个数量区间,m个数量区间中第q+1个数量区间的下限值大于或等于第q个数量区间的上限值,1≤q≤m,m和q为整数,且第q+1个数量区间对应的比例阈值小于第q个数量区间对应的比例阈值。
在一个实施例中,m和n可以相等也可以不相等,在m和n相等的情况下,m个数量区间和n个数量区间可以相同,也可以不同。本公开为了简化描述,以m=n,且m个数量区间和n个数量区间相同进行示例。
在一个实施例中,可以设置m个数量区间,以及每个区间对应的比例阈值。以m=3为例,也即3个数量区间,可以设置第1个数量区间为10至100,对应的比例阈值为80%;第2个数量区间为100至1000,对应的比例阈值为50%;第三个数量区间为1000以上,比例阈值为30%。
例如搜索词的搜索次数(例如每天的搜索次数)为66,第二比例为90%,那么搜索次数处于第1个数量区间,第二比例大于该区间对应的第二比例阈值80%,从而可以确定该搜索词对应的目标样本标签包括视频意图标签。而若第二比例小于第二比例阈值,则确定该搜索词对应的目标样本标签不包括视频意图标签。
例如搜索词的搜索次数为345,第二比例为60%,那么搜索次数处于第2个数量区间,第二比例大于该区间对应的第二比例阈值50%,从而可以确定该搜索词对应的目标样本标签包括视频意图标签。而若第二比例小于第二比例阈值,则确定该搜索词的目标样本标签不包括视频意图标签。
例如搜索词的搜索次数为3432,第二比例为45%,那么索数量信息处于第3个数量区间,第二比例大于该区间对应的第一比例阈值30%,从而可以确定该搜索词对应的目标样本标签包括视频意图标签。而若第二比例小于第二比例阈值,则确定该搜索词的目标样本标签不包括视频意图标签。
图4是根据本公开的实施例示出的又一种意图确定模型的训练方法的示意流程图。如图4所示,在一些实施例中,在所述对意图确定模型进行训练之前,所述方法还包括:
在步骤S401中,根据所述样本的属性信息(包括但不限于样本包含的文字、样本作为搜索词被输入的时间、将样本作为搜索词输入的用户、样本的搜索次数等)确定所述样本的属性特征;
在步骤S402中,确定所述样本对应的搜索结果的操作特征;
在步骤S403中,将所述属性特征和所述操作特征作为所述样本的特征。
在一些实施例中,所述操作特征包括以下至少之一:
对所述搜索结果的发布者的点击率、对所述发布者的关注率、对所述发布者主页的平均消费时间、对所述搜索结果的点击率、对所述搜索结果的点赞率、对所述搜索结果的关注率、对所述搜索结果的长播率、对所述搜索结果的零播率、对所述搜索结果的完播率。
需要说明的是,操作特征可以是session(会话)粒度下的特征,一个session可以理解为是输入搜索词进行一次搜索,以上述对发布者的点击率为例,该点击率可以是对发布者点击操作的数量/基于该样本所进行全部搜索次数。
在一个实施例中,样本的属性特征主要用于表征样本的语义,例如针对专有名词而言,其语义一般情况下并不是用户名,所以大多数情况下基于属性特征确定专有名词对应的目标样本标签,仅包括视频意图标签,而不包括用户意图标签。那么如果仅将样本的属性特征作为输入来训练意图确定模型,训练后的意图确定模型对于专有名词预测对应的目标样本标签,一般也仅仅包括视频意图标签,导致不能准确确定目标样本标签。
本实施例不仅将样本的属性特征作为意图确定模型的输入,还将样本对应搜索结果的操作特征作为意图确定模型的输入,由于操作特征是根据对搜索结果的操作统计确定的,而对搜索结果的操作可以体现用户倾向于将样本作为搜索结果的发布者的用户名使用,还是倾向于将样本作为常规的专有名词使用。
例如操作者特征中对所述搜索结果的发布者的点击率较高,可以确定用户倾向于将样本作为搜索结果的发布者的用户名使用,那么样本更有可能对应用户意图标签,反之,若对所述搜索结果的发布者的点击率较低,那么样本更有可能对应视频意图标签。
因此,将属性特征和操作特征一起作为意图确定模型的输入,可以更为合理地训练意图确定模型,使得训练后的意图确定模型可以相对准确地预测搜索词对应的目标样本标签,有利于避免将专有名词对应的目标样本标签预测为仅包括视频意图标签。
在一个实施例中,所述模型包括deep&wide模型,所述属性特征作为所述意图确定模型deep侧的输入,所述操作特征作为所述wide侧的输入。
其中,deep&wide模型包括wide侧和deep侧,wide侧是一个线性模型,deep侧的是一个神经网络(例如前馈神经网络)模型,本实施例可以将wide侧和deep侧联合起来作为一个deep&wide模型进行训练。
在一个实施例中,deep侧的输入为所述属性特征,例如可以是根据属性信息得到的嵌入式(embedding)特征,wide侧的输入为所述操作特征,deep侧的输入经过两个全连接层(每个全连接层后接一个激活层)后的输入,与wide侧的输入经过一个全连接层后的输入拼接,拼接后的输出再经过一个全连接层,得到最终的输出,最终的输出可以表示对搜索词对应的目标样本标签的预测结果。
在一个实施例中,针对上述deep&wide模型的训练,可以采用的损失数据(也可以称作损失函数)包括但不限于交叉熵损失函数,收敛条件可以是对搜索词对应的目标样本标签预测的准确率达到准确率阈值。由于训练样本集中搜索词对应的目标样本标签相对准确,那么基于训练样本集进行训练得到训练后的意图确定模型后,根据训练后的意图确定模型预测搜索词对应的目标样本标签也就相对准确。
在一个实施例中,所述方法还包括:
根据所述训练后的意图确定模型确定搜索词对应的目标样本标签为用户意图标签、或为视频意图标签、或为混合意图标签,其中,所述混合意图标签为包括用户意图和视频意图的标签。
在一个实施例中,在训练得到训练后的意图确定模型后,可以将需要确定对应意图标签的搜索词输入到训练后的意图确定模型中。例如具体可以将搜索词的属性特征和操作特征输入训练后的意图确定模型,训练后的意图确定模型可以针对搜索词对应的目标样本标签进行预测,例如训练后的意图确定模型输出的结果可以是上述实施例中的标签,输出(1,0)表示搜索词对应用户意图标签,输出(0,1)表示搜索词对应视频意图标签,输出(1,1)表示搜索词既对应用户意图标签又对应视频意图标签,也即对应混合意图标签。
由于根据本公开的实施例确定的搜索词对应的目标样本标签相对准确,因此以搜索词作为样本生成的训练样本集中样本对应的目标样本标签也就相对准确,那么基于训练样本集进行学习得到训练后的意图确定模型后,根据训练后的意图确定模型预测搜索词对应的目标样本标签也就相对准确,那么根据搜索词对应的目标样本标签搜索得到的搜索结果也就更符合搜索者的需要。
进一步地,还可以根据搜索词对应的目标样本标签进行搜索词,并显示搜索词对应的搜索结果。例如搜索词对应的目标样本标签包括用户意图标签,可以将搜索词作为用户名,显示该用户名对应用户发布的视频;例如搜索词对应的目标样本标签包括视频意图标签,可以将搜索词作为专有名词,显示包含该专有名词对应内容的视频,例如搜索词为珠峰,那么可以显示包含珠峰的视频;例如搜索词对应的目标样本标签为混合意图标签,那么既可以将该搜索词作为用户名,显示该用户名对应用户发布的视频,还可以将搜索词作为专有名词,显示包含该专有名词对应内容的视频。
与前述训练样本集确方法的实施例相对应地,本公开还提出了训练样本集确装置的实施例。
图5是根据本公开的实施例示出的一种意图确定模型的训练装置的示意框图。本实施例所示的方法可以适用于服务器、终端等电子设备。
如图5所示,所述意图确定模型的训练装置可以包括:
搜索确定模块501,被配置为确定基于搜索词进行搜索的搜索结果,以及基于所述搜索词进行搜索的搜索次数;
比例确定模块502,被配置为确定在基于所述搜索词进行的多次搜索中,用户对搜索结果进行操作的总次数、用户对所述搜索结果进行用户意图操作的第一次数以及用户对所述搜索结果进行视频意图操作的第二次数,根据所述第一次数和所述总次数确定第一比例,根据所述第二次数和所述总次数确定第二比例;
意图确定模块503,被配置为根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签,所述目标样本标签包括用户意图和/或视频意图标签;
样本集生成模块504,被配置为以所述搜索词和所述目标样本标签作为样本生成训练样本集;
模型训练模块505,被配置为将所述样本的特征输入意图确定模型,得到所述样本对应的目标样本标签的预测结果,根据所述意图标签预测结果和目标样本标签,确定损失数据,基于所述损失数据对意图确定模型进行训练,得到训练后的意图确定模型。
在一个实施例中,基于所述损失数据对意图确定模型进行训练的收敛条件至少包括:
所述预测结果的准确率达到准确率阈值,其中,所述预测结果的准确率根据所述预测结果和所述样本对应的目标样本标签确定。
图6是根据本公开的实施例示出的另一种意图确定模型的训练装置的示意框图。如图6所示,所述第一数据为第一服务器中的数据,所述装置还包括:
专有获取模块601,被配置获取至少一个专有名词,确定所述专有名词对应的目标样本标签包括视频意图标签;在所述专有名词中确定被用作用户名的用户专有名词,确定所述用户专有名词对应的目标样本标签还包括用户意图标签;
其中,所述样本集生成模块504,被配置为以所述专有名词和所述专有名词对应的目标样本标签,以及所述搜索词和所述搜索词对应的目标样本标签作为样本生成训练样本集。
在一个实施例中,所述意图确定模块,被配置为确定所述搜索次数在多个数量区间中所属的目标数量区间,以及所述目标数量区间对应的目标比例阈值;在所述第一比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括用户意图标签,和/或在所述第二比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括视频意图标签;所述数量区间的下限值,与所述数量区间对应的比例阈值反相关。
在一个实施例中,所述用户意图操作包括以下至少之一:
点击所述搜索结果的发布者、进入所述发布者的主页、关注所述发布者。
在一个实施例中,所述视频意图操作包括:
点击所述搜索结果且未对所述搜索结果执行所述用户意图操作。
图7是根据本公开的实施例示出的又一种意图确定模型的训练装置的示意框图。如图7所示,所述装置还包括:
特征确定模块701,被配置为根据所述样本的属性信息确定所述样本的属性特征;以及确定所述样本对应的搜索结果的操作特征;将所述属性特征和所述操作特征作为所述样本的特征。
在一个实施例中,所述意图确定模型包括deep&wide模型,所述属性特征作为所述意图确定模型deep侧的输入,所述操作特征作为所述wide侧的输入。
在一个实施例中,所述操作特征包括以下至少之一:
对所述搜索结果的发布者的点击率、对所述发布者的关注率、对所述发布者主页的平均消费时间、对所述搜索结果的点击率、对所述搜索结果的点赞率、对所述搜索结果的关注率、对所述搜索结果的长播率、对所述搜索结果的零播率、对所述搜索结果的完播率。
图8是根据本公开的实施例示出的又一种意图确定模型的训练装置的示意框图。如图8所示,所述装置还包括:
模型应用模块801,被配置为根据所述训练后的意图确定模型确定搜索词对应的目标样本标签为用户意图标签、或为视频意图标签、或为混合意图标签,其中,所述混合意图标签为包括用户意图和视频意图的标签。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在相关方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本公开的实施例还提出一种电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现上述任一实施例所述的意图确定模型的训练方法。
本公开的实施例还提出一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一实施例所述的意图确定模型的训练方法。
本公开的实施例还提出一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述任一实施例所述的意图确定模型的训练方法。
图9是根据本公开的实施例示出的一种电子设备的示意框图。例如,电子设备900可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图9,电子设备900可以包括以下一个或多个组件:处理组件902,存储器904,电源组件906,多媒体组件908,音频组件910,输入/输出(I/O)的接口912,传感器组件914,以及通信组件916。
处理组件902通常控制电子设备900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述意图确定模型的训练方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体模块,以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在电子设备900的操作。这些数据的示例包括用于在电子设备900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件906为电子设备900的各种组件提供电力。电源组件906可以包括电源管理系统,一个或多个电源,及其他与为电子设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在电子设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件908包括一个前置摄像头和/或后置摄像头。当电子设备900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(MIC),当电子设备900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器,用于为电子设备900提供各个方面的状态评估。例如,传感器组件914可以检测到电子设备900的打开/关闭状态,组件的相对定位,例如所述组件为电子设备900的显示器和小键盘,传感器组件914还可以检测电子设备900或电子设备900一个组件的位置改变,用户与电子设备900接触的存在或不存在,电子设备900方位或加速/减速和电子设备900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件916被配置为便于电子设备900和其他设备之间有线或无线方式的通信。电子设备900可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中,电子设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述意图确定模型的训练方法。
在本公开一实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由电子设备900的处理器920执行以完成上述意图确定模型的训练方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图10是根据一示例性实施例示出的另一种电子设备1000的框图。例如,电子设备1000可以被提供为一服务器。参照图10,电子设备1000包括处理组件1022,其进一步包括一个或多个处理器,以及由存储器1032所代表的存储器资源,用于存储可由处理部件1022的执行的指令,例如应用程序。存储器1032中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1022被配置为执行指令,以执行上述意图确定模型的训练方法。
装置1000还可以包括一个电源组件1026被配置为执行电子设备1000的电源管理,一个有线或无线网络接口1050被配置为将电子设备1000连接到网络,和一个输入输出(I/O)接口1058。电子设备1000可以操作基于存储在存储器1032的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。

Claims (22)

1.一种意图确定模型的训练方法,其特征在于,包括:
确定基于搜索词进行搜索的搜索结果,以及基于所述搜索词进行搜索的搜索次数;
确定在基于所述搜索词进行的多次搜索中,用户对搜索结果进行操作的总次数、用户对所述搜索结果进行用户意图操作的第一次数以及用户对所述搜索结果进行视频意图操作的第二次数,根据所述第一次数和所述总次数确定第一比例,根据所述第二次数和所述总次数确定第二比例;所述用户意图操作包括针对搜索结果的发布者的专有操作;所述视频意图操作包括针对搜索结果的专有操作;
根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签,所述目标样本标签包括用户意图标签和/或视频意图标签;所述用户意图标签表征用户对搜索结果的发布者感兴趣;所述视频意图标签表征用户对搜索结果感兴趣;
以所述搜索词和所述目标样本标签作为样本生成训练样本集;
将所述样本的特征输入意图确定模型,得到所述样本对应的目标样本标签的预测结果,根据所述意图标签预测结果和目标样本标签,确定损失数据,基于所述损失数据对意图确定模型进行训练,得到训练后的意图确定模型。
2.根据权利要求1所述的方法,其特征在于,基于所述损失数据对意图确定模型进行训练的收敛条件至少包括:
所述预测结果的准确率达到准确率阈值,其中,所述预测结果的准确率根据所述预测结果和所述样本对应的目标样本标签确定。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取至少一个专有名词,确定所述专有名词对应的目标样本标签包括视频意图标签;
在所述专有名词中确定被用作用户名的用户专有名词,确定所述用户专有名词对应的目标样本标签还包括用户意图标签;
其中,所述以所述搜索词和所述目标样本标签作为样本生成训练样本集包括:
以所述专有名词和所述专有名词对应的目标样本标签,以及所述搜索词和所述搜索词对应的目标样本标签作为样本生成训练样本集。
4.根据权利要求1所述的方法,其特征在于,根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签包括:
确定所述搜索次数在多个数量区间中所属的目标数量区间,以及所述目标数量区间对应的目标比例阈值;
在所述第一比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括用户意图标签,和/或在所述第二比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括视频意图标签;
其中,每个所述数量区间不重叠,所述数量区间的下限值,与所述数量区间对应的比例阈值反相关。
5.根据权利要求1所述的方法,其特征在于,所述用户意图操作包括以下至少之一:
点击所述搜索结果的发布者、进入所述发布者的主页、关注所述发布者。
6.根据权利要求1所述的方法,其特征在于,所述视频意图操作包括:
点击所述搜索结果且未对所述搜索结果执行所述用户意图操作。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在所述对意图确定模型进行训练之前,所述方法还包括:
根据所述样本的属性信息确定属性特征;
确定所述样本对应的搜索结果的操作特征;
将所述属性特征和所述操作特征作为所述样本的特征。
8.根据权利要求7所述的方法,其特征在于,所述意图确定模型包括deep&wide模型,所述属性特征作为所述意图确定模型deep侧的输入,所述操作特征作为所述意图确定模型wide侧的输入。
9.根据权利要求7所述的方法,其特征在于,所述操作特征包括以下至少之一:
对所述搜索结果的发布者的点击率、对所述发布者的关注率、对所述发布者主页的平均消费时间、对所述搜索结果的点击率、对所述搜索结果的点赞率、对所述搜索结果的关注率、对所述搜索结果的长播率、对所述搜索结果的零播率、对所述搜索结果的完播率。
10.根据权利要求1至6中任一项所述的方法,其特征在于,所述方法还包括:
根据所述训练后的意图确定模型确定搜索词对应的目标样本标签为用户意图标签、或为视频意图标签、或为混合意图标签,其中,所述混合意图标签为包括用户意图和视频意图的标签。
11.一种意图确定模型的训练装置,其特征在于,包括:
搜索确定模块,被配置为确定基于搜索词进行搜索的搜索结果,以及基于所述搜索词进行搜索的搜索次数;
比例确定模块,被配置为确定在基于所述搜索词进行的多次搜索中,用户对搜索结果进行操作的总次数、用户对所述搜索结果进行用户意图操作的第一次数以及用户对所述搜索结果进行视频意图操作的第二次数,根据所述第一次数和所述总次数确定第一比例,根据所述第二次数和所述总次数确定第二比例;所述用户意图操作包括针对搜索结果的发布者的专有操作;所述视频意图操作包括针对搜索结果的专有操作;
意图确定模块,被配置为根据所述搜索次数、所述第一比例以及所述第二比例,确定所述搜索词对应的目标样本标签,所述目标样本标签包括用户意图标签和/或视频意图标签;所述用户意图标签表征用户对搜索结果的发布者感兴趣;所述视频意图标签表征用户对搜索结果感兴趣;
样本集生成模块,被配置为以所述搜索词和所述目标样本标签作为样本生成训练样本集;
模型训练模块,被配置为将所述样本的特征输入意图确定模型,得到所述样本对应的目标样本标签的预测结果,根据所述意图标签预测结果和目标样本标签,确定损失数据,基于所述损失数据对意图确定模型进行训练,得到训练后的意图确定模型。
12.根据权利要求11所述的装置,其特征在于,基于所述损失数据对意图确定模型进行训练的收敛条件至少包括:
所述预测结果的准确率达到准确率阈值,其中,所述预测结果的准确率根据所述预测结果和所述样本对应的目标样本标签确定。
13.根据权利要求11所述的装置,其特征在于,所述装置还包括:
专有获取模块,被配置为获取至少一个专有名词,确定所述专有名词对应的目标样本标签包括视频意图标签;在所述专有名词中确定被用作用户名的用户专有名词,确定所述用户专有名词对应的目标样本标签还包括用户意图标签;
其中,所述样本集生成模块,被配置为以所述专有名词和所述专有名词对应的目标样本标签,以及所述搜索词和所述搜索词对应的目标样本标签作为样本生成训练样本集。
14.根据权利要求11所述的装置,其特征在于,所述意图确定模块,被配置为确定所述搜索次数在多个数量区间中所属的目标数量区间,以及所述目标数量区间对应的目标比例阈值;在所述第一比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括用户意图标签,和/或在所述第二比例大于所述目标比例阈值时,确定所述搜索词对应的目标样本标签包括视频意图标签;所述数量区间的下限值,与所述数量区间对应的比例阈值反相关。
15.根据权利要求11所述的装置,其特征在于,所述用户意图操作包括以下至少之一:
点击所述搜索结果的发布者、进入所述发布者的主页、关注所述发布者。
16.根据权利要求11所述的装置,其特征在于,所述视频意图操作包括:
点击所述搜索结果且未对所述搜索结果执行所述用户意图操作。
17.根据权利要求11至16中任一项所述的装置,其特征在于,所述装置还包括:
特征确定模块,被配置为根据所述样本的属性信息确定所述样本的属性特征;以及确定所述样本对应的搜索结果的操作特征;将所述属性特征和所述操作特征作为所述样本的特征。
18.根据权利要求17所述的装置,其特征在于,所述意图确定模型包括deep&wide模型,所述属性特征作为所述意图确定模型deep侧的输入,所述操作特征作为所述意图确定模型wide侧的输入。
19.根据权利要求17所述的装置,其特征在于,所述操作特征包括以下至少之一:
对所述搜索结果的发布者的点击率、对所述发布者的关注率、对所述发布者主页的平均消费时间、对所述搜索结果的点击率、对所述搜索结果的点赞率、对所述搜索结果的关注率、对所述搜索结果的长播率、对所述搜索结果的零播率、对所述搜索结果的完播率。
20.根据权利要求11至16中任一项所述的装置,其特征在于,所述装置还包括:
模型应用模块,被配置为根据所述训练后的意图确定模型确定搜索词对应的目标样本标签为用户意图标签、或为视频意图标签、或为混合意图标签,其中,所述混合意图标签为包括用户意图和视频意图的标签。
21.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至10中任一项所述的意图确定模型的训练方法。
22.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至10中任一项所述的意图确定模型的训练方法。
CN202110605114.9A 2021-05-31 2021-05-31 意图确定模型的训练方法和装置 Active CN113343028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110605114.9A CN113343028B (zh) 2021-05-31 2021-05-31 意图确定模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110605114.9A CN113343028B (zh) 2021-05-31 2021-05-31 意图确定模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN113343028A CN113343028A (zh) 2021-09-03
CN113343028B true CN113343028B (zh) 2022-09-02

Family

ID=77473675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110605114.9A Active CN113343028B (zh) 2021-05-31 2021-05-31 意图确定模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN113343028B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114330364B (zh) * 2021-12-27 2022-11-11 北京百度网讯科技有限公司 模型训练方法、意图识别方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444421A (zh) * 2020-03-24 2020-07-24 北京字节跳动网络技术有限公司 一种信息推送的方法、装置、计算机设备及存储介质
CN111797308A (zh) * 2020-06-16 2020-10-20 北京达佳互联信息技术有限公司 一种资源推荐方法、装置、电子设备及介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831685B2 (en) * 2005-12-14 2010-11-09 Microsoft Corporation Automatic detection of online commercial intention
US8473485B2 (en) * 2011-06-29 2013-06-25 Microsoft Corporation Organizing search history into collections
US9367880B2 (en) * 2013-05-03 2016-06-14 Facebook, Inc. Search intent for queries on online social networks
CN104778176A (zh) * 2014-01-13 2015-07-15 阿里巴巴集团控股有限公司 一种数据搜索处理方法及装置
US20150317319A1 (en) * 2014-04-30 2015-11-05 Yahoo! Inc. Enhanced search results associated with a modular search object framework
US10242088B2 (en) * 2014-09-18 2019-03-26 Microsoft Technology Licensing, Llc Multi-source search
US9910930B2 (en) * 2014-12-31 2018-03-06 TCL Research America Inc. Scalable user intent mining using a multimodal restricted boltzmann machine
CN105069077A (zh) * 2015-07-31 2015-11-18 百度在线网络技术(北京)有限公司 搜索方法及装置
CN105095187A (zh) * 2015-08-07 2015-11-25 广州神马移动信息科技有限公司 一种搜索意图识别方法及装置
CN106951422B (zh) * 2016-01-07 2021-05-28 腾讯科技(深圳)有限公司 网页训练的方法和装置、搜索意图识别的方法和装置
CN106649818B (zh) * 2016-12-29 2020-05-15 北京奇虎科技有限公司 应用搜索意图的识别方法、装置、应用搜索方法和服务器
CN106682192B (zh) * 2016-12-29 2020-07-03 北京奇虎科技有限公司 一种基于搜索关键词训练回答意图分类模型的方法和装置
CN107180087B (zh) * 2017-05-09 2019-11-15 北京奇艺世纪科技有限公司 一种搜索方法及装置
CN107870984A (zh) * 2017-10-11 2018-04-03 北京京东尚科信息技术有限公司 识别搜索词的意图的方法和装置
CN107862027B (zh) * 2017-10-31 2019-03-12 北京小度信息科技有限公司 检索意图识别方法、装置、电子设备及可读存储介质
US20190294731A1 (en) * 2018-03-26 2019-09-26 Microsoft Technology Licensing, Llc Search query dispatcher using machine learning
CN109918565B (zh) * 2019-02-02 2021-05-11 北京搜狗科技发展有限公司 一种搜索数据的处理方法、装置及电子设备
US11182432B2 (en) * 2019-06-28 2021-11-23 Microsoft Technology Licensing, Llc Vertical processing of natural language searches
CN110472027A (zh) * 2019-07-18 2019-11-19 平安科技(深圳)有限公司 意图识别方法、设备及计算机可读存储介质
CN111125523B (zh) * 2019-12-20 2024-03-01 华为技术有限公司 搜索方法、装置、终端设备及存储介质
CN111625690B (zh) * 2020-05-13 2024-03-08 北京达佳互联信息技术有限公司 一种对象推荐方法、装置、设备及介质
CN111782947B (zh) * 2020-06-29 2022-04-22 北京达佳互联信息技术有限公司 一种搜索内容展示方法、装置、电子设备及存储介质
CN111881316A (zh) * 2020-07-28 2020-11-03 腾讯音乐娱乐科技(深圳)有限公司 搜索方法、装置及服务器和计算机可读存储介质
CN112084150A (zh) * 2020-09-09 2020-12-15 北京百度网讯科技有限公司 模型训练、数据检索方法,装置,设备以及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444421A (zh) * 2020-03-24 2020-07-24 北京字节跳动网络技术有限公司 一种信息推送的方法、装置、计算机设备及存储介质
CN111797308A (zh) * 2020-06-16 2020-10-20 北京达佳互联信息技术有限公司 一种资源推荐方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN113343028A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN107992604B (zh) 一种任务条目的分发方法及相关装置
CN108121736B (zh) 一种主题词确定模型的建立方法、装置及电子设备
CN111638832A (zh) 信息展示方法、装置、系统、电子设备及存储介质
CN111556366A (zh) 一种多媒体资源的展示方法、装置、终端、服务器及系统
CN110688527A (zh) 视频推荐方法、装置、存储介质及电子设备
CN112445970B (zh) 一种信息推荐方法、装置、电子设备及存储介质
CN110691268B (zh) 一种消息发送方法、装置、服务器、移动终端及存储介质
CN107315487B (zh) 一种输入处理方法、装置及电子设备
KR101626874B1 (ko) 이동 단말기 및 이동 단말기에서의 컨텐츠 전송 방법
CN112508612B (zh) 训练广告创意生成模型、生成广告创意的方法及相关装置
CN106815291B (zh) 搜索结果项展现方法、装置和用于搜索结果项展现的装置
CN107515870B (zh) 一种搜索方法和装置、一种用于搜索的装置
CN111382339A (zh) 一种搜索处理方法、装置和用于搜索处理的装置
CN111127053B (zh) 页面内容推荐方法、装置及电子设备
CN113343028B (zh) 意图确定模型的训练方法和装置
CN111246255B (zh) 视频推荐方法、装置、存储介质、终端及服务器
CN110929176A (zh) 一种信息推荐方法、装置及电子设备
CN110110046B (zh) 同名实体推荐方法及装置
CN106886541B (zh) 一种数据搜索方法、装置以及一种用于数据搜索的装置
CN111813932A (zh) 文本数据的处理方法、分类方法、装置及可读存储介质
CN111831132A (zh) 一种信息推荐方法、装置和电子设备
CN107301188B (zh) 一种获取用户兴趣的方法及电子设备
CN112052395B (zh) 一种数据处理方法及装置
CN110020206B (zh) 一种搜索结果排序方法及装置
CN109145151B (zh) 一种视频的情感分类获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant