CN117194761A - 一种推荐方法,终端及存储介质 - Google Patents
一种推荐方法,终端及存储介质 Download PDFInfo
- Publication number
- CN117194761A CN117194761A CN202210594076.6A CN202210594076A CN117194761A CN 117194761 A CN117194761 A CN 117194761A CN 202210594076 A CN202210594076 A CN 202210594076A CN 117194761 A CN117194761 A CN 117194761A
- Authority
- CN
- China
- Prior art keywords
- named entity
- search
- result
- data set
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000013145 classification model Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims description 116
- 230000015654 memory Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 27
- 239000013598 vector Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种推荐方法,终端及存储介质,终端获取搜索文本;根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果;根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果;基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标确定推荐内容。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种推荐方法,终端及存储介质。
背景技术
现有的推荐方法可以综合用户特征、大屏内容特征、历史行为特征,得出用户对内容感兴趣的概率,返回推荐结果给用户以满足用户需求。
在现有的推荐方法中,Word2vec能够在向量空间内将词的向量按照相似性进行分组,并识别数学上的相似性,只要给出足够的数据、用法和上下文,Word2vec就可以根据过去的经验对词的意义进行预测或聚类;Word2vec由于其通用性被广泛使用,然而,Word2vec忽略了内容实体的特性,不能准确地识别出用户想要搜索的内容实体和搜索意图,从而造成终端智能性较差的问题。
发明内容
本申请实施例提供了一种推荐方法,终端及存储介质,能够有效识别搜索内容实体和搜索意图,提高终端智能性。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供了一种推荐方法,所述方法包括:
获取搜索文本;
根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果;
根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果;
基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容。
第二方面,本申请实施例提供了一种终端,所述终端包括获取单元、识别单元以及推荐单元,
所述获取单元,用于获取搜索文本;
所述识别单元,用于根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果;以及根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果;
所述推荐单元,用于基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容。
第三方面,本申请实施例提供了一种终端,所述终端还包括处理器、存储有所述处理器可执行指令的存储器,当所述指令被所述处理器执行时,实现如上所述的推荐方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有程序,应用于终端中,所述程序被处理器执行时,实现如上的推荐方法。
本申请实施例提供了一种推荐方法,终端及存储介质,终端获取搜索文本;根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果;根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果;基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标进行推荐处理,获得推荐内容。由此可见,在本申请中,终端在获取任意搜索文本以后,可以利用命名实体识别模型对搜索文本进行命名实体识别处理,获得搜索文本中包含的命名实体结果,即能够有效识别搜索文本中的内容实体;同时还可以利用语言分类模型对搜索文本进行搜索意图识别处理,获得搜索文本所表达的搜索意图结果,即能够有效识别搜索文本中的搜索意图;从而结合命名实体识别结果和搜索意图识别结果确定搜索目标,能够令确定的搜索目标更具精确性,进而基于该搜索目标完成推荐处理,能够提升用户体验感,使终端更具智能性。
附图说明
图1为本申请实施例提出的推荐方法的实现流程示意图;
图2为本申请实施例提出的推荐方法的实现示意图一;
图3为本申请实施例提出的推荐方法的实现示意图二;
图4为本申请实施例提出的推荐方法的实现示意图三;
图5为本申请实施例提出的推荐方法的实现示意图四;
图6为本申请实施例提出的推荐方法的实现示意图五;
图7为本申请实施例提出的推荐方法的实现示意图六;
图8为本申请实施例提出的预设知识图谱的示意图;
图9为本申请实施例提出的推荐方法的实现示意图七;
图10为本申请实施例提出的终端的组成结构示意图一;
图11为本申请实施例提出的终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
推荐和搜索有一些相通的地方,背后都要有人工智能(ArtificialIntelligence,AI)来理解用户的需求和内容,理解的越清楚,就越能帮助到用户;现有的推荐方法可以综合用户特征、大屏内容特征、历史行为特征,得出用户对内容感兴趣的概率,返回推荐结果给用户以满足用户需求;像大规模机器学习、深度学习、实时更新等方法,都在搜索和推荐上具有不错的效果。
现有的大屏内容搜索,如果用户输入的不是很规范,或者多输入关键字或错别字,就会造成返回的结果不是用户想要的结果的情况,用户需要去认真输入内容名,导致搜索效率低下以及搜索推荐结果不理想的问题。并且,不同人搜索的习惯是不一样的,因此,基于内容的推荐难度大大提高。比如,影视网站上,看了影片A的也都看了影片B,那么A和B的共现度很高,可以互相推荐了,但是不同的人搜A的方式不同,而现有的搜索或推荐方法无法反映搜索词与实质内容之间的关系。例如Word2vec和Item2vec这两种方法,可以将搜索关键词或者内容特征转换为一个低维的向量;其中,Word2vec能够在向量空间内将词的向量按照相似性进行分组,并识别数学上的相似性,只要给出足够的数据、用法和上下文,Word2vec就可以根据过去的经验对词的意义进行预测或聚类;Word2vec由于其通用性被广泛使用,然而,Word2vec忽略了内容实体的特性,不能准确地识别出用户想要搜索的内容实体和搜索意图,从而造成终端智能性较差的问题;且由于词和向量是一对一的关系,因此Word2vec不能解决多义词的问题;同时Word2vec虽然通用性强但是不能针对特定任务做动态优化。
为了解决现有技术中推荐方法所存在的问题,本申请实施例提供了一种推荐方法,终端及存储介质,终端包括第一增益调整器和第二增益调整器;终端获取搜索文本;根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果;根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果;基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标确定推荐内容。能够有效识别搜索内容实体和搜索意图,提高终端智能性。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供了一种推荐方法,图1为本申请实施例提出的推荐方法的实现流程示意图,如图1所示,推荐方法可以包括以下步骤:
步骤101、获取搜索文本。
在本申请的实施例中,终端可以先获取搜索文本。
需要说明的是,在本申请的实施例中,终端通过获取用户在终端中输入的搜索文本,从而可以根据搜索文本进行识别,确定用户想要搜索的搜索目标。
示例性的,在本申请的实施例中,搜索文本可以是“影片A中的演员有谁”,“演员B参演的影片有哪些”等。
步骤102、根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果。
在本申请的实施例中,终端在获取搜索文本之后,可以根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果。
需要说明的是,在本申请的实施例中,命名实体识别模型可以用于识别出搜索文本中的命名实体;命名实体识别模型是基于初始命名实体识别模型进行训练处理以后得到的。
在本申请的一些实施例中,可以通过获取第一训练数据集;然后将第一训练数据集输入初始命名实体识别模型,获得识别结果;接着计算识别结果对应的均值参数和方差参数;若均值参数和方差参数不满足预设条件,则根据均值参数和方差参数更新初始命名实体识别模型;继续将第一训练数据集输入至初始命名实体识别模型,直到输出的识别结果对应的更新的均值参数和更新的方差参数满足预设条件,获得命名实体识别模型。
需要说明的是,在本申请的实施例中,初始命名实体识别模型中包括预测模块和评分约束模块;相应的,对初始命名实体识别模型进行训练处理后获得的命名实体识别模型中同样包括预测模块和评分约束模块。
示例性的,在本申请的实施例中,预测模块为双向长短期记忆(BiLSTM,Bi-directional Long Short-Term Memory);进一步地,可以基于双向编码器结构的BERT(Bidirectional Encoder Representation from Transformers)模型来构建BiLSTM;其中,BERT模型中主要包括Transformer模型,Transformer模型中则主要包括编码器(Encoder)机制、多头注意力机制、层标准化(Layer normalization)和残差链接、前馈神经网络等,其中,BERT模型具有强大的参数权重更新机制,在进行训练时,可以利用反向传播算法来调整模型的参数权重;层标准化的作用是把神经网络中隐藏层归一为标准正态分布,以加快训练速度,加速收敛。
示例性的,在本申请的实施例中,可以由CRF层构建评分约束模块。
进一步地,在本申请的实施例中,命名实体识别模型可以识别出任意搜索文本中的命名实体,即获得命名实体识别结果。
示例性的,在本申请的实施例中,搜索文本为“影片A中的演员有谁”,根据命名实体识别模型对该搜索文本进行命名实体识别处理,获得的命名实体识别结果为“影片A”。
示例性的,在本申请的实施例中,搜索文本为“演员B参演的影片有哪些”,根据命名实体识别模型对该搜索文本进行命名实体识别处理,获得的命名实体识别结果为“演员B”。
步骤103、根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果。
在本申请的实施例中,终端在获取搜索文本之后,可以根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果。
需要说明的是,在本申请的实施例中,语言分类模型可以用于识别出搜索文本所表达的搜索意图;语言分类模型是基于初始语言分类模型进行训练处理以后得到的。
在本申请的一些实施例中,终端可以先获取第二训练数据集,进而利用初始语言分类模型对第二训练数据集进行语言意图分类处理,获得第二训练数据集对应的语言意图分类结果;接着根据语言意图分类结果和第二训练数据集中的预设意图分类标签,对初始语言分类模型进行更新处理,以获得语言分类模型。
示例性的,在本申请的实施例中,基于BERT模型构建语言分类模型。
示例性的,在本申请的实施例中,搜索文本为“影片A是由谁拍摄的”,根据语言分类模型对该搜索文本进行搜索意图识别处理后,获得的搜索意图是被结果可以表示为“电影-导演”,即表征该搜索文本的搜索意图是搜索电影对应的导演。
步骤104、基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标确定推荐内容。
在本申请的实施例中,终端在根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果,以及根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果以后,可以基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标确定推荐内容。
可以理解的是,在本申请的实施例中,搜索目标即为根据命名实体识别结果和搜索意图识别结果共同确定的,用户想要搜索的目标。
进一步地,在本申请的实施例中,推荐内容即为终端根据搜索目标确定的,呈现给用户的内容。
在本申请的一些实施例中,终端可以根据搜索目标,在预设知识图谱中确定推荐内容;其中,推荐内容包括搜索目标对应的目标搜索结果,和与目标搜索结果相关的推荐结果。
可以理解的是,在本申请的实施例中,目标搜索结果即为根据搜索目标在预设知识图谱中进行搜索,所确定的搜索结果;推荐结果即为根据搜索结果在预设知识图谱中获得的,与搜索结果相关联的结果。
示例性的,在本申请的实施例中,搜索文本为“电影A由哪些演员出演”,基于命名实体识别结果和搜索意图识别结果确定的搜索目标即为电影A中的演员;从而获得的推荐内容中包括目标搜索结果:“演员1、演员2、演员3以及演员4”,和推荐结果:与电影A类型相同的电影B、演员1参演的电影、演员2参演的电影、电影A的导演执导的其他电影等。
示例性的,在本申请的实施例中,图2为本申请实施例提出的推荐方法的实现示意图一,如图2所示为终端上呈现的推荐内容,可以看出,搜索文本为“电影A由哪些演员出演”,推荐内容中的搜索答案(目标搜索结果)为“电影A的演员有:演员a、演员b、演员c、演员d、演员e、演员f、演员g、演员h、演员i、演员j、演员k、演员l、演员m、演员n、演员o、演员p”;推荐结果则给出了与电影A相关的电影信息,例如:电影B,类型:xx/xx/xx,上映时间:xxxx-xx-xx,评分9.2,导演:xxxx,有效提高用户的搜索和推荐体验感。
示例性的,在本申请的实施例中,图3为本申请实施例提出的推荐方法的实现示意图二,如图3所示为终端上呈现的推荐内容,可以看出,搜索文本为“演员c评分大于7”,推荐内容中的搜索答案(目标搜索结果)为“演员c出演过评分大于7的影视剧有:xxxx,xxxxxx...”;推荐结果则给出了相关的电影信息。
示例性的,在本申请的实施例中,图4为本申请实施例提出的推荐方法的实现示意图三,如图4所示为终端上呈现的推荐内容,可以看出,搜索文本为“电影C的导演是”,推荐内容中的搜索答案(目标搜索结果)为“电影C的导演是:xxx”;推荐结果则给出了相关的电影信息。
进一步地,在本申请的实施例中,终端根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果之前,即步骤102之前,可以包括以下步骤:
步骤105、获取第一训练数据集。
在本申请的实施例中,终端根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果之前,可以获取第一训练数据集。
需要说明的是,在本申请的实施例中,第一训练数据集用于训练初始命名实体识别模型;可以根据初始命名实体识别模型所要识别的命名实体的类型,构建和选取对应的第一训练数据集。
示例性的,在本申请的实施例中,要识别影视相关的命名实体,则通过构建影视相关数据的问题集来获取第一训练数据集;首先,可以基于某影视剧爬虫库提取电影、导演、演员以及类型等数据,同时结合问题集表,构造问题集;其中,问题集表中的每类问题都与基于某影视剧爬虫库提取的数据随机组合,最终生成400条样本集,共计6800条记录;例如,样本集中的内容如下表1所示:
表1
进一步地,示例性的,在获得了上述问题集以后,根据问题集编写处理脚本,将问题集划分为第一训练数据集、第一测试数据集以及第一评估数据集等,由此获得用于训练初始命名实体识别模型的初始命名实体识别模型;例如,第一训练数据集中的数据可以如下表2所示:
表2
其中,针对每个样本中的每个字、数字以及单词,还可以标注其在该样本中的位置信息:B-LOC表示命名实体中开头的字,I-LOC表示命名实体中的非开头字,O表示非命名实体的字。
步骤106、利用第一训练数据集对初始命名实体识别模型进行训练处理,获得命名实体识别模型。
在本申请的实施例中,终端在获取第一训练数据集之后,可以利用第一训练数据集对初始命名实体识别模型进行训练处理,获得命名实体识别模型。
在本申请的一些实施例中,终端可以将第一训练数据集输入初始命名实体识别模型,获得识别结果;然后计算识别结果对应的均值参数和方差参数;若均值参数和方差参数不满足预设条件,则根据均值参数和方差参数更新初始命名实体识别模型;继续将第一训练数据集输入至初始命名实体识别模型,直到输出的识别结果对应的更新的均值参数和更新的方差参数满足预设条件,获得命名实体识别模型。
示例性的,在本申请的实施例中,在获得了命名实体识别模型以后,本申请利用第二测试数据集对命名实体识别模型进行了测试,测试结果如下表3所示:
表3
其中,f1为不同于精确度的另一个评价指标,可以看出,本申请中的命名实体识别模型能够对命名实体进行精准识别,包括对命名实体的首字,以及命名实体的非首字的精准识别;在三种评价指标中,不论是精确度还是召回率,或是f1,均呈现出较高的水平。
进一步地,在本申请的实施例中,终端利用第一训练数据集对初始命名实体识别模型进行训练处理,获得命名实体识别模型,即步骤106提出的方法可以包括以下步骤:
步骤106a、将第一训练数据集输入初始命名实体识别模型,获得识别结果。
在本申请的实施例中,终端利用第一训练数据集对初始命名实体识别模型进行训练处理,获得命名实体识别模型;在本申请的一些实施例中,终端可以先将第一训练数据集输入初始命名实体识别模型,获得识别结果。
可以理解的是,在本申请的实施例中,识别结果即为利用初始命名实体识别模型对第一训练数据集中的命名实体进行识别的结果。
需要说明的是,在本申请的实施例中,在获取识别结果的过程中,为了使命名实体识别模型能够捕捉搜索文本中文字的顺序序列,可以在初始命名实体识别模型中的编码器,对第一训练数据集进行词向量的编码时,引入位置编码(Position Embedding)的特征,位置编码可以在词向量中的加入字或单词的位置信息,从而能够令命名实体识别模型中的Transformer区分不同位置的字或单词,从而能够更精准的识别命名实体,提高识别结果的精确性。
示例性的,在本申请的实施例中,位置编码可以通过以下公式表示:
其中,PE(pos,2i)为第一训练数据集中句子中的偶数位置的字或单词的位置编码,PE(pos,2i+1)为句子中奇数位置的字或单词的位置编码,pos为字或单词的位置信息,dmodel为文本句子的长度,i为位置信息的脚标。
进一步地,在本申请的实施例中,初始命名实体识别模型中的编码器输出的编码结果可以表示为:Xembedding+Attention(Q,K,V);其中,Xembedding为位置编码的向量,Attention(Q,K,V)为多头注意力机制的参数。
步骤106b、计算识别结果对应的均值参数和方差参数。
在本申请的实施例中,终端在将第一训练数据集输入初始命名实体识别模型,获得识别结果以后,可以计算识别结果对应的均值参数和方差参数。
示例性的,在本申请的实施例中,均值参数可以表示为以下公式:
其中,表示文本句子对应的编码向量所形成的矩阵中,以矩阵的行为单位求得的均值参数,m表示识别结果对应的向量的位数,xij表示文本句子对应的编码向量所构成的矩阵中的各个元素,μj表示矩阵中以列为单位的求得的方差。
示例性的,在本申请的实施例中,方差参数可以表示为以下公式:
其中,LayerNorm(x)表示文本句子对应的编码向量所形成的矩阵中,a和β为学习率,σi为以矩阵的列为单位求得均值参数,e为一种预设参数,μi为矩阵的方差。
示例性的,在本申请的实施例中,μi可以通过以下公式计算:
步骤106c、若均值参数和方差参数不满足预设条件,则根据均值参数和方差参数更新初始命名实体识别模型。
在本申请的实施例中,终端在计算识别结果对应的均值参数和方差参数之后,若均值参数和方差参数不满足预设条件,则根据均值参数和方差参数更新初始命名实体识别模型。
需要说明的是,在本申请的实施例中,预设条件可以包括预设均值参数范围和预设方差参数范围,当均值参数不满足预设均值参数范围,或者方差参数不满足预设方差参数范围时,根据均值参数和方差参数更新初始命名实体识别模型。
示例性的,在本申请的实施例中,可以根据均值参数和方差参数确定损失函数,从而确定优化方向和优化距离,按照优化方向和优化距离对初始命名实体识别模型进行更新。
步骤106d、继续将第一训练数据集输入至初始命名实体识别模型,直到输出的识别结果对应的更新的均值参数和更新的方差参数满足预设条件,获得命名实体识别模型。
在本申请的实施例中,若均值参数和方差参数不满足预设条件,则终端在根据均值参数和方差参数更新初始命名实体识别模型之后,继续将第一训练数据集输入至初始命名实体识别模型,直到输出的识别结果对应的更新的均值参数和更新的方差参数满足预设条件,获得命名实体识别模型。
可以理解的是,在本申请的实施例中,通过不断更新初始命名实体识别模型,直到初始命名实体识别模型输出的识别结果对应的更新的均值参数处于预设均值参数范围中,以及更新的方差参数处于预设方差参数范围中时,确定训练完成,获得命名实体识别模型。
进一步地,在本申请的实施例中,初始命名实体识别模型中包括预测模块和评分约束模块;终端将第一训练数据集输入初始命名实体识别模型,获得识别结果的方法,即步骤106a提出的方法可以包括以下步骤:
步骤106a1、利用预测模块对第一训练数据集进行命名实体预测处理,获得第一训练数据集对应的命名实体预测结果。
在本申请的实施例中,终端将第一训练数据集输入初始命名实体识别模型,获得识别结果;在本申请的一些实施例中,终端可以先利用预测模块对第一训练数据集进行命名实体预测处理,获得第一训练数据集对应的命名实体预测结果。
需要说明的是,在本申请的实施例中,预测模块可以用于对任意文本中的命名实体进行预测;具体地,预测模块可以对文本中的每个字给出预测分值,该预测分值可以表征这个字作为命名实体的可能性,以及这个字在命名实体中所处的位置的可能性;从而将第一训练数据集输入预测模块以后,可以获得第一训练数据集中的每个样本对应的命名实体预测结果,包括样本中每个字对应的预测分值。
示例性的,在本申请的实施例中,图5为本申请实施例提出的推荐方法的实现示意图四,如图5所示,W0、W1、W2、W3以及W4表示第一训练数据集中一个样本中的每个字,BiLSTM即为预测模块,B-Person表示人名类型的命名实体的首个字,I-Person表示人名类型的命名实体的非首字,B-Organization表示组织名称类型的命名实体的首字,I-Organization表示组织名称类型的命名实体的非首字,O表示非命名实体的字,BiLSTM不仅对文本中的每个字进行预测,还关注每个字与前后文的联系,从而获得针对每个字的预测分值,例如,对于W0来说,作为B-Person的预测分值为1.5,作为I-Person的预测分值为0.9,作为B-Organization的预测分值为0.1,作为I-Organization的预测分值为0.08,作为O的预测分值为0.05,可见,W0最有可能是一个人名类型的命名实体中的首个字,其余W1、W2、W3以及W4同理,由此获得这个样本的命名实体预测结果。
步骤106a2、利用评分约束模块对命名实体预测结果进行筛选,获得命名实体预测结果中,预测分值最高的目标预测结果。
在本申请的实施例中,终端利用预测模块对第一训练数据集进行命名实体预测处理,获得第一训练数据集对应的命名实体预测结果之后,可以利用评分约束模块对命名实体预测结果进行筛选,获得命名实体预测结果中,预测分值最高的目标预测结果。
需要说明的是,在本申请的实施例中,评分约束模块在训练处理的过程中,可以自动学习到一些约束,这些约束能够在预测模块的基础上,对获得的命名实体预测结果进行筛选,从而保证最终的目标预测结果是有效的。
示例性的,在本申请的实施例中,基于上述示例,评分约束模块学习到的约束可以是:句子的开头应该是“B-”或“O”,而不是“I-”(句子的开头应该是命名实体的首字或非命名实体,而不是命名实体的非首字);“B-label1 I-label2 I-label3…”,在该模式中,label 1、label 2以及label 3应该是同一种命名实体类别,例如,“B-Person I-Person”是正确的(人名类型的首字后接人名类型的非首字),而“B-Person I-Organization”则是错误的(人名类型的首字后接组织名称类型的非首字),“O I-label”也是错误的(非命名实体后接命名实体的非首字),命名实体的开头应该是“B-”而不是“I-”(命名实体的开头应该是命名实体的首字)。
示例性的,在本申请的实施例中,图6为本申请实施例提出的推荐方法的实现示意图五,如图6所示,基于前述示例,在经过BiLSTM(预测模块)获得了命名实体预测结果以后,将命名实体预测结果再次输入CRF层(评分约束模块),CRF层可以利用自身的约束对命名实体预测结果进行筛选,从而获得预测分值为0.9(预测分值最高)的“B-Person I-Person OB-Organization O”作为目标预测结果。
示例性的,在本申请的实施例中,如下表4所示为评分约束模块在对一个样本的命名实体预测结果进行筛选的分数矩阵,其中,START表示句子的起始,End表示句子的结尾;从中筛选出目标预测结果。
表4
步骤106a3、将目标预测结果确定为识别结果。
在本申请的实施例中,终端在利用评分约束模块对命名实体预测结果进行筛选,获得命名实体预测结果中,预测分值最高的目标预测结果之后,可以将目标预测结果确定为识别结果。
进一步地,在本申请的实施例中,终端在根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果之前,即步骤103之前,可以包括以下步骤:
步骤107、获取第二训练数据集。
在本申请的实施例中,终端在根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果之前,可以获取第二训练数据集。
需要说明的是,在本申请的实施例中,第二训练数据集是用于训练初始语言分类模型的数据集。
示例性的,在本申请的实施例中,根据常见的搜索问句构建问题集,并且问题集中包括17大类,125种小类的预设意图分类标签;进而根据问题集编写处理脚本,结合预设意图分类标签进行负采样,其中,正样本和负样本的比例为1:5,最终将问题集划分为第二训练数据集、第二测试数据集以及第二评估数据集,由此获得最终用于训练初始语言分类模型的第二训练数据集,其包括40800条记录;例如,第二训练数据集中的记录可以如下表5所示:
表5
其中,以序号为0的记录为例,该搜索问句为“电影A是由谁拍摄的”,其对应的意图是“电影-导演”的取值为1,即该记录的意图是询问这部电影的导演;而对于序号为1的记录,搜索问句为“电影A是由谁拍摄的”,其对应的意图是“演员-出演-评分-小于”的取值为0,即该记录的意图不是询问某演员出演过的评分小于某分数的电影;对于序号为3的记录,搜索问句为“电影A是由谁拍摄的?”,其对应的意图是“电影-编剧”的取值为0,即表示该记录的意图不是询问这部电影的编剧。
步骤108、利用第二训练数据集对初始语言分类模型进行训练处理,获得语言分类模型。
在本申请的实施例中,终端在获取第二训练数据集之后,可以利用第二训练数据集对初始语言分类模型进行训练处理,获得语言分类模型。
示例性的,在本申请的实施例中,如下表6所示为利用第二训练数据集对初始语言分类模型进行训练处理的主要参数:
表6
序号 | 参数名 | 参数值 |
0 | hidden_size | 768 |
1 | max_seq_length | 64 |
2 | num_attention_heads | 12 |
3 | num_hidden_layers | 12 |
4 | num_train_epochs | 3 |
5 | batch_size | 32 |
其中,hidden_size为隐藏层,max_seq_length为最大句子的长度,num_attention_heads为多头注意力机制中注意力头的大小,num_hidden_layers为隐藏层的大小,num_train_epochs为训练批次,batch_size为每次能够处理的数据的数据量大小。
进一步地,在本申请的实施例中,终端利用第二训练数据集对初始语言分类模型进行训练处理,获得语言分类模型的方法,即步骤108提出的方法可以包括以下步骤:
步骤108a、利用初始语言分类模型对第二训练数据集进行语言意图分类处理,获得第二训练数据集对应的语言意图分类结果。
在本申请的实施例中,终端利用第二训练数据集对初始语言分类模型进行训练处理,获得语言分类模型;在本申请的一些实施例中,终端可以先利用初始语言分类模型对第二训练数据集进行语言意图分类处理,获得第二训练数据集对应的语言意图分类结果。
步骤108b、根据语言意图分类结果和第二训练数据集中的预设意图分类标签,对初始语言分类模型进行更新处理,以获得语言分类模型。
在本申请的实施例中,终端在利用初始语言分类模型对第二训练数据集进行语言意图分类处理,获得第二训练数据集对应的语言意图分类结果之后,可以根据语言意图分类结果和第二训练数据集中的预设意图分类标签,对初始语言分类模型进行更新处理,以获得语言分类模型。
需要说明的是,在本申请的实施例中,可以利用第二训练数据集中的预设意图分类标签,和获得的语言意图分类结果确定损失函数,从而根据损失函数不断对初始语言分类模型进行更新处理,最终获得语言分类模型。
进一步地,在本申请的实施例中,终端在基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标确定推荐内容之前,即步骤104之前,可以包括以下步骤:
步骤109、获取原始数据信息。
在本申请的实施例中,终端在基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标确定推荐内容之前,可以获取原始数据信息。
需要说明的是,在本申请的实施例中,可以根据要构建的预设知识图谱的作用或类型,确定所需的原始数据信息,从而基于原始数据信息构建对应的预设知识图谱。
示例性的,在本申请的实施例中,构建一个影视相关的知识图谱,则可以通过通用化爬虫从某影视剧爬虫库中爬取结构化或半结构化数据,这些结构化或半结构化数据即为原始数据信息。
步骤110、对原始数据信息进行实体抽取处理,获得命名实体集。
在本申请的实施例中,终端在获取原始数据信息之后,可以对原始数据信息进行实体抽取处理,获得命名实体集。
需要说明的是,在本申请的实施例中,在对原始数据信息进行实体抽取处理之前,还可以先对原始数据信息进行清洗或整合,例如去除脏数据,并进行数据整合。
进一步地,在本申请的实施例中,实体抽取处理是指从原始数据信息中识别和提取出命名实体;例如,对影视相关的原始数据信息进行实体抽取处理,可以获得电影标识、电影名称、电影导演、演员、编剧、制片地区、类型、语言、上映日期、评分、标签、电影别名、片长等命名实体,从而由这些命名实体构成命名实体集。
进一步地,示例性的,在本申请的实施例中,为了防止原始数据信息中存在重名的情况,还可以再单独爬取某影视剧爬虫库中的人物及对应的标识,再次对应于命名实体集中的电影、演员、编剧、导演等,以确定没有重名情况。
步骤111、根据命名实体集构建预设知识图谱。
在本申请的实施例中,终端在对原始数据信息进行实体抽取处理,获得命名实体集之后,可以根据命名实体集构建预设知识图谱。
在本申请的一些实施例中,终端可以根据命名实体集中的每一个命名实体,确定每一个命名实体与命名实体集中、其他命名实体之间的相关性参数,进而根据相关性参数构建预设知识图谱。
进一步地,在本申请的实施例中,终端根据命名实体集构建预设知识图谱的方法,即步骤111提出的方法可以包括以下步骤:
步骤111a、根据命名实体集中的每一个命名实体,确定每一个命名实体与命名实体集中、其他命名实体之间的相关性参数。
在本申请的实施例中,终端根据命名实体集构建预设知识图谱;在本申请的一些实施例中,终端可以先根据命名实体集中的每一个命名实体,确定每一个命名实体与命名实体集中、其他命名实体之间的相关性参数。
需要说明的是,在本申请的实施例中,相关性参数是指命名实体与命名实体间的关系。
示例性的,在本申请的实施例中,相关性参数可以是电影与导演的关系、电影与演员的关系、电影与类型的关系、电影与地区的关系、电影与标签的关系、电影与别名的关系、电影与语言的关系、电影与编剧的关系等;并且其中有些关系可以是多对多的关系,例如电影与导演的关系、电影与演员的关系、电影与类型的关系都可以是多对多的关系。
示例性的,在本申请的实施例中,图7为本申请实施例提出的推荐方法的实现示意图六,如图7所示为在影视相关命名实体集中构建电影和导演的关系的相关数据;其中,START_ID表示开始节点,END_ID表示结束节点,TYPE表示关系类型,HAS_DIRECTOR即为导演的命名实体。
步骤111b、根据相关性参数构建预设知识图谱。
在本申请的实施例中,终端在根据命名实体集中的每一个命名实体,确定每一个命名实体与命名实体集中、其他命名实体之间的相关性参数之后,可以根据相关性参数构建预设知识图谱。
需要说明的是,在本申请的实施例中,可以将相关性参数转换为三元组形式,进而进行知识融合,实体对齐等处理以后,形成标准形式的预设知识图谱。
进一步地,在本申请的实施例中,在根据相关性参数构建预设知识图谱的过程中,还可以针对其中某个命名实体的属性进行扩展,以丰富相关性参数,扩展方式是从不同信息源中采集该命名实体的相关属性信息,例如,针对某个演员,可以利用通用化爬虫从网络公开信息中爬取,得到其昵称、生日、国籍、教育背景等信息,从而丰富这个演员对应的命名实体的相关性参数。
示例性的,在本申请的实施例中,图8为本申请实施例提出的预设知识图谱的示意图,可以看出,该影视相关的预设知识图谱涵盖了各种影视相关的命名实体,以及命名实体的相关性参数,例如,“电影A”这个命名实体的相关性参数中,标签(HAS_TAG)有普通话,“电影B”的相关性参数中,类型(HAS_TYPE)为奇幻。
综上所述,在本申请的实施例中,示例性的,图9为本申请实施例提出的推荐方法的实现示意图七,如图9所示,本申请主要构建了命名实体识别模型,语言分类模型以及预设知识图谱;其中,命名实体识别模型可以基于BERT、BiLSTM和CRF层构建,语言分类模型可以基于BERT构建,可以将任意搜索文本输入命名实体识别模型和语言分类模型以后,获得命名实体识别结果和搜索意图识别结果,从而确定搜索目标,最后根据预设知识图谱和搜索目标获得推荐内容。
本申请实施例提供了一种推荐方法,终端获取搜索文本;根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果;根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果;基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标进行推荐处理,获得推荐内容。由此可见,在本申请中,终端在获取任意搜索文本以后,可以利用命名实体识别模型对搜索文本进行命名实体识别处理,获得搜索文本中包含的命名实体结果,即能够有效识别搜索文本中的内容实体;同时还可以利用语言分类模型对搜索文本进行搜索意图识别处理,获得搜索文本所表达的搜索意图结果,即能够有效识别搜索文本中的搜索意图;从而结合命名实体识别结果和搜索意图识别结果确定搜索目标,能够令确定的搜索目标更具精确性,进而基于该搜索目标完成推荐处理,能够提升用户体验感,使终端更具智能性。
在本申请的另一实施例中,图10为本申请实施例提出的终端的组成结构示意图一,如图10所示,本申请实施例提出的终端10可以包括获取单元11、识别单元12、推荐单元13、训练单元14以及构建单元15。
所述获取单元11,用于获取搜索文本。
所述识别单元12,用于根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果;以及根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果。
所述推荐单元13,用于基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容。
进一步地,所述推荐单元13,还用于根据所述搜索目标,在预设知识图谱中确定所述推荐内容;其中,所述推荐内容包括所述搜索目标对应的目标搜索结果,和与所述目标搜索结果相关的推荐结果。
进一步地,所述获取单元11,还用于在所述识别单元12根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果之前,获取第一训练数据集。
所述训练单元14,用于利用所述第一训练数据集对初始命名实体识别模型进行训练处理,获得所述命名实体识别模型。
进一步地,所述训练单元14,还用于将所述第一训练数据集输入所述初始命名实体识别模型,获得识别结果;以及计算所述识别结果对应的均值参数和方差参数;以及若所述均值参数和所述方差参数不满足预设条件,则根据所述均值参数和所述方差参数更新所述初始命名实体识别模型;以及继续将所述第一训练数据集输入至所述初始命名实体识别模型,直到输出的识别结果对应的更新的均值参数和更新的方差参数满足所述预设条件,获得所述命名实体识别模型。
进一步地,所述初始命名实体识别模型中包括预测模块和评分约束模块;所述训练单元14,还用于利用所述预测模块对所述第一训练数据集进行命名实体预测处理,获得所述第一训练数据集对应的命名实体预测结果;以及利用所述评分约束模块对所述命名实体预测结果进行筛选,获得所述命名实体预测结果中,预测分值最高的目标预测结果;以及将所述目标预测结果确定为所述识别结果。
进一步地,所述获取单元11,还用于在所述识别单元12根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果之前,获取第二训练数据集。
进一步地,所述训练单元14,还用于利用所述第二训练数据集对初始语言分类模型进行训练处理,获得所述语言分类模型。
进一步地,所述训练单元14,还用于利用所述初始语言分类模型对所述第二训练数据集进行语言意图分类处理,获得所述第二训练数据集对应的语言意图分类结果;以及根据所述语言意图分类结果和所述第二训练数据集中的预设意图分类标签,对所述初始语言分类模型进行更新处理,以获得所述语言分类模型。
进一步地,所述获取单元11,还用于在所述推荐单元13基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容之前,获取原始数据信息;以及对所述原始数据信息进行实体抽取处理,获得命名实体集。
所述构建单元15,用于根据所述命名实体集构建所述预设知识图谱。
进一步地,所述构建单元15,还用于根据所述命名实体集中的每一个命名实体,确定所述每一个命名实体与所述命名实体集中、其他命名实体之间的相关性参数;以及根据所述相关性参数构建所述预设知识图谱。
图11为本申请实施例提出的终端的组成结构示意图二,如图11所示,本申请实施例提出的终端10还可以包括处理器16、存储有处理器16可执行指令的存储器17,进一步地,终端10还可以包括通信接口18,和用于连接处理器16、存储器17以及通信接口18的总线19。
在本申请的实施例中,上述处理器16可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字终端(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。处理器16还可以包括存储器17,该存储器17可以与处理器16连接,其中,存储器17用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器17可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。
在本申请的实施例中,总线19用于连接通信接口18、处理器16以及存储器17以及这些器件之间的相互通信。
在本申请的实施例中,存储器17,用于存储指令和数据。
进一步地,在本申请的实施例中,上述处理器16,用于获取搜索文本;根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果;根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果;基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容。
在实际应用中,上述存储器17可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器16提供指令和数据。
另外,在本实施例中的各功能模块可以集成在一个分析单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种终端,终端获取搜索文本;根据命名实体识别模型对搜索文本进行命名实体识别处理,获得命名实体识别结果;根据语言分类模型对搜索文本进行搜索意图识别处理,获得搜索意图识别结果;基于命名实体识别结果和搜索意图识别结果确定搜索目标,并根据搜索目标进行推荐处理,获得推荐内容。由此可见,在本申请中,终端在获取任意搜索文本以后,可以利用命名实体识别模型对搜索文本进行命名实体识别处理,获得搜索文本中包含的命名实体结果,即能够有效识别搜索文本中的内容实体;同时还可以利用语言分类模型对搜索文本进行搜索意图识别处理,获得搜索文本所表达的搜索意图结果,即能够有效识别搜索文本中的搜索意图;从而结合命名实体识别结果和搜索意图识别结果确定搜索目标,能够令确定的搜索目标更具精确性,进而基于该搜索目标完成推荐处理,能够提升用户体验感,使终端更具智能性。
具体来讲,本实施例中的一种推荐方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上;当存储介质中的与一种推荐方法对应的程序指令被一包括第一增益调整器和第二增益调整器的电子设备读取或被执行时,包括如下步骤:
获取搜索文本;
根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果;
根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果;
基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,为本申请的较佳实施例而已,并非用于限定本申请的保护范围。
Claims (12)
1.一种推荐方法,其特征在于,所述方法包括:
获取搜索文本;
根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果;
根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果;
基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容。
2.根据权利要求1所述的方法,其特征在于,所述根据所述搜索目标确定推荐内容,包括:
根据所述搜索目标,在预设知识图谱中确定所述推荐内容;其中,所述推荐内容包括所述搜索目标对应的目标搜索结果,和与所述目标搜索结果相关的推荐结果。
3.根据权利要求1所述的方法,其特征在于,所述根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果之前,所述方法包括:
获取第一训练数据集;
利用所述第一训练数据集对初始命名实体识别模型进行训练处理,获得所述命名实体识别模型。
4.根据权利要求3所述的方法,其特征在于,所述利用所述第一训练数据集对初始命名实体识别模型进行训练处理,获得所述命名实体识别模型,包括:
将所述第一训练数据集输入所述初始命名实体识别模型,获得识别结果;
计算所述识别结果对应的均值参数和方差参数;
若所述均值参数和所述方差参数不满足预设条件,则根据所述均值参数和所述方差参数更新所述初始命名实体识别模型;
继续将所述第一训练数据集输入至所述初始命名实体识别模型,直到输出的识别结果对应的更新的均值参数和更新的方差参数满足所述预设条件,获得所述命名实体识别模型。
5.根据权利要求4所述的方法,其特征在于,所述初始命名实体识别模型中包括预测模块和评分约束模块;所述将所述第一训练数据集输入所述初始命名实体识别模型,获得识别结果,包括:
利用所述预测模块对所述第一训练数据集进行命名实体预测处理,获得所述第一训练数据集对应的命名实体预测结果;
利用所述评分约束模块对所述命名实体预测结果进行筛选,获得所述命名实体预测结果中,预测分值最高的目标预测结果;
将所述目标预测结果确定为所述识别结果。
6.根据权利要求1所述的方法,其特征在于,所述根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果之前,所述方法包括:
获取第二训练数据集;
利用所述第二训练数据集对初始语言分类模型进行训练处理,获得所述语言分类模型。
7.根据权利要求6所述的方法,其特征在于,所述利用所述第二训练数据集对初始语言分类模型进行训练处理,获得所述语言分类模型,包括:
利用所述初始语言分类模型对所述第二训练数据集进行语言意图分类处理,获得所述第二训练数据集对应的语言意图分类结果;
根据所述语言意图分类结果和所述第二训练数据集中的预设意图分类标签,对所述初始语言分类模型进行更新处理,以获得所述语言分类模型。
8.根据权利要求2所述的方法,其特征在于,所述基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容之前,所述方法包括:
获取原始数据信息;
对所述原始数据信息进行实体抽取处理,获得命名实体集;
根据所述命名实体集构建所述预设知识图谱。
9.根据权利要求8所述的方法,其特征在于,所述根据所述命名实体集构建所述预设知识图谱,包括:
根据所述命名实体集中的每一个命名实体,确定所述每一个命名实体与所述命名实体集中、其他命名实体之间的相关性参数;
根据所述相关性参数构建所述预设知识图谱。
10.一种终端,其特征在于,所述终端包括获取单元、识别单元以及推荐单元,
所述获取单元,用于获取搜索文本;
所述识别单元,用于根据命名实体识别模型对所述搜索文本进行命名实体识别处理,获得命名实体识别结果;以及根据语言分类模型对所述搜索文本进行搜索意图识别处理,获得搜索意图识别结果;
所述推荐单元,用于基于所述命名实体识别结果和所述搜索意图识别结果确定搜索目标,并根据所述搜索目标确定推荐内容。
11.一种终端,其特征在于,所述终端包括处理器、存储有所述处理器可执行指令的存储器,当所述指令被所述处理器执行时,实现如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,其上存储有程序,应用于终端,所述程序被处理器执行时,实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210594076.6A CN117194761A (zh) | 2022-05-27 | 2022-05-27 | 一种推荐方法,终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210594076.6A CN117194761A (zh) | 2022-05-27 | 2022-05-27 | 一种推荐方法,终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117194761A true CN117194761A (zh) | 2023-12-08 |
Family
ID=89002095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210594076.6A Pending CN117194761A (zh) | 2022-05-27 | 2022-05-27 | 一种推荐方法,终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117194761A (zh) |
-
2022
- 2022-05-27 CN CN202210594076.6A patent/CN117194761A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3896581A1 (en) | Learning to rank with cross-modal graph convolutions | |
CN110321419B (zh) | 一种融合深度表示与交互模型的问答匹配方法 | |
CN112163165B (zh) | 信息推荐方法、装置、设备及计算机可读存储介质 | |
CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
CN110704601A (zh) | 利用问题-知识引导的渐进式时空注意力网络解决需要常识的视频问答任务的方法 | |
CN109635083B (zh) | 一种用于搜索ted演讲中话题式查询的文档检索方法 | |
CN114565104A (zh) | 语言模型的预训练方法、结果推荐方法及相关装置 | |
US10755177B1 (en) | Voice user interface knowledge acquisition system | |
CN110933518B (zh) | 一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法 | |
CN111914062B (zh) | 一种基于关键词的长文本问答对生成系统 | |
CN111078837B (zh) | 智能问答信息处理方法、电子设备及计算机可读存储介质 | |
CN110765277B (zh) | 一种基于知识图谱的移动端的在线设备故障诊断方法 | |
CN113672708A (zh) | 语言模型训练方法、问答对生成方法、装置及设备 | |
CN112464100B (zh) | 信息推荐模型训练方法、信息推荐方法、装置及设备 | |
CN116450796A (zh) | 一种智能问答模型构建方法及设备 | |
CN113239209A (zh) | 基于RankNet-transformer的知识图谱个性化学习路径推荐方法 | |
CN115952277A (zh) | 基于知识关系检索增强方法、模型、设备及存储介质 | |
CN115310520A (zh) | 融合多特征的深度知识追踪方法及习题推荐方法 | |
US20230237093A1 (en) | Video recommender system by knowledge based multi-modal graph neural networks | |
CN114880307A (zh) | 一种开放教育领域知识的结构化建模方法 | |
WO2020049317A1 (en) | System and method for improved content discovery | |
Lee et al. | Interactive spoken content retrieval by deep reinforcement learning | |
CN116977701A (zh) | 视频分类模型训练的方法、视频分类的方法和装置 | |
CN117194761A (zh) | 一种推荐方法,终端及存储介质 | |
CN112861474B (zh) | 一种信息标注方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |