CN111143693B - 基于人工智能的特征处理模型的训练方法及装置 - Google Patents

基于人工智能的特征处理模型的训练方法及装置 Download PDF

Info

Publication number
CN111143693B
CN111143693B CN201911422695.1A CN201911422695A CN111143693B CN 111143693 B CN111143693 B CN 111143693B CN 201911422695 A CN201911422695 A CN 201911422695A CN 111143693 B CN111143693 B CN 111143693B
Authority
CN
China
Prior art keywords
feature
hierarchy
vector
combined
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911422695.1A
Other languages
English (en)
Other versions
CN111143693A (zh
Inventor
缪畅宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911422695.1A priority Critical patent/CN111143693B/zh
Publication of CN111143693A publication Critical patent/CN111143693A/zh
Application granted granted Critical
Publication of CN111143693B publication Critical patent/CN111143693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于人工智能的特征处理模型的训练方法及装置;应用于内容推荐领域或内容问答领域,方法包括:获取样本对象的特征元素及对应特征元素的至少两个层级元素;层级元素用于构建对应特征元素的特征层级结构;特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且至少一个第二层级元素的元素信息,用于组合表征第一层级元素的元素信息;对特征元素及至少两个层级元素进行组合,得到对应样本对象的组合特征样本;构建包括至少两种组合特征样本的样本集合;基于样本集合,训练特征处理模型,以使特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量。

Description

基于人工智能的特征处理模型的训练方法及装置
技术领域
本发明涉及人工智能技术,尤其涉及一种基于人工智能的特征处理模型的训练方法、装置、电子设备及存储介质。
背景技术
人工智能(Artificial Intelligence,AI)是计算机科学的一个综合技术,通过研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。自然语言处理(Nature Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,能够实现人与计算机之间用自然语言进行有效通信,通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
对象(即Item)除了包括特征元素之外,通常还包括特征元素对应的层级结构的层级元素,例如,对于歌曲《之乎者也》而言,它由罗大佑演唱、作词、作曲,收录于专辑名《之乎者也》,则这首歌曲包括的特征元素为:罗大佑、之乎者也,特征元素对应的层级元素为:演唱者、作词者、作曲者、专辑、歌名等。在实际应用中,由于每个特征元素可能有不同数量的层级元素,相关技术尚且无法按照固定通用的方式进行层级元素的编码,因此通常仅利用对象的特征元素进行自然语言的理解,而忽略对象的层级元素,使得理解的效果有待进一步提高。
发明内容
本发明实施例提供一种基于人工智能的特征处理模型的训练方法、装置、电子设备及存储介质,能够提供一种应用于内容推荐领域或内容问答领域的特征处理模型,实现将对象的特征元素及对应的层级元素进行编码,得到由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到的组合向量。
本发明实施例提供一种基于人工智能的特征处理模型的训练方法,应用于内容推荐领域或内容问答领域,方法包括:
基于所述内容推荐领域中内容推荐数据或所述内容问答领域中的问答数据,获取样本对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素,用于构建对应所述特征元素的特征层级结构,所述特征层级结构对应由上而下的阶梯层级;
所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本;
构建包括至少两种组合特征样本的样本集合;
基于所述样本集合,训练特征处理模型,以使所述特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量。
上述方案中,所述对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本,包括:
基于所述特征元素及所述至少两个层级元素,确定对应所述样本对象的目标类型的特征树,所述特征树包括对应所述目标类型的特征元素的子节点及用于表征所述目标类型的特征元素的层级信息的父节点;
基于所述特征树中父节点及子节点的连接关系,生成对应所述样本对象的组合特征样本。
上述方案中,所述基于获取的差异更新所述特征处理模型的模型参数,包括:
当所述差异超过差异阈值时,基于所述差异确定所述特征处理模型的误差信号;
将所述误差信号在所述特征处理模型中反向传播,并在传播的过程中更新各个层的模型参数。
本发明实施例还提供一种人工智能的特征处理方法,应用于内容推荐领域或内容问答领域,所述方法包括:
获取所述内容推荐领域中或所述内容问答领域中的目标对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素用于构建对应所述特征元素的特征层级结构,所述特征层级结构对应由上而下的阶梯层级;
所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
对所述特征元素及所述至少两个层级元素进行组合,得到对应所述目标对象的组合特征;
通过特征处理模型的向量转换层,对得到对应所述目标对象的组合特征进行向量转换,得到所述目标对象的组合特征中各个元素对应的向量;
通过所述特征处理模型的特征映射层,对所述目标对象的组合特征中各个元素对应的向量进行映射处理,得到所述目标对象的组合特征对应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量;
所述特征处理模型基于上述方案中所述的训练方法训练得到。
本发明实施例还提供一种基于人工智能的特征处理模型的训练装置,其特征在于,应用于内容推荐领域或内容问答领域,所述装置包括:
第一获取模块,用于基于所述内容推荐领域中内容推荐数据或所述内容问答领域中的问答数据,获取样本对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素,用于构建对应所述特征元素的特征层级结构,所述特征层级结构对应由上而下的阶梯层级;
所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
第一组合模块,用于对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本;
构建模块,用于构建包括至少两种组合特征样本的样本集合;
训练模块,用于基于所述样本集合,训练特征处理模型,以使所述特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量。
上述方案中,所述特征处理模型包括向量转换层及特征映射层,所述训练模块,还用于通过所述向量转换层,对所述样本集合中的组合特征样本进行向量转换,得到所述组合特征样本中各个元素对应的向量,所述组合特征样本标注有目标组合向量;
其中,所述目标组合向量由用于表征所述特征元素的特征向量及用于表征所述特征元素所处特征层级的层级向量组合得到;
通过所述特征映射层,对所述组合特征样本中各个元素对应的向量进行映射处理,得到所述组合特征样本对应的特征组合向量;
获取所述目标组合向量与所述特征组合向量之间的差异,并基于所述差异更新所述特征处理模型的模型参数。
上述方案中,所述第一获取模块,还用于基于所述内容推荐领域中内容推荐数据,获取第一推荐对象样本的特征元素,及对应所述第一推荐对象样本的特征元素的至少两个层级元素;所述第一推荐对象样本的特征元素包括以下至少之一:内容特征、用户特征及交互特征。
上述方案中,所述第一组合模块,还用于当所述第一推荐对象样本的特征元素为内容特征时,对所述第一推荐对象样本的内容特征及用于表征所述内容特征的层级结构的第一层级特征进行组合,得到所述第一推荐对象样本的内容组合特征;
当所述第一推荐对象样本的特征元素为用户特征时,对所述第一推荐对象样本的用户特征及用于表征所述用户特征对应的层级结构的第二层级特征组合,得到所述第一推荐对象样本的用户组合特征;
当所述第一推荐对象样本的特征元素为交互特征时,对所述第一推荐对象样本的交互特征及用于表征所述交互特征对应的层级结构的第三层级特征组合,得到所述第一推荐对象样本的交互组合特征。
上述方案中,所述特征处理模型包括向量转换层及特征映射层,所述基于所述样本集合,训练特征处理模型之后,所述装置还包括推荐模块,
所述推荐模块,用于通过所述向量转换层,对待推荐对象对应的组合特征进行向量转换,得到所述组合特征中各个特征对应的向量;
通过所述特征映射层,对所述组合特征中各个特征对应的向量进行映射处理,得到所述组合特征对应的映射向量,所述映射向量包括所述待推荐对象对应的组合特征对应的组合向量;
基于所述映射向量包括的组合向量,对所述待推荐对象进行内容推荐。
上述方案中,所述推荐模块,还用于对所述组合向量包括的特征向量及层级向量进行拼接,得到对应所述组合向量的拼接向量,并基于所述拼接向量,对所述待推荐对象进行内容推荐;
或者,对所述组合向量包括的特征向量及层级向量进行加权求和,得到对应所述组合向量的加权求和向量,并基于所述加权求和向量,对所述待推荐对象进行内容推荐。
上述方案中,所述基于所述样本集合,训练特征处理模型之后,所述装置还包括预测模型训练模块,
所述预测模型训练模块,用于获取第二推荐对象样本,所述第二推荐对象样本包括所述第二推荐对象样本的内容组合特征、用户组合特征、交互组合特征中至少两种,所述第二推荐对象样本标注有对应所述第二推荐对象样本的目标预测结果;
将所述第二推荐对象样本输入至所述特征处理模型,得到所述第二推荐对象样本对应的映射向量,所述第二推荐对象样本对应的映射向量包括所述第二推荐对象样本中组合特征对应的组合向量;
通过预测模型对所述第二推荐对象样本对应的映射向量进行分类或回归处理,得到相应的处理结果;
获取所述处理结果与所述目标预测结果之间的差异,并基于所述差异更新所述预测模型的模型参数。
上述方案中,所述第一获取模块,还用于基于所述内容问答领域中的问答数据,获取问答样本的特征元素,及对应所述问答样本的特征元素的至少两个层级元素;所述问答样本的特征元素包括:问题特征及答案特征。
上述方案中,所述第一组合模块,还用于对所述问题特征及用于表征所述问题特征对应的层级结构的第四层级特征进行组合,得到所述问答样本的问题组合特征;
对所述答案特征及用于表征所述答案特征对应的层级结构的第五层级特征进行组合,得到所述问答样本的答案组合特征。
上述方案中,所述特征处理模型包括向量转换层及特征映射层,所述基于所述样本集合,训练特征处理模型之后,所述装置还包括问答模型训练模块,
所述问答模型训练模块,用于通过所述向量转换层,对由问题组合特征及答案组合特征所构成的组合特征进行向量转换,得到所述组合特征中各个特征对应的向量;
通过所述特征映射层,对所述组合特征中各个特征对应的向量进行映射处理,得到所述组合特征对应的映射组合向量,所述映射组合向量包括所述问题组合特征对应的第一组合向量及所述答案组合特征对应的第二组合向量;
基于所述第一组合向量及所述第二组合向量,训练问答模型,使得所述问答模型能够基于输入的问题组合特征输出相应的答案组合特征。
上述方案中,所述问答模型训练模块,用于基于所述第一组合向量,获取与所述问题组合特征的相似度达到第一相似度阈值的至少一个候选问题组合特征;
基于所述第二组合向量,获取与所述答案组合特征的相似度达到第二相似度阈值的至少一个候选答案组合特征;
基于所述问题组合特征、所述至少一个候选问题组合特征、所述答案组合特征及所述至少一个候选答案组合特征,构建多个特征问答对;
基于构建的所述多个特征问答对,训练问答模型。
本发明实施例还提供一种人工智能的特征处理装置,应用于内容推荐领域或内容问答领域,所述装置包括:
第二获取模块,用于获取所述内容推荐领域中或所述内容问答领域中的目标对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素用于构建对应所述特征元素的特征层级结构,所述特征层级结构对应由上而下的阶梯层级;
所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
第二组合模块,用于对所述特征元素及所述至少两个层级元素进行组合,得到对应所述目标对象的组合特征;
转换模块,用于通过特征处理模型的向量转换层,对得到对应所述目标对象的组合特征进行向量转换,得到所述目标对象的组合特征中各个元素对应的向量;
映射模块,用于通过所述特征处理模型的特征映射层,对所述目标对象的组合特征中各个元素对应的向量进行映射处理,得到所述目标对象的组合特征对应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量;
所述特征处理模型基于上述方案中所述的训练方法训练得到。
本发明实施例还提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的方法。
本发明实施例还提供一种存储介质,所述存储介质存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的方法。
本发明实施例具有以下有益效果:
通过对样本对象的特征元素及对应特征元素的至少两个层级元素进行特征组合,得到对应样本对象的组合特征样本,构建包括至少两种组合特征样本的样本集合,并基于构建的样本集合,训练特征处理模型,以使特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;也即得到由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到的组合向量,得到包括特征元素和层级元素的编码信息,能够丰富对象的特征表示,且保证了对象的唯一性,适用于各种应用场景。
附图说明
图1为本发明实施例提供的基于人工智能的特征处理模型的训练系统的一个可选的示意图;
图2为本发明实施例提供的电子设备的一个可选的结构示意图;
图3为本发明实施例提供的特征处理模型的训练方法的一个可选的流程示意图;
图4A-4B为本发明实施例提供的特征树的结构示意图;
图5为本发明实施例提供的特征处理模型的结构示意图;
图6为本发明实施例提供的特征处理模型的训练方法的一个可选的流程示意图;
图7为本发明实施例提供的推荐系统的架构示意图;
图8为本发明实施例提供的问答系统的架构示意图;
图9为本发明实施例提供的推荐模型的结构示意图;
图10为本发明实施例提供的推荐模型的训练方法的流程示意图;
图11为本发明实施例提供的人工智能的特征处理方法的流程示意图;
图12为本发明实施例提供的特征组合示意图;
图13-14为本发明实施例提供的特征处理模型的训练框架示意图;
图15为本发明实施例提供的基于人工智能的特征处理模型的训练装置的一个可选的结构示意图;
图16为本发明实施例提供的人工智能的特征处理装置的结构组成图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三\第四\第五”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三\第四\第五”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)推荐系统:它是根据用户的信息需求、兴趣等,将用户感兴趣的信息、产品等推荐给用户的个性化信息推荐系统。
2)推荐对象:Item,比如新闻、比赛、帖子或feeds流中的短视频等。
3)内容特征,与推荐对象相关的文本特征,例如,对于音乐推荐领域,内容特征是与歌曲相关的数据,如歌曲的名字、歌词、歌手、风格、音频信息等。
4)交互特征:指用户与推荐对象的交互特征,例如,对于音乐推荐领域,交互特征是与歌曲的交互相关特征,包括但不限于用户听过什么歌、听了多少次、听歌时长、听过的歌曲的音频信息或文本信息等。
5)用户特征:是与推荐对象交互无关的特征,如用户年龄、性别、城市、用户在其他场景下有过什么行为(比如搜索记录、对话记录、浏览文章记录等等)。
6)问答系统,是将积累的无序语料信息,进行有序和科学的整理,并建立基于知识的分类模型;这些分类模型可以指导新增加的语料咨询和服务信息,节约人力资源,提高信息处理的自动性,降低网站运行成本,以一问一答形式,精确的定位网站用户所需要的提问知识,通过与网站用户进行交互,为网站用户提供个性化的信息服务。
7)机器阅读理解(Machine Reading Comprehension,MRC):给定一篇文档和一个问题,机器根据该文档预测该问题的答案;对于抽取式机器阅读理解,答案一般为已知文档中的一个片段,MRC模型通过预测答案在已知文档中起始词和终止词的位置来预测答案。
8)特征层级结构,用于指示特征元素所对应的特征层级的阶梯型层级结构,由特征元素及对应特征元素的层级元素构成,包括由上而下的至少两个层级,在特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,下层级的第二层级元素的元素信息归属于相邻上层级的第一层级元素的元素信息,是相邻上层级的第一层级元素的元素信息的具体化,且下层级的第二层级元素的元素信息能够组合表征相邻上层级的第一层级元素的元素信息;
举例说明,对于特征元素《之乎者也》来说,其作为歌曲名称的具体化,归属于指示其特征层级的层级元素“歌名”,也即与其相邻的上层级的层级元素为“歌名”,而“歌名”归属于“歌曲”,也即与层级元素“歌名”相邻的上层级的层级元素为“歌曲”,而“歌曲”还包含“演唱者”、“作词者”、“作曲者”,也即,“演唱者”、“作词者”、“作曲者”与“歌名”属于同一层级的层级元素,共同组合表征“歌曲”的信息。
本发明实施例供的特征处理模型可以应用于各种领域,例如,待处理的目标对象经过本发明实施例提供的特征处理模型进行预处理,得到由对应所述目标对象的特征元素的特征向量,及用于表征目标对象的特征元素的特征层级结构的层级向量组成的特征组合向量,可将得到的特征组合向量输入至推荐系统中进行内容推荐,也可将得到的特征组合向量输入至问答系统中进行问答预测,也可将得到的特征组合向量输入至语义分割的神经网络中进行语义分割,还可将得到的特征组合向量输入至语音识别的神经网络模型中进行语音识别,即本发明实施例中的特征预测模型并不局限于某种领域。
本发明实施例提供一种基于人工智能的特征处理模型的训练方法、装置及存储介质,能够提供一种通用特征处理模型,进而实现将对象的特征元素及对应的层级元素进行编码,得到由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到的组合向量,能够丰富对象的特征表示,且保证了对象的唯一性。
参见图1,图1为本发明实施例提供的基于人工智能的特征处理模型的训练系统100的一个可选的示意图,为实现支撑一个示例性应用,用户终端400(示例性示出了终端400-1、终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
如图1所示,终端400发送内容推荐领域中内容推荐数据或内容问答领域中的问答数据的样本对象至服务器200;服务器200,用于基于内容推荐领域中内容推荐数据或内容问答领域中的问答数据,获取样本对象的特征元素,及对应特征元素的至少两个层级元素;其中,层级元素,用于构建对应特征元素的特征层级结构;特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且至少一个第二层级元素的元素信息,用于组合表征第一层级元素的元素信息;对特征元素及至少两个层级元素进行组合,得到对应样本对象的组合特征样本;构建包括至少两种组合特征样本的样本集合;基于样本集合,训练特征处理模型,以使特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;其中,特征组合向量包括:对应目标对象的特征元素的特征向量,及用于表征目标对象的特征元素的特征层级结构的层级向量;如此,实现特征处理模型的训练。
在实际应用中,用户打开用户终端400-1的应用客户端发布待处理的目标对象,终端400-1生成并发送对应的特征处理请求至服务器200,其中,特征处理请求携带目标对象的特征元素,及对应特征元素的至少两个层级元素,其中,层级元素用于构建对应特征元素的特征层级结构;特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且至少一个第二层级元素的元素信息,用于组合表征第一层级元素的元素信息。
服务器200,用于获取目标对象的特征元素,及对应特征元素的至少两个层级元素,对特征元素及至少两个层级元素进行组合,得到对应目标对象的组合特征;通过特征处理模型的向量转换层,对得到对应目标对象的组合特征进行向量转换,得到目标对象的组合特征中各个元素对应的向量;通过特征处理模型的特征映射层,对目标对象的组合特征中各个元素对应的向量进行映射处理,得到目标对象的组合特征对应的特征组合向量;其中,特征组合向量包括:对应目标对象的特征元素的特征向量,及用于表征目标对象的特征元素的特征层级结构的层级向量。
在实际应用中,服务器200可将得到的特征组合向量输入至推荐系统中进行内容推荐,或将得到的特征组合向量输入至问答系统中进行问答预测,或将得到的特征组合向量输入至语义分割的神经网络中进行语义分割,或将得到的特征组合向量输入至语音识别的神经网络模型中进行语音识别,得到对应的处理结果,并可将得到的处理结果返回给终端400进行呈现。
参见图2,图2为本发明实施例提供的电子设备200的一个可选的结构示意图,电子设备可以是服务器,例如部署在云端的服务器,根据其他设备或者用户提供的样本对象进行特征处理模型的训练,得到训练好的特征处理模型;也可是笔记本电脑,平板电脑,台式计算机,移动设备(例如,移动电话,个人数字助理)等各种类型的用户终端,例如手持终端,根据用户在手持终端上输入的样本对象,进行特征处理模型的训练,得到训练好的特征处理模型。
以电子设备实施为服务器为例,图2所示的电子设备200包括:至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。终端200中的各个组件通过总线系统240耦合在一起。可理解,总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Me mory),易失性存储器可以是随机存取存储器(RAM,Random Access Memo ry)。本发明实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中,存储器250能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统251,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块252,用于经由一个或多个(有线或无线)网络接口220到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块253,用于经由一个或多个与用户接口230相关联的输出装置231(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块254,用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本发明实施例提供的基于人工智能的特征处理模型的训练装置可以采用软件方式实现,图2示出了存储在存储器250中的基于人工智能的特征处理模型的训练装置255,其可以是程序和插件等形式的软件,包括以下软件模块:第一获取模块2551、第一组合模块2552、构建模块2553和训练模块2554,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中,本发明实施例提供的基于人工智能的特征处理模型的训练装置可以采用硬件方式实现,作为示例,本发明实施例提供的基于人工智能的特征处理模型的训练装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的基于人工智能的特征处理模型的训练方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(AS IC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Progr ammable Logic Device)、现场可编程门阵列(FPGA,Field-ProgrammableGa te Array)或其他电子元件。
下面将结合本发明实施例提供的基于人工智能的特征处理模型的训练方法通过服务器实施时的示例性应用,说明本发明实施例提供的基于人工智能的特征处理模型的训练方法。
参见图3,图3为本发明实施例提供的特征处理模型的训练方法的一个可选的流程示意图,将结合图3示出的进行说明。
步骤301:服务器基于内容推荐领域中内容推荐数据或内容问答领域中的问答数据,获取样本对象的特征元素,及对应特征元素的至少两个层级元素。
其中,层级元素,用于构建对应特征元素的特征层级结构,特征层级结构对应由上而下的阶梯层级;特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且至少一个第二层级元素的元素信息,用于组合表征第一层级元素的元素信息。
这里,在实际应用中,由特征元素和特征元素所处的特征层级的层级元素构建了对应特征元素的特征层级结构,这里,特征层级结构对应由上而下的阶梯层级,阶梯层级用于指示特征元素及特征元素所归属的特征层级的分布形式,下层级的元素信息归属于相邻上层级的元素信息,从最高层到最底层,自上而下地贯彻执行,形成一系列不同的层次,呈现出一种从上到下的“金字塔”形的阶梯等级。因此,特征层级结构可为“树形结构”的特征树,也可为“金字塔”形的阶梯形式,在一些实施例中,服务器可通过如下方式对特征元素及至少两个层级元素进行组合,得到对应样本对象的组合特征样本:
基于特征元素及至少两个层级元素,确定对应样本对象的目标类型的特征树,特征树包括对应目标类型的特征元素的子节点及用于表征目标类型的特征元素的层级信息的父节点;基于特征树中父节点及子节点的连接关系,生成对应样本对象的组合特征样本。
示例性地,参见图4A-4B,图4A-4B为本发明实施例提供的特征树的结构示意图,如图4A所示,对于歌曲而言,它有演唱者、作词者、作曲者、专辑、歌名等特征层级信息,而在这个特征层级下面,对应的才是具体的特征元素,比如某一首歌曲,它是由罗大佑作词、作曲,歌名是《之乎者也》,收录于《之乎者也》这个专辑,则罗大佑是对应特征层级信息演唱者、作词者、作曲者的特征元素,《之乎者也》是对应特征层级信息专辑、歌名的特征元素。如图4B所示,对于用户而言,用户有年龄、薪资、编号等层级信息,对于薪资而言,它还有第二个层级信息,分税前薪资和税后薪资,最后才是具体的特征元素。
需要说明的是,特征元素隶属于层级元素中,如图4A中,对于“歌曲-演唱者-罗大佑”这一分枝而言,歌曲位于第一层级,演唱者位于第二层级,罗大佑位于第三层级,同时,罗大佑是这一分枝的特征元素。
在实际应用中,区分特征元素的不同层级是非常重要的,比如对于一个同样的名字,它是人名还是地名,是县级市还是地级市等都表达了不同的含义。从这个角度来看,我们平时所提到的样本对象的特征X={x1,x2,…,x3},其实更严谨地来说,应该表示成X={(t1_x1,t2_x1,x1),(t1_x2,x2)…},这里的ti_xj代表了xj这个特征所属于的第i个层级。还以上述的示例为例,假设编号1001的用户税前薪资1000,听了一首歌,歌名是《之乎者也》,作词者和演唱者是罗大佑,则X={(薪资,税前薪资,1000),(编号,1001),(演唱者,罗大佑),(作词者,罗大佑),(歌名,之乎者也)},如此,得到了一个层级化的样本对象。
在一些实施例中,本发明实施例提供的特征处理模型的训练方法可以应用于推荐领域,这里,样本对象即为推荐对象样本,在此应用场景中,服务器可通过如下方式获取样本对象的特征元素,及对应特征元素的至少两个层级元素:
基于内容推荐领域中内容推荐数据,获取第一推荐对象样本的特征元素,及对应第一推荐对象样本的特征元素的至少两个层级元素;其中,第一推荐对象样本的特征元素包括以下至少之一:内容特征、用户特征及交互特征。
在实际实施时,内容特征是与推荐对象相关的文本特征,交互特征是根据用户与推荐对象的交互数据而得的特征,用户特征是用户本身的与推荐对象交互无关的特征。
示例性地,如果推荐领域为新闻推荐领域,则第一推荐对象样本就是一篇篇新闻,其中,新闻的内容特征就是与新闻本身相关的特征,如新闻标题、主题内容、文本信息等;交互特征是指用户对新闻的交互相关的特征,如用户看过什么新闻、看新闻的次数、看新闻的时长、对新闻的评论等;新闻的用户特征是与新闻无关的数据,如用户年龄、性别、城市、搜索记录等。
如果推荐领域为音乐领域,则第一推荐对象样本就是一首首歌曲,其中,歌曲的内容特征是指是与歌曲自身相关的特征,如歌曲的名字、歌词、歌手、风格、音频信息等;交互特征是与歌曲的交互相关的特征,包括但不限于用户听过什么歌、听了多少次、听歌时长、听过的歌曲的音频信息或文本信息等;用户特征是与音乐无关的数据,如用户年龄、性别、编号、薪资等。
在一些实施例中,本发明实施例提供的特征处理模型的训练方法可以应用于问答领域,这里,样本对象即为问答样本,在此应用场景中,服务器可通过如下方式获取样本对象的特征元素,及对应特征元素的至少两个层级元素:
基于内容问答领域中的问答数据,获取问答样本的特征元素,及对应问答样本的特征元素的至少两个层级元素;问答样本的特征元素包括:问题特征及答案特征。
步骤302:对所特征元素及至少两个层级元素进行组合,得到对应样本对象的组合特征样本。
在推荐领域,即样本对象为推荐对象样本,在一些实施例中,服务器可通过如下方式对特征元素及至少两个层级元素进行组合,得到对应样本对象的组合特征样本:
当第一推荐对象样本的特征元素为内容特征时,对第一推荐对象样本的内容特征及用于表征内容特征的层级结构的第一层级特征进行组合,得到第一推荐对象样本的内容组合特征;当第一推荐对象样本的特征元素为用户特征时,对第一推荐对象样本的用户特征及用于表征用户特征对应的层级结构的第二层级特征组合,得到第一推荐对象样本的用户组合特征;当第一推荐对象样本的特征元素为交互特征时,对第一推荐对象样本的交互特征及用于表征交互特征对应的层级结构的第三层级特征组合,得到第一推荐对象样本的交互组合特征。
继续以上述示例进行说明,当推荐领域为新闻推荐领域时,则第一推荐对象样本就是一篇篇新闻,新闻的内容组合特征由内容特征及用于表征内容特征对应的层级结构的第一层级特征组合得到,新闻的交互组合特征由交互特征及用于表征交互特征对应的层级结构的第二层级特征组合得到,用户组合特征由用户特征及于表征交互特征对应的层级结构的第三层级特征组合得到。
当推荐领域为音乐领域时,则第一推荐对象样本就是一首首歌曲,其中,歌曲的内容组合特征由内容特征及用于表征内容特征对应的层级结构的第一层级特征组合得到;歌曲的交互组合特征由交互特征及用于表征交互特征对应的层级结构的第二层级特征组合得到;用户组合特征由用户特征及于表征交互特征对应的层级结构的第三层级特征组合得到。
在问答领域,即样本对象即为问答样本,在一些实施例中,服务器可通过如下方式对特征元素及至少两个层级元素进行组合,得到对应样本对象的组合特征样本:
对问题特征及用于表征问题特征对应的层级结构的第四层级特征进行组合,得到问答样本的问题组合特征;对答案特征及用于表征答案特征对应的层级结构的第五层级特征进行组合,得到问答样本的答案组合特征。
在一些实施例中,服务器可通过如下方式对特征元素及至少两个层级元素进行组合,得到对应样本对象的组合特征样本:
基于特征元素及至少两个层级元素,确定对应样本对象的目标类型的特征树,所特征树包括对应目标类型的特征元素的子节点及用于表征目标类型的特征元素的层级信息的父节点;基于特征树中父节点及子节点的连接关系,生成对应样本对象的组合特征样本。
在一些实施例中,组合特征样本也可为对应样本对象的由至少两种类型的组合特征所构成的特征序列样本,其中,特征序列样本标注有包括至少两个组合向量的目标向量序列;组合特征由特征元素及用于表征特征元素对应的层级结构的层级元素组合得到,组合向量由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到。
步骤303:构建包括至少两种组合特征样本的样本集合。
步骤304:基于样本集合,训练特征处理模型,以使特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量。
其中,特征组合向量包括:对应目标对象的特征元素的特征向量,及用于表征目标对象的特征元素的特征层级结构的层级向量。
在一些实施例中,特征处理模型包括向量转换层及特征映射层,服务器可通过如下方式基于样本集合,训练特征处理模型:
通过向量转换层,对样本集合中的组合特征样本进行向量转换,得到组合特征样本中各个元素对应的向量,组合特征样本标注有目标组合向量;其中,目标组合向量由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到;通过特征映射层,对组合特征样本中各个元素对应的向量进行映射处理,得到组合特征样本对应的特征组合向量;获取目标组合向量与特征组合向量之间的差异,并基于差异更新特征处理模型的模型参数。如此,实现对特征处理模型的训练,特征处理模型包括向量转换层及特征映射层。
接下来对训练得到的特征处理模型的应用进行说明,在一些实施例中,服务器可通过如下方式进行内容推荐:
通过向量转换层,对待推荐对象对应的组合特征进行向量转换,得到组合特征中各个特征对应的向量;通过特征映射层,对组合特征中各个特征对应的向量进行映射处理,得到组合特征对应的映射向量,映射向量包括待推荐对象对应的组合特征对应的组合向量;基于映射向量包括的组合向量,对待推荐对象进行内容推荐。
在一些实施例中,服务器可通过如下方式基于映射向量包括的组合向量,对待推荐对象进行内容推荐:
对组合向量包括的特征向量及层级向量进行拼接,得到对应所述组合向量的拼接向量,并基于拼接向量,对待推荐对象进行内容推荐;
或者,对组合向量包括的特征向量及层级向量进行加权求和,得到对应组合向量的加权求和向量,并基于加权求和向量,对待推荐对象进行内容推荐。
在实际应用中,在进行对象推荐时,需构建相应的预测模型,在一些实施例中,服务器可通过如下方式训练预测模型:
获取第二推荐对象样本,其中,第二推荐对象样本包括第二推荐对象样本的内容组合特征、用户组合特征、交互组合特征中至少两种,第二推荐对象样本标注有对应第二推荐对象样本的目标预测结果;将第二推荐对象样本输入至特征处理模型,得到第二推荐对象样本对应的映射向量,第二推荐对象样本对应的映射向量包括第二推荐对象样本中组合特征对应的组合向量;通过预测模型对第二推荐对象样本对应的映射向量进行分类或回归处理,得到相应的处理结果;获取处理结果与所述目标预测结果之间的差异,并基于差异更新预测模型的模型参数。如此,实现对预测模型的训练。
在一些实施例中,当更新后的特征处理模型应用于问答领域场景时,在完成特征处理模型的训练之后,服务器还可通过如下方式预测答案:
通过向量转换层,对由问题组合特征及答案组合特征所构成的组合特征进行向量转换,得到组合特征中各个特征对应的向量;通过特征映射层,对组合特征中各个特征对应的向量进行映射处理,得到组合特征对应的映射组合向量,映射组合向量包括所述问题组合特征对应的第一组合向量及所述答案组合特征对应的第二组合向量;基于第一组合向量及所述第二组合向量,训练问答模型,使得所述问答模型能够基于输入的问题组合特征输出相应的答案组合特征。
在一些实施例中,服务器可通过如下方式基于第一组合向量及第二组合向量,训练问答模型:
基于第一组合向量,获取与问题组合特征的相似度达到第一相似度阈值的至少一个候选问题组合特征;基于第二组合向量,获取与答案组合特征的相似度达到第二相似度阈值的至少一个候选答案组合特征;基于问题组合特征、至少一个候选问题组合特征、答案组合特征及至少一个候选答案组合特征,构建多个特征问答对;基于构建的多个特征问答对,训练问答模型。
通过上述方式,通过对样本对象的特征元素及对应特征元素的至少两个层级元素进行特征组合,得到对应样本对象的组合特征样本,构建包括至少两种组合特征样本的样本集合,并基于样本集合,训练特征处理模型,以使特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;也即得到由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到的组合向量,得到包括特征元素和层级元素的编码信息,能够丰富对象的特征表示,且保证了对象的唯一性,适用于各种应用场景。
接下来继续以组合特征样本为对应样本对象的由至少两种类型的组合特征所构成的特征序列样本,对本发明实施例提供的特征处理模型的训练方法进行说明,参见图5-6,图5为本发明实施例提供的特征处理模型的结构示意图,如图5所示,本发明实施例提供的特征处理模型包括向量转换层及特征映射层,其中,向量转换层用于对获取的对应样本对象的特征序列样本进行向量转换,得到特征序列样本中各个元素对应的向量,特征映射层用于对特征序列样本中各个元素对应的向量进行映射处理,得到特征序列样本对应的向量序列。图6为本发明实施例提供的特征处理模型的训练方法的一个可选的流程示意图,将结合图5-6进行说明。
步骤401:服务器获取对应样本对象的由至少两种类型的组合特征所构成的特征序列样本。
其中,特征序列样本标注有包括至少两个组合向量的目标向量序列;组合特征由特征元素及用于表征特征元素对应的层级结构的层级元素组合得到,组合向量由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到,对由至少两种类型的组合特征所构成的特征序列样本进行处理,实现了批量化的处理,提高了处理效率。
这里,在实际应用中,对象除了包括特征元素外,通常还包括特征元素对应的层级结构的层级元素,在获取对应样本对象的由至少两种类型的组合特征所构成的特征序列样本之前,服务器还可通过如下方式生成对象的组合特征:
获取对应样本对象的目标类型的特征树,其中,特征树包括对应目标类型的特征元素的子节点及用于表征目标类型的特征元素的层级信息的父节点;基于特征树中父节点及子节点的连接关系,生成对应样本对象的目标类型的组合特征。
在一些实施例中,本发明实施例提供的特征处理模型可以应用于推荐领域,这里,样本对象即为推荐对象样本,在此应用场景中,服务器可通过如下方式获取对应样本对象的由至少两种类型的组合特征所构成的特征序列样本:
获取对应第一推荐对象样本的第一特征序列样本,第一特征序列样本包括第一推荐对象样本的内容组合特征、用户组合特征、交互组合特征中至少两种;其中,内容组合特征由内容特征及用于表征内容特征对应的层级结构的第一层级特征组合得到;用户组合特征由用户特征及用于表征用户特征对应的层级结构的第二层级特征组合得到;交互组合特征由交互特征及用于表征交互特征对应的层级结构的第三层级特征组合得到。
在实际实施时,内容特征是与推荐对象相关的文本特征,交互特征是根据用户与推荐对象的交互数据而得的特征,用户特征是用户本身的与推荐对象交互无关的特征。
示例性地,如果推荐领域为新闻推荐领域,则第一推荐对象样本就是一篇篇新闻,其中,新闻的内容特征就是与新闻本身相关的特征,如新闻标题、主题内容、文本信息等,新闻的内容组合特征由内容特征及用于表征内容特征对应的层级结构的第一层级特征组合得到;交互特征是指用户对新闻的交互相关的特征,如用户看过什么新闻、看新闻的次数、看新闻的时长、对新闻的评论等,新闻的交互组合特征由交互特征及用于表征交互特征对应的层级结构的第二层级特征组合得到;新闻的用户特征是与新闻无关的数据,如用户年龄、性别、城市、搜索记录等,用户组合特征由用户特征及于表征交互特征对应的层级结构的第三层级特征组合得到。
如果推荐领域为音乐领域,则第一推荐对象样本就是一首首歌曲,其中,歌曲的内容特征是指是与歌曲自身相关的特征,如歌曲的名字、歌词、歌手、风格、音频信息等,歌曲的内容组合特征由内容特征及用于表征内容特征对应的层级结构的第一层级特征组合得到;交互特征是与歌曲的交互相关的特征,包括但不限于用户听过什么歌、听了多少次、听歌时长、听过的歌曲的音频信息或文本信息等,歌曲的交互组合特征由交互特征及用于表征交互特征对应的层级结构的第二层级特征组合得到;用户特征是与音乐无关的数据,如用户年龄、性别、编号、薪资等,用户组合特征由用户特征及于表征交互特征对应的层级结构的第三层级特征组合得到。
在一些实施例中,本发明实施例提供的特征处理模型可以应用于问答领域,这里,样本对象即为问答样本,在此应用场景中,服务器可通过如下方式获取对应样本对象的由至少两种类型的组合特征所构成的特征序列样本:
获取对应问答样本的由问题组合特征及答案组合特征所构成的特征序列样本;其中,问题组合特征由问题特征及用于表征问题特征对应的层级结构的第四层级特征组合得到;答案组合特征由答案特征及用于表征答案特征对应的层级结构的第五层级特征组合得到。
步骤402:通过向量转换层,对特征序列样本进行向量转换,得到特征序列样本中各个元素对应的向量。
这里,在实际应用中,对特征序列样本中每一种类型的组合特征中的特征元素及用于表征特征元素对应的层级结构的层级元素进行向量转换处理,得到各个特征元素及对应的层级元素的向量表示。
步骤403:通过特征映射层,对特征序列样本中各个元素对应的向量进行映射处理,得到特征序列样本对应的向量序列。
这里,特征映射层可为全连接层,通过特征映射层,对特征序列样本中各个元素对应的向量进行映射处理,得到特征序列样本对应的向量序列。
步骤404:获取向量序列与目标向量序列之间的差异,并基于所获取的差异更新特征处理模型的模型参数。
在一些实施例中,服务器可通过如下方式基于获取的差异更新特征处理模型的模型参数:
当差异超过差异阈值时,基于获取的差异确定预测模型的误差信号;将确定的误差信号在特征处理模型中反向传播,并在传播的过程中更新各个层的模型参数。如此,实现对特征处理模型的训练。
在一些实施例中,当更新后的特征处理模型应用中推荐领域场景时,服务器可通过如下方式进行内容推荐:
通过向量转换层,对待推荐对象对应的特征序列进行向量转换,得到特征序列中各个特征对应的向量;通过特征映射层,对特征序列中各个特征对应的向量进行映射处理,得到特征序列对应的映射向量序列,映射向量序列包括特征序列中各组合特征对应的组合向量;基于映射向量序列包括的组合向量,对待推荐对象进行内容推荐。
在一些实施例中,服务器可通过如下方式基于映射向量序列包括的组合向量,对待推荐对象进行内容推荐:
分别对映射向量序列中,各组合向量包括的特征向量及层级向量进行拼接,得到由对应各组合向量的拼接向量构成的拼接向量序列;基于拼接向量序列,对待推荐对象进行内容推荐。
在一些实施例中,服务器还可通过如下方式基于映射向量序列包括的组合向量,对待推荐对象进行内容推荐:
分别对映射向量序列中,各组合向量包括的特征向量及层级向量进行加权求和,得到由对应各组合向量的加权求和向量构成的加权求和向量序列;基于加权求和向量序列,对待推荐对象进行内容推荐。
这里,拼接向量序列及加权求和向量序列能够唯一的标识待推荐对象,序列中的向量能够唯一标识相应的特征。
在实际应用中,在进行对象推荐时,需构建相应的预测模型,在一些实施例中,服务器可通过如下方式训练预测模型:
获取对应第二推荐对象样本的第二特征序列样本;其中,第二特征序列样本包括第二推荐对象样本的内容组合特征、用户组合特征、交互组合特征中至少两种,第二特征序列样本标注有对应第二推荐对象样本的目标预测结果;将第二特征序列样本输入至特征处理模型,得到第二特征序列样本对应的映射向量序列,映射向量序列包括第二特征序列样本中各组合特征对应的组合向量;通过预测模型对第二特征序列样本对应的映射向量序列进行分类或回归处理,得到相应的处理结果;获取得到的处理结果与目标预测结果之间的差异,并基于获取的差异更新预测模型的模型参数。如此,实现对预测模型的训练。
参见图7,图7为本发明实施例提供的推荐系统的架构示意图,如图7所示,推荐系统包括特征处理模型和预测模型,在完成对特征处理模型及预测模型的训练之后,首先将待推荐对象的特征序列输入至训练好的特征处理模型中,即可得到特征序列对应的包括用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到的组合向量的映射向量序列;然后,通过预测模型对映射向量序列进行分类或回归处理,得到相应的处理结果。
当预测模型用于对待推荐对象进行分类处理时,得到的处理结果是对待推荐对象是否被用户交互的离散变量预测,也即待推荐对象被用户及交互的定性表示。例如,对于音乐推荐领域,当预测模型的目的在于根据用户听过的历史歌曲,预测用户听的下一首歌曲时,上述待推荐对象的特征序列即为用户和该用户听过歌曲的层级化信息特征,通过特征处理模型及预测模型的处理之后,从曲库中筛选出用户接下来会听的歌曲。又例如,当预测模型的目的在于针对某一歌曲,判断用户会不会听时,上述待推荐对象的特征序列即为用户和该首歌曲的层级化信息特征,通过特征处理模型及预测模型的处理之后,得到预测结果为0或1,其中,0表征用户不会听,1表征用户会听。
当预测模型用于对待推荐对象进行回归处理时,得到的处理结果是对待推荐对象是否被用户交互的连续变量预测,也即待推荐对象被用户及交互的定量表示。例如,对于音乐领域,给定一首歌曲,预测模型的目的在于预测用户停多久时,上述待推荐对象的特征序列即为用户和该首歌曲的层级化信息特征,通过特征处理模型及预测模型的处理之后,得到预测结果为用户听的时长。
在一些实施例中,当更新后的特征处理模型应用于问答领域场景时,在完成特征处理模型的训练之后,服务器还可通过如下方式预测答案:
通过向量转换层,对由问题组合特征及答案组合特征所构成的特征序列进行向量转换,得到特征序列中各个特征对应的向量;通过特征映射层,对特征序列中各个特征对应的向量进行映射处理,得到特征序列对应的映射向量序列,映射向量序列包括所述问题组合特征对应的第一组合向量及所述答案组合特征对应的第二组合向量;基于第一组合向量及第二组合向量,训练问答模型,使得问答模型具备基于输入的问题组合特征输出相应的答案组合特征的能力。
在一些实施例中,服务器可通过如下方式基于第一组合向量及第二组合向量,训练问答模型:
基于第一组合向量,获取与问题组合特征的相似度达到第一相似度阈值的至少一个候选问题组合特征;基于第二组合向量,获取与答案组合特征的相似度达到第二相似度阈值的至少一个候选答案组合特征;基于问题组合特征、至少一个候选问题组合特征、答案组合特征及至少一个候选答案组合特征,构建多个特征问答对;基于构建的多个特征问答对,训练问答模型。
参见图8,图8为本发明实施例提供的问答系统的架构示意图,如图8所示,问答系统包括特征处理模型和问答模型,在完成对特征处理模型及问答模型的训练之后,首先将待回答问题的特征序列输入至训练好的特征处理模型中,即可得到特征序列对应的包括用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到的组合向量的映射向量序列;然后,通过问答模型对映射向量序列进行答案预测,得到相应的答案组合特征。
这里,在实际实施时,基于问题相似度的检索式问答进行问答模型的训练,其中,基于问题相似度的检索式问答主要是通过建立问题信息与答案信息对的知识库来实现的,将用户的问题信息与知识库中的标准问题进行短文本的相似度计算,将知识库中最相似的标准答案作为结果返给用户,其中,问题信息表征由问题特征及用于表征问题特征对应的层级结构的层级特征组合而得到的组合特征,答案信息表征由答案特征及用于表征答案特征对应的层级结构的层级特征组合而得到的组合特征。
通过上述方式,实现特征处理模型的训练,将待处理对象输入至训练好的特征处理模型,得到对应的包含多种组合向量的映射向量序列,其中,组合向量由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到,也即得到包括特征元素和层级元素的编码信息,如此,能够丰富待处理对象的特征表示,且保证了待处理对象的唯一性,适用于各种应用场景。如将得到的待处理对象的映射向量序列输入至推荐系统的预测模型中进行预测,对待处理对象进行内容推荐,可提高推荐的准确度;又如将得到的待处理对象的映射向量序列输入至问答系统的问答模型中进行答案预测,可提高答案预测的准确度。
接下来以将训练得到的特征处理模型应用在推荐系统中进行音乐推荐的场景为例,继续对本发明实施例提供的特征处理模型的应用进行说明,参见图9-10,图9为本发明实施例提供的推荐模型的结构示意图,图10为本发明实施例提供的推荐模型的训练方法的流程示意图,如图9所示,推荐模型包括特征处理模型和预测模型,其中,特征处理模型包括向量转换层及特征映射层,预测模型包括特征提取层及特征分类层,将结合图9-10进行说明。
步骤501:获取对应推荐对象样本的由至少两种类型的组合特征所构成的特征序列样本。
这里,特征序列样本包括推荐对象样本的内容组合特征、用户组合特征、交互组合特征中至少两种,特征序列样本标注有对应推荐对象样本的目标分类结果,如目标分类结果可为0或1,其中,0表征用户不会听,1表征用户会听。
其中,内容组合特征由内容特征及用于表征内容特征对应的层级结构的第一层级特征组合得到;用户组合特征由用户特征及用于表征用户特征对应的层级结构的第二层级特征组合得到;交互组合特征由交互特征及用于表征交互特征对应的层级结构的第三层级特征组合得到。
这里,对于音乐推荐领域,歌曲的内容特征是指是与歌曲自身相关的特征,如歌曲的名字、歌词、歌手、风格、音频信息等,歌曲的内容组合特征由内容特征及用于表征内容特征对应的层级结构的第一层级特征组合得到;交互特征是与歌曲的交互相关的特征,包括但不限于用户听过什么歌、听了多少次、听歌时长、听过的歌曲的音频信息或文本信息等,歌曲的交互组合特征由交互特征及用于表征交互特征对应的层级结构的第二层级特征组合得到;用户特征是与音乐无关的数据,如用户年龄、性别、编号、薪资等,用户组合特征由用户特征及于表征交互特征对应的层级结构的第三层级特征组合得到。
步骤502:通过向量转换层,对推荐对象样本对应的特征序列样本进行向量转换,得到特征序列中各个特征对应的向量。
步骤503:通过特征映射层,对特征序列中各个特征对应的向量进行映射处理,得到特征序列对应的映射向量序列。
其中,映射向量序列包括特征序列中各组合特征对应的组合向量。
步骤504:通过特征提取层,对特征序列对应的映射向量序列进行特征提取,得到对应的分类向量序列。
步骤505:通过特征分类层对对应的分类向量序列进行分类处理,得到相应的分类结果。
步骤506:获取得到的分类结果与目标分类结果之间的差异,并基于获取的差异更新推荐模型的模型参数。
通过上述方式,实现对推荐模型的训练。
在通过训练好的推荐模型对待推荐对象进行分类时,将待推荐对象的特征序列输入训练好的推荐模型中,通过向量转换层,对待推荐对象对应的特征序列进行向量转换,得到待推荐对象的特征序列中各个特征对应的向量;通过特征映射层,对待推荐对象的特征序列中各个特征对应的向量进行映射处理,得到待推荐对象的特征序列对应的映射向量序列;通过预测模型中特征提取层及特征分类层的处理之后,得到相应的分类结果。
示例性地,当针对某一歌曲,判断用户会不会听时,将用户和该首歌曲的特征序列输入至训练好推荐模型中,当经过推荐模型中特征处理模型和预测模型处理之后得到的分类结果为0时,则认为用户不会听这首歌;当分类结果为1时,则认为用户会听这首歌。
接下来对本发明实施例提供的人工智能的特征处理方法进行说明,参见图11,图11为本发明实施例提供的人工智能的特征处理方法的流程示意图,如图11所示,本发明实施例提供的人工智能的特征处理方法包括:
步骤901:获取目标对象的特征元素,及对应特征元素的至少两个层级元素。
这里,目标对象归属于内容推荐领域中或内容问答领域中,层级元素用于构建对应特征元素的特征层级结构,特征层级结构对应由上而下的阶梯层级;特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且至少一个第二层级元素的元素信息,用于组合表征第一层级元素的元素信息。
步骤902:对特征元素及至少两个层级元素进行组合,得到对应目标对象的组合特征。
步骤903:通过特征处理模型的向量转换层,对得到对应目标对象的组合特征进行向量转换,得到目标对象的组合特征中各个元素对应的向量。
步骤904:通过特征处理模型的特征映射层,对目标对象的组合特征中各个元素对应的向量进行映射处理,得到目标对象的组合特征对应的特征组合向量。
其中,特征组合向量包括:对应目标对象的特征元素的特征向量,及用于表征目标对象的特征元素的特征层级结构的层级向量;特征处理模型通过本发明实施例提供的训练方法训练得到。
下面,将说明本发明实施例在一个实际的应用场景中的示例性应用。在实际应用中,在数据挖掘领域,物品(即对象)的属性或特征往往具有层级信息,即对象除了包括特征元素(即特征取值)外,通常还包括特征元素对应的层级结构的层级元素(即特征层级),而在实际应用中,由于每个特征元素可能有不同数量的层级元素,相关技术尚且无法按照固定通用的方式进行层级元素的编码,因此通常仅利用对象的特征元素进行自然语言的理解,而忽略对象的层级元素,使得理解的效果有待进一步提高。
鉴于此,本发明实施例提供一种基于人工智能的特征处理模型的训练方法,在进行特征处理模型的训练过程中,将特征元素和特征元素所处特征层级的层级元素一起编码,得到由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到的特征组合向量或组合向量序列;也就是说,将特征元素与层级元素一同映射到固定维度向量。需要说明的是,上述目的并不是为了将应用场景中的模型(如推荐系统中的预测模型或问答系统中的问答模型)训练得很好以让预测结果很准确,而是能在模型训练过程中,得到特征元素和特征层级的编码信息,因此,本发明实施例提供的特征处理模型也称为预训练模型。
特征处理模型训练完成之后,即可通过该特征处理模型得到对象的特征元素及特征元素所处特征层级的层级元素的编码信息,能够丰富对象的特征表示,且保证了对象的唯一性,适用于各种应用场景。接下来对本发明实施例提供的特征处理模型的训练方法进行说明。
我们的方法主要包括三个方面:特征组合、模型训练和特征应用。
1、特征组合
在进行特征处理模型的训练之前,需构建相应的特征序列样本,这里,仍以上述样本对象X={(薪资,税前薪资,1000),(编号,1001),(演唱者,罗大佑),(作词者,罗大佑),(歌名,之乎者也)}为例进行说明,那么,特征组合如图12所示,图12为本发明实施例提供的特征组合示意图,如图12所示,每个格子代表了需要去学的特征元素或者特征层级信息,可把每一个格子都当成是某种id,然后学出这些id对应的信息。
2、模型训练
参见图13-14,图13-14为本发明实施例提供的特征处理模型的训练框架示意图,当训练样本为组合特征样本时,如图13所示,首先,服务器用于获取目标对象的特征元素,及对应特征元素的至少两个层级元素;其次,对特征元素及至少两个层级元素进行组合,得到对应目标对象的组合特征,其中,层级元素,用于构建对应特征元素的特征层级结构,特征层级结构对应由上而下的阶梯层级;特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且至少一个第二层级元素的元素信息,用于组合表征第一层级元素的元素信息。
然后,对特征元素及所述至少两个层级元素进行组合,得到对应目标对象的组合特征,并通过特征处理模型的向量转换层,对得到对应目标对象的组合特征进行向量转换,得到目标对象的组合特征中各个元素对应的向量;
最后,通过特征处理模型的特征映射层,对目标对象的组合特征中各个元素对应的向量进行映射处理,得到目标对象的组合特征对应的特征组合向量。其中,特征组合向量包括:对应目标对象的特征元素的特征向量,及用于表征目标对象的特征元素的特征层级结构的层级向量。
当训练样本为对应样本对象的由至少两种类型的组合特征所构成的特征序列样本时,如图14所示,首先,服务器获取对应样本对象的由至少两种类型的组合特征所构成的特征序列样本,其中,特征样本标注有包括至少两个组合向量的目标向量序列,其中,组合特征由特征元素及用于表征特征元素对应的层级结构的层级元素组合得到,组合向量由用于表征特征元素的特征向量及用于表征特征元素所处特征层级的层级向量组合得到。
其次,通过向量转换层,对特征序列样本进行向量转换,得到特征序列样本中各个元素对应的向量。
然后,通过特征映射层,对特征序列样本中各个元素对应的向量进行映射处理,得到特征序列样本对应的向量序列
最后,获取向量序列与目标向量序列之间的差异,并基于所获取的差异更新特征处理模型的模型参数。
需要说明的是,在训练过程中,可能会出现特征元素一样的情形,比如一首歌,既有演唱者罗大佑,也有作词者罗大佑,针对这种情形,并不做区分,而是将这两个罗大佑一起输入特征处理模型中进行模型训练。
在特征处理模型训练的过程中,这些向量作为模型参数的一部分,会在大量的对象样本上进行不断调整,从而在模型训练完成后,便可以得到每种特征元素(比如,罗大佑、之乎者也、1000)对应的向量,以及每种特征层级的名字(比如,薪资、演唱者等)对应的向量,这两种向量的维度相同,也具有可比性。通过上述方式,即可将特征元素及特征元素所处特征层级的层级元素一起编码。
3、特征应用
通过上述方式,得到对象的特征元素及特征元素所处特征层级的层级元素编码信息后,特征的应用就清晰很多了。只要是特征元素或特征层级,即可用它的向量来表示,从而可以用到很多下游任务中,包括但不限于:
1)无监督任务
用特征元素对应的向量和特征元素所处特征层级的层级元素对应的向量,来唯一表征一个特征元素,比如(手机,苹果)和(水果,苹果)就是两个不一样的“苹果”,可以将特征元素和层级元素拼接起来,也可以直接相加取平均,然后用这种唯一的向量表示,去寻找相似特征。需要说明的是,在寻找相似特征的过程中,可将相似的特征层级进行特征融合,比如“薪水”可能和“薪资”作为特征层级信息,两者有一定相似性,可以将用户的这两个特征层级进行融合。
2)有监督任务
这里,将特征层级信息也一起输入到模型中,比如在推荐系统中,对歌曲进行特征表示时,如果演唱者和作曲者是同一人,那表示出来的特征也是相同的,但如果通过“演唱者”和“作曲者”这两个层级信息的向量加以区分,一起放到推荐系统的预测模型中进行预测,则能为推荐系统的预测模型模型添加额外的信息,可提高推荐的准确度。
下面继续说明本发明实施例提供的基于人工智能的特征处理模型的训练装置255实施为软件模块的示例性结构,在一些实施例中,如图2和图15所示,图15为本发明实施例提供的基于人工智能的特征处理模型的训练装置的一个可选的结构示意图,存储在存储器250中的基于人工智能的特征处理模型的训练装置255,其中,迁移模型包括预测模型和映射模型,其中,特征处理模型包括向量转换层及特征映射层,其可以是程序和插件等形式的软件,包括以下软件模块:第一获取模块2551、第一组合模块2552、构建模块2553和训练模块2554。
本发明实施例还提供一种基于人工智能的特征处理模型的训练装置,其特征在于,应用于内容推荐领域或内容问答领域,所述装置包括:
第一获取模块2551,用于基于所述内容推荐领域中内容推荐数据或所述内容问答领域中的问答数据,获取样本对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素,用于构建对应所述特征元素的特征层级结构,所述特征层级结构对应由上而下的阶梯层级;
所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
第一组合模块2552,用于对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本;
构建模块2553,用于构建包括至少两种组合特征样本的样本集合;
训练模块2554,用于基于所述样本集合,训练特征处理模型,以使所述特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量。
在一些实施例中,所述特征处理模型包括向量转换层及特征映射层,所述训练模块,还用于通过所述向量转换层,对所述样本集合中的组合特征样本进行向量转换,得到所述组合特征样本中各个元素对应的向量,所述组合特征样本标注有目标组合向量;
其中,所述目标组合向量由用于表征所述特征元素的特征向量及用于表征所述特征元素所处特征层级的层级向量组合得到;
通过所述特征映射层,对所述组合特征样本中各个元素对应的向量进行映射处理,得到所述组合特征样本对应的特征组合向量;
获取所述目标组合向量与所述特征组合向量之间的差异,并基于所述差异更新所述特征处理模型的模型参数。
在一些实施例中,所述第一获取模块,还用于基于所述内容推荐领域中内容推荐数据,获取第一推荐对象样本的特征元素,及对应所述第一推荐对象样本的特征元素的至少两个层级元素;所述第一推荐对象样本的特征元素包括以下至少之一:内容特征、用户特征及交互特征。
在一些实施例中,所述第一组合模块,还用于当所述第一推荐对象样本的特征元素为内容特征时,对所述第一推荐对象样本的内容特征及用于表征所述内容特征的层级结构的第一层级特征进行组合,得到所述第一推荐对象样本的内容组合特征;
当所述第一推荐对象样本的特征元素为用户特征时,对所述第一推荐对象样本的用户特征及用于表征所述用户特征对应的层级结构的第二层级特征组合,得到所述第一推荐对象样本的用户组合特征;
当所述第一推荐对象样本的特征元素为交互特征时,对所述第一推荐对象样本的交互特征及用于表征所述交互特征对应的层级结构的第三层级特征组合,得到所述第一推荐对象样本的交互组合特征。
在一些实施例中,所述特征处理模型包括向量转换层及特征映射层,所述基于所述样本集合,训练特征处理模型之后,所述装置还包括推荐模块,
所述推荐模块,用于通过所述向量转换层,对待推荐对象对应的组合特征进行向量转换,得到所述组合特征中各个特征对应的向量;
通过所述特征映射层,对所述组合特征中各个特征对应的向量进行映射处理,得到所述组合特征对应的映射向量,所述映射向量包括所述待推荐对象对应的组合特征对应的组合向量;
基于所述映射向量包括的组合向量,对所述待推荐对象进行内容推荐。
在一些实施例中,所述推荐模块,还用于对所述组合向量包括的特征向量及层级向量进行拼接,得到对应所述组合向量的拼接向量,并基于所述拼接向量,对所述待推荐对象进行内容推荐;
或者,对所述组合向量包括的特征向量及层级向量进行加权求和,得到对应所述组合向量的加权求和向量,并基于所述加权求和向量,对所述待推荐对象进行内容推荐。
在一些实施例中,所述基于所述样本集合,训练特征处理模型之后,所述装置还包括预测模型训练模块,
所述预测模型训练模块,用于获取第二推荐对象样本,所述第二推荐对象样本包括所述第二推荐对象样本的内容组合特征、用户组合特征、交互组合特征中至少两种,所述第二推荐对象样本标注有对应所述第二推荐对象样本的目标预测结果;
将所述第二推荐对象样本输入至所述特征处理模型,得到所述第二推荐对象样本对应的映射向量,所述第二推荐对象样本对应的映射向量包括所述第二推荐对象样本中组合特征对应的组合向量;
通过预测模型对所述第二推荐对象样本对应的映射向量进行分类或回归处理,得到相应的处理结果;
获取所述处理结果与所述目标预测结果之间的差异,并基于所述差异更新所述预测模型的模型参数。
在一些实施例中,所述第一获取模块,还用于基于所述内容问答领域中的问答数据,获取问答样本的特征元素,及对应所述问答样本的特征元素的至少两个层级元素;所述问答样本的特征元素包括:问题特征及答案特征。
在一些实施例中,所述第一组合模块,还用于对所述问题特征及用于表征所述问题特征对应的层级结构的第四层级特征进行组合,得到所述问答样本的问题组合特征;
对所述答案特征及用于表征所述答案特征对应的层级结构的第五层级特征进行组合,得到所述问答样本的答案组合特征。
在一些实施例中,所述特征处理模型包括向量转换层及特征映射层,所述基于所述样本集合,训练特征处理模型之后,所述装置还包括问答模型训练模块,
所述问答模型训练模块,用于通过所述向量转换层,对由问题组合特征及答案组合特征所构成的组合特征进行向量转换,得到所述组合特征中各个特征对应的向量;
通过所述特征映射层,对所述组合特征中各个特征对应的向量进行映射处理,得到所述组合特征对应的映射组合向量,所述映射组合向量包括所述问题组合特征对应的第一组合向量及所述答案组合特征对应的第二组合向量;
基于所述第一组合向量及所述第二组合向量,训练问答模型,使得所述问答模型能够基于输入的问题组合特征输出相应的答案组合特征。
在一些实施例中,所述问答模型训练模块,用于基于所述第一组合向量,获取与所述问题组合特征的相似度达到第一相似度阈值的至少一个候选问题组合特征;
基于所述第二组合向量,获取与所述答案组合特征的相似度达到第二相似度阈值的至少一个候选答案组合特征;
基于所述问题组合特征、所述至少一个候选问题组合特征、所述答案组合特征及所述至少一个候选答案组合特征,构建多个特征问答对;
基于构建的所述多个特征问答对,训练问答模型。
本发明实施例还提供一种人工智能的特征处理装置16,参见图16,图16为本发明实施例提供的人工智能的特征处理装置16的结构组成图,所述装置包括:
第二获取模块161,用于获取所述内容推荐领域中或所述内容问答领域中的目标对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素用于构建对应所述特征元素的特征层级结构,所述特征层级结构对应由上而下的阶梯层级;
所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
第二组合模块162,用于对所述特征元素及所述至少两个层级元素进行组合,得到对应所述目标对象的组合特征;
转换模块163,用于通过特征处理模型的向量转换层,对得到对应所述目标对象的组合特征进行向量转换,得到所述目标对象的组合特征中各个元素对应的向量;
映射模块164,用于通过所述特征处理模型的特征映射层,对所述目标对象的组合特征中各个元素对应的向量进行映射处理,得到所述目标对象的组合特征对应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量;
所述特征处理模型基于上述方案中所述的训练方法训练得到。
本发明实施例还提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的方法。
本发明实施例还提供一种存储介质,所述存储介质存储有可执行指令,用于引起处理器执行时,实现本发明实施例提供的方法。
在一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EE PROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。

Claims (14)

1.一种基于人工智能的特征处理模型的训练方法,其特征在于,应用于内容推荐领域或内容问答领域,所述方法包括:
基于所述内容推荐领域中内容推荐数据或所述内容问答领域中的问答数据,获取样本对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素,用于构建对应所述特征元素的特征层级结构;所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本;
构建包括至少两种组合特征样本的样本集合,并基于所述样本集合,训练特征处理模型,以使所述特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量;
其中,所述特征处理模型包括向量转换层及特征映射层,所述基于所述样本集合,训练特征处理模型,包括:
通过所述向量转换层,对所述样本集合中的组合特征样本进行向量转换,得到所述组合特征样本中各个元素对应的向量,所述组合特征样本标注有目标组合向量;其中,所述目标组合向量由用于表征所述特征元素的特征向量及用于表征所述特征元素所处特征层级的层级向量组合得到;
通过所述特征映射层,对所述组合特征样本中各个元素对应的向量进行映射处理,得到所述组合特征样本对应的特征组合向量;
获取所述目标组合向量与所述特征组合向量之间的差异,并基于所述差异更新所述特征处理模型的模型参数。
2.如权利要求1所述的方法,其特征在于,所述基于所述内容推荐领域中内容推荐数据或所述内容问答领域中的问答数据,获取样本对象的特征元素,及对应所述特征元素的至少两个层级元素,包括:
基于所述内容推荐领域中内容推荐数据,获取第一推荐对象样本的特征元素,及对应所述第一推荐对象样本的特征元素的至少两个层级元素;所述第一推荐对象样本的特征元素包括以下至少之一:内容特征、用户特征及交互特征。
3.如权利要求2所述的方法,其特征在于,所述对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本,包括:
当所述第一推荐对象样本的特征元素为内容特征时,对所述第一推荐对象样本的内容特征及用于表征所述内容特征的层级结构的第一层级特征进行组合,得到所述第一推荐对象样本的内容组合特征;
当所述第一推荐对象样本的特征元素为用户特征时,对所述第一推荐对象样本的用户特征及用于表征所述用户特征对应的层级结构的第二层级特征组合,得到所述第一推荐对象样本的用户组合特征;
当所述第一推荐对象样本的特征元素为交互特征时,对所述第一推荐对象样本的交互特征及用于表征所述交互特征对应的层级结构的第三层级特征组合,得到所述第一推荐对象样本的交互组合特征。
4.如权利要求3所述的方法,其特征在于,所述基于所述样本集合,训练特征处理模型之后,所述方法还包括:
通过所述向量转换层,对待推荐对象对应的组合特征进行向量转换,得到所述组合特征中各个特征对应的向量;
通过所述特征映射层,对所述组合特征中各个特征对应的向量进行映射处理,得到所述组合特征对应的映射向量,所述映射向量包括所述待推荐对象对应的组合特征对应的组合向量;
基于所述映射向量包括的组合向量,对所述待推荐对象进行内容推荐。
5.如权利要求4所述的方法,其特征在于,所述基于所述映射向量包括的组合向量,对所述待推荐对象进行内容推荐,包括:
对所述组合向量包括的特征向量及层级向量进行拼接,得到对应所述组合向量的拼接向量,并基于所述拼接向量,对所述待推荐对象进行内容推荐;
或者,对所述组合向量包括的特征向量及层级向量进行加权求和,得到对应所述组合向量的加权求和向量,并基于所述加权求和向量,对所述待推荐对象进行内容推荐。
6.如权利要求2所述的方法,其特征在于,所述基于所述样本集合,训练特征处理模型之后,所述方法还包括:
获取第二推荐对象样本,所述第二推荐对象样本包括所述第二推荐对象样本的内容组合特征、用户组合特征、交互组合特征中至少两种,所述第二推荐对象样本标注有对应所述第二推荐对象样本的目标预测结果;
将所述第二推荐对象样本输入至所述特征处理模型,得到所述第二推荐对象样本对应的映射向量,所述第二推荐对象样本对应的映射向量包括所述第二推荐对象样本中组合特征对应的组合向量;
通过预测模型对所述第二推荐对象样本对应的映射向量进行分类或回归处理,得到相应的处理结果;
获取所述处理结果与所述目标预测结果之间的差异,并基于所述差异更新所述预测模型的模型参数。
7.如权利要求1所述的方法,其特征在于,所述基于所述内容推荐领域中内容推荐数据或所述内容问答领域中的问答数据,获取样本对象的特征元素,及对应所述特征元素的至少两个层级元素,包括:
基于所述内容问答领域中的问答数据,获取问答样本的特征元素,及对应所述问答样本的特征元素的至少两个层级元素;所述问答样本的特征元素包括:问题特征及答案特征。
8.如权利要求7所述的方法,其特征在于,所述对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本,包括:
对所述问题特征及用于表征所述问题特征对应的层级结构的第四层级特征进行组合,得到所述问答样本的问题组合特征;
对所述答案特征及用于表征所述答案特征对应的层级结构的第五层级特征进行组合,得到所述问答样本的答案组合特征。
9.如权利要求8所述的方法,其特征在于,所述特征处理模型包括向量转换层及特征映射层,所述基于所述样本集合,训练特征处理模型之后,所述方法还包括:
通过所述向量转换层,对由问题组合特征及答案组合特征所构成的组合特征进行向量转换,得到所述组合特征中各个特征对应的向量;
通过所述特征映射层,对所述组合特征中各个特征对应的向量进行映射处理,得到所述组合特征对应的映射组合向量,所述映射组合向量包括所述问题组合特征对应的第一组合向量及所述答案组合特征对应的第二组合向量;
基于所述第一组合向量及所述第二组合向量,训练问答模型,使得所述问答模型能够基于输入的问题组合特征输出相应的答案组合特征。
10.如权利要求9所述的方法,其特征在于,所述基于所述第一组合向量及所述第二组合向量,训练问答模型,包括:
基于所述第一组合向量,获取与所述问题组合特征的相似度达到第一相似度阈值的至少一个候选问题组合特征;
基于所述第二组合向量,获取与所述答案组合特征的相似度达到第二相似度阈值的至少一个候选答案组合特征;
基于所述问题组合特征、所述至少一个候选问题组合特征、所述答案组合特征及所述至少一个候选答案组合特征,构建多个特征问答对;
基于构建的所述多个特征问答对,训练问答模型。
11.一种人工智能的特征处理方法,其特征在于,应用于内容推荐领域或内容问答领域,所述方法包括:
获取所述内容推荐领域中或所述内容问答领域中的目标对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素用于构建对应所述特征元素的特征层级结构;所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
对所述特征元素及所述至少两个层级元素进行组合,得到对应所述目标对象的组合特征;
通过特征处理模型的向量转换层,对得到对应所述目标对象的组合特征进行向量转换,得到所述目标对象的组合特征中各个元素对应的向量;
通过所述特征处理模型的特征映射层,对所述目标对象的组合特征中各个元素对应的向量进行映射处理,得到所述目标对象的组合特征对应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量;
所述特征处理模型基于权利要求1至10任一项所述的训练方法训练得到。
12.一种基于人工智能的特征处理模型的训练装置,其特征在于,应用于内容推荐领域或内容问答领域,所述装置包括:
第一获取模块,用于基于所述内容推荐领域中内容推荐数据或所述内容问答领域中的问答数据,获取样本对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素,用于构建对应所述特征元素的特征层级结构;所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
第一组合模块,用于对所述特征元素及所述至少两个层级元素进行组合,得到对应所述样本对象的组合特征样本;
构建模块,用于构建包括至少两种组合特征样本的样本集合;
训练模块,用于基于所述样本集合,训练特征处理模型,以使所述特征处理模型能够基于输入的目标对象的组合特征,输出相应的特征组合向量;其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量;
其中,所述特征处理模型包括向量转换层及特征映射层;所述训练模块,还用于:通过所述向量转换层,对所述样本集合中的组合特征样本进行向量转换,得到所述组合特征样本中各个元素对应的向量,所述组合特征样本标注有目标组合向量;其中,所述目标组合向量由用于表征所述特征元素的特征向量及用于表征所述特征元素所处特征层级的层级向量组合得到;通过所述特征映射层,对所述组合特征样本中各个元素对应的向量进行映射处理,得到所述组合特征样本对应的特征组合向量;获取所述目标组合向量与所述特征组合向量之间的差异,并基于所述差异更新所述特征处理模型的模型参数。
13.一种人工智能的特征处理装置,其特征在于,应用于内容推荐领域或内容问答领域,所述装置包括:
第二获取模块,用于获取所述内容推荐领域中或所述内容问答领域中的目标对象的特征元素,及对应所述特征元素的至少两个层级元素;
其中,所述层级元素用于构建对应所述特征元素的特征层级结构;所述特征层级结构中,上层级的第一层级元素映射至相邻下层级的至少一个第二层级元素,且所述至少一个第二层级元素的元素信息,用于组合表征所述第一层级元素的元素信息;
第二组合模块,用于对所述特征元素及所述至少两个层级元素进行组合,得到对应所述目标对象的组合特征;
转换模块,用于通过特征处理模型的向量转换层,对得到对应所述目标对象的组合特征进行向量转换,得到所述目标对象的组合特征中各个元素对应的向量;
映射模块,用于通过所述特征处理模型的特征映射层,对所述目标对象的组合特征中各个元素对应的向量进行映射处理,得到所述目标对象的组合特征对应的特征组合向量;
其中,所述特征组合向量包括:对应所述目标对象的特征元素的特征向量,及用于表征所述目标对象的特征元素的特征层级结构的层级向量;
所述特征处理模型基于权利要求1至10任一项所述的训练方法训练得到。
14.一种存储介质,其特征在于,所述存储介质存储有可执行指令,用于引起处理器执行时,实现权利要求1至11中任一项所述的方法。
CN201911422695.1A 2019-12-31 2019-12-31 基于人工智能的特征处理模型的训练方法及装置 Active CN111143693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911422695.1A CN111143693B (zh) 2019-12-31 2019-12-31 基于人工智能的特征处理模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911422695.1A CN111143693B (zh) 2019-12-31 2019-12-31 基于人工智能的特征处理模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN111143693A CN111143693A (zh) 2020-05-12
CN111143693B true CN111143693B (zh) 2024-04-30

Family

ID=70523071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911422695.1A Active CN111143693B (zh) 2019-12-31 2019-12-31 基于人工智能的特征处理模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN111143693B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989785B (zh) * 2021-04-27 2021-09-07 支付宝(杭州)信息技术有限公司 文本向量的获取方法和装置、文本相似度计算方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760932A (zh) * 2016-02-17 2016-07-13 北京物思创想科技有限公司 数据交换方法、数据交换装置及计算装置
CN106960154A (zh) * 2017-03-30 2017-07-18 兴华永恒(北京)科技有限责任公司 一种基于决策树模型的恶意程序动态识别方法
CN108062573A (zh) * 2017-12-29 2018-05-22 广东欧珀移动通信有限公司 模型训练方法及装置
CN108073568A (zh) * 2016-11-10 2018-05-25 腾讯科技(深圳)有限公司 关键词提取方法和装置
CN108734209A (zh) * 2018-05-16 2018-11-02 上海鹰瞳医疗科技有限公司 基于多图像的特征识别和设备
CN109784288A (zh) * 2019-01-22 2019-05-21 天津师范大学 一种基于判别感知融合的行人再识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760932A (zh) * 2016-02-17 2016-07-13 北京物思创想科技有限公司 数据交换方法、数据交换装置及计算装置
CN108073568A (zh) * 2016-11-10 2018-05-25 腾讯科技(深圳)有限公司 关键词提取方法和装置
CN106960154A (zh) * 2017-03-30 2017-07-18 兴华永恒(北京)科技有限责任公司 一种基于决策树模型的恶意程序动态识别方法
CN108062573A (zh) * 2017-12-29 2018-05-22 广东欧珀移动通信有限公司 模型训练方法及装置
CN108734209A (zh) * 2018-05-16 2018-11-02 上海鹰瞳医疗科技有限公司 基于多图像的特征识别和设备
CN109784288A (zh) * 2019-01-22 2019-05-21 天津师范大学 一种基于判别感知融合的行人再识别方法

Also Published As

Publication number Publication date
CN111143693A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
US20170337261A1 (en) Decision Making and Planning/Prediction System for Human Intention Resolution
CN112749262B (zh) 基于人工智能的问答处理方法、装置、电子设备及存储介质
CN110825956A (zh) 一种信息流推荐方法、装置、计算机设备及存储介质
JP7488871B2 (ja) 対話推薦方法、装置、電子機器、記憶媒体ならびにコンピュータプログラム
CN111914178A (zh) 基于人工智能的信息推荐方法、装置、电子设备及存储介质
CN111026970B (zh) 基于人工智能的迁移模型的训练方法、装置及存储介质
WO2023040516A1 (zh) 一种事件整合方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN112015896A (zh) 基于人工智能的情感分类方法、以及装置
CN114911915A (zh) 一种基于知识图谱的问答搜索方法、系统、设备和介质
CN110377910B (zh) 一种表格描述的处理方法、装置、设备及存储介质
CN113392197A (zh) 问答推理方法、装置、存储介质及电子设备
CN111143693B (zh) 基于人工智能的特征处理模型的训练方法及装置
CN114398556A (zh) 学习内容的推荐方法、装置、设备及存储介质
CN111897955B (zh) 基于编解码的评语生成方法、装置、设备和存储介质
CN112765398A (zh) 一种信息推荐方法、装置及存储介质
CN116974554A (zh) 代码数据处理方法、装置、计算机设备和存储介质
CN116861913A (zh) 基于gpt大模型的立场检测方法及相关设备
CN116662527A (zh) 用于生成学习资源的方法及相关产品
CN114357236A (zh) 音乐推荐方法、装置、电子设备及计算机可读存储介质
CN115129858A (zh) 试题分类模型的训练方法、装置、设备、介质及程序产品
CN114626388A (zh) 意图识别方法、装置、电子设备及存储介质
CN114942981A (zh) 问答查询方法、装置、电子设备及计算机可读存储介质
CN113836932A (zh) 交互方法、装置和系统,以及智能设备
Mabunda An intelligent chatbot for guiding visitors and locating venues
CN112084753A (zh) 一种文档辅助编辑的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant