CN110168535B - 一种信息处理方法及终端、计算机存储介质 - Google Patents

一种信息处理方法及终端、计算机存储介质 Download PDF

Info

Publication number
CN110168535B
CN110168535B CN201780054254.3A CN201780054254A CN110168535B CN 110168535 B CN110168535 B CN 110168535B CN 201780054254 A CN201780054254 A CN 201780054254A CN 110168535 B CN110168535 B CN 110168535B
Authority
CN
China
Prior art keywords
information
slot position
intention
identification
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780054254.3A
Other languages
English (en)
Other versions
CN110168535A (zh
Inventor
李俊岑
林芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN110168535A publication Critical patent/CN110168535A/zh
Application granted granted Critical
Publication of CN110168535B publication Critical patent/CN110168535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

一种信息处理方法及终端、计算机存储介质,其中,所述方法由终端执行,所述终端包括有一个或多个处理器以及存储器,以及一个或一个以上的计算机程序,所述一个或多个处理器被配置为执行所述计算机程序;所述方法包括:采集第一信息(101);对所述第一信息执行意图识别任务,得到意图识别处理结果;根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果(102);根据所述槽位识别处理结果输出目标结果(103)。

Description

一种信息处理方法及终端、计算机存储介质
技术领域
本发明涉及人机交互的处理技术,尤其涉及一种信息处理方法及终端、计算机存储介质。
背景技术
用户在与终端进行人机交互的过程中,需要终端对用户所提出问题作出精准的反馈。比如,终端为手机时,用户以语音形式提出问题“周五上映的电影有哪些?”,手机可以对输入的该语音形式的问题先进行解析,得到文本形式的问题内容,然后,从本地数据库或者网络服务器查询对应该问题的答案。
人机交互的过程中,终端除了手机、还可以是智能音箱、智能电视等等电子设备,以智能音箱为例,如果用户提出问题“我想听周杰伦的某一首歌曲A”,该问题中包含特定的关键词“周杰伦”、“歌曲A”,那么如何查找到符合该问题的答案?采用现有技术,需要在本地数据库或者网络服务器查询大量的信息才可以给出接近的答案,其存在的缺陷是:需要大范围的查询,花费过多时间;查询到的答案不一定是最符合用户需求和可能性最大的反馈信息,准确率不高,从而影响了人机交互整体的效果。
然而,相关技术中,对于上述缺陷,尚无有效解决方案。
发明内容
有鉴于此,本发明实施例提供了一种信息处理方法及终端、计算机存储介质,至少解决了现有技术存在的问题。
本发明实施例的一种信息处理方法,所述方法由终端执行,所述终端包括有一个或多个处理器以及存储器,以及一个或一个以上的计算机程序,所述一个或多个处理器被配置为执行所述计算机程序;所述方法包括:
采集第一信息;
对所述第一信息执行意图识别任务,得到意图识别处理结果;
根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果;
根据所述槽位识别处理结果输出目标结果。
本发明实施例的一种信息处理方法,所述方法由终端执行,所述终端包括有一个或多个处理器以及存储器,以及一个或一个以上的计算机程序,所述一个或多个处理器被配置为执行所述计算机程序;所述方法包括:
采集第一信息;
对所述第一信息执行意图识别任务,得到意图识别处理结果;
对所述第一信息执行意图识别任务,得到槽位识别处理结果;
从所述意图识别处理结果中解析出意图识别参数;
从所述槽位识别处理结果中解析出槽位识别参数;
根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
从所述第一信息中提取出第一特征;
从所述第一信息中提取出第二特征;
根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
根据所述第一目标参数和所述第二目标参数构建第二联合模型。
本发明实施例的一种终端,所述终端包括:
采集单元,配置为采集第一信息;
第一任务执行单元,配置为对所述第一信息执行意图识别任务,得到意图识别处理结果;
第二任务执行单元,配置为根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果;
输出单元,配置为根据所述槽位识别处理结果输出目标结果。
本发明实施例的一种终端,所述终端包括:
采集单元,配置为采集第一信息;
第一任务执行单元,配置为对所述第一信息执行意图识别任务,得到意图识别处理结果;
第二任务执行单元,配置为对所述第一信息执行意图识别任务,得到槽位识别处理结果;
第一解析单元,配置为从所述意图识别处理结果中解析出意图识别参数;
第二解析单元,配置为从所述槽位识别处理结果中解析出槽位识别参数;
第一模型建立单元,配置为根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
第一提取单元,配置为从所述第一信息中提取出第一特征;
第二提取单元,配置为从所述第一信息中提取出第二特征;
第三提取单元,配置为根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
第二模型建立单元,配置为根据所述第一目标参数和所述第二目标参数构建第二联合模型。
本发明实施例的一种终端,所述终端包括:
存储器,用于存储能够在处理器上运行的计算机程序;
处理器,用于运行所述计算机程序时,
执行如上述实施例所述方法的步骤。
本发明实施例的一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述实施例所述方法的步骤。
采用本发明实施例,采集第一信息,对第一信息执行意图识别任务,得到意图识别处理结果,再根据意图识别处理结果执行槽位识别任务,得到槽位识别处理结果,通过这种串行处理机制,能利用意图识别任务和槽位识别任务这两个任务处理结果中特征属性的耦合性,最终根据槽位识别处理结果输出的目标结果。由于利用了串行处理机制能达到耦合性的效果,因此,可以缩小查询的范围,避免浪费过多的时间,对于用户来说,处理过程是透明的,用户只需要输入问题,就可以快捷的得到所要的答案,且答案准确率高,是最符合用户需求和可能性最大的反馈信息,从而提高了人机交互整体的效果。
附图说明
图1为本发明实施例中进行数据交互的各方硬件实体的示意图;
图2为将本发明实施例的方法应用于信息交互场景的示意图;
图3为本发明实施例一方法的实现流程示意图;
图4为本发明实施例中对Query的数据采集与标注的流程图;
图5为本发明实施例中标签标注的示意图;
图6为本发明实施例中对Query的辅助特征提取的流程图;
图7为本发明实施例中提取深层特征的同时将辅助特征映射成了向量并融入到模型中的模型框架示意图;
图8为应用本发明实施例的信息处理系统的示意图;
图9为本发明实施例中终端的硬件组成示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
在下面的详细说明中,陈述了众多的具体细节,以便彻底理解本发明。不过,对于本领域的普通技术人员来说,显然可在没有这些具体细节的情况下实践本发明。
另外,本文中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等,不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。
本发明实施例中的步骤并不一定是按照所描述的步骤顺序进行处理,可以按照需求有选择的将步骤打乱重排,或者删除实施例中的步骤,或者增加实施例中的步骤,本发明实施例中的步骤描述只是可选的顺序组合,并不代表本发明实施例的所有步骤顺序组合,实施例中的步骤顺序不能认为是对本发明的限制。
本发明实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是:当用在本说明书中时,“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本发明实施例的智能终端可以以各种形式来实施。例如,本发明实施例中描述的移动终端可以包括诸如智能音箱、智能电视、移动电话、智能电话、笔记本电脑、数值广播接收器、个人数值助理(PDA,Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP,Portable Media Player)、导航装置等等的移动终端。
图1为本发明实施例中进行数据交互的各方硬件实体的示意图,图1中包括:网络侧的服务器11-1n,终端21-25。终端21-25通过无线或有线方式与网络侧的服务器11-1n进行信息交互。图1中的服务器个数和终端个数仅仅起示意作用,并不限制服务器和终端的具体个数。
图2为本发明实施例信息处理方法应用于信息交互场景的示意图,包括终端31-34和服务器41,在该示意图中,具体的处理逻辑可以在终端侧执行,服务器侧作为信息源使用,终端除了从网络侧的服务器侧得到用于执行具体处理逻辑的信息,还可以从本地得到用于执行具体处理逻辑的信息。智能终端为智能音箱时,终端的处理逻辑10,包括:S1、采集第一信息(包括从本地和服务器侧采集的信息,这里的信息是用于联合模型建立的分析信息,并不是实时获取的需要反馈的信息,如采集由已有的信息A-C用于分析,以建立联合模型,后续对联合模型进行训练后对实时获取的信息F进行反馈);S2、对第一信息执行意图识别任务,得到意图识别处理结果,根据意图识别处理结果执行槽位识别任务,得到槽位识别处理结果,通过串行机制(先执行意图识别任务,得到意图识别处理结果再根据意图识别处理结果执行槽位识别任务,以得到槽位识别处理结果),可以达到利用两个任务中特征属性耦合性的效果;S3、从第一信息中提取出用于联合模型进行深度学习的第一特征(如人为构建的辅助特征)和第二特征(如基于神经网络得到的深层特征);S4、根据第二特征,辅助以第一特征,对联合模型进行训练,当联合模型达到指定目标时停止训练,提取出视为定量的意图识别参数和视为定量的槽位识别参数,需要指出的是,意图识别参数和槽位识别参数在联合模型的训练中是不断变化的,是变量,直至达到指定目标时,可以视为定量。这里,定量的意义是,可以将达到指定目标的意图识别参数和槽位识别参数所构成新的联合模型用于对第二信息的反馈响应;S5、根据该达到指定目标的意图识别参数和槽位识别参数所构成新的联合模型对第二信息进行反馈响应,得到反馈信息。这里,第二信息区别于上述第一信息,第二信息是针对用户实时提出的问题。第一信息包括众多问题的数据,用于建模使用的。
上述图2的例子只是实现本发明实施例的一个系统架构实例,本发明实施例并不限于上述图2所述的系统结构,基于上述图2所述的系统架构,提出本发明方法各个实施例。
本发明实施例的信息处理方法,可以由终端执行,所述终端包括有一个或多个处理器以及存储器,以及一个或一个以上的计算机程序,所述一个或多个处理器被配置为执行所述计算机程序;如图3所示,所述方法包括:包括:采集第一信息(101),比如,用户在人机交互中所提出的众多问题,该问题可以从服务器所提供的数据源中得到。与用户进行人机交互的终端可以是各种客服类、咨询类的聊天对话机器人、智能音箱、智能电视等人工智能(AI,Artificial Intelligence)终端。就AI而言,它是计算机科学的一个分支,根据智能的实质,生产出一种新的能以人类智能相似的方式做出反应的智能机器。涉及AI机器人、语言识别、图像识别、自然语言处理和专家系统等,其应用领域也不断扩大,并不限于本文所提及的智能终端(如智能音箱)。对第一信息执行意图识别任务,得到意图识别处理结果,根据意图识别处理结果执行槽位识别任务,得到槽位识别处理结果(102)。意图识别任务可以称之为分类任务,槽位识别任务可以称之为序列标注任务。意图识别任务和槽位识别的具体执行过程,是将两个任务在一个执行模块中进行处理。先对第一信息执行意图识别任务,得到意图识别处理结果后再根据意图识别处理结果执行槽位识别任务,可以达到利用两个任务处理结果中特征属性耦合性的效果,从而,通过这种串行机制,即:先对第一信息执行意图识别任务,得到意图识别处理结果后再根据意图识别处理结果执行槽位识别任务,可以得到精准的槽位识别处理结果。那么,后续就可以根据该槽位识别处理结果得到精准的目标结果并输出该目标结果。根据槽位识别处理结果输出目标结果(103)。
一实施例中,可以根据意图识别参数和槽位识别参数构建联合模型。意图识别参数和槽位识别参数在联合模型的训练中是不断变化的,是变量。在初始状态,根据意图识别参数和槽位识别参数构建的联合模型可以称之为第一联合模型。对联合模型进行训练直至达到指定目标时,此时,意图识别参数和槽位识别参数可以视为定量。这里,定量的意义是,可以根据达到指定目标的意图识别参数和槽位识别参数所构成新的联合模型,新的联合模型区别于第一联合模型,可以称之为第二联合模型。
将意图识别和槽位识别这两个任务相结合,根据意图识别参数和槽位识别参数构建联合模型的过程中,在同一个模块中进行机器学习的联合学习,以便得到利用串行机制得到二者耦合性效果所建立关联的联合模型。该联合模型的效果(模型的准确率)要比分别采用两个单独模块(如在不同模块中分别执行意图识别和槽位识别任务)的效果好很多。
本发明实施例的信息处理方法,还包括:从所述第一信息中提取出用于所述联合模型进行深度学习的第一特征(104)。第一特征指辅助特征,辅助特征指的是一些人为构建的特征。从所述第一信息中提取出用于所述联合模型进行深度学习的第二特征(105)。第二特征指深层特征,深层特征是根据序列标注模型得到的特征。以搜索音乐类型关键字的智能音箱为例,该序列标注模型可以是循环神经网络(RNN),如果是其他技术领域,非音乐类型的搜索,可以是非RNN的其它模型,只要能否达到该技术领域最佳的关键字匹配为最好,也就是说,本实施例并不局限于RNN,在机器学习的神经网络模型,用于序列标注的模型,都适用于本发明实施例。
本发明实施例的信息处理方法,还包括:根据第二特征和第一特征,对联合模型进行训练(106)。比如,利用RNN模型,配以辅助特征,进行联合模型的训练。当联合模型达到指定目标(该指定目标的目标函数是最符合用户需求和可能性最大的)时,停止训练,提取出第一目标参数和第二目标参数(107)。比如,通过联合学习得到的对应第一参数的目标参数和对应第二参数的目标参数。在实际应用中,联合模型中的第一参数(如意图识别参数)和第二参数(如槽位识别参数)最初是变量,当通过对所述联合模型的机器学习训练,使得联合模型对应目标函数的值达到可能性最大时,停止该训练,将此时的第一参数(如意图识别参数)和第二参数(如槽位识别参数)视为定量,基于该定量就可以得到:针对用户所提出的问题所希望得到的最符合用户需求和可能性最大的反馈信息(问题的答案)。达到第一参数(如意图识别参数)和第二参数(如槽位识别参数)的目标函数为最符合用户需求和可能性最大时停止训练,提取出第一目标参数(通过联合学习得到的对应第一参数的目标参数)和第二目标参数(通过联合学习得到的对应第二参数的目标参数)。获取第二信息(108)。一个示例中,获取第二信息之前的处理,都是基于第一信息这个包括众多问题的数据,比如,通过上述RNN模型,配以辅助特征,进行联合模型的训练所得到的目标参数,目标参数分为针对意图识别的目标参数和针对槽位识别的目标参数。这里,第二信息区别于上述第二信息,是针对用户实时提出的问题。利用已经得到的该目标参数,可以对该第二信息查找到精准的反馈信息。根据第一目标参数和第二目标参数对第二信息进行反馈响应,得到反馈信息(109)。
一实施例中,第一信息和第二信息可以是问题(query):用户的输入。只不过第二信息是实时输入的。槽位(slot):query中某些带有特定属性的实体词,比如,query为“我想听周杰伦的歌”,槽位就是“歌手=周杰伦”。联合模型是将意图识别和槽位识别进行联合学习,用户输入query,则通过终端执行的运算逻辑,得到该query所预期的意图和槽位信息,运算逻辑类似于一个黑盒子,用户只需要输入query即可。一个容易理解的例子是:考虑到query的意图肯定是带有槽位的意图,比如,query是:我想听周杰伦的歌。则将意图识别和槽位识别这2个任务在同一个模块中实现,利用二者的强耦合性进行机器训练,1)对该query“我想听周杰伦的歌”经过槽位识别,可以解析出槽位“歌手=周杰伦”,那么这个query的意图大概率是音乐类。2)对该query“我想听周杰伦的歌”经过意图识别,可以判定其是音乐类意图,那么槽位识别时只需要在音乐类所特有的槽位中进行解析。好处是:可以有效的缩小槽位的候选范围,提高准确性和效率。
就意图和槽位而言,AI中的自然语言理解,涉及从自然语言询问中识别说话者的意图和提取语义构成,这两项任务常被称为意图识别和槽位填充。其中,意图识别(或称意图推测)可以理解为语义表达分类的问题,分类方法有例如支持向量机(SVMs)和深度神经网络。槽位填充可以理解为序列标注任务。序列标注问题的方法包括最大熵马尔可夫模型(MEMMs),条件随机场(CRFs)以及循环神经网络(RNNs)等。
一示例中,针对终端的运算逻辑,大致包括:信息采集;标注(分意图标注和槽位标注);辅助特征提取(人为构建词典);自动特征提取(优选RNN模型算法);利用RNN模型,配以辅助特征,进行联合模型的训练,得到联合模型的目标函数。其中,目标函数是计算可能性的,目标函数中包括不定向的参数(表征意图识别的参数、表征槽位识别的参数),通过对参数的训练和测试,当达到可能性最大时,可以认为此时的参数为定量的(称之为常量)。那么,输入的query(如记为X)作为运算逻辑中的变量,结合常量1(表征意图识别的参数,如记为参数A)和/或结合结合常量2(表征槽位识别的参数,如记为参数B),就可以得到该query所预期的意图和槽位信息(如Y),从而,根据用户输入的query,根据上述处理逻辑,用户不用关心中间的处理过程,就会根据构建的联合模型及其训练结果得到最终的输出结果“该query所预期的意图和槽位信息”。从而,通过构建的信息模型可以缩小查询的范围,避免浪费过多的时间,所构建的信息模型对于用户来说是透明的,用户只需要输入问题,就可以快捷的得到所要的答案,且答案准确率高,是最符合用户需求和可能性最大的反馈信息,从而提高了人机交互整体的效果。
一实施例中,采集第一信息,包括:1)从本地采集所述第一信息,所述第一信息来自于真实人机交互环境中得到的对话内容;2)从网络侧采集所述第一信息,对所述第一信息进行筛选处理,得到目标信息,所述目标信息用于表征接近真实人机交互环境中得到的对话内容。这两种方式可以择一,也可以都采用。采集第一信息后,创建由第一信息和/或目标信息构成的第一信息源。如何创建联合模型及对其进行训练,都需要借助这里的第一信息源中的诸多信息。
为何要创建联合模型?对此,以智能音箱系统为例进行如下的说明。
智能音箱系统能够准确的识别出query的意图和槽位是query分析的关键,也是整个系统的关键模块。如果将意图和槽位识别看做独立的模块,即:将意图和槽位识别任务分别独立到两个不同的模块中处理,忽略了意图和槽位识别可能存在的耦合性。但是,实际应用中,意图和槽位识别有很强的耦合性。意图和槽位识别这两个任务会共用很多特征,同时一个任务的结果对于另外一个任务来说也是一个很强的辅助特征。如果槽位识别出query具有槽位,那么该query的意图肯定是带有槽位的意图。比如“我想听王菲的歌曲A”经过槽位识别,可以解析出槽位“歌手=王菲”及“歌曲=A”,那么这个query的意图大概率是音乐类。同时,“我想听王菲的歌曲A”经过意图识别,可以判定其是音乐类意图,那么槽位识别时只需要在音乐类所特有的槽位中进行解析,可以有效的缩小槽位的候选范围。因此鉴于意图识别和槽位识别的强耦合性,本实施例中可以将这两个任务放在同一模块中,而不是独立到两个不同的模块中。通过创建的联合模型以实现意图和槽位识别的联合学习,由于充分利用了意图和槽位识别的强耦合性,因此,提高了智能音箱系统意图和槽位识别的准确率,从而提升音箱的人机交互整体效果。
采集信息的一个示例中,以终端为智能音箱为例,采集的第一信息,具体是query。query要尽可能的与智能音箱产品中可能出现的query一致。该query来源主要有两部分:1)第一种数据是音箱日志中的query。这部分query都是用户在真实场景下和音箱的对话query,因此,这部分query是最能反映音箱真实场景的query。这部分query是最符合用户需求的,可是,当用户量较小时,用户在真实人机交互环境中得到的对话内容也较小,则这部分query在数据量上无法满足意图和槽位识别模型的训练需求。2)有别于本地音箱日志中的query,第二种数据是从网络侧采集的,网络服务器作为第二种数据的数据提供方。比如,利用一些公众号的日志的query。公众号有很多,而且大部分公众号的运营时间也比较长,数据量是很大的,在数据量上可以满足意图和槽位识别模型的训练需求。因此,可以从公众号中提取出很多query对第一种数据作为补充。由于公众号query涵盖面较广,就智能音箱的技术领域而言,不是所有的公众号query都适合做音箱的query,也就是说,数据量上虽然得到了保证,可是精准度(是否符合用户需求)无法得到保证,需要进一步对公众号的query进行过滤。
对公众号的query进行过滤的一个示例中,首先,依据句子长度(句子中包含字的个数)、句子中是否包含汉字等信息对query进行预过滤,剔除句子长度小于3或句子长度大于30的query,并剔除不包含汉字的句子。其次,利用已有的分类器对这些query进行意图分类。最后,筛选出符合音箱功能类别的query,比如音乐类、天气类和提醒类等。
一实施例中,得到第一种数据及对第二种数据过滤后得到的数据后,将两部分数据中的query混合之后便构成了后续实施例中用于训练联合模型所使用的query数据集,即上述实施例中提及的“第一信息源”。
除了根据上述串行处理机制的任务执行策略对所述第一信息执行意图识别任务和槽位任务,即根据任务的串行处理策略,对所述第一信息先执行所述意图识别任务后再执行所述槽位识别任务。还可以根据任务的并行处理策略,即:对所述第一信息执行所述意图识别时,以并行方式对所述第一信息执行所述槽位识别任务。
本发明实施例的一种信息处理方法,以并行处理机制进行处理的应用场景中,该信息处理方法由终端执行,所述终端包括有一个或多个处理器以及存储器,以及一个或一个以上的计算机程序,所述一个或多个处理器被配置为执行所述计算机程序;所述方法包括:采集第一信息;对所述第一信息执行意图识别任务,得到意图识别处理结果;对所述第一信息执行意图识别任务,得到槽位识别处理结果;从所述意图识别处理结果中解析出意图识别参数;从所述槽位识别处理结果中解析出槽位识别参数;根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;从所述第一信息中提取出第一特征;从所述第一信息中提取出第二特征;根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;根据所述第一目标参数和所述第二目标参数构建第二联合模型。
一实施例中,执行意图识别任务时,可以:从第一信息源中提取出待处理对象(如query),对待处理对象执行用于意图识别的第一数据标注。对第一数据标注结果进行抽样检测,当检测结果的准确率大于第一阈值时确定所述第一标注结果符合目标需求。具体的,可以将两部分query混合之后便构成了query数据集。提取出query数据集之后便开始了数据标注工作。数据标注工作分两步进行,首先,找到外包人员对于query的意图进行标注,或者终端本地进行标注。标注数据分批次下发,每批数据返回之后会进行抽样检测,随机抽取其中的200条,对标注结果进行检测。如果这200条标注数据的标注准确率大于95%,则认定这份数据合格,会给出下一批数据;反之,则这份数据不合格,会让外包人员重新标注这份数据,直到数据的准确率超过95%为止。
一实施例中,执行槽位识别任务时,可以从所述第一信息源中提取出待处理对象(如query),对待处理对象执行用于意图识别的第一数据标注。该标注包括:未经抽样检测得到的标注结果,和/或进行抽样检测后得到符合目标需求的标注结果。根据第一数据标注对所述待处理对象分类后,得到表征不同意图的至少一个分类结果。根据至少一个分类结果执行用于对应槽位识别的第二数据标注,比如,依据query意图分类的结果,对不同的意图的query,按照不同的槽位标准进行标注。对第二数据标注结果进行抽样检测,当检测结果的准确率大于第二阈值时确定所述第二标注结果符合目标需求。
槽位标注的一个示例中,在完成query的意图标注之后进行query的槽位标注。由于不同意图下的query槽位也是不同的,比如:音乐意图的query会具有“歌手名”、“歌曲名”等槽位,但是没有“时间”、“地点”等槽位;而提醒意图的query会具有“时间”、“地点”等槽位,但是不会具有“歌手名”、“歌曲名”等槽位。因此,对于槽位的标注,会依据query意图分类的结果,对不同的意图的query,按照不同的槽位标准进行标注。槽位标注仍然采用分批的方式,找到外包人员对于query的槽位进行标注,或者终端本地进行标注,对于每批query,同样采用抽样检测的方式,检测标注质量,合格率可以为90%,不合格的标注数据需要重新标注。
一个实施例中,Query的数据采集与标注的流程图如图4所示,包括:
步骤301、音响log提取query;
步骤302、公众号log提取query;
步骤303、Query过滤;
步骤302和步骤303与步骤301的顺序不分先后。
步骤304、数据合并;
步骤305、意图标注;
步骤306、槽位标注。
采用本实施例,是将意图和槽位识别在同一个模块中进行处理,二者进行联合学习和训练,以得到根据二者特征属性耦合性得到的联合模型。在这个联合学习和训练的过程中,该方案可以对于query分析,特别是query的意图识别和槽位识别起到明显的促进作用,提升了意图和槽位识别的准确率。该方案的操作十分简单,可以将其看做一个黑箱,只要输入进去一个query,该方法便可以给出这条query的意图和槽位信息。
一实施例中,意图识别过程可以看做是一个分类任务,槽位识别任务可以看做是一个序列标注任务。利用深度学习技术将这两个任务结合起来,进行联合学习。由于意图和槽位模块的任务不同,目标函数也有所差异,导致这两个模块无法直接的拼接起来,在本实施例中,可以有效的将两个模块结合起来,联合模型的效果(模型的准确率)要比两个单独模块的效果好很多。若将意图和槽位识别看做独立的模块分别处理。其中意图识别可以看做是query分类问题。目前槽位解析技术大多采用序列化标注的方式。该方式会给句子中的每个词打上一个标签,标签会表示出该词是否在slot中,然后通过词的标签便可以找出query中的slot,标签方式的一个示意图如图5所示,可见:相比于将意图和槽位识别看做独立的模块分别处理,本实施例充分利用了意图识别和槽位识别之间的耦合性,最终达到意图识别和槽位识别的准确率大大提升的目的。
一实施例中,从第一信息中提取出用于联合模型进行深度学习的第一特征,包括:从所述第一信息源中提取出待处理对象(如,query),为所述待处理对象构建槽位特征词数据库(如槽位特征词表)。对于待处理对象中的指定对象(如,特定query,如歌手名字,歌曲名字等)根据词典匹配的方式与槽位特征词数据库进行比对,查找到指定对象中包含的所有可能的槽位信息。其中,槽位信息用于表征所述第一特征。进一步,从第一信息中提取出用于所述联合模型进行深度学习的第二特征,包括:将查找到的槽位信息以槽位向量的形式来表示,将槽位向量映射到变种的循环神经网络(LSTM)中,与LSTM融合后对所述待处理对象进行深度特征提取,得到第二特征。
特征提取的一个示例中,是对Query的辅助特征进行提取。辅助特征指的是一些人为构建的特征。query的意图识别和槽位识别的方法,可以是用深度学习技术自动的提取query的深度特征,然后进行意图和槽位识别。但是,某些人为提取的辅助特征其实对于query的意图和槽位识别可以起到很重要的作用。辅助特征的提取共分三步。首先,构建槽位的特征词表。这里槽位的特征词表指的是某个槽位对应的词的集合,比如“歌曲名”槽位的特征词表就是所有歌曲名的列表。这个词表的构建方式有两种,其一,利用本地的内部资源构建,如从内部的音乐类应用资料库中获取歌曲名、歌手名、歌曲类型等槽位的词表;其二,利用网络数据构建,如从网上爬取地名,机构名等构建对应的槽位特征词表。其次,对于特定的query,利用词典匹配的方式找到query中包含的所有可能的槽位信息。最后,做槽位信息的表示。就槽位信息的表示而言,槽位信息,可以采用向量表示,具体采用槽位向量的形式。每个字都具有自己的槽位向量。向量的长度为槽位数量的总和,如果query中的一个字是某个槽位特征词表中某个词的字,那么该字的槽位向量中该槽位的值便为1,否则则为0。比如,假设共有两个槽位“歌手名”和“歌曲名”,歌手名和歌曲名的特征词表如表1所示。
歌手名 歌曲名
周杰伦 稻香
林俊杰 江南
刘德华 忘情水
表1
对于query“我想听周杰伦的稻香”,每个字的槽位向量如表2所示。
00 00 00 10 10 10 00 01 01
表2
Query的辅助特征提取的流程图如图6所示,包括:
步骤401、槽位特征词表构建;
步骤402、词典匹配;
步骤403、槽位特征表示。
利用RNN模型,配以辅助特征,进行联合模型的训练。联合模型的目标函数如公式(1)所示。
L=a log p(y|x)+(1-a)log p(l|x) (1)
其中,L表示目标函数,用于描述可能性最大的运算,x表示输入的query,y表示query的意图,l表示query的槽位序列,α表示意图识别的重要系数。α越大表示意图识别在系统中越重要,反之槽位识别在系统中越重要。在query的深层特征提取部分,可以应用LSTM。在提取深层特征的同时,也将辅助特征映射成了向量,融入到了模型中。具体的模型框架如图7所示。如图7所示,先将query中的每次词映射到词向量(Embeding)中。然后利用双向变种的循环神经网络(Bi-LSTM)提取句子的深层特征(Hidden Vector)。之后将辅助特征(Auxiliary Feature)和深层特征相结合。接着,便可以利用联合的特征进行分类了。其一,对于槽位识别,可以利用序列化标注的方式,即给每个词打上一个类别标签。其二,对于意图识别,可以采用分类的方式,即给整个句子打上一个分类的标签,这里,在给整个句子打标签时,是将词的联合特征向量以加和平均的方式组成句子的联合特征向量,然后利用该联合特征向量做分类。之后,便可以利用标注好的数据对该模型进行训练,训练过程主要利用梯度下降的方式更新模型参数,使得上述目标函数实现最大化,从而使得意图和槽位识别的准确率更高,处理效率更快。
进行特征提取,根据特征提取进行联合模型训练后,得到训练好的模型参数,训练好模型参数后,就可以利用该模型对于query做意图和槽位识别了。首先,需要利用已经构建好的槽位特征词表对于query做辅助特征提取,然后将辅助特征和query一同输入到事先训练好的模型中,便可以得到句子意图的概率分布和每个词的槽位标签的概率分布,从中选择概率最大的,便得到了句子的意图和槽位信息了。
采用本实施例,将意图和槽位进行联合学习,能够达到意图和槽位存在判断的高准确率,在实际应用中,意图和槽位的准确率均可达到85%以上。本实施例可以很好的融合到智能音箱的系统中,有效的提升了智能音箱回复的整体效果。本实施例还可以有效的缩减可系统的运行时间,使得智能音箱可以在更短的时间内给做出反应,提高了人机交互整体的处理效率。
本实施例除了应用于智能终端为智能音箱的场景中,还可以应用于人机交互的其它AI领域。对于,智能音箱,仅用了RNN的方式做了句子和词的深度特征提取,对于其它AI领域,还可以用其他的方式,比如,可以利用卷积神经网络(CNN)等其他深度神经网络对句子和词的特征做深层特征提取。
本发明实施中,对于其它AI领域,还可以采用另外一种目标函数,如公式(2)进行模型训练,该方式可以看做是先预测意图,再预测槽位,但是预测槽位时会用到意图的预测结构,这样也可以利用意图和槽位的耦合性,具体的目标函数如下:
L=log p(y|x)+log p(l|x,y) (2)
其中,L表示目标函数,用于描述可能性最大的运算,x表示输入的query,y表示query的意图,l表示query的槽位序列。
本发明实施例的信息处理系统,如图8所示,包括终端51和服务器52,服务器52作为为终端提供信息的信息源。处理逻辑在终端51执行,终端包括:采集单元511,配置为采集第一信息。第一任务执行单元512,配置为对所述第一信息执行意图识别任务,得到意图识别处理结果。第二任务执行单元513,配置为根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果。输出单元514,配置为根据所述槽位识别处理结果输出目标结果。
在一实施方式中,终端还包括:第一解析单元,配置为从所述意图识别处理结果中解析出意图识别参数;第二解析单元,配置为从所述槽位识别处理结果中解析出槽位识别参数;第一模型建立单元,配置为根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;第一提取单元,配置为从所述第一信息中提取出第一特征(如辅助特征);第二提取单元,配置为从所述第一信息中提取出第二特征(如利用RNN得到的深层特征);第三提取单元,配置为根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数,此时,通过联合学习得到的对应第一参数的该第一目标参数和对应第二参数的第二目标参数,可以视为定量;第二模型建立单元,配置为根据所述第一目标参数和所述第二目标参数构建第二联合模型。
在一实施方式中,终端还包括:获取单元,配置为获取第二信息;反馈单元,配置为根据所述第二联合模型对所述第二信息进行反馈响应,得到反馈信息。其中,第二信息区别于上述第一信息,第二信息是针对用户实时提出的问题。第一信息包括众多问题的数据,用于建模使用的。
在一实施方式中,所述采集单元,还配置为:从本地采集所述第一信息,所述第一信息来自于真实人机交互环境中得到的对话内容;和/或,从网络侧采集所述第一信息,对所述第一信息进行筛选处理,得到目标信息,所述目标信息用于表征接近真实人机交互环境中得到的对话内容。
在一实施方式中,终端还包括:创建单元,配置为:所述采集第一信息后,创建由所述第一信息和/或所述目标信息构成的第一信息源。
在一实施方式中,所述第一任务执行单元,还配置为:从所述第一信息源中提取出待处理对象;对所述待处理对象执行用于意图识别的第一数据标注;对第一数据标注结果进行抽样检测,当检测结果的准确率大于第一阈值时确定所述第一标注结果符合目标需求;根据所述第一标注结果对所述待处理对象进行分类,得到表征不同意图的至少一个分类结果,并确定为所述意图识别处理结果。
在一实施方式中,所述第二任务执行单元,还配置为:根据所述至少一个分类结果执行用于对应槽位识别的第二数据标注;对第二数据标注结果进行抽样检测,当检测结果的准确率大于第二阈值时确定所述第二标注结果符合目标需求;将所述第二标注结果确定为所述槽位识别处理结果。
在一实施方式中,所述第一提取单元,还配置为:从所述第一信息源中提取出待处理对象,为所述待处理对象构建槽位特征词数据库;对于所述待处理对象中的指定对象,根据词典匹配的方式与所述槽位特征词数据库进行比对,查找到所述指定对象中包含的所有可能的槽位信息,所述槽位信息用于表征所述第一特征。
在一实施方式中,所述第二提取单元,还配置为:将查找到的所述槽位信息以槽位向量的形式来表示;将槽位向量映射到LSTM中,与所述LSTM融合后对所述待处理对象进行深度特征提取,得到所述第二特征。
本发明实施例的信息处理系统,系统中的终端包括:采集单元,配置为采集第一信息;第一任务执行单元,配置为对所述第一信息执行意图识别任务,得到意图识别处理结果;第二任务执行单元,配置为对所述第一信息执行意图识别任务,得到槽位识别处理结果;第一解析单元,配置为从所述意图识别处理结果中解析出意图识别参数;第二解析单元,配置为从所述槽位识别处理结果中解析出槽位识别参数;第一模型建立单元,配置为根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;第一提取单元,配置为从所述第一信息中提取出第一特征;第二提取单元,配置为从所述第一信息中提取出第二特征;第三提取单元,配置为根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;第二模型建立单元,配置为根据所述第一目标参数和所述第二目标参数构建第二联合模型。
本发明实施例的一种终端,所述终端包括:存储器,用于存储能够在处理器上运行的计算机程序;处理器,用于运行所述计算机程序时,执行:
采集第一信息;
对所述第一信息执行意图识别任务,得到意图识别处理结果;
根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果;
根据所述槽位识别处理结果输出目标结果。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
从所述意图识别处理结果中解析出意图识别参数;
从所述槽位识别处理结果中解析出槽位识别参数;
根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
从所述第一信息中提取出第一特征;
从所述第一信息中提取出第二特征;
根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
根据所述第一目标参数和所述第二目标参数构建第二联合模型。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
获取第二信息;
根据所述第二联合模型对所述第二信息进行反馈响应,得到反馈信息。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
从本地采集所述第一信息,所述第一信息来自于真实人机交互环境中得到的对话内容;
和/或,从网络侧采集所述第一信息,对所述第一信息进行筛选处理,得到目标信息,所述目标信息用于表征接近真实人机交互环境中得到的对话内容。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
所述采集第一信息后,创建由所述第一信息和/或所述目标信息构成的第一信息源。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
从所述第一信息源中提取出待处理对象;
对所述待处理对象执行用于意图识别的第一数据标注;
对第一数据标注结果进行抽样检测,当检测结果的准确率大于第一阈值时确定所述第一标注结果符合目标需求;
根据所述第一标注结果对所述待处理对象进行分类,得到表征不同意图的至少一个分类结果,并确定为所述意图识别处理结果。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
根据所述至少一个分类结果执行用于对应槽位识别的第二数据标注;
对第二数据标注结果进行抽样检测,当检测结果的准确率大于第二阈值时确定所述第二标注结果符合目标需求;
将所述第二标注结果确定为所述槽位识别处理结果。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
从所述第一信息源中提取出待处理对象,为所述待处理对象构建槽位特征词数据库;
对于所述待处理对象中的指定对象,根据词典匹配的方式与所述槽位特征词数据库进行比对,查找到所述指定对象中包含的所有可能的槽位信息,所述槽位信息用于表征所述第一特征。
一实施例中,所述处理器,用于运行所述计算机程序时,还执行:
将查找到的所述槽位信息以槽位向量的形式来表示;
将槽位向量映射到LSTM中,与所述LSTM融合后对所述待处理对象进行深度特征提取,得到所述第二特征。
本发明实施例的一种终端,所述终端包括:存储器,用于存储能够在处理器上运行的计算机程序;处理器,用于运行所述计算机程序时,执行:
采集第一信息;
对所述第一信息执行意图识别任务,得到意图识别处理结果;
对所述第一信息执行意图识别任务,得到槽位识别处理结果;
从所述意图识别处理结果中解析出意图识别参数;
从所述槽位识别处理结果中解析出槽位识别参数;
根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
从所述第一信息中提取出第一特征;
从所述第一信息中提取出第二特征;
根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
根据所述第一目标参数和所述第二目标参数构建第二联合模型。
发明实施例的一种终端,如图9所示,所述终端包括:存储器61,用于存储能够在处理器上运行的计算机程序;处理器62,用于运行所述计算机程序时,执行如上述实施例中信息处理方法的步骤。所述终端还可以包括:外部通信接口63,外部通信接口63用于终端等外设与服务器进行信息交互,具体如,终端从服务器采集第一信息,终端按照任务执行策略(串行处理或并行处理)对所述第一信息执行第一任务(如意图识别任务)和第二任务(如槽位识别任务),由第一参数(如意图识别参数)和第二参数(如槽位识别参数)构建第一联合模型,从所述第一信息中提取出用于所述联合模型进行深度学习的第一特征(如辅助特征),从所述第一信息中提取出用于所述联合模型进行深度学习的第二特征(如深层特征),根据所述第二特征和所述第一特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,提取出由第一目标参数和第二目标参数构成的新联合模型,称之为第二联合模型。获取第二信息,根据所述第一目标参数和所述第二目标参数对所述第二信息进行反馈响应,得到反馈信息。所述终端还可以包括:内部通信接口64,所述内部通信接口64具体可以是PCI总线等总线接口。
这里需要指出的是:以上涉及终端和服务器项的描述,与上述方法描述是类似的,同方法的有益效果描述,不做赘述。对于本发明终端和服务器实施例中未披露的技术细节,请参照本发明方法流程描述的实施例所描述内容。
本发明实施例的一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,该计算机程序配置为被处理器运行时执行:
采集第一信息;
对所述第一信息执行意图识别任务,得到意图识别处理结果;
根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果;
根据所述槽位识别处理结果输出目标结果。
一实施例中,该计算机程序配置为被处理器运行时执行:
从所述意图识别处理结果中解析出意图识别参数;
从所述槽位识别处理结果中解析出槽位识别参数;
根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
从所述第一信息中提取出第一特征;
从所述第一信息中提取出第二特征;
根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
根据所述第一目标参数和所述第二目标参数构建第二联合模型。
一实施例中,该计算机程序配置为被处理器运行时执行:
获取第二信息;
根据所述第二联合模型对所述第二信息进行反馈响应,得到反馈信息。
一实施例中,该计算机程序配置为被处理器运行时执行:
从本地采集所述第一信息,所述第一信息来自于真实人机交互环境中得到的对话内容;
和/或,从网络侧采集所述第一信息,对所述第一信息进行筛选处理,得到目标信息,所述目标信息用于表征接近真实人机交互环境中得到的对话内容。
一实施例中,该计算机程序配置为被处理器运行时执行:
所述采集第一信息后,创建由所述第一信息和/或所述目标信息构成的第一信息源。
一实施例中,该计算机程序配置为被处理器运行时执行:
从所述第一信息源中提取出待处理对象;
对所述待处理对象执行用于意图识别的第一数据标注;
对第一数据标注结果进行抽样检测,当检测结果的准确率大于第一阈值时确定所述第一标注结果符合目标需求;
根据所述第一标注结果对所述待处理对象进行分类,得到表征不同意图的至少一个分类结果,并确定为所述意图识别处理结果。
一实施例中,该计算机程序配置为被处理器运行时执行:
根据所述至少一个分类结果执行用于对应槽位识别的第二数据标注;
对第二数据标注结果进行抽样检测,当检测结果的准确率大于第二阈值时确定所述第二标注结果符合目标需求;
将所述第二标注结果确定为所述槽位识别处理结果。
一实施例中,该计算机程序配置为被处理器运行时执行:
从所述第一信息源中提取出待处理对象,为所述待处理对象构建槽位特征词数据库;
对于所述待处理对象中的指定对象,根据词典匹配的方式与所述槽位特征词数据库进行比对,查找到所述指定对象中包含的所有可能的槽位信息,所述槽位信息用于表征所述第一特征。
一实施例中,该计算机程序配置为被处理器运行时执行:
将查找到的所述槽位信息以槽位向量的形式来表示;
将槽位向量映射到LSTM中,与所述LSTM融合后对所述待处理对象进行深度特征提取,得到所述第二特征。
本发明实施例的一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,该计算机程序配置为被处理器运行时执行:
采集第一信息;
对所述第一信息执行意图识别任务,得到意图识别处理结果;
对所述第一信息执行意图识别任务,得到槽位识别处理结果;
从所述意图识别处理结果中解析出意图识别参数;
从所述槽位识别处理结果中解析出槽位识别参数;
根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
从所述第一信息中提取出第一特征;
从所述第一信息中提取出第二特征;
根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
根据所述第一目标参数和所述第二目标参数构建第二联合模型。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
工业实用性
采用本发明实施例,采集第一信息,对第一信息执行意图识别任务,得到意图识别处理结果,再根据意图识别处理结果执行槽位识别任务,得到槽位识别处理结果,通过这种串行处理机制,能利用意图识别任务和槽位识别任务这两个任务处理结果中特征属性的耦合性,最终根据槽位识别处理结果输出的目标结果。由于利用了串行处理机制能达到耦合性的效果,因此,可以缩小查询的范围,避免浪费过多的时间,对于用户来说,处理过程是透明的,用户只需要输入问题,就可以快捷的得到所要的答案,且答案准确率高,是最符合用户需求和可能性最大的反馈信息,从而提高了人机交互整体的效果。

Claims (16)

1.一种信息处理方法,其特征在于,所述方法由终端执行,所述终端包括有一个或多个处理器以及存储器,以及一个或一个以上的计算机程序,所述一个或多个处理器被配置为执行所述计算机程序;所述方法包括:
采集第一信息;
对所述第一信息执行意图识别任务,得到意图识别处理结果,并从所述意图识别处理结果中解析出意图识别参数;
根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果,并从所述槽位识别处理结果中解析出槽位识别参数;
根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
从所述第一信息中提取出第一特征及第二特征;
根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
根据所述第一目标参数和所述第二目标参数构建第二联合模型;
获取第二信息;
根据所述第二联合模型对第二信息进行反馈响应,得到反馈信息。
2.根据权利要求1所述的方法,其特征在于,所述采集第一信息,包括:
从本地采集所述第一信息,所述第一信息来自于真实人机交互环境中得到的对话内容;
和/或,从网络侧采集所述第一信息,对所述第一信息进行筛选处理,得到目标信息,所述目标信息用于表征接近真实人机交互环境中得到的对话内容。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述采集第一信息后,创建由所述第一信息和/或所述目标信息构成的第一信息源。
4.根据权利要求3所述的方法,其特征在于,对所述第一信息执行意图识别任务,得到意图识别处理结果,包括:
从所述第一信息源中提取出待处理对象;
对所述待处理对象执行用于意图识别的第一数据标注;
对第一数据标注结果进行抽样检测,当检测结果的准确率大于第一阈值时确定所述第一数据 标注结果符合目标需求;
根据所述第一数据 标注结果对所述待处理对象进行分类,得到表征不同意图的至少一个分类结果,并确定为所述意图识别处理结果。
5.根据权利要求4所述的方法,其特征在于,根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果,包括:
根据所述至少一个分类结果执行用于对应槽位识别的第二数据标注;
对第二数据标注结果进行抽样检测,当检测结果的准确率大于第二阈值时确定所述第二数据 标注结果符合目标需求;
将所述第二数据 标注结果确定为所述槽位识别处理结果。
6.根据权利要求3所述的方法,其特征在于,从所述第一信息中提取出第一特征,包括:
从所述第一信息源中提取出待处理对象,为所述待处理对象构建槽位特征词数据库;
对于所述待处理对象中的指定对象,根据词典匹配的方式与所述槽位特征词数据库进行比对,查找到所述指定对象中包含的所有可能的槽位信息,所述槽位信息用于表征所述第一特征。
7.根据权利要求6所述的方法,其特征在于,从所述第一信息中提取出第二特征,包括:
将查找到的所述槽位信息以槽位向量的形式来表示;
将槽位向量映射到变种的循环神经网络中,与所述变种的循环神经网络融合后对所述待处理对象进行深度特征提取,得到所述第二特征。
8.一种终端,其特征在于,所述终端包括:
采集单元,配置为采集第一信息;
第一任务执行单元,配置为对所述第一信息执行意图识别任务,得到意图识别处理结果;
第二任务执行单元,配置为根据所述意图识别处理结果执行槽位识别任务,得到槽位识别处理结果;
第一解析单元,配置为从所述意图识别处理结果中解析出意图识别参数;
第二解析单元,配置为从所述槽位识别处理结果中解析出槽位识别参数;
第一模型建立单元,配置为根据所述意图识别参数和所述槽位识别参数建模,得到表征意图识别和槽位识别特征耦合性的第一联合模型;
第一提取单元,配置为从所述第一信息中提取出第一特征;
第二提取单元,配置为从所述第一信息中提取出第二特征;
第三提取单元,配置为根据所述第一特征和所述第二特征,对所述第一联合模型进行训练,当所述第一联合模型达到指定目标时停止训练,得到表征意图识别的第一目标参数和表征槽位识别的第二目标参数;
第二模型建立单元,配置为根据所述第一目标参数和所述第二目标参数构建第二联合模型;
获取单元,配置为获取第二信息;
反馈单元,配置为根据所述第二联合模型对所述第二信息进行反馈响应,得到反馈信息。
9.根据权利要求8所述的终端,其特征在于,所述采集单元,还配置为:
从本地采集所述第一信息,所述第一信息来自于真实人机交互环境中得到的对话内容;
和/或,从网络侧采集所述第一信息,对所述第一信息进行筛选处理,得到目标信息,所述目标信息用于表征接近真实人机交互环境中得到的对话内容。
10.根据权利要求9所述的终端,其特征在于,所述终端还包括:创建单元,配置为:
所述采集第一信息后,创建由所述第一信息和/或所述目标信息构成的第一信息源。
11.根据权利要求10所述的终端,其特征在于,所述第一任务执行单元,还配置为:
从所述第一信息源中提取出待处理对象;
对所述待处理对象执行用于意图识别的第一数据标注;
对第一数据标注结果进行抽样检测,当检测结果的准确率大于第一阈值时确定所述第一数据 标注结果符合目标需求;
根据所述第一数据 标注结果对所述待处理对象进行分类,得到表征不同意图的至少一个分类结果,并确定为所述意图识别处理结果。
12.根据权利要求11所述的终端,其特征在于,所述第二任务执行单元,还配置为:
根据所述至少一个分类结果执行用于对应槽位识别的第二数据标注;
对第二数据标注结果进行抽样检测,当检测结果的准确率大于第二阈值时确定所述第二数据 标注结果符合目标需求;
将所述第二数据 标注结果确定为所述槽位识别处理结果。
13.根据权利要求10所述的终端,其特征在于,所述第一提取单元,还配置为:
从所述第一信息源中提取出待处理对象,为所述待处理对象构建槽位特征词数据库;
对于所述待处理对象中的指定对象,根据词典匹配的方式与所述槽位特征词数据库进行比对,查找到所述指定对象中包含的所有可能的槽位信息,所述槽位信息用于表征所述第一特征。
14.根据权利要求13所述的终端,其特征在于,所述第二提取单元,还配置为:
将查找到的所述槽位信息以槽位向量的形式来表示;
将槽位向量映射到变种的循环神经网络中,与所述变种的循环神经网络融合后对所述待处理对象进行深度特征提取,得到所述第二特征。
15.一种终端,其特征在于,所述终端包括:
存储器,用于存储能够在处理器上运行的计算机程序;
处理器,用于运行所述计算机程序时,
执行如权利要求1至7任一项所述方法的步骤。
16.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201780054254.3A 2017-10-31 2017-10-31 一种信息处理方法及终端、计算机存储介质 Active CN110168535B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/108720 WO2019084810A1 (zh) 2017-10-31 2017-10-31 一种信息处理方法及终端、计算机存储介质

Publications (2)

Publication Number Publication Date
CN110168535A CN110168535A (zh) 2019-08-23
CN110168535B true CN110168535B (zh) 2021-07-09

Family

ID=66331206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780054254.3A Active CN110168535B (zh) 2017-10-31 2017-10-31 一种信息处理方法及终端、计算机存储介质

Country Status (5)

Country Link
US (2) US11645517B2 (zh)
JP (1) JP6894534B2 (zh)
KR (1) KR102288249B1 (zh)
CN (1) CN110168535B (zh)
WO (1) WO2019084810A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6894534B2 (ja) 2017-10-31 2021-06-30 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 情報処理方法及び端末、コンピュータ記憶媒体
KR102608469B1 (ko) * 2017-12-22 2023-12-01 삼성전자주식회사 자연어 생성 방법 및 장치
CN110347789A (zh) * 2019-06-14 2019-10-18 平安科技(深圳)有限公司 文本意图智能分类方法、装置及计算机可读存储介质
CN110413756B (zh) 2019-07-29 2022-02-15 北京小米智能科技有限公司 自然语言处理的方法、装置及设备
CN110532355B (zh) * 2019-08-27 2022-07-01 华侨大学 一种基于多任务学习的意图与槽位联合识别方法
CN110928995B (zh) * 2019-11-28 2022-12-09 中国建设银行股份有限公司 一种交互信息处理方法、装置、设备及存储介质
CN110929014B (zh) * 2019-12-09 2023-05-23 联想(北京)有限公司 信息处理方法、装置、电子设备及存储介质
US10841251B1 (en) * 2020-02-11 2020-11-17 Moveworks, Inc. Multi-domain chatbot
CN111651988B (zh) * 2020-06-03 2023-05-19 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备以及存储介质
CN113779975B (zh) * 2020-06-10 2024-03-01 北京猎户星空科技有限公司 一种语义识别方法、装置、设备及介质
US11302327B2 (en) * 2020-06-22 2022-04-12 Bank Of America Corporation Priori knowledge, canonical data forms, and preliminary entrentropy reduction for IVR
KR20220046103A (ko) * 2020-10-07 2022-04-14 삼성전자주식회사 전자 장치 및 자연어 이해를 위한 파라미터의 획득 방법
CN112560505A (zh) 2020-12-09 2021-03-26 北京百度网讯科技有限公司 一种对话意图的识别方法、装置、电子设备及存储介质
CN112632987B (zh) * 2020-12-25 2023-08-11 北京百度网讯科技有限公司 词槽的识别方法、装置及电子设备
CN113407698B (zh) * 2021-06-30 2022-08-23 北京百度网讯科技有限公司 意图识别模型的训练与意图识别的方法、装置
KR102507650B1 (ko) * 2021-07-20 2023-03-07 현대모비스 주식회사 머신 러닝 기반 품질데이터 자동 분석 시스템

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1199148C (zh) * 2000-03-14 2005-04-27 索尼公司 语音识别装置、语音识别方法
US9201859B2 (en) * 2011-12-15 2015-12-01 Microsoft Technology Licensing, Llc Suggesting intent frame(s) for user request(s)
CN106239506A (zh) * 2016-08-11 2016-12-21 北京光年无限科技有限公司 智能机器人的多模态输入数据处理方法及机器人操作系统
CN106383875A (zh) * 2016-09-09 2017-02-08 北京百度网讯科技有限公司 基于人工智能的人机交互方法和装置
CN106383872A (zh) * 2016-09-06 2017-02-08 北京百度网讯科技有限公司 基于人工智能的信息处理方法及装置
CN106407178A (zh) * 2016-08-25 2017-02-15 中国科学院计算技术研究所 一种会话摘要生成方法及装置
CN106557461A (zh) * 2016-10-31 2017-04-05 百度在线网络技术(北京)有限公司 基于人工智能的语义解析处理方法和装置
CN107133345A (zh) * 2017-05-22 2017-09-05 北京百度网讯科技有限公司 基于人工智能的交互方法和装置
CN107220235A (zh) * 2017-05-23 2017-09-29 北京百度网讯科技有限公司 基于人工智能的语音识别纠错方法、装置及存储介质
CN107291828A (zh) * 2017-05-27 2017-10-24 北京百度网讯科技有限公司 基于人工智能的口语查询解析方法、装置及存储介质
CN107301227A (zh) * 2017-06-21 2017-10-27 北京百度网讯科技有限公司 基于人工智能的搜索信息解析方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4176228B2 (ja) * 1999-03-15 2008-11-05 株式会社東芝 自然言語対話装置及び自然言語対話方法
IS5369A (is) * 2000-02-08 2001-08-09 Net-Album.Net Net-albúm-Verklag og vinnuferlar við meðhöndlun og geymslu stafrænna skráa í upplýsingakerfum
JP2002007432A (ja) * 2000-06-23 2002-01-11 Ntt Docomo Inc 情報検索システム
US7890526B1 (en) * 2003-12-30 2011-02-15 Microsoft Corporation Incremental query refinement
US7461059B2 (en) * 2005-02-23 2008-12-02 Microsoft Corporation Dynamically updated search results based upon continuously-evolving search query that is based at least in part upon phrase suggestion, search engine uses previous result sets performing additional search tasks
US8055648B2 (en) * 2007-02-01 2011-11-08 The Invention Science Fund I, Llc Managing information related to communication
US20110125764A1 (en) * 2009-11-26 2011-05-26 International Business Machines Corporation Method and system for improved query expansion in faceted search
SG11201402943WA (en) * 2011-12-06 2014-07-30 Perception Partners Inc Text mining analysis and output system
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140289269A1 (en) * 2013-03-22 2014-09-25 Tencent Technology (Shenzhen) Company Limited Method, Device and System for Data Searching
CN104424298B (zh) * 2013-09-02 2018-07-06 联想(北京)有限公司 一种信息推送方法和电子设备
US9886950B2 (en) * 2013-09-08 2018-02-06 Intel Corporation Automatic generation of domain models for virtual personal assistants
JP6235360B2 (ja) * 2014-02-05 2017-11-22 株式会社東芝 発話文収集装置、方法、及びプログラム
CN106663424B (zh) * 2014-03-31 2021-03-05 三菱电机株式会社 意图理解装置以及方法
US9372851B2 (en) * 2014-04-01 2016-06-21 Microsoft Technology Licensing, Llc Creating a calendar event using context
US20150081277A1 (en) * 2014-08-28 2015-03-19 Kambiz Behi System and Method for Automatically Classifying Text using Discourse Analysis
JP2016061954A (ja) * 2014-09-18 2016-04-25 株式会社東芝 対話装置、方法およびプログラム
CN105893345A (zh) * 2016-03-28 2016-08-24 联想(北京)有限公司 一种信息处理方法和电子设备
KR20180077689A (ko) * 2016-12-29 2018-07-09 주식회사 엔씨소프트 자연어 생성 장치 및 방법
GB2559618B (en) * 2017-02-13 2020-07-08 Toshiba Kk A dialogue system, a dialogue method and a method of adapting a dialogue system
US20180330718A1 (en) * 2017-05-11 2018-11-15 Mitsubishi Electric Research Laboratories, Inc. System and Method for End-to-End speech recognition
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning
CN107203265B (zh) * 2017-05-17 2021-01-22 广东美的制冷设备有限公司 信息交互方法和装置
US10817650B2 (en) * 2017-05-19 2020-10-27 Salesforce.Com, Inc. Natural language processing using context specific word vectors
US20190034542A1 (en) * 2017-07-26 2019-01-31 Scripps Networks Interactive, Inc. Intelligent agent system and method of accessing and delivering digital files
JP6894534B2 (ja) 2017-10-31 2021-06-30 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 情報処理方法及び端末、コンピュータ記憶媒体
KR102608469B1 (ko) * 2017-12-22 2023-12-01 삼성전자주식회사 자연어 생성 방법 및 장치

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1199148C (zh) * 2000-03-14 2005-04-27 索尼公司 语音识别装置、语音识别方法
US9201859B2 (en) * 2011-12-15 2015-12-01 Microsoft Technology Licensing, Llc Suggesting intent frame(s) for user request(s)
US9583104B2 (en) * 2011-12-15 2017-02-28 Microsoft Technology Licensing, Llc Suggesting intent frame(s) for user request(s)
CN106239506A (zh) * 2016-08-11 2016-12-21 北京光年无限科技有限公司 智能机器人的多模态输入数据处理方法及机器人操作系统
CN106407178A (zh) * 2016-08-25 2017-02-15 中国科学院计算技术研究所 一种会话摘要生成方法及装置
CN106383872A (zh) * 2016-09-06 2017-02-08 北京百度网讯科技有限公司 基于人工智能的信息处理方法及装置
CN106383875A (zh) * 2016-09-09 2017-02-08 北京百度网讯科技有限公司 基于人工智能的人机交互方法和装置
CN106557461A (zh) * 2016-10-31 2017-04-05 百度在线网络技术(北京)有限公司 基于人工智能的语义解析处理方法和装置
CN107133345A (zh) * 2017-05-22 2017-09-05 北京百度网讯科技有限公司 基于人工智能的交互方法和装置
CN107220235A (zh) * 2017-05-23 2017-09-29 北京百度网讯科技有限公司 基于人工智能的语音识别纠错方法、装置及存储介质
CN107291828A (zh) * 2017-05-27 2017-10-24 北京百度网讯科技有限公司 基于人工智能的口语查询解析方法、装置及存储介质
CN107301227A (zh) * 2017-06-21 2017-10-27 北京百度网讯科技有限公司 基于人工智能的搜索信息解析方法及装置

Also Published As

Publication number Publication date
JP2020521210A (ja) 2020-07-16
US20230237328A1 (en) 2023-07-27
CN110168535A (zh) 2019-08-23
JP6894534B2 (ja) 2021-06-30
US11645517B2 (en) 2023-05-09
US12039447B2 (en) 2024-07-16
KR20200007969A (ko) 2020-01-22
WO2019084810A1 (zh) 2019-05-09
US20200050940A1 (en) 2020-02-13
KR102288249B1 (ko) 2021-08-09

Similar Documents

Publication Publication Date Title
CN110168535B (zh) 一种信息处理方法及终端、计算机存储介质
CN111444428B (zh) 基于人工智能的信息推荐方法、装置、电子设备及存储介质
CN107705066B (zh) 一种商品入库时信息录入方法及电子设备
CN111026842B (zh) 自然语言处理方法、自然语言处理装置及智能问答系统
CN113590850A (zh) 多媒体数据的搜索方法、装置、设备及存储介质
CN107357787B (zh) 语义交互方法、装置及电子设备
Biondi et al. A deep learning semantic approach to emotion recognition using the IBM watson bluemix alchemy language
CN111046656A (zh) 文本处理方法、装置、电子设备及可读存储介质
CN107291840B (zh) 一种用户属性预测模型构建方法和装置
CN110222145A (zh) 一种智能法律评估方法和系统
US20190147104A1 (en) Method and apparatus for constructing artificial intelligence application
CN111078855A (zh) 信息处理方法、装置、电子设备及存储介质
CN110750626A (zh) 一种基于场景的任务驱动的多轮对话方法及系统
CN112286916A (zh) 一种数据处理方法、装置、设备及存储介质
CN114491010A (zh) 信息抽取模型的训练方法及装置
CN116703515A (zh) 基于人工智能的推荐方法、装置、计算机设备及存储介质
CN116010545A (zh) 一种数据处理方法、装置及设备
CN116186257A (zh) 一种基于混合特征对短文本进行分类的方法及系统
CN113378826B (zh) 一种数据处理方法、装置、设备及存储介质
CN114490993A (zh) 小样本意图识别方法、系统、设备及存储介质
CN114186048A (zh) 基于人工智能的问答回复方法、装置、计算机设备及介质
CN113869043A (zh) 内容标注方法、装置、设备及存储介质
CN110826313A (zh) 一种信息提取方法、电子设备及计算机可读存储介质
CN113505889B (zh) 图谱化知识库的处理方法、装置、计算机设备和存储介质
CN113536788B (zh) 信息处理方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant