CN107463601B - 基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质 - Google Patents

基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN107463601B
CN107463601B CN201710443686.5A CN201710443686A CN107463601B CN 107463601 B CN107463601 B CN 107463601B CN 201710443686 A CN201710443686 A CN 201710443686A CN 107463601 B CN107463601 B CN 107463601B
Authority
CN
China
Prior art keywords
understanding system
feedback information
dialogue
model
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710443686.5A
Other languages
English (en)
Other versions
CN107463601A (zh
Inventor
孙珂
赵世奇
于佃海
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710443686.5A priority Critical patent/CN107463601B/zh
Publication of CN107463601A publication Critical patent/CN107463601A/zh
Priority to US16/006,208 priority patent/US11727302B2/en
Application granted granted Critical
Publication of CN107463601B publication Critical patent/CN107463601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/14—Merging, i.e. combining at least two sets of record carriers each arranged in the same ordered sequence to produce a single set having the same ordered sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/027—Frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质。本发明实施例通过获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息，进而根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态，使得能够根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统，无需人工参与训练数据的标注操作，操作简单，而且正确率高，从而提高了对话理解系统构建的效率和可靠性。

Description

基于人工智能的对话理解系统构建方法、装置、设备及计算机 可读存储介质
【技术领域】
本发明涉及人机对话技术，尤其涉及一种基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质。
【背景技术】
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
近年来，“对话即平台(conversation as platform)”的理念日益深入人心。很多互联网产品和行业开始在产品中尝试引入对话式的人机交互方式 (又称对话机器人)，例如家电、金融、医疗等。相应的，开发对话机器人的需求也变得越来越旺盛。
目前，通常可以采用人工标注的训练数据，构建对话机器人所采用的对话理解系统。然后，这种采用人工标注训练数据的构建方式，其操作时间长，而且容易出错，从而导致了对话理解系统构建的效率和可靠性的降低。
【发明内容】
本发明的多个方面提供一种基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质，用以提高对话理解系统构建的效率和可靠性。
本发明的一方面，提供一种基于人工智能的对话理解系统构建方法，包括：
获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息；
根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态；
根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述训练反馈信息包括下列信息中的至少一项：
肯定信息；
否定信息；
纠错信息；
澄清信息；以及
定义信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述训练反馈信息包括主动反馈信息和被动反馈信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息之前，还包括：
获取开发者所提供的对话业务场景的应用场景信息，所述应用场景信息包括意图信息、参数信息和对应的执行动作；
根据所述应用场景信息，构建具有基础业务逻辑的所述基础对话理解系统。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息之后，还包括：
根据所述训练反馈信息，获得所述基础对话理解系统的评估数据；
根据所述评估数据，获得所述基础对话理解系统的满足程度指数。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统之后，还包括：
获取用户与所述模型对话理解系统进行对话业务所提供的用户反馈信息；
根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态；
利用所述模型对话理解系统，基于所述模型对话理解系统的调整状态，执行所述对话业务。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态之后，还包括：
根据所述用户反馈信息和所述模型对话理解系统的调整状态进行数据融合处理，以获得更新训练数据，用于更新所述模型对话理解系统。
本发明的另一方面，提供一种基于人工智能的对话理解系统构建装置，包括：
获取单元，用于获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息；
调整单元，用于根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态；
构建单元，用于根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述训练反馈信息包括下列信息中的至少一项：
肯定信息；
否定信息；
纠错信息；
澄清信息；以及
定义信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述训练反馈信息包括主动反馈信息和被动反馈信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述构建单元，还用于
获取开发者所提供的对话业务场景的应用场景信息，所述应用场景信息包括意图信息、参数信息和对应的执行动作；以及
根据所述应用场景信息，构建具有基础业务逻辑的所述基础对话理解系统。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括评估单元，用于
根据所述训练反馈信息，获得所述基础对话理解系统的评估数据；以及
根据所述评估数据，获得所述基础对话理解系统的满足程度指数。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，
所述获取单元，还用于获取用户与所述模型对话理解系统进行对话业务所提供的用户反馈信息；
所述调整单元，还用于根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态；
所述装置还包括执行单元，用于
利用所述模型对话理解系统，基于所述模型对话理解系统的调整状态，执行所述对话业务。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述构建单元，还用于
根据所述用户反馈信息和所述模型对话理解系统的调整状态进行数据融合处理，以获得更新训练数据，用于更新所述模型对话理解系统。
本发明的另一方面，提供一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述一方面所提供的基于人工智能的对话理解系统构建方法。
本发明的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面所提供的基于人工智能的对话理解系统构建方法。
由上述技术方案可知，本发明实施例通过获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息，进而根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态，使得能够根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统，无需人工参与训练数据的标注操作，操作简单，而且正确率高，从而提高了对话理解系统构建的效率和可靠性。
另外，采用本发明所提供的技术方案，通过将收集用户所提供的训练反馈信息，以及生成模型训练数据的这部分操作独立出来，封装一个功能，并通过定制平台提供给广大开发者，这部分操作既是各个对话业务场景所需要的，又与这些对话业务场景具体的业务逻辑无关，能够有效降低每个开发者各自实现这部分功能的开销。
另外，采用本发明所提供的技术方案，能够有效地提高用户的体验。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于人工智能的对话理解系统构建方法的流程示意图；
图2为本发明另一实施例提供的基于人工智能的对话理解系统构建装置的结构示意图；
图3为本发明另一实施例提供的基于人工智能的对话理解系统构建装置的结构示意图；
图4为本发明另一实施例提供的基于人工智能的对话理解系统构建装置的结构示意图；
图5为适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等) 等。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A 和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明一实施例提供的基于人工智能的对话理解系统构建方法的流程示意图，如图1所示。
101、获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息。
102、根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态。
103、根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统。
需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
这样，通过获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息，进而根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态，使得能够根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统，无需人工参与训练数据的标注操作，操作简单，而且正确率高，从而提高了对话理解系统构建的效率和可靠性。
可选地，在本实施例的一个可能的实现方式中，在101之前，还可以进一步获取开发者所提供的对话业务场景的应用场景信息，所述应用场景信息包括意图信息、参数信息和对应的执行动作，进而，则可以根据所述应用场景信息，构建具有基础业务逻辑的所述基础对话理解系统。
在该实现方式中，开发者仅需要关注与特定对话业务场景相关的对话逻辑即意图和参数，进而，定义该对话业务场景的应用场景信息，所述应用场景信息包括意图信息(intent)、参数信息(slot)和对应的执行动作(action)。
具体来说，可以提供一个可视化的定制页面，以供开发者提供对话业务场景的应用场景信息。
例如，在所提供的可视化的定制页面中可以包含意图的定义框如找车 (intent；find_car)、各项参数的定义框如车(car；red Camero)、车的颜色(color；red)、车的型号(model；Camero)、执行动作的定义框、执行动作的触发规则等输入控件，进一步地，还可以进一步包含答复内容的定义框，以及答复的触发规则的定义框，等等。
在具有基础业务逻辑的所述基础对话理解系统构建完毕之后，则可以作为一个初始的对话理解系统，与用户进行对话业务。此时，用户可以理解为一个人类陪练(Trainer)，双方在对话过程中，采用本发明所提供的技术方案，就可以挖掘出具有训练价值的模型训练数据。
可以理解的是，进行对话业务的双方即基础对话理解系统与Trainer，具有共同的任务和目标。基础对话理解系统的任务是提供自身的对话业务场景的服务，例如，查询天气或订票等，而Trainer的目标则是通过基础对话理解系统，完成服务需求，例如，查询天气或订票等。
在Trainer与基础对话理解系统进行对话业务的过程中，所产生的训练反馈信息可以包括但不限于下列信息中的至少一项：
肯定信息；
否定信息；
纠错信息；
澄清信息；以及
定义信息。
具体来说，所述训练反馈信息包括主动反馈信息和被动反馈信息，本实施例对此不进行特别限定。
所谓的主动反馈信息，是指由Trainer所发起的反馈内容。
具体来说，可以为对语音识别结果的纠正、对意图识别结果的纠正、对参数的类型或参数的值的纠正或补充、对执行结果的纠正或补充、对语音识别结果、意图识别结果、参数和执行结果的肯定或否定、以及上述任一方面的组合，或者还可以为新增某条意图、参数、执行动作以及执行动作的触发规则，或者还可以为其他补充数据，本实施例对此不进行特别限定。
所谓的被动反馈信息，是指向Trainer发起询问，然后，由Trainer进行答复。
具体来说，可以包括开放式询问和选择式询问两种询问，可以为对语音识别结果的询问、对意图识别结果的询问、对参数的类型或参数的值的询问、对执行结果的询问、以及上述任一方面的组合，或者还可以对缺失数据的询问，或者还可以为对同义问题的询问，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，在101之后，还可以进一步根据所述训练反馈信息，获得所述基础对话理解系统的评估数据，进而，则可以根据所述评估数据，获得所述基础对话理解系统的满足程度指数。
可以理解的是，还可以采用类似的方法，基于所获取的用户反馈信息，进而获得模型对话理解系统的满足程度参数。
为使得本发明实施例提供的方法更加清楚，下面将以两种中能够类型的训练反馈信息作为举例，一种类型为主动反馈信息，另一种类型为被动反馈信息。可以采用一个调整系统，执行本发明所提供的方法，该调整系统具体可以借助一个机器人来实现，这里称为工程师机器人，取名为Bernard。在下面的例子中，U，代表人类陪练即Trainer；B，代表业务机器人即基础对话理解系统；Bernard，代表工程师机器人即调整系统，业务机器人与工程师机器人共同协作，可以实现本发明所提出的一种双机器人协作学习机制，可以简称为DUAL-BOT机制。
第一类型、主动反馈信息的举例如下所示：
a、对语音识别结果的纠正
Figure BDA0001320663570000101
Figure BDA0001320663570000111
b、对意图识别结果的纠正
Figure BDA0001320663570000112
c、对参数的类型或参数的值的纠正或补充
Figure BDA0001320663570000113
d、对执行结果的纠正或补充
Figure BDA0001320663570000114
Figure BDA0001320663570000121
e、对语音识别结果、意图识别结果、参数和执行结果的肯定或否定
Figure BDA0001320663570000122
f、上述任一方面的组合
Figure BDA0001320663570000123
g、新增某条意图、参数、执行动作以及执行动作的触发规则
Figure BDA0001320663570000124
Figure BDA0001320663570000131
h、其他补充数据
Figure BDA0001320663570000132
第二类型、被动反馈信息的举例如下所示：
a、为对语音识别结果的询问
Figure BDA0001320663570000133
b、对意图识别结果的询问
Figure BDA0001320663570000134
c、对参数的类型或参数的值的询问
Figure BDA0001320663570000141
d、对执行结果的询问
Figure BDA0001320663570000142
e、对缺失数据的询问
Figure BDA0001320663570000143
f、对同义问题的询问
Figure BDA0001320663570000144
Bernard响应上述两种类型的训练反馈信息的操作之后，可以依次执行本发明所提供的技术方案即101～103。具体来说，在获取了用户与基础对话理解系统进行对话业务所提供的训练反馈信息之后，Bernard可以根据Trainer 所提供的训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态，并利用对话理解系统，基于调整之后的调整状态，重新执行对话业务。在获得所述基础对话理解系统的调整状态之后，Bernard可以将用户的训练反馈信息与基础对话理解系统的调整状态进行数据融合，得到一条正确的标注数据，以作为模型训练数据。进一步地，Bernard还可以进一步将所获得的模型训练数据存储到反馈标注区域，以供根据需要采用这些模型训练数据重新优化所述基础对话理解系统。
进一步地，Bernard还可以进一步将Bernard的对上述两种类型的训练反馈信息的一次响应记录为基础对话理解系统的一个实例，并在积累了多轮对话之后，统计基础对话理解系统的被Bernard干预的次数，从而得出基础对话理解系统对对话业务的满足程度指数。
可以理解的是，此处所需要的Trainer的角色，可以是开发者雇佣的专业“机器人培训师”，或者还可以由开发者的产品最终面对的“终端用户”充当，两种Trainer的角色最终都会通过DUAL-BOT机制与整体Trainer机制的效果优化流程结合，并最终达到持续优化对话理解系统即基础对话理解系统或模型对话理解系统的目标。
其中，利用反馈训练数据所进行的基础对话理解系统的优化过程，可以理解为模型对话理解系统的构建过程。在构建完毕模型对话理解系统之后，利用用户训练数据所进行的模型对话理解系统的优化过程，则可以进行模型对话理解系统的优化操作。
这里的用户反馈信息与训练反馈信息，均可以认为是Trainer的角色所提供的反馈内容，区别仅在于所提供的时间不同，用户反馈信息所提供的时间是模型对话理解系统上线之后在线上的普通用户的使用过程中，训练反馈信息所提供的时间是模型对话理解系统没有线之前在线下的特定用户使用过程中。
可选地，在本实施例的一个可能的实现方式中，在103之后，还可以进一步利用所构建的模型对话理解系统，进行对话业务。
具体来说，具体可以获取用户与所述模型对话理解系统进行对话业务所提供的用户反馈信息，进而，则可以根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态。然后，则可以利用所述模型对话理解系统，基于所述模型对话理解系统的调整状态，执行所述对话业务。
这样，本发明提供了一种容错与纠错机制，通过采集用户的用户反馈信息，进而基于该用户反馈信息，及时调整模型对话理解系统的业务状态，使得能够实时地调整模型对话理解系统的理解能力，从而有效地提高了对话的可靠性。
在该实现方式中，可以参考基础对话理解系统的相关内容，进一步进行模型对话理解系统的优化操作。具体来说，具体可以根据所述用户反馈信息和所述模型对话理解系统的调整状态进行数据融合处理，以获得更新训练数据，用于更新所述模型对话理解系统。
本发明提出了一种面向任务的对话理解系统的对话式定制与学习机制，可以称为Trainer机制，并在此基础上定义了一种“双机器人协作学习机制”，以保证该Trainer机制能够顺利实现。与目前的对话理解系统的构建方法相比，本发明所提出来的构建方法具有以下优势：
A、训练数据收集：通过对话式定制与学习机制，可以有效地降低训练数据标注的门槛，将人类标注者的工作目标从直接、生硬的标注，转变为与业务机器人和工程师机器人所构成的DUAL-BOT共同完成既定的业务场景目标，从而使得更多人可以参与到构建对话理解系统所需要的训练数据的贡献中来，有效提高训练数据的收集效率。
B、对话容错与调整机制：通过设计DUAL-BOT机制，将反馈与纠错的对话理解能力从业务机器人的正常逻辑中剥离、抽象出来，由工程师机器人—Bernard来承担，可以让DUAL-BOT机制的提供者更集中于优化Bernard 的功能，从而提供更加完善的容错与纠错机制；同时也可以让开发者更专注于业务机器人自身的对话理解能力的完善，从而实现双赢。
C、对线上用户所提供的用户反馈信息的有效使用：DUAL-BOT机制有助于对话理解系统的定制平台及其开发者共同为线上用户提供一套功能更加完善的对话机器人即业务机器人与工程师机器人所组成的完整系统，通过 Bernard对线上用户的用户反馈信息的采集与精炼，可以实现将线上用户与对话机器人的真实对话直接转化为真实的训练数据，跳过后台人工对用户数据的二次加工，从而大幅度降低转化成本，实现模型对线上用户反馈的直接学习，最终更加高效地利用线上用户数据。
本发明所提出的调整系统，又可以称为工程师机器人Bernard，是本发明原创的一个用于专门处理用户的反馈信息的通用系统级机器人，其可以执行本发明所提供的方法，其内置了大量对用户的反馈信息的通用理解能力以及处理方案，通过将收集用户所提供的反馈信息即训练反馈信息和用户反馈信息，以及生成/更新模型训练数据的这部分操作独立出来，封装一个功能，并通过定制平台提供给广大开发者，这部分操作既是各个对话业务场景所需要的，又与这些对话业务场景具体的业务逻辑无关，能够有效降低每个开发者各自实现这部分功能的开销。
本实施例中，通过获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息，进而根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态，使得能够根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统，无需人工参与训练数据的标注操作，操作简单，而且正确率高，从而提高了对话理解系统构建的效率和可靠性。
另外，采用本发明所提供的技术方案，通过将收集用户所提供的训练反馈信息，以及生成模型训练数据的这部分操作独立出来，封装一个功能，并通过定制平台提供给广大开发者，这部分操作既是各个对话业务场景所需要的，又与这些对话业务场景具体的业务逻辑无关，能够有效降低每个开发者各自实现这部分功能的开销。
另外，采用本发明所提供的技术方案，能够有效地提高用户的体验。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图2为本发明另一实施例提供的基于人工智能的对话理解系统构建装置的结构示意图，如图2所示。本实施例的基于人工智能的对话理解系统构建装置可以包括获取单元21、调整单元22和构建单元23。其中，获取单元21，用于获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息；调整单元22，用于根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态；构建单元23，用于根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统。
需要说明的是，本实施例所提供的基于人工智能的对话理解系统构建装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK) 等功能单元，或者还可以为位于网络侧服务器中的搜索引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，所述训练反馈信息可以包括但不限于下列信息中的至少一项：
肯定信息；
否定信息；
纠错信息；
澄清信息；以及
定义信息。
具体来说，所述训练反馈信息包括主动反馈信息和被动反馈信息，本实施例对此不进行特别限定。
所谓的主动反馈信息，是指由Trainer所发起的反馈内容。
具体来说，可以为对语音识别结果的纠正、对意图识别结果的纠正、对参数的类型或参数的值的纠正或补充、对执行结果的纠正或补充、对语音识别结果、意图识别结果、参数和执行结果的肯定或否定、以及上述任一方面的组合，或者还可以为新增某条意图、参数、执行动作以及执行动作的触发规则，或者还可以为其他补充数据，本实施例对此不进行特别限定。
所谓的被动反馈信息，是指向Trainer发起询问，然后，由Trainer进行答复。
具体来说，可以包括开放式询问和选择式询问两种询问，可以为对语音识别结果的询问、对意图识别结果的询问、对参数的类型或参数的值的询问、对执行结果的询问、以及上述任一方面的组合，或者还可以对缺失数据的询问，或者还可以为对同义问题的询问，本实施例对此不进行特别限定。
可选地，在本实施例的一个可能的实现方式中，所述构建单元23，还可以进一步用于获取开发者所提供的对话业务场景的应用场景信息，所述应用场景信息包括意图信息、参数信息和对应的执行动作；以及根据所述应用场景信息，构建具有基础业务逻辑的所述基础对话理解系统。
可选地，在本实施例的一个可能的实现方式中，如图3所示，本实施例所提供的基于人工智能的对话理解系统构建装置还可以进一步包括评估单元31，可以用于根据所述训练反馈信息，获得所述基础对话理解系统的评估数据；以及根据所述评估数据，获得所述基础对话理解系统的满足程度指数。
可选地，在本实施例的一个可能的实现方式中，如图4所示，本实施例所提供的基于人工智能的对话理解系统构建装置还可以进一步包括执行单元 41。其中，
所述获取单元21，还可以进一步用于获取用户与所述模型对话理解系统进行对话业务所提供的用户反馈信息；
所述调整单元22，还可以进一步用于根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态；
所述执行单元41，可以用于利用所述模型对话理解系统，基于所述模型对话理解系统的调整状态，执行所述对话业务。
在该实现方式中，所述构建单元23，还可以进一步用于根据所述用户反馈信息和所述模型对话理解系统的调整状态进行数据融合处理，以获得更新训练数据，用于更新所述模型对话理解系统。
需要说明的是，图1对应的实施例中方法，可以由本实施例提供的基于人工智能的对话理解系统构建装置实现。详细描述可以参见图1对应的实施例中的相关内容，此处不再赘述。
本实施例中，通过获取单元获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息，进而由调整单元根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态，使得构建单元能够根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统，无需人工参与训练数据的标注操作，操作简单，而且正确率高，从而提高了对话理解系统构建的效率和可靠性。
另外，采用本发明所提供的技术方案，通过将收集用户所提供的训练反馈信息，以及生成模型训练数据的这部分操作独立出来，封装一个功能，并通过定制平台提供给广大开发者，这部分操作既是各个对话业务场景所需要的，又与这些对话业务场景具体的业务逻辑无关，能够有效降低每个开发者各自实现这部分功能的开销。
另外，采用本发明所提供的技术方案，能够有效地提高用户的体验。
图5示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12 的框图。图5显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元 16，存储装置或者系统存储器28，连接不同系统组件(包括系统存储器28 和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个) 程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等) 通信。这种通信可以通过输入/输出(I/O)接口44进行。并且，计算机系统/ 服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所对应的实施例所提供的基于人工智能的对话理解系统构建方法。
本发明另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图1所对应的实施例所提供的基于人工智能的对话理解系统构建方法。
具体来说，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如 Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN) 或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种基于人工智能的对话理解系统构建方法，其特征在于，包括：
获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息；
根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态；
根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统；
所述获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息之前，还包括：
获取开发者所提供的对话业务场景的应用场景信息，所述应用场景信息包括意图信息、参数信息和对应的执行动作；
根据所述应用场景信息，构建具有基础业务逻辑的所述基础对话理解系统。
2.根据权利要求1所述的方法，其特征在于，所述训练反馈信息包括下列信息中的至少一项：
肯定信息；
否定信息；
纠错信息；
澄清信息；以及
定义信息。
3.根据权利要求1所述的方法，其特征在于，所述训练反馈信息包括主动反馈信息和被动反馈信息。
4.根据权利要求1所述的方法，其特征在于，所述获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息之后，还包括：
根据所述训练反馈信息，获得所述基础对话理解系统的评估数据；
根据所述评估数据，获得所述基础对话理解系统的满足程度指数。
5.根据权利要求1～4任一权利要求所述的方法，其特征在于，所述根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统之后，还包括：
获取用户与所述模型对话理解系统进行对话业务所提供的用户反馈信息；
根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态；
利用所述模型对话理解系统，基于所述模型对话理解系统的调整状态，执行所述对话业务。
6.根据权利要求5所述的方法，其特征在于，所述根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态之后，还包括：
根据所述用户反馈信息和所述模型对话理解系统的调整状态进行数据融合处理，以获得更新训练数据，用于更新所述模型对话理解系统。
7.一种基于人工智能的对话理解系统构建装置，其特征在于，包括：
获取单元，用于获取用户与基础对话理解系统进行对话业务所提供的训练反馈信息；
调整单元，用于根据所述训练反馈信息，对所述基础对话理解系统的业务状态进行调整处理，以获得所述基础对话理解系统的调整状态；
构建单元，用于根据所述训练反馈信息和所述基础对话理解系统的调整状态进行数据融合处理，以获得模型训练数据，用于构建模型对话理解系统；
所述构建单元，还用于
获取开发者所提供的对话业务场景的应用场景信息，所述应用场景信息包括意图信息、参数信息和对应的执行动作；以及
根据所述应用场景信息，构建具有基础业务逻辑的所述基础对话理解系统。
8.根据权利要求7所述的装置，其特征在于，所述训练反馈信息包括下列信息中的至少一项：
肯定信息；
否定信息；
纠错信息；
澄清信息；以及
定义信息。
9.根据权利要求7所述的装置，其特征在于，所述训练反馈信息包括主动反馈信息和被动反馈信息。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括评估单元，用于
根据所述训练反馈信息，获得所述基础对话理解系统的评估数据；以及
根据所述评估数据，获得所述基础对话理解系统的满足程度指数。
11.根据权利要求7～10任一权利要求所述的装置，其特征在于，
所述获取单元，还用于获取用户与所述模型对话理解系统进行对话业务所提供的用户反馈信息；
所述调整单元，还用于根据所述用户反馈信息，对所述模型对话理解系统的业务状态进行调整处理，以获得所述模型对话理解系统的调整状态；
所述装置还包括执行单元，用于
利用所述模型对话理解系统，基于所述模型对话理解系统的调整状态，执行所述对话业务。
12.根据权利要求11所述的装置，其特征在于，所述构建单元，还用于
根据所述用户反馈信息和所述模型对话理解系统的调整状态进行数据融合处理，以获得更新训练数据，用于更新所述模型对话理解系统。
13.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1～6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN201710443686.5A 2017-06-13 2017-06-13 基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质 Active CN107463601B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710443686.5A CN107463601B (zh) 2017-06-13 2017-06-13 基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质
US16/006,208 US11727302B2 (en) 2017-06-13 2018-06-12 Method and apparatus for building a conversation understanding system based on artificial intelligence, device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710443686.5A CN107463601B (zh) 2017-06-13 2017-06-13 基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107463601A CN107463601A (zh) 2017-12-12
CN107463601B true CN107463601B (zh) 2021-02-12

Family

ID=60546484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710443686.5A Active CN107463601B (zh) 2017-06-13 2017-06-13 基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
US (1) US11727302B2 (zh)
CN (1) CN107463601B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11056107B2 (en) * 2018-03-30 2021-07-06 International Business Machines Corporation Conversational framework
EP3570189B1 (de) * 2018-05-14 2023-08-09 Siemens Aktiengesellschaft Computerimplementiertes verfahren zum bereitstellen eines adaptiven dialogsystems und ein adaptives dialogsystem
CN108763548A (zh) * 2018-05-31 2018-11-06 北京百度网讯科技有限公司 收集训练数据的方法、装置、设备和计算机可读存储介质
CN108874967B (zh) * 2018-06-07 2023-06-23 腾讯科技（深圳）有限公司 对话状态确定方法及装置、对话系统、终端、存储介质
CN110576808B (zh) * 2018-06-08 2022-05-03 上海博泰悦臻网络技术服务有限公司 车辆、车机设备及其基于人工智能的场景信息推送方法
WO2020019252A1 (zh) * 2018-07-26 2020-01-30 深圳前海达闼云端智能科技有限公司 训练人工智能模型的方法、装置、存储介质及机器人
CN111199728A (zh) * 2018-10-31 2020-05-26 阿里巴巴集团控股有限公司 训练数据获取方法及装置和智能音箱、智能电视
WO2020142110A1 (en) * 2018-12-31 2020-07-09 Intel Corporation Securing systems employing artificial intelligence
CN110442695B (zh) * 2019-02-26 2022-03-01 杭州蓦然认知科技有限公司 一种智能交互平台训练方法、装置、设备
CN111831795B (zh) * 2019-04-11 2023-10-27 北京猎户星空科技有限公司 多轮对话处理方法、装置、电子设备及存储介质
CN110737761B (zh) * 2019-09-26 2023-09-19 联想(北京)有限公司 一种信息处理方法、电子设备和存储介质
CN110930022A (zh) * 2019-11-20 2020-03-27 携程计算机技术（上海）有限公司 酒店静态信息的检测方法、系统、电子设备及存储介质
CN111782792A (zh) * 2020-08-05 2020-10-16 支付宝(杭州)信息技术有限公司 用于信息处理的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020047A (zh) * 2012-12-31 2013-04-03 威盛电子股份有限公司 修正语音应答的方法及自然语言对话系统
CN105027197A (zh) * 2013-03-15 2015-11-04 苹果公司 训练至少部分语音命令系统
CN105468582A (zh) * 2015-11-18 2016-04-06 苏州思必驰信息科技有限公司 一种基于人机交互的数字串的纠正方法及装置
CN106503189A (zh) * 2016-10-31 2017-03-15 北京百度网讯科技有限公司 基于人工智能的搜索系统优化方法和装置
CN106534548A (zh) * 2016-11-17 2017-03-22 科大讯飞股份有限公司 语音纠错方法和装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203644B2 (en) * 2001-12-31 2007-04-10 Intel Corporation Automating tuning of speech recognition systems
JP2003271195A (ja) * 2002-03-14 2003-09-25 Omron Corp 対話システムおよび対話制御装置
US8019602B2 (en) * 2004-01-20 2011-09-13 Microsoft Corporation Automatic speech recognition learning using user corrections
US8972268B2 (en) * 2008-04-15 2015-03-03 Facebook, Inc. Enhanced speech-to-speech translation system and methods for adding a new word
US8374859B2 (en) * 2008-08-20 2013-02-12 Universal Entertainment Corporation Automatic answering device, automatic answering system, conversation scenario editing device, conversation server, and automatic answering method
WO2011028844A2 (en) * 2009-09-02 2011-03-10 Sri International Method and apparatus for tailoring the output of an intelligent automated assistant to a user
KR101644015B1 (ko) * 2009-11-27 2016-08-01 삼성전자주식회사 시스템과 다수 사용자 간의 대화 인터페이스 장치
US20110166862A1 (en) * 2010-01-04 2011-07-07 Eyal Eshed System and method for variable automated response to remote verbal input at a mobile device
US9064017B2 (en) * 2011-06-01 2015-06-23 D2L Corporation Systems and methods for providing information incorporating reinforcement-based learning and feedback
US9311298B2 (en) * 2013-06-21 2016-04-12 Microsoft Technology Licensing, Llc Building conversational understanding systems using a toolset
KR101678087B1 (ko) * 2015-02-16 2016-11-23 현대자동차주식회사 차량 및 그 제어방법
US10614056B2 (en) * 2015-03-24 2020-04-07 NetSuite Inc. System and method for automated detection of incorrect data
US10997226B2 (en) * 2015-05-21 2021-05-04 Microsoft Technology Licensing, Llc Crafting a response based on sentiment identification
AU2016277775A1 (en) * 2016-01-04 2017-07-20 Accenture Global Solutions Limited Data processor for projects
US10606952B2 (en) * 2016-06-24 2020-03-31 Elemental Cognition Llc Architecture and processes for computer learning and understanding
US10546066B2 (en) * 2016-08-31 2020-01-28 Microsoft Technology Licensing, Llc End-to-end learning of dialogue agents for information access
CN106445147B (zh) * 2016-09-28 2019-05-10 北京百度网讯科技有限公司 基于人工智能的对话系统的行为管理方法及装置
US11580350B2 (en) * 2016-12-21 2023-02-14 Microsoft Technology Licensing, Llc Systems and methods for an emotionally intelligent chat bot
US10366168B2 (en) * 2017-01-12 2019-07-30 Microsoft Technology Licensing, Llc Systems and methods for a multiple topic chat bot
US20180203851A1 (en) * 2017-01-13 2018-07-19 Microsoft Technology Licensing, Llc Systems and methods for automated haiku chatting
US10326863B2 (en) * 2017-01-21 2019-06-18 Adp, Llc Speed and accuracy of computers when resolving client queries by using graph database model
US10713317B2 (en) * 2017-01-30 2020-07-14 Adobe Inc. Conversational agent for search
US20180342004A1 (en) * 2017-05-25 2018-11-29 Microsoft Technology Licensing, Llc Cumulative success-based recommendations for repeat users

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020047A (zh) * 2012-12-31 2013-04-03 威盛电子股份有限公司 修正语音应答的方法及自然语言对话系统
CN105027197A (zh) * 2013-03-15 2015-11-04 苹果公司 训练至少部分语音命令系统
CN105468582A (zh) * 2015-11-18 2016-04-06 苏州思必驰信息科技有限公司 一种基于人机交互的数字串的纠正方法及装置
CN106503189A (zh) * 2016-10-31 2017-03-15 北京百度网讯科技有限公司 基于人工智能的搜索系统优化方法和装置
CN106534548A (zh) * 2016-11-17 2017-03-22 科大讯飞股份有限公司 语音纠错方法和装置

Also Published As

Publication number Publication date
US20180357570A1 (en) 2018-12-13
US11727302B2 (en) 2023-08-15
CN107463601A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
CN107291867B (zh) 基于人工智能的对话处理方法、装置、设备及计算机可读存储介质
CN107463601B (zh) 基于人工智能的对话理解系统构建方法、装置、设备及计算机可读存储介质
CN110334201B (zh) 一种意图识别方法、装置及系统
JP2020149685A (ja) 視覚的質問応答モデル、電子機器、および記憶媒体
US20190005013A1 (en) Conversation system-building method and apparatus based on artificial intelligence, device and computer-readable storage medium
US11779270B2 (en) Systems and methods for training artificially-intelligent classifier
CN108415939B (zh) 基于人工智能的对话处理方法、装置、设备及计算机可读存储介质
CN110321409B (zh) 基于人工智能的辅助面试方法、装置、设备及存储介质
CN110610698A (zh) 一种语音标注方法及装置
CN114974253A (zh) 一种基于人物画像的自然语言解释方法、装置及存储介质
CN110377891B (zh) 事件分析文章的生成方法、装置、设备及计算机可读存储介质
CN116862263A (zh) 一种知产与政策融合规划方法、装置及存储介质
CN110362734A (zh) 文本识别方法、装置、设备及计算机可读存储介质
CN114092608B (zh) 表情的处理方法及装置、计算机可读存储介质、电子设备
CN114117025B (zh) 信息查询方法、装置、存储介质及系统
CN105912510A (zh) 判断试题答案的方法、装置和服务器
CN113961680A (zh) 基于人机交互的会话处理方法及装置、介质、电子设备
CN111327510B (zh) 核电计算分析业务的通讯系统
Pan et al. A multimodal framework for automated teaching quality assessment of one-to-many online instruction videos
Strathearn et al. The Task2Dial dataset: A novel dataset for commonsense-enhanced task-based dialogue grounded in documents
CN111951788A (zh) 一种语言模型的优化方法、装置、电子设备及存储介质
Rodrigues et al. Studying natural user interfaces for smart video annotation towards ubiquitous environments
CN112100338B (zh) 一种智能机器人的对话主题扩展方法、装置和系统
CN113343668B (zh) 选择题解题方法、装置、电子设备及可读存储介质
CN116774820A (zh) 虚拟律师助手互动方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant