CN111309306A - 人机交互的对话管理系统 - Google Patents

人机交互的对话管理系统 Download PDF

Info

Publication number
CN111309306A
CN111309306A CN202010113575.XA CN202010113575A CN111309306A CN 111309306 A CN111309306 A CN 111309306A CN 202010113575 A CN202010113575 A CN 202010113575A CN 111309306 A CN111309306 A CN 111309306A
Authority
CN
China
Prior art keywords
dialogue
data
intention
corpus
management module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010113575.XA
Other languages
English (en)
Other versions
CN111309306B (zh
Inventor
刘德建
梁益冰
林剑锋
林琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian TQ Digital Co Ltd
Original Assignee
Fujian TQ Digital Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian TQ Digital Co Ltd filed Critical Fujian TQ Digital Co Ltd
Priority to CN202010113575.XA priority Critical patent/CN111309306B/zh
Publication of CN111309306A publication Critical patent/CN111309306A/zh
Application granted granted Critical
Publication of CN111309306B publication Critical patent/CN111309306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种人机交互的对话管理系统,所述对话管理系统包括对话系统和数据系统,所述对话系统用于识别用户意图,所述数据系统为对话系统记录外部的使用情况并为对话系统进行知识赋能,数据系统包括语料管理模块、脚本生成模块、测试执行模块、以及数据管理模块;通过语料管理模块来保存对话系统的语料信息,然后通过脚本生成模块将语料管理模块的语料生成对应的脚本,再加载到对话系统中,为对话系统进行知识赋能;再通过测试执行模块来验证脚本修改后的识别情况;数据管理模块则用于收集用户的对话记录,用于快速筛选出训练语料并加入语料管理模块,与此同时生成命中率统计图,便于产品进行适应性调整;本发明能提高人机交互的识别率。

Description

人机交互的对话管理系统
技术领域
本发明涉及人工智能技术领域,特别是人机交互的对话管理系统。
背景技术
目前常见的智能对话框架大致分为两类,一种是规则型框架,例如aiml,开发者可以通过编写对应aiml脚本,然后加载到对话系统中进行训练;一种是学习型框架,例如:Rasa,开发者可以通过编写对应语料脚本进行训练来达到一个对话意图的识别。AIML,全名为Artificial Intelligence Markup Language(人工智能标记语言),是一种创建自然语言软件代理的XML语言。Rasa是一个用于自动文本和基于语音的对话的开源机器学习框架。
缺点一,针对规则型框架(比如aiml),为了支持机器人可以识别意图的各种问法,需要人为去扩展语料,然后将其编写成对应的脚本,以保证能够识别更多的问法(例如:配置一句话“#如何#提高#生产力#”,那么输入“如何提升生产力”,aiml是无法识别的,需要配置一句“#如何#提升#生产力#”)。即通过规则型框架实现的对话系统识别率过度依赖所编写的扩展脚本。
缺点二,针对学习性框架(比如rasa),支持泛化能力,能够识别比较相似的问句(比如上述的配置了“如何提高生产力”,询问“如何提升生产力”,是可以识别到的),但是误差率比较高,尤其在有些敏感问题上,泛化能力可能使得机器人答非所问。同时训练型的框架也需要进行脚本的编写,相对于规则型的框架,维护成本低,但是识别的误差比较高。
缺点三,无论是哪一个框架,目前都需要人为维护的成本投入,需要编写对应脚本来完善机器人的“大脑”,从而赋予大脑知识点的能力。目前大多的语料都是通过收集的用户数据,然后筛选分类成对应的意图。再由对应的配置人员进行配置,发布,再通过质量保证QA的测试,最终进行发布。其中收集的用户数据,可能存在重复的数据,会导致重复的配置,浪费沟通成本。
缺点四,大部分对话系统的测试,只是针对所已知问题的期望结果进行验收是否正确。并没有针对机器人的一个对话成长做记录,无法知道目前对话系统在实际的运用过程中的一个体验发展状况。
发明内容
为克服上述问题,本发明的目的是提供一种人机交互的对话管理系统,提高对话管理系统的智能性,提高人机交互的识别率,降低了人工维护的成本。
本发明采用以下方案实现:一种人机交互的对话管理系统,所述对话管理系统包括对话系统和数据系统,所述对话系统用于识别用户意图,所述数据系统为对话系统记录外部的使用情况并为对话系统进行知识赋能,所述数据系统包括语料管理模块、脚本生成模块、测试执行模块、以及数据管理模块;通过语料管理模块来保存对话系统的语料信息,即语料管理模块是对话系统的知识库;然后通过脚本生成模块将语料管理模块的语料生成对应的脚本,再加载到对话系统中,为对话系统进行知识赋能;再通过测试执行模块来验证脚本修改后的识别情况;数据管理模块则用于收集用户的对话记录,用于快速筛选出训练语料并加入语料管理模块,与此同时生成命中率统计图,便于产品进行适应性调整;所述对话系统是由aiml识别服务和rasa识别服务组合的一个系统,支持用户问题的输入,并识别返回对应的意图和行为,同时对话系统会将每次的请求内容和结果反馈给数据系统,由数据系统进行记录和管理。
进一步的,所述语料管理模块实现方式具体为:支持创建新产品,当填写完新产品具体的信息之后,为每个产品默认生成一个产品标识号app_id;
在创建完产品之后,在对应的产品下创建技能,当填写完具体的技能信息之后,为每个产品默认生成一个技能标识号skill_id,每个技能都会有一个编辑状态位status,初始化为1;
在对应的技能下支持创建意图,填写完意图的信息内容之后,会默认生成一个意图标识号intent_id;
在每个意图下创建对应的行为,行为会以json结构的形式进行存储,支持用户自定义json的内容,对话管理系统会将常见的行为以界面化的形式提供使用者使用,编辑完行为后,会自动分配一个行为标识号action_id;
最后为每个意图填写对应的问话内容,并自动分配一个问话标识号question_id;
通过上述的分层管理,对话管理系统通过app_id、skill_id、intent_id、action_id、question_id进行多表检索输出一个用于自动化生成脚本的数据结构。
进一步的,所述脚本生成模块的实现方式具体为:包括脚本生成的配置和脚本生成的执行两个部分;首先关于配置部分,支持选择需要生成的脚本内容,即用户根据自己的需要选择要生成执行的脚本类型,该配置功能能设置定时开启操作;关于执行部分,要执行的时候,优先判断对话管理系统是否更新了语料,根据所述状态位status来判断,当status为0,则有更新,当status为1,则没更新,没有更新则不执行此次脚本执行;有更新则下载当前产品的语料集合,将语料集合数据转写成支持对应框架训练的脚本,框架包含但不局限于aiml和rasa框架的支持,遍历并将对应产品下所有语料的转写成对应支持训练的脚本之后,发起对应请求给对应的对话系统让其进行训练。
进一步的,所述测试执行模块的实现方式具体为:当脚本生成并训练通过之后,发起对应产品的测试执行,具体的执行即将当前线上的所有问话进行遍历请求,数据来源于数据管理模块;执行的时候支持选择某个时间段内的数据进行回归请求。
进一步的,所述数据管理模块分为三个单元,记录自动标记单元、记录筛选整理单元和数据报表生成单元;
所述记录自动标记单元会针对对话系统反馈过来的对话记录进行判断,主要取记录中包含问话和对话系统返回的意图两个字段进行判断,首先读取数据管理模块中该意图的所有问话,并与用户的反馈问话做对比,如果与其中任意一个问句匹配,则代表该反馈结果正确,标志该记录已存在,否则标志该记录不存在;
记录筛选整理单元则是针对记录自动标记单元的一个补充,即针对不存在的数据进行人工过滤的一个环节;对话管理系统会加载待确认的记录,如果该记录是正确的,则点击标志为正确;如果该记录是错误的,点击标志错误;对话管理系统提供一个意图快捷搜索的搜索输入,当找到对应的意图,即可点击对应的意图,则该记录实际返回意图就会被纠正;当搜索不到对应的意图,则新创建一个意图,并添加对应的行为;
根据此次的操作结果,把新增的意图和问话同步到语料管理模块中,然后再通过脚本生成模块生成,最终提供给对话系统进行训练,便于提高对话系统的识别率;
数据报表生成单元,当完成记录的筛选纠正,该纠正的记录也会被加载到数据统计中,并生成对应报表,用户在报表上通过选择时间段、训练版本,从而查看对应的一个识别率趋势图。
进一步的,所述对话系统提供一个restful的api访问接口,便于产品的集成和二次开发;首先接收到对应的用户问题,会将问题投递给AIML对话服务进行识别,如果AIML服务识别到对应的意图,则直接输出该意图;如果AIML服务识别不到该意图,则进入到Rasa服务进行再次识别;
再获取到对应的意图之后,会向语料管理模块查询该意图的行为,并将其意图及对应的行为内容返回给请求方;
在返回识别意图内容给客户端的同时,会将此次的记录一并返回给数据管理模块。
本发明的有益效果在于:1、通过本专利提供的方式进行语料配置,配置人员可以实现语料配置的界面化操作,快速完成语料的配置,有效降低了人工维护的成本。
2、通过本专利提供的方式进行语料的收集,可以自动筛选命中和非命中的语料,交付与客服人员进行二次确认。
3、通过本专利提供的方式进度语料的收集,可自动过滤已支持的语料,于此同时可以给出待确认的列表,这部分内容客服只需要点击确认即可由程序自动完成后续的语料存储,并生成对应脚本、及完成训练。
4、通过本专利提供的数据统计,可以实时统计每个周期内的命中趋势图;也可以区分每次训练前后的命中提升率。
5、通过本专利提供的对话系统,可以保证已知问句的回答的准确性,也支持未知问题的泛化识别能力。
6、通过本专利提供的语料训练脚本生成方式,可以实现脚本编写上的低成本投入。
7、通过本专利提供的语编辑方式并结合aiml和rasa的先后顺序,可以由产品自定义选择是否需要泛化能力,还是需要准确性,而不需要更改脚本和代码。
附图说明
图1是本发明对话管理系统的原理框图。
图2是本发明数据系统的原理框图。
图3是本发明的对话系统流程图。
图4是本发明的语料管理模块具体实现流程图。
图5是本发明的脚本生成模块具体实现流程图。
图6是本发明的测试执行模块具体实现流程图。
图7是本发明的数据管理模块的原理框图。
图8是本发明的记录自动标记单元的具体实现流程图。
图9是本发明的记录筛选整理单元的具体实现流程图。
具体实施方式
下面结合附图对本发明做进一步说明。
本发明一种人机交互的对话管理系统,通过对话系统和数据系统两个系统进行相辅相成的方式实现(详见图1)。其中,对话系统用于识别用户意图,而数据系统模块则是为对话系统记录外部的使用情况并为对话系统进行知识赋能,提高对话系统的智能性。
其中数据系统通过业务平台化管理(详见图2),实现对话系统成长的统一管理。其中主要分为四个模块:1)语料管理模块2)脚本生成模块3)测试执行模块4)数据管理模块。首先通过语料管理模块来保存对话系统的语料信息,即对话系统的知识来源于该模块;即语料管理模块是对话系统的知识库;然后通过脚本生成模块将语料管理模块的语料自动化生成对应的脚本,再加载到对话系统中,为对话系统赋能;再通过测试执行模块来验证脚本修改后的识别情况;数据管理模块则是用于收集真实用户的对话记录,可以用于快速筛选出训练语料,加入语料管理模块,与此同时生成命中率统计图,便于产品进行适应性调整。如图3所示,而对话系统则是由1)aiml识别服务和2)rasa识别服务组合的一个系统,支持用户问题的输入,并识别返回对应的意图和行为。与此同时,对话系统会将每次的请求内容和结果反馈给数据系统,由数据系统进行记录和管理。
所述语料管理模块实现方式具体为:支持创建新产品,当填写完新产品具体的信息之后,为每个产品默认生成一个产品标识号app_id;
在创建完产品之后,在对应的产品下创建技能,当填写完具体的技能信息之后,为每个产品默认生成一个技能标识号skill_id,每个技能都会有一个编辑状态位status,初始化为1;
在对应的技能下支持创建意图,填写完意图的信息内容之后,会默认生成一个意图标识号intent_id;
在每个意图下创建对应的行为,行为会以json结构的形式进行存储,支持用户自定义json的内容,对话管理系统会将常见的行为以界面化的形式提供使用者使用,编辑完行为后,会自动分配一个行为标识号action_id;
最后为每个意图填写对应的问话内容,并自动分配一个问话标识号question_id;
通过上述的分层管理,对话管理系统通过app_id、skill_id、intent_id、action_id、question_id进行多表检索输出一个用于自动化生成脚本的数据结构。
所述脚本生成模块的实现方式具体为:包括脚本生成的配置和脚本生成的执行两个部分;首先关于配置部分,支持选择需要生成的脚本内容,即用户根据自己的需要选择要生成执行的脚本类型,该配置功能能设置定时开启操作;关于执行部分,要执行的时候,优先判断对话管理系统是否更新了语料,根据所述状态位status来判断,当status为0,则有更新,当status为1,则没更新,没有更新则不执行此次脚本执行;有更新则下载当前产品的语料集合,将语料集合数据转写成支持对应框架训练的脚本,框架包含但不局限于aiml和rasa框架的支持,遍历并将对应产品下所有语料的转写成对应支持训练的脚本之后,发起对应请求给对应的对话系统让其进行训练。
所述测试执行模块的实现方式具体为:当脚本生成并训练通过之后,发起对应产品的测试执行,具体的执行即将当前线上的所有问话进行遍历请求,数据来源于数据管理模块;执行的时候支持选择某个时间段内的数据进行回归请求。
所述数据管理模块分为三个单元,记录自动标记单元、记录筛选整理单元和数据报表生成单元;
所述记录自动标记单元会针对对话系统反馈过来的对话记录进行判断,主要取记录中包含问话和对话系统返回的意图两个字段进行判断,首先读取数据管理模块中该意图的所有问话,并与用户的反馈问话做对比,如果与其中任意一个问句匹配,则代表该反馈结果正确,标志该记录已存在,否则标志该记录不存在;
记录筛选整理单元则是针对记录自动标记单元的一个补充,即针对不存在的数据进行人工过滤的一个环节;对话管理系统会加载待确认的记录,如果该记录是正确的,则点击标志为正确;如果该记录是错误的,点击标志错误;对话管理系统提供一个意图快捷搜索的搜索输入,当找到对应的意图,即可点击对应的意图,则该记录实际返回意图就会被纠正;当搜索不到对应的意图,则新创建一个意图,并添加对应的行为;
根据此次的操作结果,把新增的意图和问话同步到语料管理模块中,然后再通过脚本生成模块生成,最终提供给对话系统进行训练,便于提高对话系统的识别率;
数据报表生成单元,当完成记录的筛选纠正,该纠正的记录也会被加载到数据统计中,并生成对应报表,用户在报表上通过选择时间段、训练版本,从而查看对应的一个识别率趋势图。
另外,所述对话系统提供一个restful的api访问接口,便于产品的集成和二次开发;首先接收到对应的用户问题,会将问题投递给AIML对话服务进行识别,如果AIML服务识别到对应的意图,则直接输出该意图;如果AIML服务识别不到该意图,则进入到Rasa服务进行再次识别;
再获取到对应的意图之后,会向语料管理模块查询该意图的行为,并将其意图及对应的行为内容返回给请求方;
在返回识别意图内容给客户端的同时,会将此次的记录一并返回给数据管理模块。
下面结合一具体实施例对本发明作进一步说明:
一种人机交互的对话管理系统,主要包含对话系统和数据系统两个子系统。其中数据系统包含语料管理模块、脚本生成模块、测试执行模块、数据管理模块四个模块。其中语料管理模块负责对话系统的语料集管理,相当于对话系统的知识库;脚本生成模块负责把语料管理模块中的数据生成可供对话系统执行训练的脚本;测试执行模块负责回归线上的用户问答,可以通过数据管理模块查看其识别提升率的一个情况;数据管理模块一方面是查看用户识别率的趋势图,一方面提供用户快速筛选语料,并为汇总补充到语料管理模块中提供了快捷操作页面。
语料管理模块(详见图4),包含如下内容:
1、提供一个产品化隔离的语料管理系统,支持创建新产品,当填写完具体的信息之后,系统会为每个产品默认生成一个产品ID(app_id);
2、在创建完产品之后,可以在对应的产品下创建技能,当填写完具体的技能信息之后,系统会为每个产品默认生成一个技能ID(skill_id),更优的,技能支持配置是否公开可引用(配置可以应用,则其他产品可以直接引用该产品的对应技能;配置不可以引用,则其他产品找不到该技能)。更优的每个技能都会有一个编辑状态位status,初始化为1;
3、在对应的技能下支持创建意图,填写完意图的信息内容之后,系统会默认生成一个意图ID(intent_id);
4、在每个意图下可以创建对应的行为,行为会以json结构的形式进行存储,支持用户自定义json的内容。更优的系统会将常见的行为,比如“说”这一类文本对话的行为以界面化的形式提供使用者使用,只需要输入应答的文本即可。编辑完行为后,系统会自动分配一个行为ID(action_id),当然行为对于意图来说并不是必须的,可以根据具体使用情况来编辑;
5、最后为每个意图填写对应的问话内容,支持一个意图填写任意数量的问话。例如:意图是:打招呼,可以配置问话:1)你好哦、2)hello、3)hi、4)您好、等等,并自动分配一个问话ID(question_id)。更优的,在语料配置的时候,支持标志该语料的支持的系统。包含1、all;2、aiml;3、Rasa,当选择all,则代表该语料可以被生成任意脚本,当选择aiml的时候,表示只会被生成aiml脚本,当选择Rasa的时候,表示只会被生成Rasa脚本;
6、通过上述1、2、3、4、5的分层管理,系统可以通过app_id、skill_id、intent_id、action_id、question_id等进行多表检索输出一个用于自动化生成脚本的数据结构如表1(以下表格提供的字段是通用的核心数据字段,每个表都有其他相关的扩展字段,比如创建时间、创建人等等,本文只列举核心字段);
7、更优的,当上述内容发生变化的时候,当意图和语料有了动态(即进行了增、删、改的操作),status调整为0,便于后续脚本是否执行提供判断依据。
表1
产品名称 技能名称 意图内容 语料内容 行为内容
机器人小Q 客服功能 打招呼 [你好,hello] {"answer":"亲,你好呀"}
机器人小Q 行为功能 微笑 [笑一个,笑笑] {"skill":"smail"}
脚本生成模块(详见图5),包含如下内容:
1、关于脚本生成模块主要分为脚本生成-配置和脚本生成-执行两个部分。首先关于配置部分,支持选择需要生成的脚本内容。(本系统提供aiml和Rasa两个脚本生成引擎,且支持自定义生成脚本的上传。)用户可以根据自己的需要选择要生成执行的脚本类型,比如勾选aiml脚本;
2、当配置完脚本类型之后,可以配置是否开启定时构建。当配置为【否】时候,完成设置,该配置任务会提供一个执行按钮,执行操作只有用户点击执行该配置任务的时候才执行;
3、当配置为【是】时候,需要输入定时的时间,比如一天一次构建,此时保存除了会生成一个可执行按钮,每隔一天就会执行一次操作;
4、当发起执行的时候,系统会优先的判断系统是否更新了语料,根据语料管理模块的状态位status来判断,当status为0的时候,即有更新,当status为1的时候即为没更新,如果没有更新则不执行此次脚本执行;如果有更新则进行下一步操作;
5、继上,下载当前产品的语料集合(如表1结构)。由于1)中勾选了aiml脚本,则系统会遍历每条问话标志为all、或aiml的语料,把语料写入aiml文件。(此步骤就是将上述语料数据转写成支持对应框架训练的格式,包含但不局限于aiml和rasa框架的支持,以aiml框架为例,语料内容对应pattern字段,意图内容对应template,然后写入aiml);
6、继上,遍历并将对应产品下所有语料的转写成对应支持训练的脚本之后,发起对应请求给对应的对话系统让其进行训练。
三、测试执行模块(详见图6),包含如下内容:
1、当上述脚本生成并训练通过之后,发起对应产品的测试执行;
2、具体的执行即将当前线上的所有问话进行遍历请求,数据来源于数据管理模块;
3、较优的,执行的时候支持选择某个时间段内的数据进行回归请求,与此同时,本系统发起的请求会标识为tester,用于数据管理的时候区分测试数据和实际用户数据。
四、数据管理模块(详见图7),包含如下内容:
1、数据管理模块主要分为三个小模块,记录自动标记单元、记录筛选整理单元和数据报表生成单元;
2、首先记录自动标记单元会针对对话系统反馈过来的对话记录进行判断。如图8所示,主要取记录中包含问话(用户咨询的问题)和系统返回的意图两个字段进行判断。首先读取数据管理中该意图的所有问话,并与用户的反馈问话做对比,如果与其中任意一个问句匹配(此处的匹配指匹配的条件:提供包含但不局限于完全相等、去停用词结果完全相等等方式,可以由产品自主选择),则代表该反馈结果正确。标志该记录“已存在”,否则标志改记录“不存在”;
3、继上,如图9所示,记录筛选整理单元则是针对记录自动标记单元的一个补充,是在2)的基础上,针对“不存在”的数据进行人工过滤的一个环节。系统会加载待确认的记录,如果该记录是正确的,则点击标志为正确。如果该记录是错误的,点击标志错误。系统会提供一个意图快捷搜索的搜索输入,当找到对应的意图,即可点击对应的意图,则该记录实际返回意图就会被纠正。当搜索不到对应的意图,则可以新创建一个意图,并添加对应的行为;
4、继上,重复3)操作,直到没有需要确认的记录。此时系统会根据此次的操作结果,把新增的意图和问话同步到语料管理模块中,然后再通过脚本生成,最终提供给对话系统进行训练,便于提高对话系统的识别率;
5、继上,当完成记录的筛选纠正,该纠正的记录也会被加载到数据统计中,并生成对应报表。用户可以在上面通过选择时间段、训练版本,从而查看对应的一个识别率趋势图。更优的,系统支持选择多个训练版本,便于用户查看不同训练版本之间的识别率提升情况。
五、对话系统(详见图3),包含包含如下内容:
1、对话系统则是提供意图识别能力。本系统提供的是一个restful的api访问接口,便于产品的集成和二次开发;
2、首先接收到对应的用户问题,会将问题投递给AIML对话服务进行识别,如果AIML服务识别到对应的意图,则直接输出该意图。如果AIML服务识别不到该意图,则进入到Rasa服务进行再次识别。本系统充分的利用了AIML的准确性,及Rasa的泛化能力,使得二者互补,得以在保证识别率的情况下,同时提高泛化能力;
3、继上,再获取到对应的意图之后,会向语料管理模块查询该意图的行为,并将其意图及对应的行为等内容返回给请求方;
4、更优的,在返回识别意图内容给客户端的同时,会将此次的记录一并返回给数据管理模块系统。
本发明的具体应用场景如下:
场景一:
同学小A是一个智能对话系统的配置员,专门负责编辑产品对外机器人客服的语料。每天都要收集到运营和客服收集来的语料,并将其编写成对应的脚本,然后进行训练。随着产品的应用推广,需要完成的配置语料量级非常的多。其中不但有很多语料都是已经存在的意图,需要进行扩展,每次小A都需要找到对应的脚本位置进行补充;也有很多的新增意图需要小A去完善。但是由于小A的配置的效率没有提升,总是遭到运营和客服同学的催促,认为小A的效率太慢了,导致之前反馈的一些语料,机器人还是答非所问,还是要人工去回复。
通过本专利的方案,小A可以在语料编辑后台上快速进行语料和意图的编辑,在最快速的时间内容进行编辑,然后通过脚本生成模块自动生成可训练的脚本,大幅度的提高了编写脚本的效率。
场景二:
同学小B和小C分别是一个产品的客服和配置同学,其中小B负责产品的客服,当存在问题是机器人无法回答或回答错误的时候,由小B进行回答,并记录问题。小B会定期把用户咨询的问题和意图及答案交付给小C,然后由小C进行语料的配置。
通过本专利的方案,数据管理模块将为同学小B优先的过滤掉所有已具备识别的语料,并可以支持小B直接在数据管理模块中识别错误的问题进行快速的纠正或者补充,然后通过程序自动同步到语料管理模块,并通过脚本生成模块生成脚本、完成训练,即不再需要小C进行人工的配置。
场景三:
同学小D是一个对话系统开发,起初公司有一个项目是有一个机器人闲聊问答的需求,所以他使用rasa开发了一个对话系统,便于机器人在语料量级少的时候也能够泛化回答。但是后来又对接了一个产品,该产品作为FAQ咨询使用,其产品小E认为小D开发对话系统容易答非所问,而他的产品需要准确性很高才行,如果识别不到,就直接返回不知道,或者转人工,小D很为难。
通过本专利的方案,同学小D可以保证原有的机器人的泛化能力,以支持闲聊问答的需求。与此同时,针对小E的需求,他可以在语料管理模块中新增一个问句为*的,意图为【人工咨询】的语料,以实现该产品的语料全部走aiml服务,不会因为rasa的泛化能力而带来的错误回答。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (6)

1.一种人机交互的对话管理系统,其特征在于:所述对话管理系统包括对话系统和数据系统,所述对话系统用于识别用户意图,所述数据系统为对话系统记录外部的使用情况并为对话系统进行知识赋能,所述数据系统包括语料管理模块、脚本生成模块、测试执行模块、以及数据管理模块;通过语料管理模块来保存对话系统的语料信息,即语料管理模块是对话系统的知识库;然后通过脚本生成模块将语料管理模块的语料生成对应的脚本,再加载到对话系统中,为对话系统进行知识赋能;再通过测试执行模块来验证脚本修改后的识别情况;数据管理模块则用于收集用户的对话记录,用于快速筛选出训练语料并加入语料管理模块,与此同时生成命中率统计图,便于产品进行适应性调整;所述对话系统是由aiml识别服务和rasa识别服务组合的一个系统,支持用户问题的输入,并识别返回对应的意图和行为,同时对话系统会将每次的请求内容和结果反馈给数据系统,由数据系统进行记录和管理。
2.根据权利要求1所述的人机交互的对话管理系统,其特征在于:所述语料管理模块实现方式具体为:支持创建新产品,当填写完新产品具体的信息之后,为每个产品默认生成一个产品标识号app_id;
在创建完产品之后,在对应的产品下创建技能,当填写完具体的技能信息之后,为每个产品默认生成一个技能标识号skill_id,每个技能都会有一个编辑状态位status,初始化为1;
在对应的技能下支持创建意图,填写完意图的信息内容之后,会默认生成一个意图标识号intent_id;
在每个意图下创建对应的行为,行为会以json结构的形式进行存储,支持用户自定义json的内容,对话管理系统会将常见的行为以界面化的形式提供使用者使用,编辑完行为后,会自动分配一个行为标识号action_id;
最后为每个意图填写对应的问话内容,并自动分配一个问话标识号question_id;
通过上述的分层管理,对话管理系统通过app_id、skill_id、intent_id、action_id、question_id进行多表检索输出一个用于自动化生成脚本的数据结构。
3.根据权利要求2所述的人机交互的对话管理系统,其特征在于:所述脚本生成模块的实现方式具体为:包括脚本生成的配置和脚本生成的执行两个部分;首先关于配置部分,支持选择需要生成的脚本内容,即用户根据自己的需要选择要生成执行的脚本类型,该配置功能能设置定时开启操作;关于执行部分,要执行的时候,优先判断对话管理系统是否更新了语料,根据所述状态位status来判断,当status为0,则有更新,当status为1,则没更新,没有更新则不执行此次脚本执行;有更新则下载当前产品的语料集合,将语料集合数据转写成支持对应框架训练的脚本,框架包含但不局限于aiml和rasa框架的支持,遍历并将对应产品下所有语料的转写成对应支持训练的脚本之后,发起对应请求给对应的对话系统让其进行训练。
4.根据权利要求1所述的人机交互的对话管理系统,其特征在于:所述测试执行模块的实现方式具体为:当脚本生成并训练通过之后,发起对应产品的测试执行,具体的执行即将当前线上的所有问话进行遍历请求,数据来源于数据管理模块;执行的时候支持选择某个时间段内的数据进行回归请求。
5.根据权利要求1所述的人机交互的对话管理系统,其特征在于:所述数据管理模块分为三个单元,记录自动标记单元、记录筛选整理单元和数据报表生成单元;
所述记录自动标记单元会针对对话系统反馈过来的对话记录进行判断,主要取记录中包含问话和对话系统返回的意图两个字段进行判断,首先读取数据管理模块中该意图的所有问话,并与用户的反馈问话做对比,如果与其中任意一个问句匹配,则代表该反馈结果正确,标志该记录已存在,否则标志该记录不存在;
记录筛选整理单元则是针对记录自动标记单元的一个补充,即针对不存在的数据进行人工过滤的一个环节;对话管理系统会加载待确认的记录,如果该记录是正确的,则点击标志为正确;如果该记录是错误的,点击标志错误;对话管理系统提供一个意图快捷搜索的搜索输入,当找到对应的意图,即可点击对应的意图,则该记录实际返回意图就会被纠正;当搜索不到对应的意图,则新创建一个意图,并添加对应的行为;
根据此次的操作结果,把新增的意图和问话同步到语料管理模块中,然后再通过脚本生成模块生成,最终提供给对话系统进行训练,便于提高对话系统的识别率;
数据报表生成单元,当完成记录的筛选纠正,该纠正的记录也会被加载到数据统计中,并生成对应报表,用户在报表上通过选择时间段、训练版本,从而查看对应的一个识别率趋势图。
6.根据权利要求1所述的人机交互的对话管理系统,其特征在于:所述对话系统提供一个restful的api访问接口,便于产品的集成和二次开发;首先接收到对应的用户问题,会将问题投递给AIML对话服务进行识别,如果AIML服务识别到对应的意图,则直接输出该意图;如果AIML服务识别不到该意图,则进入到Rasa服务进行再次识别;
再获取到对应的意图之后,会向语料管理模块查询该意图的行为,并将其意图及对应的行为内容返回给请求方;
在返回识别意图内容给客户端的同时,会将此次的记录一并返回给数据管理模块。
CN202010113575.XA 2020-02-24 2020-02-24 人机交互的对话管理系统 Active CN111309306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113575.XA CN111309306B (zh) 2020-02-24 2020-02-24 人机交互的对话管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113575.XA CN111309306B (zh) 2020-02-24 2020-02-24 人机交互的对话管理系统

Publications (2)

Publication Number Publication Date
CN111309306A true CN111309306A (zh) 2020-06-19
CN111309306B CN111309306B (zh) 2023-07-28

Family

ID=71154790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113575.XA Active CN111309306B (zh) 2020-02-24 2020-02-24 人机交互的对话管理系统

Country Status (1)

Country Link
CN (1) CN111309306B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255373A (zh) * 2021-05-31 2021-08-13 杭州芯声智能科技有限公司 一种基于Rasa框架的ARM侧离线对话系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224683A (zh) * 2015-10-28 2016-01-06 北京护航科技有限公司 一种自然语言分析智能交互方法及装置
CN107704453A (zh) * 2017-10-23 2018-02-16 深圳市前海众兴电子商务有限公司 一种文字语义分析方法、文字语义分析终端及存储介质
CN108427722A (zh) * 2018-02-09 2018-08-21 卫盈联信息技术(深圳)有限公司 智能交互方法、电子装置及存储介质
WO2018149326A1 (zh) * 2017-02-16 2018-08-23 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN110109829A (zh) * 2019-04-15 2019-08-09 福建天晴在线互动科技有限公司 智能对话自动化校验方法、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224683A (zh) * 2015-10-28 2016-01-06 北京护航科技有限公司 一种自然语言分析智能交互方法及装置
WO2018149326A1 (zh) * 2017-02-16 2018-08-23 阿里巴巴集团控股有限公司 一种自然语言问句答案的生成方法、装置及服务器
CN107704453A (zh) * 2017-10-23 2018-02-16 深圳市前海众兴电子商务有限公司 一种文字语义分析方法、文字语义分析终端及存储介质
CN108427722A (zh) * 2018-02-09 2018-08-21 卫盈联信息技术(深圳)有限公司 智能交互方法、电子装置及存储介质
CN110109829A (zh) * 2019-04-15 2019-08-09 福建天晴在线互动科技有限公司 智能对话自动化校验方法、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255373A (zh) * 2021-05-31 2021-08-13 杭州芯声智能科技有限公司 一种基于Rasa框架的ARM侧离线对话系统、装置及存储介质
CN113255373B (zh) * 2021-05-31 2024-07-26 杭州芯声智能科技有限公司 一种基于Rasa框架的ARM侧离线对话系统、装置及存储介质

Also Published As

Publication number Publication date
CN111309306B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN107329967B (zh) 基于深度学习的问答系统以及方法
US20190028520A1 (en) Ai mediated conference monitoring and document generation
CN101010934B (zh) 用于机器学习的方法
CN101256557B (zh) 自定义词管理装置、方法
CN109033390B (zh) 自动生成相似问句的方法和装置
CN110389898A (zh) 测试策略的获取方法、装置、终端及计算机可读存储介质
CN110109829B (zh) 智能对话自动化校验方法、存储介质
CN109977386B (zh) 一种基于流式制作的外呼流程制作方法及工具
KR20090058409A (ko) 편집 가능한 개인 사전을 제공하고 활용하는 방법 및시스템
CN117112769B (zh) 基于大语言模型的故障维修智能问答系统及方法
Pareti et al. Dialog intent structure: A hierarchical schema of linked dialog acts
CN111553138A (zh) 用于规范内容结构文档的辅助写作方法及装置
CN110297761A (zh) 返回数据的获取方法、装置、计算机设备及存储介质
CN108647147A (zh) 一种利用图谱分析执行自动化测试机器人及其使用方法
CN118377886A (zh) 任务型对话方法、存储介质及计算机设备
CN112131361A (zh) 一种答题内容推送方法及装置
CN115509485A (zh) 一种业务表单的填写方法、装置、电子设备和存储介质
CN111309306B (zh) 人机交互的对话管理系统
CN108766513B (zh) 一种智慧健康医疗数据结构化处理系统
CN112800195B (zh) 一种对话机器人的配置方法及系统
US6965856B1 (en) Process for the automatic generation of a textual expression from a semantic representation using a computer system
CN117610527A (zh) 基于大语言模型的报表分析及报告生成方法及系统
CN112487170B (zh) 面向场景配置的人机交互对话机器人系统
CN114546862A (zh) 对话测试方法、装置、电子设备及计算机可读存储介质
CN113515274A (zh) 一种关于人机交互逻辑的可视化建模设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant