CN112487144A - 多轮对话机器人意图命中优化方法及装置 - Google Patents
多轮对话机器人意图命中优化方法及装置 Download PDFInfo
- Publication number
- CN112487144A CN112487144A CN202011377801.1A CN202011377801A CN112487144A CN 112487144 A CN112487144 A CN 112487144A CN 202011377801 A CN202011377801 A CN 202011377801A CN 112487144 A CN112487144 A CN 112487144A
- Authority
- CN
- China
- Prior art keywords
- intention
- robot
- text
- hit
- intent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005457 optimization Methods 0.000 title claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000012550 audit Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种多轮对话机器人意图命中优化方法及装置。该方法包括：获取多轮对话机器人的对话日志和机器人流程配置数据；通过数据预处理，形成对话流程树数据结构，构建文本意图命中列表；依据上下文关系构建未识别意图文本与上一对话流程节点映射关系；在需要优化的流程节点，使用文本聚类算法对未识别意图文本按当前节点后继意图类别进行聚类；对聚类结果进行审核；根据审核结果，优化机器人流程配置数据。本发明提供的多轮对话机器人意图命中优化方法及装置能够实现机器人意图识别能力高效、有针对性的优化。
Description
技术领域
本发明涉及机器问答技术领域，特别是涉及一种多轮对话机器人意图命中优化方法及装置。
背景技术
任务型多轮对话机器人通常按照业务需求以流程树的形式进行配置，机器人在每个节点上识别用户意图或获取相关槽值信息，再根据流程树配置确定对话走向。其中用户意图识别一般由机器人的NLU模块完成，其识别的准确率很大程度决定了机器人对话能力。
已上线的多轮对话机器人，一般通过分析对话日志中未识别意图的对话文本数据来优化意图识别模块的准确率，机器人训练师根据流程树配置和业务经验确定未识别意图的对话文本的意图类别，再配置到相应流程节点的意图相似话术中。
受限于人工分析能力，机器人训练师完整分析全量人机对话数据，也无法从整体上发现对话流程中的瓶颈，其意图识别优化的工作效率不高，针对性差。
发明内容
本发明要解决的技术问题是提供一种多轮对话机器人意图命中优化方法及装置，能够实现机器人意图识别能力高效、有针对性的优化。
为解决上述技术问题，本发明提供了一种多轮对话机器人意图命中优化方法，所述方法包括：获取多轮对话机器人的对话日志和机器人流程配置数据；通过数据预处理，形成对话流程树数据结构，构建文本意图命中列表；依据上下文关系构建未识别意图文本与上一对话流程节点映射关系；在需要优化的流程节点，使用文本聚类算法对未识别意图文本按当前节点后继意图类别进行聚类；对聚类结果进行审核；根据审核结果，优化机器人流程配置数据。
在一些实施方式中，对聚类结果进行审核包括：人工审核及自动审核。
在一些实施方式中，对聚类结果进行自动审核包括：计算聚类类别的类别中心点；计算类别节点与类别中心点之间的距离均值；如果计算得到的距离均值小于设定的距离阈值，则自动审核通过。
在一些实施方式中，距离包括：欧式距离、余弦相似度、曼哈顿距离、闵氏距离、杰卡德相似系数、皮尔森相关系数、汉明距离、BM25相关性评分。
在一些实施方式中，还包括：在依据上下文关系构建未识别意图文本与上一对话流程节点映射关系之前，在通过数据预处理，形成对话流程树数据结构，构建文本意图命中列表之后，计算识别意图文本。
在一些实施方式中，识别意图文本保存在文本意图命中列表中，未识别意图文本不保存在文本意图命中列表中。
在一些实施方式中，还包括：在对聚类结果进行审核之前，以流程树形式可视化展示意图命中数据。
此外，本发明还提供了一种多轮对话机器人意图命中优化装置，所述装置包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的多轮对话机器人意图命中优化方法。
采用这样的设计后，本发明至少具有以下优点：
可自动分析全量人机对话数据，完整可视化展示意图命中数据，机器人训练师可直观发现机器人对话瓶颈；
针对对话瓶颈节点的未识别意图对话文本进行聚类，配置节点的相似话术，优化更有针对性。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是本发明实施例提供的多轮对话机器人意图命中优化方法的流程图；
图2是本发明实施例提供的多轮对话机器人意图命中优化装置的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1示出了多轮对话机器人意图命中优化方法的流程。多轮对话机器人意图命中优化方法的执行流程包括：
S11.获取多轮对话机器人的对话日志和机器人流程配置数据。
S12.数据预处理：形成对话流程树数据结构；构建文本意图命中列表。
S13.意图命中结果数据计算；依据上下文关系构建未识别意图文本与上一对话流程节点映射关系。
S14.在需要优化的流程树节点，使用文本聚类算法对未识别意图对话文本按当前节点后继意图类别进行聚类。
S15.人工审核聚类结果，将审核通过的未识别意图文本自动配置到相应意图的相似话术列表中。
S16.根据相似话术列表优化意图相似话术配置。
S17.根据优化后的意图相似话术配置来配置多轮对话机器人。
本发明的目的是提供一个任务型多轮对话机器人的意图识别能力的优化工具，通过将实际发生的人机对话数据的意图命中情况按照机器人流程树的形式进行可视化展示，用户对话文本命中数在流程树上以漏斗状衰减，这样可直观地发现机器人意图识别能力的瓶颈，再提取瓶颈节点上的未识别意图文本，按照该节点的分支意图类别进行聚类，人工审核聚类结果，将被采纳的未识别意图文本配置到意图相似话术中，实现机器人意图识别能力高效、有针对性的优化。
图2示出了多轮对话机器人意图命中优化装置的结构。参见图2，例如，所述多轮对话机器人意图命中优化装置200可以用于充当机器对话系统中的话术配置优化装置。如本文所述，多轮对话机器人意图命中优化装置200可以用于在机器对话系统中实现对话术文本的自动优化功能。多轮对话机器人意图命中优化装置200可以在单个节点中实现，或者多轮对话机器人意图命中优化装置200的功能可以在网络中的多个节点中实现。本领域的技术人员应意识到，术语多轮对话机器人意图命中优化装置包括广泛意义上的设备，图2中示出的多轮对话机器人意图命中优化装置200仅是其中一个示例。包括多轮对话机器人意图命中优化装置200是为了表述清楚，并不旨在将本发明的应用限制为特定的多轮对话机器人意图命中优化装置实施例或某一类多轮对话机器人意图命中优化装置实施例。本发明所述的至少部分特征/方法可以在网络装置或组件，例如，多轮对话机器人意图命中优化装置200中实现。例如，本发明中的特征/方法可以采用硬件、固件和/或在硬件上安装运行的软件实现。多轮对话机器人意图命中优化装置200可以是任何通过网络处理，存储和/或转发数据帧的设备，例如，服务器，客户端，数据源等。如图2所示，多轮对话机器人意图命中优化装置200可以包括收发器(Tx/Rx)210，其可以是发射器，接收器，或其组合。Tx/Rx 210可以耦合到多个端口250(例如上行接口和/或下行接口)，用于从其他节点发送和/或接收帧。处理器230可耦合至Tx/Rx 210，以处理帧和/或确定向哪些节点发送帧。处理器230可以包括一个或多个多核处理器和/或存储器设备232，其可以用作数据存储器，缓冲区等。处理器230可以被实现为通用处理器，或者可以是一个或多个专用集成电路(applicationspecific integrated circuit，简称ASIC)和/或数字信号处理器(digital signalprocessor，简称DSP)的一部分。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。
Claims (8)
1.一种多轮对话机器人意图命中优化方法，其特征在于，包括：
获取多轮对话机器人的对话日志和机器人流程配置数据；
通过数据预处理，形成对话流程树数据结构，构建文本意图命中列表；
依据上下文关系构建未识别意图文本与上一对话流程节点映射关系；
在需要优化的流程节点，使用文本聚类算法对未识别意图文本按当前节点后继意图类别进行聚类；
对聚类结果进行审核；
根据审核结果，优化机器人流程配置数据。
2.根据权利要求1所述的多轮对话机器人意图命中优化方法，其特征在于，对聚类结果进行审核包括：人工审核及自动审核。
3.根据权利要求3所述的多轮对话机器人意图命中优化方法，其特征在于，对聚类结果进行自动审核包括：
计算聚类类别的类别中心点；
计算类别节点与类别中心点之间的距离均值；
如果计算得到的距离均值小于设定的距离阈值，则自动审核通过。
4.根据权利要求3所述的多轮对话机器人意图命中优化方法，其特征在于，距离包括：欧式距离、余弦相似度、曼哈顿距离、闵氏距离、杰卡德相似系数、皮尔森相关系数、汉明距离、BM25相关性评分。
5.根据权利要求1所述的多轮对话机器人意图命中优化方法，其特征在于，还包括：
在依据上下文关系构建未识别意图文本与上一对话流程节点映射关系之前，在通过数据预处理，形成对话流程树数据结构，构建文本意图命中列表之后，计算识别意图文本。
6.根据权利要求5所述的多轮对话机器人意图命中优化方法，其特征在于，识别意图文本保存在文本意图命中列表中，未识别意图文本不保存在文本意图命中列表中。
7.根据权利要求1所述的多轮对话机器人意图命中优化方法，其特征在于，还包括：
在对聚类结果进行审核之前，以流程树形式可视化展示意图命中数据。
8.一种多轮对话机器人意图命中优化装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至7任意一项所述的多轮对话机器人意图命中优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011377801.1A CN112487144A (zh) | 2020-11-30 | 2020-11-30 | 多轮对话机器人意图命中优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011377801.1A CN112487144A (zh) | 2020-11-30 | 2020-11-30 | 多轮对话机器人意图命中优化方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112487144A true CN112487144A (zh) | 2021-03-12 |
Family
ID=74937831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011377801.1A Pending CN112487144A (zh) | 2020-11-30 | 2020-11-30 | 多轮对话机器人意图命中优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112487144A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115146653A (zh) * | 2022-07-21 | 2022-10-04 | 平安科技（深圳）有限公司 | 对话剧本构建方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109189901A (zh) * | 2018-08-09 | 2019-01-11 | 北京中关村科金技术有限公司 | 一种智能客服系统中自动发现新分类以及对应语料的方法 |
| CN109446307A (zh) * | 2018-10-16 | 2019-03-08 | 浪潮软件股份有限公司 | 一种实现智能对话中对话管理的方法 |
| CN110377908A (zh) * | 2019-07-19 | 2019-10-25 | 科大讯飞股份有限公司 | 语义理解方法、装置、设备及可读存储介质 |
| CN111078846A (zh) * | 2019-11-25 | 2020-04-28 | 青牛智胜(深圳)科技有限公司 | 一种基于业务场景的多轮对话体系构建方法及系统 |
| US20200143265A1 (en) * | 2015-01-23 | 2020-05-07 | Conversica, Inc. | Systems and methods for automated conversations with feedback systems, tuning and context driven training |
| CN111858900A (zh) * | 2020-09-21 | 2020-10-30 | 杭州摸象大数据科技有限公司 | 问句语义解析规则模板的生成方法、装置、设备及存储介质 |
-
2020
- 2020-11-30 CN CN202011377801.1A patent/CN112487144A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200143265A1 (en) * | 2015-01-23 | 2020-05-07 | Conversica, Inc. | Systems and methods for automated conversations with feedback systems, tuning and context driven training |
| CN109189901A (zh) * | 2018-08-09 | 2019-01-11 | 北京中关村科金技术有限公司 | 一种智能客服系统中自动发现新分类以及对应语料的方法 |
| CN109446307A (zh) * | 2018-10-16 | 2019-03-08 | 浪潮软件股份有限公司 | 一种实现智能对话中对话管理的方法 |
| CN110377908A (zh) * | 2019-07-19 | 2019-10-25 | 科大讯飞股份有限公司 | 语义理解方法、装置、设备及可读存储介质 |
| CN111078846A (zh) * | 2019-11-25 | 2020-04-28 | 青牛智胜(深圳)科技有限公司 | 一种基于业务场景的多轮对话体系构建方法及系统 |
| CN111858900A (zh) * | 2020-09-21 | 2020-10-30 | 杭州摸象大数据科技有限公司 | 问句语义解析规则模板的生成方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115146653A (zh) * | 2022-07-21 | 2022-10-04 | 平安科技（深圳）有限公司 | 对话剧本构建方法、装置、设备及存储介质 |
| CN115146653B (zh) * | 2022-07-21 | 2023-05-02 | 平安科技（深圳）有限公司 | 对话剧本构建方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108962282B (zh) | 语音检测分析方法、装置、计算机设备及存储介质 | |
| US10026092B2 (en) | Learning and automating agent actions | |
| CN112365894B (zh) | 基于ai的复合语音交互方法、装置及计算机设备 | |
| US20230090924A1 (en) | Database systems with automated structural metadata assignment | |
| CN106847305B (zh) | 一种处理客服电话的录音数据的方法及装置 | |
| US9099091B2 (en) | Method and apparatus of adaptive textual prediction of voice data | |
| CN112951275B (zh) | 语音质检方法、装置、电子设备及介质 | |
| CN110415679A (zh) | 语音纠错方法、装置、设备和存储介质 | |
| CN111159334A (zh) | 用于房源跟进信息处理的方法及系统 | |
| US8606585B2 (en) | Automatic detection of audio advertisements | |
| US8244529B2 (en) | Multi-pass echo residue detection with speech application intelligence | |
| CN112487144A (zh) | 多轮对话机器人意图命中优化方法及装置 | |
| CN105469801A (zh) | 一种修复输入语音的方法及其装置 | |
| US11064075B2 (en) | System for processing voice responses using a natural language processing engine | |
| CN113657094A (zh) | 语义交互意图分析方法、装置、计算机设备及存储介质 | |
| CN115221303A (zh) | 一种对话处理方法及对话处理装置 | |
| CN109918293B (zh) | 系统测试方法及装置、电子设备、计算机可读存储介质 | |
| CN114297229A (zh) | 一种数据查询方法、装置、电子设备及存储介质 | |
| CN114399992A (zh) | 语音指令响应方法、装置及存储介质 | |
| CN113241071A (zh) | 一种语音处理方法、电子设备及存储介质 | |
| US20240095240A1 (en) | Signals and measurement of business goals in a chatbot platform | |
| CN114818683B (zh) | 一种基于移动端的运维方法及装置 | |
| US20230325300A1 (en) | Fault change locating method and apparatus, device, medium, and program product | |
| CN116244740B (zh) | 一种日志脱敏方法、装置、电子设备及存储介质 | |
| CN111881253B (zh) | 同义实体对的确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |