CN110781279B - 一种构造asr/nlu引擎交叉优化数据闭环的方法及装置 - Google Patents
一种构造asr/nlu引擎交叉优化数据闭环的方法及装置 Download PDFInfo
- Publication number
- CN110781279B CN110781279B CN201910983952.2A CN201910983952A CN110781279B CN 110781279 B CN110781279 B CN 110781279B CN 201910983952 A CN201910983952 A CN 201910983952A CN 110781279 B CN110781279 B CN 110781279B
- Authority
- CN
- China
- Prior art keywords
- log
- text
- intention
- engine
- compared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000005457 optimization Methods 0.000 title abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 70
- 230000003993 interaction Effects 0.000 claims abstract description 61
- 238000002790 cross-validation Methods 0.000 claims abstract description 43
- 238000012795 verification Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000010200 validation analysis Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000003058 natural language processing Methods 0.000 description 31
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种构造ASR/NLU引擎交叉优化数据闭环的方法，包括：基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与异常日志相关的用户交互流程，形成交叉验证日志；发送交叉验证日志中的待识别语音日志到ASR引擎，获取待识别文本日志，并将待识别文本日志发送到NLU引擎，获取到验证意图日志；将获待识别文本日志与交叉验证日志中的待比较文本日志、及验证意图日志与交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；根据引擎问题分类结果，推送异常用户交互类别到相关的设备终端进行显示，同时根据异常用户交互类别构建相应的异常测试集。便于形成ASR/NLU引擎优化的数据闭环，提高发现引擎异常问题的主动性。
Description
技术领域
本发明涉及数据闭环技术领域，特别涉及一种构造ASR/NLU引擎交叉优化数据闭环的方法及装置。
背景技术
在语音交互场景下，用户使用体验是否良好不容易感知。一般采用以下两种方法确定用户体验是否良好：一是客户端反馈，包括：ASR引擎语音识别不准确、服务响应慢或服务不可用，NLU引擎语义理解意图不准确、服务响应慢、服务不可用等；二是一般测试人员会定时提交固定测试集测试，尝试发现引擎问题，但是在采用以上两种方法进行确定的过程中，因为引擎异常问题发现的主动性能差，需要在用户反馈后才能启动问题排查，从而导致用户的体验效果差。
发明内容
本发明提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，用以通过对异常日志进行复原、及引擎交叉验证，自动进行引擎问题分类、异常测试集构建，形成ASR/NLU引擎优化的数据闭环，提高发现引擎异常问题的主动性，优化用户的体验效果。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，包括：
步骤S1：基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；
步骤S2：发送所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；
步骤S3：将所述步骤S2中所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所述步骤S2中所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；
步骤S4：根据所述步骤S3所获得的引擎问题分类结果，推送相关的异常用户交互类别到对应的设备终端进行显示，同时根据所述异常用户交互类别构建相应的异常测试集。
在一种可能实现的方式中，所述步骤S1中，所述预先存储的日志数据库中的日志数据的获取步骤包括：
步骤S11：实时采集所述用户语音交互中所产生的语音日志、文本日志和意图日志；
步骤S12：构建所采集的所述语音日志、文本日志和意图日志之间的关联性；
步骤S13：将所述步骤S11中所采集的语音日志、文本日志和意图日志、及所述步骤S12中所构建的关联性存储到所述日志数据库中，实现对日志数据的获取；
其中，所述日志数据包括：用户语音交互中所产生的语音日志、文本日志、意图日志、及所构建的所述语音日志、文本日志和意图日志之间的关联性。
在一种可能实现的方式中，所述步骤S1中，复原与所述异常日志相关的用户交互流程，形成交叉验证日志，是基于所述日志数据库中所存储的所构建的所述语音日志、文本日志和意图日志之间的关联性实现的。
在一种可能实现的方式中，所述异常日志包括：
ASR引擎请求中非正常响应的日志，和/或
NLU无法理解用户意图的日志。
在一种可能实现的方式中，所述引擎问题分类结果包括：
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志一致时，为第一引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志不一致时，为第二引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志一致时，为第三引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志不一致时，为第四引擎问题分类结果；
根据不同的引擎问题分类结果，执行不同的报警操作。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的装置，包括：
复原模块，用于基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；
发送模块，用于发送所述复原模块所形成的所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；
比较模块，用于将所述发送模块所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；
第一构建模块，用于根据所述比较模块所获得的引擎问题分类结果，推送相关的异常用户交互类别到对应的设备终端进行显示，同时根据所述异常用户交互类别构建相应的异常测试集。
在一种可能实现的方式中，还包括：
采集模块，用于实时采集所述用户语音交互中所产生的语音日志、文本日志和意图日志；
第二构建模块，用于构建所述采集模块所采集的所述语音日志、文本日志和意图日志之间的关联性；
存储模块，用于将所述采集模块所采集的语音日志、文本日志和意图日志、及所述第二构建模块所构建的关联性存储到所述日志数据库中，实现对日志数据的获取；
其中，所述日志数据包括：用户语音交互中所产生的语音日志、文本日志、意图日志、及所构建的所述语音日志、文本日志和意图日志之间的关联性。
在一种可能实现的方式中，
所述复原模块，所复原的与所述异常日志相关的用户交互流程，并形成的交叉验证日志，是基于所述日志数据库中所存储的所构建的所述语音日志、文本日志和意图日志之间的关联性实现的。
在一种可能实现的方式中，所述异常日志包括：
ASR引擎请求中非正常响应的日志，和/或
NLU无法理解用户意图的日志。
在一种可能实现的方式中，所述比较模块所获得的所述引擎问题分类结果包括：
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志一致时，为第一引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志不一致时，为第二引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志一致时，为第三引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志不一致时，为第四引擎问题分类结果；
根据不同的引擎问题分类结果，执行不同的报警操作。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种构造ASR/NLU引擎交叉优化数据闭环的方法的流程图；
图2为本发明实施例中一种构造ASR/NLU引擎交叉优化数据闭环的装置的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，如图1所示，包括：
步骤S1：基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；
步骤S2：发送所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；
步骤S3：将所述步骤S2中所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所述步骤S2中所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；
步骤S4：根据所述步骤S3所获得的引擎问题分类结果，推送相关的异常用户交互类别到对应的设备终端进行显示，同时根据所述异常用户交互类别构建相应的异常测试集。
优选地，所述异常日志包括：
ASR引擎请求中非正常响应的日志，和/或
NLU无法理解用户意图的日志。
上述ASR(Automatic Speech Recognition，自动语音识别)；
上述NLU(Natural Language Processing，自然语言处理)；
上述日志数据库中是包括：与用户语音交互相关的语音日志、文本日志、意图日志、及语音日志、文本日志、意图日志三者之间的关联性在内的；
上述与异常日志相关的用户交互流程，例如当获取到ASR引擎请求中非正常响应的日志时，如：语音识别不准确等非正常响应的日志，根据语音日志、文本日志、意图日志三者之间的关联性，获取与语音识别不准确等非正常响应的日志的用户交互流程；
上述对交叉验证日志中的待识别语音日志进行验证，即通过ASR引擎和NLU引擎进行验证，获取对应的待识别文本日志和验证意图日志；
且复原后形成的交叉验证日志中包括有待识别语音日志、待比较文本日志和待比较意图日志；
其中，待识别语音日志可以是用户交互过程中的一段音频信息，上述待识别文本日志，可以是对音频信息进行识别后，获取的文字信息，上述验证意图日志，可以是根据文字信息提取出的用户意图；
其交叉引擎验证，也是基于预先存储的模拟用户交互行为数据库获取的，其好处是，便于为后续的引擎问题分类结果提供可比较的数据基础；
上述引擎问题分类结果，是待识别文本日志与待比较文本日志、及验证意图日志与待比较意图日志之间的比较结果；
例如：当引擎问题分类结果为待识别文本日志与待比较文本日志不一致、且验证意图日志与待比较意图日志不一致时，对应的异常交互类别为用户体验效果差类别，且构建用户体验效果差类别的异常测试集，且异常测试集中包括，例如：文本识别不准确、意图识别不准确等异常信息。
上述推送异常用户交互类别到相关的设备终端进行显示，是为了对相关的负责人进行提醒，方便负责人及时对该异常用户交互类进行相关的处理，节省时间，提高用户体验效果；
且负责人还会对构建的异常测试集进行更新，并制定与ASR引擎和NLU引擎的优化计划，便于提高用户的体验效果。
上述设备终端包括但不限于，笔记本、手机、电脑。
上述技术方案的有益效果是：通过对异常日志进行复原、及引擎交叉验证，自动进行引擎问题分类、异常测试集构建，形成ASR/NLU引擎优化的数据闭环，提高发现引擎异常问题的主动性，优化用户的体验效果。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，所述步骤S1中，所述预先存储的日志数据库中的日志数据的获取步骤包括：
步骤S11：实时采集所述用户语音交互中所产生的语音日志、文本日志和意图日志；
步骤S12：构建所采集的所述语音日志、文本日志和意图日志之间的关联性；
步骤S13：将所述步骤S11中所采集的语音日志、文本日志和意图日志、及所述步骤S12中所构建的关联性存储到所述日志数据库中，实现对日志数据的获取；
其中，所述日志数据包括：用户语音交互中所产生的语音日志、文本日志、意图日志、及所构建的所述语音日志、文本日志和意图日志之间的关联性。
上述语音日志，可以是用户语音交互中产生的音频信息，如一段语音；
上述文本日志，可以是用户语音交互中产生的文字信息，如一段文字；
上述意图日志，可以是用户语音交互中产生的意图信息，如用户意图。
上述建立语音日志、文本日志和意图日志之间的关联性，是为了便于根据其中一个或两个日志信息获取其他的日志信息。
上述技术方案的有益效果是：便于扩充日志数据库的样本，并为后续形成的交叉验证日志提供数据基础。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，所述步骤S1中，复原与所述异常日志相关的用户交互流程，形成交叉验证日志，是基于所述日志数据库中所存储的所构建的所述语音日志、文本日志和意图日志之间的关联性实现的。
上述技术方案的有益效果是：通过依靠三者之间的关联性，便于进行复原工作，并形成交叉验证日志。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的方法，所述引擎问题分类结果包括：
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志一致时，为第一引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志不一致时，为第二引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志一致时，为第三引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志不一致时，为第四引擎问题分类结果；
根据不同的引擎问题分类结果，执行不同的报警操作。
上述报警操作，可以是灯光闪烁、声音报警等一种或多种组合起来的报警操作。
如：引擎问题分类结果对应的异常用户交互类别、及报警操作之间的关系如下表所示：
其中，异常用户交互类别为优，表示无异常；异常用户交互类别为中，表示存在异常；异常用户交互类别为差，表示存在异常。
上述技术方案的有益效果是：通过执行不同的报警操作，便于提醒负责人当前的比对情况，便于及时了解。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的装置，如图2所示，包括：
复原模块，用于基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；
发送模块，用于发送所述复原模块所形成的所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；
比较模块，用于将所述发送模块所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；
第一构建模块，用于根据所述比较模块所获得的引擎问题分类结果，推送相关的异常用户交互类别到对应的设备终端进行显示，同时根据所述异常用户交互类别构建相应的异常测试集。
优选地，所述异常日志包括：
ASR引擎请求中非正常响应的日志，和/或
NLU无法理解用户意图的日志。
上述技术方案的有益效果是：通过对异常日志进行复原、及引擎交叉验证，自动进行引擎问题分类、异常测试集构建，形成ASR/NLU引擎优化的数据闭环，提高发现引擎异常问题的主动性，优化用户的体验效果。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的装置，还包括：
采集模块，用于实时采集所述用户语音交互中所产生的语音日志、文本日志和意图日志；
第二构建模块，用于构建所述采集模块所采集的所述语音日志、文本日志和意图日志之间的关联性；
存储模块，用于将所述采集模块所采集的语音日志、文本日志和意图日志、及所述第二构建模块所构建的关联性存储到所述日志数据库中，实现对日志数据的获取；
其中，所述日志数据包括：用户语音交互中所产生的语音日志、文本日志、意图日志、及所构建的所述语音日志、文本日志和意图日志之间的关联性。
上述技术方案的有益效果是：便于扩充日志数据库的样本，并为后续形成的交叉验证日志提供数据基础。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的装置，
所述复原模块，所复原的与所述异常日志相关的用户交互流程，并形成的交叉验证日志，是基于所述日志数据库中所存储的所构建的所述语音日志、文本日志和意图日志之间的关联性实现的。
上述技术方案的有益效果是：通过依靠三者之间的关联性，便于进行复原工作，并形成交叉验证日志。
本发明实施例提供一种构造ASR/NLU引擎交叉优化数据闭环的装置，
所述比较模块所获得的所述引擎问题分类结果包括：
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志一致时，为第一引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志不一致时，为第二引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志一致时，为第三引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志不一致时，为第四引擎问题分类结果；
根据不同的引擎问题分类结果，执行不同的报警操作。
上述技术方案的有益效果是：通过执行不同的报警操作，便于提醒负责人当前的比对情况，便于及时了解。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种构造ASR/NLU引擎交叉优化数据闭环的方法，其特征在于，包括：
步骤S1：基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；
步骤S2：发送所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；
步骤S3：将所述步骤S2中所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所述步骤S2中所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；所述引擎问题分类结果，是待识别文本日志与待比较文本日志、及验证意图日志与待比较意图日志之间的比较结果；
步骤S4：根据所述步骤S3所获得的引擎问题分类结果，推送相关的异常用户交互类别到对应的设备终端进行显示，同时根据所述异常用户交互类别构建相应的异常测试集。
2.如权利要求1所述的方法，其特征在于，所述步骤S1中，所述预先存储的日志数据库中的日志数据的获取步骤包括：
步骤S11：实时采集所述用户语音交互中所产生的语音日志、文本日志和意图日志；
步骤S12：构建所采集的所述语音日志、文本日志和意图日志之间的关联性；
步骤S13：将所述步骤S11中所采集的语音日志、文本日志和意图日志、及所述步骤S12中所构建的关联性存储到所述日志数据库中，实现对日志数据的获取；
其中，所述日志数据包括：用户语音交互中所产生的语音日志、文本日志、意图日志、及所构建的所述语音日志、文本日志和意图日志之间的关联性。
3.如权利要求2所述的方法，其特征在于，所述步骤S1中，复原与所述异常日志相关的用户交互流程，形成交叉验证日志，是基于所述日志数据库中所存储的所构建的所述语音日志、文本日志和意图日志之间的关联性实现的。
4.如权利要求1所述的方法，其特征在于，所述异常日志包括：
ASR引擎请求中非正常响应的日志，和/或
NLU无法理解用户意图的日志。
5.如权利要求1所述的方法，其特征在于，所述引擎问题分类结果包括：
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志一致时，为第一引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志不一致时，为第二引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志一致时，为第三引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志不一致时，为第四引擎问题分类结果；
根据不同的引擎问题分类结果，执行不同的报警操作。
6.一种构造ASR/NLU引擎交叉优化数据闭环的装置，其特征在于，包括：
复原模块，用于基于预先存储的日志数据库，抽取与用户语音交互相关的异常日志，并复原与所述异常日志相关的用户交互流程，形成交叉验证日志；
发送模块，用于发送所述复原模块所形成的所述交叉验证日志中的待识别语音日志到ASR引擎，获取到相关的待识别文本日志，并将所获取的所述待识别文本日志发送到NLU引擎，获取到与所述待识别文本日志相关的验证意图日志，实现引擎交叉验证；
比较模块，用于将所述发送模块所获取的待识别文本日志与所述交叉验证日志中的待比较文本日志、及所获取的验证意图日志与所述交叉验证日志中的待比较意图日志进行分类比较，并获得引擎问题分类结果；所述引擎问题分类结果，是待识别文本日志与待比较文本日志、及验证意图日志与待比较意图日志之间的比较结果；
第一构建模块，用于根据所述比较模块所获得的引擎问题分类结果，推送相关的异常用户交互类别到对应的设备终端进行显示，同时根据所述异常用户交互类别构建相应的异常测试集。
7.如权利要求6所述的装置，其特征在于，还包括：
采集模块，用于实时采集所述用户语音交互中所产生的语音日志、文本日志和意图日志；
第二构建模块，用于构建所述采集模块所采集的所述语音日志、文本日志和意图日志之间的关联性；
存储模块，用于将所述采集模块所采集的语音日志、文本日志和意图日志、及所述第二构建模块所构建的关联性存储到所述日志数据库中，实现对日志数据的获取；
其中，所述日志数据包括：用户语音交互中所产生的语音日志、文本日志、意图日志、及所构建的所述语音日志、文本日志和意图日志之间的关联性。
8.如权利要求7所述的装置，其特征在于，
所述复原模块，所复原的与所述异常日志相关的用户交互流程，并形成的交叉验证日志，是基于所述日志数据库中所存储的所构建的所述语音日志、文本日志和意图日志之间的关联性实现的。
9.如权利要求6所述的装置，其特征在于，所述异常日志包括：
ASR引擎请求中非正常响应的日志，和/或
NLU无法理解用户意图的日志。
10.如权利要求6所述的装置，其特征在于，所述比较模块所获得的所述引擎问题分类结果包括：
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志一致时，为第一引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志一致，且所述验证意图日志与所述待比较意图日志不一致时，为第二引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志一致时，为第三引擎问题分类结果；
当所述待识别文本日志与所述待比较文本日志不一致，且所述验证意图日志与所述待比较意图日志不一致时，为第四引擎问题分类结果；
根据不同的引擎问题分类结果，执行不同的报警操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910983952.2A CN110781279B (zh) | 2019-10-16 | 2019-10-16 | 一种构造asr/nlu引擎交叉优化数据闭环的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910983952.2A CN110781279B (zh) | 2019-10-16 | 2019-10-16 | 一种构造asr/nlu引擎交叉优化数据闭环的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110781279A CN110781279A (zh) | 2020-02-11 |
| CN110781279B true CN110781279B (zh) | 2022-04-01 |
Family
ID=69385710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910983952.2A Active CN110781279B (zh) | 2019-10-16 | 2019-10-16 | 一种构造asr/nlu引擎交叉优化数据闭环的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781279B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084768A (zh) * | 2020-08-06 | 2020-12-15 | 珠海格力电器股份有限公司 | 一种多轮交互方法、装置及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
| CN108416041A (zh) * | 2018-03-14 | 2018-08-17 | 苏州思必驰信息科技有限公司 | 语音日志分析方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7181392B2 (en) * | 2002-07-16 | 2007-02-20 | International Business Machines Corporation | Determining speech recognition accuracy |
| KR101700099B1 (ko) * | 2016-10-11 | 2017-01-31 | 미디어젠(주) | 하이브리드 음성인식 복합 성능 자동 평가시스템 |
-
2019
- 2019-10-16 CN CN201910983952.2A patent/CN110781279B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106328166A (zh) * | 2016-08-31 | 2017-01-11 | 上海交通大学 | 人机对话异常检测系统及方法 |
| CN108416041A (zh) * | 2018-03-14 | 2018-08-17 | 苏州思必驰信息科技有限公司 | 语音日志分析方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110781279A (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230297581A1 (en) | Method and system for ranking search content | |
| US9424836B2 (en) | Privacy-sensitive speech model creation via aggregation of multiple user models | |
| US20180052824A1 (en) | Task identification and completion based on natural language query | |
| JP2019049970A (ja) | 候補応答情報を生成する方法及び装置 | |
| KR101605430B1 (ko) | 문답 데이터베이스 구축 시스템 및 방법, 그리고 이를 이용한 검색 시스템 및 방법 | |
| WO2020253064A1 (zh) | 语音的识别方法及装置、计算机设备、存储介质 | |
| US20040163035A1 (en) | Method for automatic and semi-automatic classification and clustering of non-deterministic texts | |
| CN103187053A (zh) | 输入方法和电子设备 | |
| CN104135577A (zh) | 一种基于自定义语音实现快速查找联系人的方法和装置 | |
| AU2017216520A1 (en) | Common data repository for improving transactional efficiencies of user interactions with a computing device | |
| CN111159987A (zh) | 数据图表绘制方法、装置、设备和计算机可读存储介质 | |
| CN109817203B (zh) | 一种语音交互的方法和系统 | |
| CN107492153A (zh) | 考勤系统、方法、考勤服务器及考勤终端 | |
| CN113051362A (zh) | 数据的查询方法、装置和服务器 | |
| KR20150041592A (ko) | 피호출자의 전자 디바이스에서 연락처 정보를 업데이트하는 방법 및 전자 디바이스 | |
| CN107315688A (zh) | 一种Monkey测试方法及装置 | |
| CN111159334A (zh) | 用于房源跟进信息处理的方法及系统 | |
| CN107247792B (zh) | 匹配职能部门的方法、装置及计算机设备 | |
| CN111312286A (zh) | 年龄识别方法、装置、设备及计算机可读存储介质 | |
| CN110781279B (zh) | 一种构造asr/nlu引擎交叉优化数据闭环的方法及装置 | |
| US20210165846A1 (en) | Information processing apparatus, information processing system, and method of processing information | |
| WO2021103594A1 (zh) | 一种默契度检测方法、设备、服务器及可读存储介质 | |
| CN113051389A (zh) | 知识推送方法及装置 | |
| CN114491010A (zh) | 信息抽取模型的训练方法及装置 | |
| CN105975389A (zh) | 一种进程数据提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |