CN111464701A - 一种对机器人外呼电话系统进行模拟多轮测试方法及装置 - Google Patents

一种对机器人外呼电话系统进行模拟多轮测试方法及装置 Download PDF

Info

Publication number
CN111464701A
CN111464701A CN202010170435.6A CN202010170435A CN111464701A CN 111464701 A CN111464701 A CN 111464701A CN 202010170435 A CN202010170435 A CN 202010170435A CN 111464701 A CN111464701 A CN 111464701A
Authority
CN
China
Prior art keywords
audio
conversation
broadcast audio
outbound
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010170435.6A
Other languages
English (en)
Other versions
CN111464701B (zh
Inventor
李旭滨
余斌
林飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yunzhixin Intelligent Technology Co Ltd
Original Assignee
Unisound Intelligent Technology Co Ltd
Xiamen Yunzhixin Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unisound Intelligent Technology Co Ltd, Xiamen Yunzhixin Intelligent Technology Co Ltd filed Critical Unisound Intelligent Technology Co Ltd
Priority to CN202010170435.6A priority Critical patent/CN111464701B/zh
Publication of CN111464701A publication Critical patent/CN111464701A/zh
Application granted granted Critical
Publication of CN111464701B publication Critical patent/CN111464701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/22Arrangements for supervision, monitoring or testing
    • H04M3/26Arrangements for supervision, monitoring or testing with means for applying test signals or for measuring
    • H04M3/28Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/22Arrangements for supervision, monitoring or testing
    • H04M3/36Statistical metering, e.g. recording occasions when traffic exceeds capacity of trunks
    • H04M3/362Traffic simulation

Abstract

本发明提供了一种对机器人外呼电话系统进行模拟多轮测试方法及装置,其中方法包括:步骤S2:根据对话流程图设置好对应的对话流程,按照对话流程与外呼系统的播报音频的正确性进行校验;其中,校验具体包括:步骤S21:播放对话流程中对话音频并接收外呼系统对于对话音频的播报音频;步骤S22:通过语音识别技术识别播报音频生成对应播报音频的播报音频数据,与对话流程中对应于对话音频的的预期结果进行比对,当对话流程执行完毕后,统计校验通过信息和校验不通过的具体参数信息。本发明的对机器人外呼电话系统进行模拟多轮测试方法,根据对话流程自动测试外呼系统,并输出测试结果,从而方便快捷地统计出外呼系统的性能。

Description

一种对机器人外呼电话系统进行模拟多轮测试方法及装置
技术领域
本发明涉及与语音识别技术领域,特别涉及一种对机器人外呼电话系统进行模拟多轮测试方法及装置。
背景技术
目前,外呼电话领域中,模拟测试主要靠人工拨打电话,与机器人多轮会话测试其交互性和性能,或者半自动人工预置对话音频和话术配置;最终测试结果,无法直观看到,需要人工回放音频来确认测试结果。无法准确的根据流程来进行针对性测试,并且外呼系统的性能统计非常困难。
发明内容
本发明提供一种对机器人外呼电话系统进行模拟多轮测试方法及装置,根据对话流程自动测试外呼系统,并输出测试结果,从而方便快捷地统计出外呼系统的性能。
本发明实施例提供一种对机器人外呼电话系统进行模拟多轮测试方法,包括:
步骤S1:基于会话初始协议注册到网关后,拨打到外呼系统或接收外呼系统的呼叫;
步骤S2:根据对话流程图设置好对应的对话流程,按照对话流程与外呼系统的播报音频的正确性进行校验;
其中,所述校验具体包括:
步骤S21:播放对话流程中对话音频并接收外呼系统对于对话音频的播报音频;
步骤S22:通过语音识别技术识别播报音频生成对应所述播报音频的播报音频数据,与对话流程中对应于所述对话音频的的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当对话流程执行完毕后,统计校验通过信息和校验不通过的具体参数信息。
优选的,校验通过信息和所述校验不通过的具体参数信息包括:播报音频、播报音频数据、对话音频、预期结果、对话音频的播放时间和播报音频的接收时间。
优选的,对机器人外呼电话系统进行模拟多轮测试方法还包括:
步骤S5:当外呼系统播放的播报音频的字数达到预设字数时,执行打断流程,
步骤S6:根据打断流程图设置好对应的对话流程,按照所述对话流程中对话音频与所述外呼系统的播报语音的正确性进行校验;
其中,所述校验具体包括:
步骤S61:播放打断流程图中对话音频并接收外呼系统对于对话音频的播报音频;
步骤S62:通过语音识别技术识别播报音频生成对应于所述播报音频的播报音频数据,与打断流程图中的对应于所述对话音频预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当打断流程执行完毕后,统计校验通过信息和校验不通过的具体参数信息。
优选的,在步骤S2:根据对话流程图设置好对应的对话流程,按照对话流程与外呼系统进行校验;具体包括:
步骤S201:接收外呼系统的播报音频;
步骤S202:基于语音识别技术对播报音频进行识别生成对应于所述播报音频的播报音频数据;
步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,
步骤S204:基于文本转语音技术将话术转换为对话音频,并将对话音频发送到外呼系统;
重复执行步骤S201至S204,直至对话流程执行完毕。
优选的,在步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,具体包括:
当对话流程中对于播报音频数据的对应话术为多个时,随机提取其中一个。
优选的,对机器人外呼电话系统进行模拟多轮测试方法还包括:
步骤S8:获取对话音频的结束时间,获取播报音频的开始时间;根据结束时间和开始时间的差值确定出外呼系统的反应时间。
优选的,在步骤S3:播放对话流程中对话音频时,还包括:
步骤S301:载入预设干扰音频,将干扰音频与对话音频进行混合或交替播放;
或,
步骤S302:在对话音频中截取多个预设音频段进行播放。
优选的,对机器人外呼电话系统进行模拟多轮测试方法还包括:
步骤S9:接收到外呼系统的播报音频确定播报音频的结束时间为第一时间;
步骤10:保持静默,当接收到第一次重复的播报音频时确定第一次重复的播报音频的结束时间为第二时间;
步骤11:继续保持静默,确定外呼系统挂断时间为第三时间;
步骤12:根据第一时间和第二时间确定外呼系统的等待时间;根据第一时间和第三时间确定外呼系统的待机时间。
本发明还提供一种对机器人外呼电话系统进行模拟多轮测试装置包括:
呼入呼出模块,用于基于会话初始协议注册到网关后,拨打到外呼系统或接收外呼系统的呼叫;
校验模块,用于根据对话流程图设置好对应的对话流程,按照所述对话流程与所述外呼系统的播报音频的正确性进行校验;
所述校验模块包括:
音频播放和接收模块,用于播放所述对话流程中对话音频并接收所述外呼系统对于所述对话音频的所述播报音频;
比对模块,用于通过语音识别技术识别所述播报音频生成对应所述播报音频的播报音频数据,与所述对话流程中的对应于所述对话音频的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当所述对话流程执行完毕后,统计所述校验通过信息和所述校验不通过的具体参数信息。
优选的,对机器人外呼电话系统进行模拟多轮测试装置还包括:
反应时间确认模块,用于获取所述对话音频的结束时间,获取所述播报音频的开始时间;根据所述结束时间和所述开始时间的差值确定出所述外呼系统的反应时间。
优选的,校验通过信息和所述校验不通过的具体参数信息包括:播报音频、播报音频数据、对话音频、预期结果、对话音频的播放时间和播报音频的接收时间。
优选的,对机器人外呼电话系统进行模拟多轮测试装置还包括:
打断模块,用于当外呼系统播放的播报音频的字数达到预设字数时,执行打断流程,
校验模块,还用于根据打断流程图设置好对应的对话流程,按照所述对话流程中对话音频与所述外呼系统的播报语音的正确性进行校验;
其中,所述校验具体包括:
音频播放和接收模块,还用于播放打断流程图中对话音频并接收外呼系统对于对话音频的播报音频;
比对模块,还用于通过语音识别技术识别播报音频生成对应于所述播报音频的播报音频数据,与打断流程图中的对应于所述对话音频预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当打断流程执行完毕后,统计校验通过信息和校验不通过的具体参数信息。
优选的,校验模块包括如下操作:
步骤S201:接收外呼系统的播报音频;
步骤S202:基于语音识别技术对播报音频进行识别生成对应于所述播报音频的播报音频数据;
步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,
步骤S204:基于文本转语音技术将话术转换为对话音频,并将对话音频发送到外呼系统;
重复执行步骤S201至S204,直至对话流程执行完毕。
优选的,在步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,具体包括:
当对话流程中对于播报音频数据的对应话术为多个时,随机提取其中一个。
优选的,音频播放和接收模块还包括如下操作:
步骤S301:载入预设干扰音频,将干扰音频与对话音频进行混合或交替播放;
或,
步骤S302:在对话音频中截取多个预设音频段进行播放。
优选的,对机器人外呼电话系统进行模拟多轮测试装置还包括:时间性能确认模块,所述时间性能确认模块包括如下操作:
步骤S9:接收到外呼系统的播报音频确定播报音频的结束时间为第一时间;
步骤10:保持静默,当接收到第一次重复的播报音频时确定第一次重复的播报音频的结束时间为第二时间;
步骤11:继续保持静默,确定外呼系统挂断时间为第三时间;
步骤12:根据第一时间和第二时间确定外呼系统的等待时间;根据第一时间和第三时间确定外呼系统的待机时间。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种对机器人外呼电话系统进行模拟多轮测试方法的示意图;
图2为本发明实施例中一种校验的示意图;
图3为本发明实施例中一种测试系统与外呼系统的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供一种对机器人外呼电话系统进行模拟多轮测试方法,如图1和图2所示,包括:
步骤S1:基于会话初始协议注册到网关后,拨打到外呼系统或接收外呼系统的呼叫;
步骤S2:根据对话流程图设置好对应的对话流程,按照对话流程与外呼系统的播报音频的正确性进行校验;
其中,所述校验具体包括:
步骤S21:播放对话流程中对话音频并接收外呼系统对于对话音频的播报音频;
步骤S22:通过语音识别技术识别播报音频生成对应所述播报音频的播报音频数据,与对话流程中对应于所述对话音频的的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当对话流程执行完毕后,统计校验通过信息和校验不通过的具体参数信息。
上述技术方案的工作原理及有益效果为:
测试系统基于会话初始协议注册到网关后,拨打到外呼系统或接收外呼系统的呼叫;根据对话流程图设置好对应的对话流程,按照对话流程与外呼系统进行校验;校验操作主要是:测试工具播放对话流程中对话音频并接收外呼系统对于对话音频的播报音频;在对话流程中记录有多个对话音频,按照对话流程顺序播放各个对话音频即可,在接收到播报音频时通过语音识别技术识别播报音频生成播报音频数据,与对话流程中的预期结果进行比对,当比对符合时,即校验通过,输出校验通过信息;当比对不符时,输出校验不通过信息。
例如:首先在接通外呼系统时,外呼系统播放预设的功能音频,一般首先播放的时“请问您是XXX?”,此时测试系统播放的对话音频为“是的”;在对话流程中的预期结过为“您好,这里有一款产品向您推荐,有时间听一下吗?”,当播报音频与预期结果比对符合时,输出校验通过信息。当比对存在差异时,输出校验不同过信息。
本发明的对机器人外呼电话系统进行模拟多轮测试方法,根据对话流程自动测试外呼系统,并输出测试结果,从而方便快捷地统计出外呼系统的性能。
在一个实施例中,校验通过信息和所述校验不通过的具体参数信息包括:播报音频、播报音频数据、对话音频、预期结果、对话音频的播放时间和播报音频的接收时间。
上述技术方案的工作原理及有益效果为:
输出的校验不同过信息包括:播报音频、播报音频数据、对话音频、预期结果、对话音频的播放时间和播报音频的接收时间。一方面方便后续追溯,另一方面方便能够为确定外呼系统的性能提供数据基础。
在一个实施例中,对机器人外呼电话系统进行模拟多轮测试方法还包括:
步骤S5:当外呼系统播放的播报音频的字数达到预设字数时,执行打断流程,
步骤S6:根据打断流程图设置好对应的对话流程,按照所述对话流程中对话音频与所述外呼系统的播报语音的正确性进行校验;
其中,所述校验具体包括:
步骤S61:播放所述打断流程图中对话音频并接收所述外呼系统对于所述对话音频的播报音频;
步骤S62:通过语音识别技术识别所述播报音频生成对应于所述播报音频的播报音频数据,与所述打断流程图中对应于所述对话音频的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当所述打断流程执行完毕后,统计所述校验通过信息和所述校验不通过的具体参数信息。
上述技术方案的工作原理及有益效果为:
通过打断流程测试出外呼系统在播报音频过程中被打断后的性能;为确定外呼系统的性能中应变度提供数据基础。
在一个实施例中,在步骤S2:根据对话流程图设置好对应的对话流程,按照对话流程与外呼系统进行校验;具体包括:
步骤S201:接收外呼系统的播报音频;
步骤S202:基于语音识别技术对播报音频进行识别生成对应于所述播报音频的播报音频数据;
步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,
步骤S204:基于文本转语音技术将话术转换为对话音频,并将对话音频发送到外呼系统;
重复执行步骤S201至S204,直至对话流程执行完毕。
上述技术方案的工作原理及有益效果为:
如图3所示,测试系统依赖ASR语音识别(语音识别技术)、NLU自然语言理解(自然语言处理技术)、TTS文字转语音(文本转语音技术)3个系统,通过SIP(会话初始协议)注册到网关后,拨打到外呼系统或接收外呼系统的呼叫,通过RTP协议进行语音数据交互,测试工具接收到外呼系统的语音数据后经过ASR识别,NLU理解并返回对应话术,TTS生成语音,来进行对应的通话测试。
在一个实施例中,在步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,具体包括:
当对话流程中对于播报音频数据的对应话术为多个时,随机提取其中一个。
上述技术方案的工作原理及有益效果为:
外呼系统目前最大的不可控因素是目标用户不会按照既定流程来配合通话,且话术充满随机性,无法穷举用户的话术,需要专门验证随机通话效果,测试工具可根据音频识别结果,通过NLU来随机获取回复文本后调用TTS进行语音合成并发送到外呼系统,达到验证随机通话。
在一个实施例中,对机器人外呼电话系统进行模拟多轮测试方法还包括:
步骤S8:获取对话音频的结束时间,获取播报音频的开始时间;根据结束时间和开始时间的差值确定出外呼系统的反应时间。
上述技术方案的原理及有益效果为:
可准确判断用户说话结束到机器人开始说话的时间差,该点可以准确评估出外呼系统的整体性能指标,即在不同并发下,可以准确的看出机器人的反应时间。
在一个实施例中,在步骤S3:播放对话流程中对话音频时,还包括:
步骤S301:载入预设干扰音频,将干扰音频与对话音频进行混合或交替播放;
或,
步骤S302:在对话音频中截取多个预设音频段进行播放。
上述技术方案的工作原理及有益效果为:
通过载入干扰音频模拟干扰环境下的通话,测试外呼系统的抗干扰能力。
为了测试外呼系统的等待时间和待机时间;在一个实施例中,对机器人外呼电话系统进行模拟多轮测试方法还包括:
步骤S9:接收到外呼系统的播报音频确定播报音频的结束时间为第一时间;
步骤10:保持静默,当接收到第一次重复的播报音频时确定第一次重复的播报音频的结束时间为第二时间;
步骤11:继续保持静默,确定外呼系统挂断时间为第三时间;
步骤12:根据第一时间和第二时间确定外呼系统的等待时间;根据第一时间和第三时间确定外呼系统的待机时间。
本发明还提供一种对机器人外呼电话系统进行模拟多轮测试装置包括:
呼入呼出模块,用于基于会话初始协议注册到网关后,拨打到外呼系统或接收外呼系统的呼叫;
校验模块,用于根据对话流程图设置好对应的对话流程,按照所述对话流程与所述外呼系统的播报音频的正确性进行校验;
所述校验模块包括:
音频播放和接收模块,用于播放所述对话流程中对话音频并接收所述外呼系统对于所述对话音频的所述播报音频;
比对模块,用于通过语音识别技术识别所述播报音频生成对应所述播报音频的播报音频数据,与所述对话流程中的对应于所述对话音频的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当所述对话流程执行完毕后,统计所述校验通过信息和所述校验不通过的具体参数信息。
在一个实施例中,对机器人外呼电话系统进行模拟多轮测试装置还包括:
反应时间确认模块,用于获取所述对话音频的结束时间,获取所述播报音频的开始时间;根据所述结束时间和所述开始时间的差值确定出所述外呼系统的反应时间。
上述技术方案的原理及有益效果为:
反应时间确认模块可准确判断用户说话结束到机器人开始说话的时间差,该点可以准确评估出外呼系统的整体性能指标,即在不同并发下,可以准确的看出机器人的反应时间。
在一个实施例中,校验通过信息和所述校验不通过的具体参数信息包括:播报音频、播报音频数据、对话音频、预期结果、对话音频的播放时间和播报音频的接收时间。
上述技术方案的工作原理及有益效果为:
输出的校验不同过信息包括:播报音频、播报音频数据、对话音频、预期结果、对话音频的播放时间和播报音频的接收时间。一方面方便后续追溯,另一方面方便能够为确定外呼系统的性能提供数据基础。
在一个实施例中,对机器人外呼电话系统进行模拟多轮测试装置还包括:
打断模块,用于当外呼系统播放的播报音频的字数达到预设字数时,执行打断流程,
校验模块,还用于根据打断流程图设置好对应的对话流程,按照所述对话流程中对话音频与所述外呼系统的播报语音的正确性进行校验;
其中,所述校验具体包括:
音频播放和接收模块,还用于播放打断流程图中对话音频并接收外呼系统对于对话音频的播报音频;
比对模块,还用于通过语音识别技术识别播报音频生成对应于所述播报音频的播报音频数据,与打断流程图中的对应于所述对话音频预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当打断流程执行完毕后,统计校验通过信息和校验不通过的具体参数信息。
上述技术方案的工作原理及有益效果为:
通过打断模块的打断流程测试出外呼系统在播报音频过程中被打断后的性能;为确定外呼系统的性能中应变度提供数据基础。
在一个实施例中,校验模块包括如下操作:
步骤S201:接收外呼系统的播报音频;
步骤S202:基于语音识别技术对播报音频进行识别生成对应于所述播报音频的播报音频数据;
步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,
步骤S204:基于文本转语音技术将话术转换为对话音频,并将对话音频发送到外呼系统;
重复执行步骤S201至S204,直至对话流程执行完毕。
上述技术方案的工作原理及有益效果为:
如图3所示,测试系统依赖ASR语音识别(语音识别技术)、NLU自然语言理解(自然语言处理技术)、TTS文字转语音(文本转语音技术)3个系统,通过SIP(会话初始协议)注册到网关后,拨打到外呼系统或接收外呼系统的呼叫,通过RTP协议进行语音数据交互,测试工具接收到外呼系统的语音数据后经过ASR识别,NLU理解并返回对应话术,TTS生成语音,来进行对应的通话测试。
在一个实施例中,在步骤S203:基于自然语言处理技术对播报音频数据进行理解并依据对话流程返回对应话术,具体包括:
当对话流程中对于播报音频数据的对应话术为多个时,随机提取其中一个。
上述技术方案的工作原理及有益效果为:
外呼系统目前最大的不可控因素是目标用户不会按照既定流程来配合通话,且话术充满随机性,无法穷举用户的话术,需要专门验证随机通话效果,测试工具可根据音频识别结果,通过NLU来随机获取回复文本后调用TTS进行语音合成并发送到外呼系统,达到验证随机通话。
在一个实施例中,音频播放和接收模块还包括如下操作:
步骤S301:载入预设干扰音频,将干扰音频与对话音频进行混合或交替播放;
或,
步骤S302:在对话音频中截取多个预设音频段进行播放。
上述技术方案的工作原理及有益效果为:
通过载入干扰音频模拟干扰环境下的通话,测试外呼系统的抗干扰能力。
为了测试外呼系统的等待时间和待机时间;在一个实施例中,对机器人外呼电话系统进行模拟多轮测试装置还包括:时间性能确认模块,所述时间性能确认模块包括如下操作:
步骤S9:接收到外呼系统的播报音频确定播报音频的结束时间为第一时间;
步骤10:保持静默,当接收到第一次重复的播报音频时确定第一次重复的播报音频的结束时间为第二时间;
步骤11:继续保持静默,确定外呼系统挂断时间为第三时间;
步骤12:根据第一时间和第二时间确定外呼系统的等待时间;根据第一时间和第三时间确定外呼系统的待机时间。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,包括:
步骤S1:基于会话初始协议注册到网关后,拨打到外呼系统或接收外呼系统的呼叫;
步骤S2:根据对话流程图设置好对应的对话流程,按照所述对话流程与所述外呼系统的播报音频的正确性进行校验;
其中,所述校验具体包括:
步骤S21:播放所述对话流程中对话音频并接收所述外呼系统对于所述对话音频的所述播报音频;
步骤S22:通过语音识别技术识别所述播报音频生成对应所述播报音频的播报音频数据,与所述对话流程中的对应于所述对话音频的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当所述对话流程执行完毕后,统计所述校验通过信息和所述校验不通过的具体参数信息。
2.如权利要求1所述的对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,所述校验通过信息和所述校验不通过的具体参数信息包括以下至少一项:所述播报音频、所述播报音频数据、所述对话音频、所述预期结果、所述对话音频的播放时间和所述播报音频的接收时间。
3.如权利要求1所述的对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,还包括:
步骤S5:当所述外呼系统播放的所述播报音频的字数达到预设字数时,执行打断流程,
步骤S6:根据打断流程图设置好对应的对话流程,按照所述对话流程中对话音频与所述外呼系统的播报语音的正确性进行校验;
其中,所述校验具体包括:
步骤S61:播放所述打断流程图中对话音频并接收所述外呼系统对于所述对话音频的播报音频;
步骤S62:通过语音识别技术识别所述播报音频生成对应于所述播报音频的播报音频数据,与所述打断流程图中对应于所述对话音频的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当所述打断流程执行完毕后,统计所述校验通过信息和所述校验不通过的具体参数信息。
4.如权利要求1所述的对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,在步骤S2:根据对话流程图设置好对应的对话流程,按照所述对话流程与所述外呼系统进行校验;具体包括:
步骤S201:接收所述外呼系统的所述播报音频;
步骤S202:基于语音识别技术对所述播报音频进行识别生成对应于所述播报音频的播报音频数据;
步骤S203:基于自然语言处理技术对所述播报音频数据进行理解并依据所述对话流程返回对应话术,
步骤S204:基于文本转语音技术将所述话术转换为所述对话音频,并将所述对话音频发送到所述外呼系统;
重复执行步骤S201至S204,直至所述对话流程执行完毕。
5.如权利要求4所述的对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,在步骤S203:基于自然语言处理技术对所述播报音频数据进行理解并依据所述对话流程返回对应话术,具体包括:
当所述对话流程中对于所述播报音频数据的对应话术为多个时,随机提取其中一个。
6.如权利要求1所述的对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,还包括:
步骤S8:获取所述对话音频的结束时间,获取所述播报音频的开始时间;根据所述结束时间和所述开始时间的差值确定出所述外呼系统的反应时间。
7.如权利要求1所述的对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,在步骤S3:播放所述对话流程中对话音频时,还包括:
步骤S301:载入预设干扰音频,将所述干扰音频与所述对话音频进行混合或交替播放;
或,
步骤S302:在所述对话音频中截取多个预设音频段进行播放。
8.如权利要求1所述的对机器人外呼电话系统进行模拟多轮测试方法,其特征在于,还包括:
步骤S9:接收到所述外呼系统的所述播报音频确定所述播报音频的结束时间为第一时间;
步骤10:保持静默,当接收到第一次重复的播报音频时确定所述第一次重复的播报音频的结束时间为第二时间;
步骤11:继续保持静默,确定所述外呼系统挂断时间为第三时间;
步骤12:根据所述第一时间和第二时间确定所述外呼系统的等待时间;根据所述第一时间和所述第三时间确定所述外呼系统的待机时间。
9.一种对机器人外呼电话系统进行模拟多轮测试装置,其特征在于,包括:
呼入呼出模块,用于基于会话初始协议注册到网关后,拨打到外呼系统或接收外呼系统的呼叫;
校验模块,用于根据对话流程图设置好对应的对话流程,按照所述对话流程与所述外呼系统的播报音频的正确性进行校验;
所述校验模块包括:
音频播放和接收模块,用于播放所述对话流程中对话音频并接收所述外呼系统对于所述对话音频的所述播报音频;
比对模块,用于通过语音识别技术识别所述播报音频生成对应所述播报音频的播报音频数据,与所述对话流程中的对应于所述对话音频的预期结果进行比对,
当比对符合时,即校验通过,输出校验通过信息;
当比对不符时,输出校验不通过信息;
当所述对话流程执行完毕后,统计所述校验通过信息和所述校验不通过的具体参数信息。
10.如权利要求9所述的对机器人外呼电话系统进行模拟多轮测试装置,其特征在于,还包括:
反应时间确认模块,用于获取所述对话音频的结束时间,获取所述播报音频的开始时间;根据所述结束时间和所述开始时间的差值确定出所述外呼系统的反应时间。
CN202010170435.6A 2020-03-12 2020-03-12 一种对机器人外呼电话系统进行模拟多轮测试方法及装置 Active CN111464701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010170435.6A CN111464701B (zh) 2020-03-12 2020-03-12 一种对机器人外呼电话系统进行模拟多轮测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010170435.6A CN111464701B (zh) 2020-03-12 2020-03-12 一种对机器人外呼电话系统进行模拟多轮测试方法及装置

Publications (2)

Publication Number Publication Date
CN111464701A true CN111464701A (zh) 2020-07-28
CN111464701B CN111464701B (zh) 2021-05-07

Family

ID=71680759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010170435.6A Active CN111464701B (zh) 2020-03-12 2020-03-12 一种对机器人外呼电话系统进行模拟多轮测试方法及装置

Country Status (1)

Country Link
CN (1) CN111464701B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897864A (zh) * 2020-08-13 2020-11-06 创智和宇信息技术股份有限公司 一种基于互联网ai外呼的专家库数据抽取方法及系统
CN113065850A (zh) * 2021-04-02 2021-07-02 京东数科海益信息科技有限公司 用于智能外呼机器人的话术测试方法及装置
CN114006985A (zh) * 2021-10-27 2022-02-01 易谷网络科技股份有限公司 Ivr测试流程中音频测试方法、装置、设备及存储介质
CN114172870A (zh) * 2021-12-03 2022-03-11 上海景吾智能科技有限公司 酒店机器人与酒店模拟电话通信系统及方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446491A (zh) * 2015-12-16 2016-03-30 北京光年无限科技有限公司 一种基于智能机器人的交互方法和装置
CN106528692A (zh) * 2016-10-31 2017-03-22 北京百度网讯科技有限公司 基于人工智能的对话控制方法及装置
CN107053208A (zh) * 2017-05-24 2017-08-18 北京无忧创新科技有限公司 一种主动交互式对话机器人系统及该系统主动对话的方法
CN107086040A (zh) * 2017-06-23 2017-08-22 歌尔股份有限公司 语音识别能力测试方法和装置
CN108847238A (zh) * 2018-08-06 2018-11-20 东北大学 一种新型服务机器人语音识别方法
CN109227558A (zh) * 2018-10-09 2019-01-18 北京智合大方科技有限公司 可实时调校的智能外呼机器人
CN109348077A (zh) * 2018-11-23 2019-02-15 杭州简丽信息技术有限公司 一种人工与机器人切换的电话系统及使用方法
CN109509471A (zh) * 2018-12-28 2019-03-22 浙江百应科技有限公司 一种基于vad算法打断智能语音机器人对话的方法
CN109672794A (zh) * 2018-12-04 2019-04-23 天津深思维科技有限公司 一种智能语音外呼系统
CN109693244A (zh) * 2018-12-24 2019-04-30 零犀(北京)科技有限公司 优化对话机器人的方法及装置
CN109829729A (zh) * 2019-01-18 2019-05-31 青牛智胜(深圳)科技有限公司 一种智能外呼系统及方法
CN110019688A (zh) * 2019-01-23 2019-07-16 艾肯特公司 对机器人进行训练的方法
US20190245975A1 (en) * 2017-08-15 2019-08-08 Genesys Telecommunications Laboratories, Inc. Automatic quality management of chat agents via chat bots
CN110288978A (zh) * 2018-10-25 2019-09-27 腾讯科技(深圳)有限公司 一种语音识别模型训练方法及装置
CN110458599A (zh) * 2019-07-05 2019-11-15 深圳壹账通智能科技有限公司 测试方法、测试装置及相关产品
CN110867197A (zh) * 2019-10-23 2020-03-06 吴杰 语音交互过程中实时打断语音机器人的方法及设备
CN110866157A (zh) * 2018-08-27 2020-03-06 北京猎户星空科技有限公司 机器人应答方法、装置及机器人

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446491A (zh) * 2015-12-16 2016-03-30 北京光年无限科技有限公司 一种基于智能机器人的交互方法和装置
CN106528692A (zh) * 2016-10-31 2017-03-22 北京百度网讯科技有限公司 基于人工智能的对话控制方法及装置
CN107053208A (zh) * 2017-05-24 2017-08-18 北京无忧创新科技有限公司 一种主动交互式对话机器人系统及该系统主动对话的方法
CN107086040A (zh) * 2017-06-23 2017-08-22 歌尔股份有限公司 语音识别能力测试方法和装置
US20190245975A1 (en) * 2017-08-15 2019-08-08 Genesys Telecommunications Laboratories, Inc. Automatic quality management of chat agents via chat bots
CN108847238A (zh) * 2018-08-06 2018-11-20 东北大学 一种新型服务机器人语音识别方法
CN110866157A (zh) * 2018-08-27 2020-03-06 北京猎户星空科技有限公司 机器人应答方法、装置及机器人
CN109227558A (zh) * 2018-10-09 2019-01-18 北京智合大方科技有限公司 可实时调校的智能外呼机器人
CN110288978A (zh) * 2018-10-25 2019-09-27 腾讯科技(深圳)有限公司 一种语音识别模型训练方法及装置
CN109348077A (zh) * 2018-11-23 2019-02-15 杭州简丽信息技术有限公司 一种人工与机器人切换的电话系统及使用方法
CN109672794A (zh) * 2018-12-04 2019-04-23 天津深思维科技有限公司 一种智能语音外呼系统
CN109693244A (zh) * 2018-12-24 2019-04-30 零犀(北京)科技有限公司 优化对话机器人的方法及装置
CN109509471A (zh) * 2018-12-28 2019-03-22 浙江百应科技有限公司 一种基于vad算法打断智能语音机器人对话的方法
CN109829729A (zh) * 2019-01-18 2019-05-31 青牛智胜(深圳)科技有限公司 一种智能外呼系统及方法
CN110019688A (zh) * 2019-01-23 2019-07-16 艾肯特公司 对机器人进行训练的方法
CN110458599A (zh) * 2019-07-05 2019-11-15 深圳壹账通智能科技有限公司 测试方法、测试装置及相关产品
CN110867197A (zh) * 2019-10-23 2020-03-06 吴杰 语音交互过程中实时打断语音机器人的方法及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897864A (zh) * 2020-08-13 2020-11-06 创智和宇信息技术股份有限公司 一种基于互联网ai外呼的专家库数据抽取方法及系统
CN111897864B (zh) * 2020-08-13 2021-04-20 创智和宇信息技术股份有限公司 一种基于互联网ai外呼的专家库数据抽取方法及系统
CN113065850A (zh) * 2021-04-02 2021-07-02 京东数科海益信息科技有限公司 用于智能外呼机器人的话术测试方法及装置
CN114006985A (zh) * 2021-10-27 2022-02-01 易谷网络科技股份有限公司 Ivr测试流程中音频测试方法、装置、设备及存储介质
CN114172870A (zh) * 2021-12-03 2022-03-11 上海景吾智能科技有限公司 酒店机器人与酒店模拟电话通信系统及方法

Also Published As

Publication number Publication date
CN111464701B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN111464701B (zh) 一种对机器人外呼电话系统进行模拟多轮测试方法及装置
US6477492B1 (en) System for automated testing of perceptual distortion of prompts from voice response systems
CN110661927B (zh) 语音交互方法、装置、计算机设备及存储介质
US6914962B2 (en) Call-flow verification method and apparatus
US9583108B2 (en) Voice detection for automated communication system
US8599704B2 (en) Assessing gateway quality using audio systems
CN110223697B (zh) 人机对话方法及系统
CN110198256B (zh) 客户终端核数确定方法及装置、存储介质、终端
JP2009543158A (ja) 音声認識機能を使用した応答マシンの検出
US20080243517A1 (en) Speech bookmarks in a voice user interface using a speech recognition engine and acoustically generated baseforms
US20070067172A1 (en) Method and apparatus for performing conversational opinion tests using an automated agent
US20080154590A1 (en) Automated speech recognition application testing
JP2004502985A (ja) 以後のオフライン音声認識のための音声情報を記録する記録装置
US20070003037A1 (en) Method and system for automatic generation and testing of voice applications
CN108055416A (zh) 一种VoIP语音的IVR自动化测试方法
US9679584B1 (en) Method of matching a digitized stream of audio signals to a known audio recording
JP2012511273A (ja) 会話的主観的品質テスト・ツール
JP5039879B2 (ja) スピーチエネーブル装置のユーザインターフェースの完全性をテストする方法および装置
CN111696576A (zh) 一种智能语音机器人话术测试系统
US20060271366A1 (en) Synthesized speech based testing
US7308079B2 (en) Automating testing path responses to external systems within a voice response system
CN113595811B (zh) 设备性能测试方法、装置、存储介质及电子装置
US7298827B1 (en) System and method for testing a quality of telecommunication data
Delogu et al. A comparison between DTMF and ASR IVR services through objective and subjective evaluation
JP2013257428A (ja) 音声認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211213

Address after: 361021 unit 206, floor 2, No. 6, Chengyi North Street, phase III, software park, Xiamen, Fujian

Patentee after: Xiamen yunzhixin Intelligent Technology Co.,Ltd.

Address before: No.101, 1st floor, building 1, Xisanqi building materials City, Haidian District, Beijing

Patentee before: Yunzhisheng Intelligent Technology Co.,Ltd.

Patentee before: Xiamen yunzhixin Intelligent Technology Co., Ltd