CN110198256B - 客户终端核数确定方法及装置、存储介质、终端 - Google Patents

Abstract

一种客户终端核数确定方法及装置、存储介质、终端，其中压力测试方法包括：发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数。通过本发明提供的方案能够实现对互动式语音应答系统的自动化测试，降低人工成本，利于提高测试结果的准确度，测试结果有助于确定客户终端核数，使得客户终端能够根据需要合理确定服务器数量和硬件配置。

Description

客户终端核数确定方法及装置、存储介质、终端

技术领域

本发明涉及语音应答技术领域，具体地涉及一种客户终端核数确定方法及装置、存储介质、终端。

背景技术

传统的互动式语音应答(Interactive Voice Response，简称IVR)压力测试方法中，客户端使用人工操作拨打电话与服务器进行语音交互。这样的压力测试方式存在耗时耗力、难以到达测试所需的服务上的压力数据量、难以达到一同并发的效果、难以复现、难以长时间稳定性测试等问题，导致测试结果准确度低，无法为实际运行互动式语音应答系统时的服务器配置提供有用的参考信息。

发明内容

本发明解决的技术问题是如何降低互动式语音应答系统的压力测试的人工成本，提高测试结果的准确度。

为解决上述技术问题，本发明实施例提供一种互动式语音应答系统的压力测试方法，包括：发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数。

可选的，所述记录各路会话请求的响应结果包括：对于每路会话请求，根据所述会话请求的结束语、会话时长和/或所述互动式语音应答系统的语音识别模块针对所述会话请求执行语音识别操作的执行信息确定所述响应结果。

可选的，所述根据所述会话请求的结束语、会话时长和/或所述互动式语音应答系统的语音识别模块针对所述会话请求执行语音识别操作的执行信息确定所述响应结果包括：当所述并行会话请求的结束语与预设语料匹配时，确定所述响应结果为响应成功，否则，确定所述响应结果为响应失败；或者，当所述执行信息表明所述互动式语音应答系统未针对所述会话请求执行语音识别操作时，确定所述响应结果为响应失败，否则，确定所述响应结果为响应成功；或者，当所述会话时长小于预设时长时，确定所述响应结果为响应失败，否则，确定所述响应结果为响应成功，其中，所述预设时长至少根据所述会话测试中首句语料的语音播放时长确定；或者，当所述并行会话请求的结束语与所述预设语料不匹配，并且，所述会话时长小于所述预设时长时，确定所述响应结果为响应失败；或者，当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作，并且，所述会话时长大于所述预设时长时，确定所述响应结果为响应成功；或者，当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作、所述会话时长大于所述预设时长，并且所述并行会话请求的结束语与所述预设语料匹配时，确定所述响应结果为响应成功。

可选的，每轮会话测试包括多次循环，在每次循环中发起所述多路并行的会话请求，所述记录各路会话请求的响应结果包括：记录每次循环中发起的各路会话请求的响应结果。

可选的，所述多轮会话测试是在预设定时器到期时发起的，其中，所述预设定时器的到期时间是根据互动式语音应答系统的忙闲程度设置的。

可选的，所述根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数包括：统计各轮会话测试的失败率，其中，所述失败率是指各轮会话测试中响应失败的次数在所有响应结果的占比；从各失败率中选择数值最大且小于预设阈值的失败率，确定选择的失败率所对应的会话测试发起的并行会话请求的数量为所述最大并发会话数。

可选的，所述根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数包括：根据所述各轮会话测试的测试结果拟合得到所述互动式语音应答系统的数据吞吐量随并行会话数的变化趋势，其中，所述数据吞吐量用于表示单位时间内的并行会话数；根据所述变化趋势确定优选数据吞吐量，并将所述优选数据吞吐量对应的并发会话数确定为所述最大并行会话数。

可选的，每轮会话测试的并行会话数选取自预设并行会话数集合。

可选的，所述发起多轮会话测试包括：当针对上一轮会话测试发起的各路会话请求的响应结果均记录完毕时，发起下一轮会话测试。

为解决上述技术问题，本发明实施例还提供一种互动式语音应答系统的客户终端核数确定方法，包括：采用上述压力测试方法获取运行于测试终端的互动式语音应答系统能承载的最大并行会话数；确定所述测试终端的测试终端核数；计算所述最大并行会话数与所述测试终端核数的关联关系；获取客户终端的期望并行会话数；根据所述最大并行会话数与所述测试终端核数的关联关系，以及所述期望并行会话数，确定所述客户终端的客户终端核数，以使运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数。

为解决上述技术问题，本发明实施例还提供一种互动式语音应答系统的压力测试装置，包括：测试模块，用于发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；最大并行会话数确定模块，用于根据所述各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数。

为解决上述技术问题，本发明实施例还提供一种互动式语音应答系统的客户终端核数确定装置，包括：上述压力测试装置，用于获取运行于测试终端的互动式语音应答系统能承载的最大并行会话数；测试终端核数确定模块，用于确定所述测试终端的测试终端核数；计算模块，用于计算所述最大并行会话数与所述测试终端核数的关联关系；获取模块，用于获取客户终端的期望并行会话数；客户终端核数确定模块，用于根据所述最大并行会话数与所述测试终端核数的关联关系，以及所述期望并行会话数，确定所述客户终端的客户终端核数，以使运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数。

为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述方法的步骤。

为解决上述技术问题，本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例提供一种互动式语音应答系统的压力测试方法，包括：发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数。较之现有基于人工的压力测试方案，本发明实施例的方案能够实现对互动式语音应答系统的自动化测试，降低人工成本，利于提高测试结果的准确度。具体而言，通过发起多轮会话测试，并且控制每轮会话测试中的并行会话数各不相同，能够在确保并发效果的同时，模拟得到不同并发数量的测试结果。进一步，本实施例的方案可以循环长时间执行，实现对所述互动式语音应答系统的稳定性测试，以更为精准地得到测试终端能够稳定运行时所能支持的最大并行会话数。

进一步，本发明实施例还提供一种互动式语音应答系统的客户终端核数确定方法，包括：采用上述压力测试方法获取运行于测试终端的互动式语音应答系统能承载的最大并行会话数；确定所述测试终端的测试终端核数；计算所述最大并行会话数与所述测试终端核数的关联关系；获取客户终端的期望并行会话数；根据所述最大并行会话数与所述测试终端核数的关联关系，以及所述期望并行会话数，确定所述客户终端的客户终端核数，以使运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数。较之现有技术，本发明实施例的方案能够根据对互动式语音应答系统的自动化压力测试结果，更为合理地确定客户终端核数，使得客户终端能够根据需要合理确定服务器数量和硬件配置。

附图说明

图1是本发明实施例的一种互动式语音应答系统的压力测试方法的流程图；

图2是图1中步骤S102的一个具体实施方式的流程图；

图3是图1中步骤S102的另一个具体实施方式的流程图；

图4是本发明实施例的一种互动式语音应答系统的客户终端核数确定方法的流程图；

图5是本发明实施例的一种互动式语音应答系统的压力测试装置的结构示意图；

图6是本发明实施例的一种互动式语音应答系统的客户终端核数确定装置的结构示意图。

具体实施方式

如背景技术所言，传统的互动式语音应答系统压力测试方法采用多人参与、同时拨打的方式来达到并发效果。这样的操作方式存在并发时间容易有偏差，如并发时间难以精确到“秒”，同时拨打的人数无法达到可测试用的压力数量，以及结果难以复现，难以长时间循环测试等问题。导致测试结果准确度低，无法为实际运行互动式语音应答系统时的服务器配置提供有用的参考信息。

为解决上述技术问题，本发明实施例提供一种互动式语音应答系统的压力测试方法，包括：发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数。

本领域技术人员理解，本发明实施例的方案能够实现对互动式语音应答系统的自动化测试，降低人工成本，利于提高测试结果的准确度。具体而言，通过发起多轮会话测试，并且控制每轮会话测试中的并行会话数各不相同，能够在确保并发效果的同时，模拟得到不同并发数量的测试结果。进一步，本实施例的方案可以循环长时间执行，实现对所述互动式语音应答系统的稳定性测试，以更为精准地得到测试终端能够稳定运行时所能支持的最大并行会话数。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例的一种互动式语音应答系统的压力测试方法的流程图。本实施例的方案可以应用于客户端侧，所述客户端可以用于模拟一个或多个发起会话请求的用户终端。所述客户端可以包括一个或多个相通信的服务器。

通过执行采用本实施例的方案，所述客户端可以向运行所述互动式语音应答系统的测试终端发起模拟的会话请求，以测试所述互动式语音应答系统以及所述测试终端的抗压能力。其中，所述模拟的会话请求是指，会话请求的发起方不是真正的人，而是所述客户端，所述会话请求的内容可以是抽取自预设语料库的词句。为便于表述，接下来将所述模拟的会话请求简称为会话请求。

具体地，参考图1，本实施例所述互动式语音应答系统的压力测试方法可以包括如下步骤：

步骤S101，发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；

步骤S102，根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数。

更为具体地，所述并行会话数是指线程数量，也即，需要模拟的同时拨打电话的路数。

在一个非限制性实施例中，所述多轮会话测试的轮数可以根据需要进行的不同数值的并行会话数的数量确定。进一步地，每轮会话测试的并行会话数可以选取自预设并行会话数集合。

例如，在执行各轮会话测试时，可以依次从所述预设并行会话集合中选取排序最靠前且尚未被选取过的并行会话数作为本轮会话测试的并行会话数，直至所述预设并行会话集合中的所有并行会话数均被选取，所述多轮会话测试结束。相应的，所述多轮会话测试的轮数即为所述预设并行会话数集合包括的元素的数量。

进一步地，所述预设并行会话数集合中各并行会话数可以是按照数值由小到大的顺序排列的，由此，每轮会话测试时发起的并行会话数呈递增趋势，利于降低资源消耗。

又例如，在执行各轮会话测试时，可以随机从所述预设并行会话集合中选取尚未被选取过的并行会话数作为本轮会话测试的并行会话数，直至所述预设并行会话集合中的所有并行会话数均被选取，所述多轮会话测试结束。

在一个非限制性实施例中，所述预设并行会话数集合包括的元素的数量可以根据运行所述压力测试的总时长、每轮会话测试的循环次数、所述客户端的资源配置等因素确定。

在一个非限制性实施例中，可以根据所述测试终端的测试终端核数按比例确定所述预设并行会话集合中的各元素的具体数值。

例如，假设所述测试终端核数为32核，则所述预设并行会话集合中的元素可以依据所述测试终端核数的0倍、1倍、2倍、3倍、4倍和5倍结合合理冗余确定，也即，可以得到预设并行会话数集合{1,40,70,100,140,150}。

在一个非限制性实施例中，可以在确定需要测试的并行会话数的最小值和最大值的基础上，通过插值的方式填充得到所述预设并行会话数集合。

具体地，所述最小值可以1，也即，在本轮会话测试中，每次均采用单线程发起会话请求。

更为具体地，所述最大值可以为所述测试终端的测试终端核数的预设倍数。其中，所述测试终端核数为所述测试终端的单个服务器的核数。

假设所述测试终端核数为32核，所述预设倍数为5倍，相应的，所述最大值可以为150。也即，在本轮会话测试中，每次均并行发起150路会话请求。

进一步地，通过插值处理，可以得到预设并行会话数集合{1,40,70,100,140,150}。

进一步地，为更精准的获得最大值附近的压力性能，越接近所述最大值，插值可以越密集。

在一个非限制性实施例中，每轮会话测试可以包括多次循环(loop)，在每次循环中发起所述多路并行的会话请求，所述记录各路会话请求的响应结果可以包括：记录每次循环中发起的各路会话请求的响应结果。

进一步地，每次循环的响应结果均可以作为所述测试结果。

或者，对于每轮会话测试，可以将本轮会话测试中每次循环的响应结果整合处理后得到所述测试结果。其中，所述整合处理可以包括：求平均值、归一化处理等。

进一步地，不同轮会话测试的循环次数可以相同也可以不相同。例如，会话测试的并行会话数越大，循环次数越大，以测试测试终端的极限。又例如，各轮会话测试的循环次数可以相同，如均为1000次，以得到相同循环次数下不同并行会话数的测试结果，利于获取并行会话数对测试结果的影响。

在一个非限制性实施例中，所述多轮会话测试可以是在预设定时器到期时发起的，其中，所述预设定时器的到期时间可以是根据互动式语音应答系统的忙闲程度设置的。

例如，可以综合考虑所述测试终端使用频率的峰谷低谷时间，也即，在所述测试终端处于空闲状态时执行本实施例所述方案，以免影响除压力测试外其他进程的执行。

在一个非限制性实施例中，所述步骤S101可以包括：当针对上一轮会话测试发起的各路会话请求的响应结果均记录完毕时，发起下一轮会话测试。

例如，上一轮会话测试结束后，所述客户端可以随机或按顺序从所述预设会话数集合中选取一并行会话数发起下一轮会话测试。

具体地，所述针对上一轮会话测试发起的各路会话请求的响应结果均记录完毕是指，所述上一轮会话测试中多路并行的会话请求的循环发起次数达到该轮会话测试的预订循环次数。

在一个非限制性实施例中，所述发起会话请求可以包括：生成会话初始协议(Session Initiation Protocol，简称SIP)流，通过媒体资源控制协议版本2(MediaResource Control Protocol Version 2，简称MRCPV2)协议，在MRCP服务器(Mrcp Server)服务中进行自动语音识别(Automatic Speech Recognition，简称ASR)操作和文本到语音(Text To Speech，简称TTS)的语音合成操作，以进行基本的IVR的电话交互方式。其中，可以事先预制通话的流程话术(也可称为话术流程)，以在每一次发起会话请求后完成一段模拟交互对话。

其中，所述自动语音识别操作可以由所述互动式语音应答系统的语音识别模块执行。

具体而言，该模拟交互对话的问方为语音音频，所述互动式语音问答系统将进行ASR语音识别；该模拟交互对话的答方为一段文字，所述互动式语音问答系统将进行TTS语音合成。

进一步地，当该模拟交互对话结束时，所述SIP流关闭，执行本实施例所述方案的客户端可以记录本次模拟交互对话的结束语、交互时长等参数，以得到所述响应结果。

进一步地，问方和答方可以从预设语料库中抽取问题和答案以进行模拟问答。

在一个非限制性实施例中，每轮会话测试或者每次循环中，各会话请求发起的语料可以不相同。

例如，可以在sip发起流程的时候进行，首先，所述客户端可以申请不同的客户端端口<sip-port>，以读取配置文件中预设的不同话术流程，所述测试终端可以根据所述预设语料库进行不同的话术回复，模拟不同场景，并根据不同场景下预设的结束语结束。

以银行信用卡的催收还款为例，响应于接收到会话请求，所述互动式语音应答系统可以基于语音合成触发流程询问“请问是张发女士吗”；并执行语音识别操作，在识别到相应文字时触发身份核实流程，具体地，所述客户端可以随机抽取回答，并通过语音合成答复“是或者不是”。

如果回答“是”，则所述互动式语音应答系统可以进行下一步流程，即还款情况。具体地，所述还款情况中可以以语音合成的方式播报“张发女士您在本行中有xxx欠款，请按时还款，谢谢您的配合，祝您生活愉快。”其中，欠款可以为多种并通过预先设置变量抽取。

如果回答“不是”，则所述互动式语音应答系统可以进行下一步流程，即通过语音合成播报“打扰了，谢谢您的配合，祝您生活愉快。”

在一个非限制性实施例中，所述记录各路会话请求的响应结果可以包括：对于每路会话请求，根据所述会话请求的结束语、会话时长和/或所述互动式语音应答系统的语音识别模块针对所述会话请求执行语音识别操作的执行信息确定所述响应结果。

在一个具体实施中，当所述并行会话请求的结束语与预设语料匹配时，确定所述响应结果为响应成功，否则，确定所述响应结果为响应失败。

例如，在SIP流关闭后，可以判断所述并行会话请求中的结束语是否为“祝您生活愉快”，当判断结果表明所述结束语是“祝您生活愉快”时，可以确定本次模拟交互对话完整的完成了通话流程，可以判定为一次成功的IVR电话交互，相应的响应结果为响应成功；否则，即如果所述结束语为其他答复，则判断本次模拟交互对话为一次失败的IVR电话交互，即不完整的通话，相应的响应结果为响应失败。

在一个具体实施中，当所述执行信息表明所述互动式语音应答系统未针对所述会话请求执行语音识别操作时，确定所述响应结果为响应失败，否则，确定所述响应结果为响应成功。

例如，当本次模拟交互对话在进行中只有单纯的sip的开启与关闭日志，没有MRCP模块中的识别语音信息，即类似MRCP语音识别完成(MRCP/2.0 468RECOGNITION-COMPLETE2COMPLETE)信息时，即可判定IVR交互失败，相应的，所述响应结果为相应失败。

在一个具体实施中，当所述会话时长小于预设时长时，可以确定所述响应结果为响应失败，否则，可以确定所述响应结果为响应成功，其中，所述预设时长至少可以根据所述会话测试中首句语料的语音播放时长确定。

因为语音合成的话术都是占用时间播放的，如果所述会话时长小于第一句语音的播放时长与测试终端基础的响应时间(如1s)之和，即可判定未能成功进入话术流程，即ivr交互失败。

或者，所述预设时长可以根据最短话术流程的总时长确定。

在一个具体实施中，当所述并行会话请求的结束语与所述预设语料不匹配，并且，所述会话时长小于所述预设时长时，确定所述响应结果为响应失败。由此，可以通过会话时长和结束语两方面综合判断本次模拟交互对话是否成功，以提高响应结果的精准度。

在一个具体实施中，当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作，并且，所述会话时长大于所述预设时长时，确定所述响应结果为响应成功。由此，可以通过是否执行语音识别操作以及会话时长两方面综合判断本次模拟交互对话是否成功，以提高响应结果的精准度。

在一个具体实施中，当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作、所述会话时长大于所述预设时长，并且所述并行会话请求的结束语与所述预设语料匹配时，确定所述响应结果为响应成功。由此，可以通过会话时长、结束语以及是否执行语音识别操作综合判断本次模拟交互对话是否成功，以提高响应结果的精准度。

进一步地，对于每轮会话测试，所述响应结果还可以包括：单次响应时间、每次循环或每轮会话测试的总时长、响应成功次数、响应失败次数、所述测试终端的服务器性能参数。

在一个非限制性实施例中，参考图2，所述步骤S102可以包括如下步骤：

步骤S1021，统计各轮会话测试的失败率，其中，所述失败率是指各轮会话测试中响应失败的次数在所有响应结果的占比；

步骤S1022，从各失败率中选择数值最大且小于预设阈值的失败率，确定选择的失败率所对应的会话测试发起的并行会话请求的数量为所述最大并发会话数。

采用本实施例的方案可以实现人工压力测试所无法达到的会话测试数量、统计响应时长和失败成功数，进而基于大数据量的测试结果得到更为精确的最大并行会话数。

表1

表2

表3

在一个典型的应用场景中，假设客户端和测试终端采用本实施例所述方案进行压力测试，具体而言，设置单线程、40线程、70线程、100线程、140线程和150线程并发运行客户端，分别循环1000次，在运行10小时后可以得到表1至表3示出的数据。

可见，采用本实施例的方案，10小时内可以运转501000通会话。而如果采用人工测试，即使能做到1分钟1通电话，单人工作8小时也只能完成480通电话，且难以做到统计全面。

具体地，参考表1至表3，会话请求数(Samples，也可称为线程数量)可以为并发线程(并行会话数)与循环次数(本场景中为1000次)的乘积。由表所示，总会话请求数(TotalSamples)为所有会话累加数，共计501000次，其中，失败数量为294次，失败率为0.06％，平均响应时间为6002.43ms，最小平均响应时间为1824ms，最大平均响应时间为9895ms。

在具体实施中，可以通过所述失败率来表征单个服务器可以承受的并行会话数与错误数量，当失败率大于0.05％时，可以判定该服务器已达到最优最大并发数。

假设所述预设阈值为0.05％，根据表1至表3示出的测试结果可知，并行会话数100为所述互动式语音应答系统的最大并行会话数。

在一个非限制性实施例中，对于每一会话请求，所述会话请求的响应结果可以生成对应的通话日志并存档。具体地，可以根据所述通话日志的文件大小、结束语判断的标记等参数来判断该会话请求的响应结果是否为响应失败，利于快速统计得到失败率。

例如，在生成所述通话日志时，可以判断所述通话日志的结束语是否为所述预设语料，如果是，则对所述通话日志增加标记为1的前缀；否则，增加标记为0的前缀。完成本轮会话测试后，在筛选结果时可以通过判定文件的前缀名来进行筛选，以快速统计得到失败率。

在一个非限制性实施例中，参考图3，所述步骤S102可以包括如下步骤：

步骤S1025，根据所述各轮会话测试的测试结果拟合得到所述互动式语音应答系统的数据吞吐量随并行会话数的变化趋势，其中，所述数据吞吐量用于表示单位时间内的并行会话数；

步骤S1026，根据所述变化趋势确定优选数据吞吐量，并将所述优选数据吞吐量对应的并发会话数确定为所述最大并行会话数。

具体地，影响所述最大并行会话数的参数可以包括：所述测试终端的测试终端核数、所述互动式语音应答系统的数据吞吐量、所述会话请求对所述测试终端的服务器中央处理器(Central Processing Unit，简称CPU)的消耗、以及所述测试终端的服务器的输入输出(Input/Output，简称I/O)。

更为具体地，所述数据吞吐量可以基于所述测试终端的服务器每秒能处理的交易或事务的数量(Transaction Per Second，简称TPS)表征。当所述多路并行的会话请求均能被及时响应时，还可以基于所述客户中每秒钟发送的会话请求的数量(throughput)表征。

进一步地，所述数据吞吐量可以为并行会话数除以平均相应时间得到的结果。

进一步地，所述数据吞吐量随着并行会话数的增大而增大。

例如，在上述表1至表3示出的数据基础上，可以以平均响应时间为横轴，以并行会话数为纵轴，拟合绘制得到归一化处理后的数据吞吐量的变化曲线，该曲线上的每一点即为特定平均响应时间和并行会话数对应的数据吞吐量。其中，归一化处理可以指对所述数据吞吐量进行开根号处理。

进一步地，归一化处理后的变化曲线近似于正态分布曲线，该曲线的顶点对应的并行会话数即为所述最大并行会话数。

在一个变化例中，可以采用二分法试验得到所述最大并行会话数。

例如，可以先尝试一个超大值，所述互动式语音应答系统崩溃，则选取所述超大值的一半，所述互动式语音应答系统再崩溃，则选择前面一半区间的一半，直至找到极限值。在该极限值下所述互动式语音应答系统可以稳定运行，此时，所述极限值即为所述最大并行会话数。

在一个非限制性实施例中，通过执行本实施例所述方案，可以实现对测试终端的服务器长时间稳定性的性能数据统计，具体地，可以清晰查看压力变化和服务器性能关系，此处性能统计为同步生成，减少以往人工重新做统计的步骤。

例如，在执行本实施例所述方案过程中，可以实时绘制所述测试终端的服务器CPU消耗随并行会话数和时间的变化曲线，还可以实时绘制每秒的输入输出数量随并行会话数和时间的变化曲线，以对所述测试终端的稳定性进行实时监控。监控结果同样能够得到所述最大并行会话数。

由上，采用本实施例的方案，能够实现对互动式语音应答系统的自动化测试，降低人工成本，利于提高测试结果的准确度。具体而言，通过发起多轮会话测试，并且控制每轮会话测试中的并行会话数各不相同，能够在确保并发效果的同时，模拟得到不同并发数量的测试结果。进一步，本实施例的方案可以循环长时间执行，实现对所述互动式语音应答系统的稳定性测试，以更为精准地得到测试终端能够稳定运行时所能支持的最大并行会话数。

图4是本发明实施例的一种互动式语音应答系统的客户终端核数确定方法的流程图。本实施例的方案可以应用于终端侧，所述终端可以是执行上述图1所示方案的客户端，也可以是所述测试终端，或者，还可以是与上述客户端和测试终端均相独立的服务器。

具体地，参考图4，本实施例所述互动式语音应答系统的客户终端核数确定方法可以包括如下步骤：

步骤S401，采用上述图1至图3所示的压力测试方法获取运行于测试终端的互动式语音应答系统能承载的最大并行会话数；

步骤S402，确定所述测试终端的测试终端核数；

步骤S403，计算所述最大并行会话数与所述测试终端核数的关联关系；

步骤S404，获取客户终端的期望并行会话数；

步骤S405，根据所述最大并行会话数与所述测试终端核数的关联关系，以及所述期望并行会话数，确定所述客户终端的客户终端核数，以使运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数。

具体而言，在本实施例中，可以采用倍数法确定所述客户终端核数。例如，假设所述服务器的核数与最大并行会话数的关联关系可以用公式F＝NC表示，其中，F为最大并行会话数，C为服务器的核数，N为正整数。N的取值可以为1、2、3、4、5等。

根据上述图1至图3所述实施例，可以得到测试终端核数与最大并行会话数的倍数关系。例如，假设所述测试终端核数为32核，执行上述图1至图3所示实施例得到的最大并行会话数为100，则可以得到所述N为3。

进一步地，假设获取的所述期望并行会话数为200，则可以确定所述客户终端核数为64核。或者，可以建议客户终端布置2台32核的服务器，这同样可以满足运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数的要求。

由上，采用本实施例的方案，能够根据对互动式语音应答系统的自动化压力测试结果，更为合理地确定客户终端核数，使得客户终端能够根据需要合理确定服务器数量和硬件配置。

图5是本发明实施例的一种互动式语音应答系统的压力测试装置的结构示意图。本领域技术人员理解，本实施例所述互动式语音应答系统的压力测试装置(可简称为压力测试装置5)可以用于实施上述图1至图3所示实施例中所述的方法技术方案。

具体地，在本实施例中，参考图5，所述压力测试装置5可以包括：测试模块51，用于发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；最大并行会话数确定模块52，用于根据所述各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数。

在一个非限制性实施例中，所述测试模块51可以包括：响应结果确定子模块511，对于每路会话请求，根据所述会话请求的结束语、会话时长和/或所述互动式语音应答系统的语音识别模块针对所述会话请求执行语音识别操作的执行信息确定所述响应结果。

例如，所述响应结果确定子模块511可以包括：第一确定单元5111，当所述并行会话请求的结束语与预设语料匹配时，确定所述响应结果为响应成功，否则，确定所述响应结果为响应失败。

又例如，所述响应结果确定子模块511可以包括：第二确定单元5112，当所述执行信息表明所述互动式语音应答系统未针对所述会话请求执行语音识别操作时，确定所述响应结果为响应失败，否则，确定所述响应结果为响应成功。

再例如，所述响应结果确定子模块511可以包括：第三确定单元5113，当所述会话时长小于预设时长时，确定所述响应结果为响应失败，否则，确定所述响应结果为响应成功，其中，所述预设时长至少根据所述会话测试中首句语料的语音播放时长确定。

又例如，所述响应结果确定子模块511可以包括：第四确定单元5114，当所述并行会话请求的结束语与所述预设语料不匹配，并且，所述会话时长小于所述预设时长时，确定所述响应结果为响应失败。

再例如，所述响应结果确定子模块511可以包括：第五确定单元5115，当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作，并且，所述会话时长大于所述预设时长时，确定所述响应结果为响应成功。

又例如，所述响应结果确定子模块511可以包括：第六确定单元5116，当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作、所述会话时长大于所述预设时长，并且所述并行会话请求的结束语与所述预设语料匹配时，确定所述响应结果为响应成功。

在一个非限制性实施例中，每轮会话测试可以包括多次循环，在每次循环中发起所述多路并行的会话请求，所述测试模块51可以包括：记录子模块512，用于记录每次循环中发起的各路会话请求的响应结果。

在一个非限制性实施例中，所述多轮会话测试可以是在预设定时器到期时发起的，其中，所述预设定时器的到期时间可以是根据互动式语音应答系统的忙闲程度设置的。

在一个非限制性实施例中，所述最大并行会话数确定模块52可以包括：统计子模块521，用于统计各轮会话测试的失败率，其中，所述失败率是指各轮会话测试中响应失败的次数在所有响应结果的占比；选择子模块522，用于从各失败率中选择数值最大且小于预设阈值的失败率，确定选择的失败率所对应的会话测试发起的并行会话请求的数量为所述最大并发会话数。

在一个非限制性实施例中，所述最大并行会话数确定模块52可以包括：拟合子模块523，用于根据所述各轮会话测试的测试结果拟合得到所述互动式语音应答系统的数据吞吐量随并行会话数的变化趋势，其中，所述数据吞吐量用于表示单位时间内的并行会话数；确定子模块524，用于根据所述变化趋势确定优选数据吞吐量，并将所述优选数据吞吐量对应的并发会话数确定为所述最大并行会话数。

在一个非限制性实施例中，每轮会话测试的并行会话数可以选取自预设并行会话数集合。

在一个非限制性实施例中，所述测试模块51可以包括：发起子模块513，当针对上一轮会话测试发起的各路会话请求的响应结果均记录完毕时，发起下一轮会话测试。

关于所述压力测试装置5的工作原理、工作方式的更多内容，可以参照上述图1至图3中的相关描述，这里不再赘述。

图6是本发明实施例的一种互动式语音应答系统的客户终端核数确定装置的结构示意图。本领域技术人员理解，本实施例所述互动式语音应答系统的客户终端核数确定装置(可简称为客户终端核数确定装置6)可以用于实施上述图4所示实施例中所述的方法技术方案。

具体地，在本实施例中，参考图6，所述客户终端核数确定装置6可以包括：上述图5示出的压力测试装置5，用于获取运行于测试终端的互动式语音应答系统能承载的最大并行会话数；测试终端核数确定模块61，用于确定所述测试终端的测试终端核数；计算模块62，用于计算所述最大并行会话数与所述测试终端核数的关联关系；获取模块63，用于获取客户终端的期望并行会话数；客户终端核数确定模块64，用于根据所述最大并行会话数与所述测试终端核数的关联关系，以及所述期望并行会话数，确定所述客户终端的客户终端核数，以使运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数。

关于所述客户终端核数确定装置6的工作原理、工作方式的更多内容，可以参照上述图4中的相关描述，这里不再赘述。

进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述图1至图4所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。

进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图1至图4所示实施例中所述的方法技术方案。优选地，所述终端可以是用户设备(UserEquipment，简称UE)。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (12)

1.一种互动式语音应答系统的客户终端核数确定方法，其特征在于，包括：

获取运行于测试终端的互动式语音应答系统能承载的最大并行会话数，具体包括：发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数；

确定所述测试终端的测试终端核数；

计算所述最大并行会话数与所述测试终端核数的关联关系；

获取客户终端的期望并行会话数；

根据所述最大并行会话数与所述测试终端核数的关联关系，以及所述期望并行会话数，确定所述客户终端的客户终端核数，以使运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数。

2.根据权利要求1所述的方法，其特征在于，所述记录各路会话请求的响应结果包括：

对于每路会话请求，根据所述会话请求的结束语、会话时长和/或所述互动式语音应答系统的语音识别模块针对所述会话请求执行语音识别操作的执行信息确定所述响应结果。

3.根据权利要求2所述的方法，其特征在于，所述根据所述会话请求的结束语、会话时长和/或所述互动式语音应答系统的语音识别模块针对所述会话请求执行语音识别操作的执行信息确定所述响应结果包括：

当所述并行会话请求的结束语与预设语料匹配时，确定所述响应结果为响应成功，否则，确定所述响应结果为响应失败；或者，

当所述执行信息表明所述互动式语音应答系统未针对所述会话请求执行语音识别操作时，确定所述响应结果为响应失败，否则，确定所述响应结果为响应成功；或者，

当所述会话时长小于预设时长时，确定所述响应结果为响应失败，否则，确定所述响应结果为响应成功，其中，所述预设时长至少根据所述会话测试中首句语料的语音播放时长确定；或者，

当所述并行会话请求的结束语与所述预设语料不匹配，并且，所述会话时长小于所述预设时长时，确定所述响应结果为响应失败；或者，

当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作，并且，所述会话时长大于所述预设时长时，确定所述响应结果为响应成功；或者，

当所述执行信息表明所述互动式语音应答系统针对所述会话请求执行语音识别操作、所述会话时长大于所述预设时长，并且所述并行会话请求的结束语与所述预设语料匹配时，确定所述响应结果为响应成功。

4.根据权利要求1所述的方法，其特征在于，每轮会话测试包括多次循环，在每次循环中发起所述多路并行的会话请求，所述记录各路会话请求的响应结果包括：

记录每次循环中发起的各路会话请求的响应结果。

5.根据权利要求1所述的方法，其特征在于，所述多轮会话测试是在预设定时器到期时发起的，其中，所述预设定时器的到期时间是根据互动式语音应答系统的忙闲程度设置的。

6.根据权利要求1所述的方法，其特征在于，所述根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数包括：

统计各轮会话测试的失败率，其中，所述失败率是指各轮会话测试中响应失败的次数在所有响应结果的占比；

从各失败率中选择数值最大且小于预设阈值的失败率，确定选择的失败率所对应的会话测试发起的并行会话请求的数量为所述最大并发会话数。

7.根据权利要求1所述的方法，其特征在于，所述根据各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数包括：

根据所述各轮会话测试的测试结果拟合得到所述互动式语音应答系统的数据吞吐量随并行会话数的变化趋势，其中，所述数据吞吐量用于表示单位时间内的并行会话数；

根据所述变化趋势确定优选数据吞吐量，并将所述优选数据吞吐量对应的并发会话数确定为所述最大并行会话数。

8.根据权利要求1所述的方法，其特征在于，每轮会话测试的并行会话数选取自预设并行会话数集合。

9.根据权利要求1所述的方法，其特征在于，所述发起多轮会话测试包括：当针对上一轮会话测试发起的各路会话请求的响应结果均记录完毕时，发起下一轮会话测试。

10.一种互动式语音应答系统的客户终端核数确定装置，其特征在于，包括：

压力测试装置，用于获取运行于测试终端的互动式语音应答系统能承载的最大并行会话数，包括：测试模块，用于发起多轮会话测试，每轮会话测试包括：向所述互动式语音应答系统发起多路并行的会话请求，并且不同轮会话测试中的并行会话数不同；记录各路会话请求的响应结果，所述响应结果为响应成功或响应失败；最大并行会话数确定模块，用于根据所述各轮会话测试的测试结果，确定所述互动式语音应答系统能承载的最大并行会话数；

测试终端核数确定模块，用于确定所述测试终端的测试终端核数；

计算模块，用于计算所述最大并行会话数与所述测试终端核数的关联关系；

获取模块，用于获取客户终端的期望并行会话数；

客户终端核数确定模块，用于根据所述最大并行会话数与所述测试终端核数的关联关系，以及所述期望并行会话数，确定所述客户终端的客户终端核数，以使运行于所述客户终端的所述互动式语音应答系统能够支持的最大并行会话数不小于所述期望并行会话数。

11.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至9任一项所述方法的步骤。

12.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至9任一项所述方法的步骤。

Images