CN108777141A - 测试装置、测试的方法及存储介质 - Google Patents

Abstract

本发明涉及一种测试装置、测试的方法及存储介质，该测试装置包括存储器及与存储器连接的处理器，存储器中存储有可在处理器上运行的测试系统，测试系统被处理器执行时实现如下步骤：按照智能医生的应用场景划分模板，对每一模板准备对应的多个问题对应的语音文件供智能医生进行语音识别，计算该智能医生的语音识别的准确率；按照预设的构造方式构造该多个问题的答案，供智能医生对该第一文本进行第一批次的答案归置处理，及供智能医生对该第二文本进行第二批次的答案归置处理，并计算答案归置处理的准确率；获取多个问题对应的文本，供智能医生对该多个问题对应的文本进行语音播报，计算语音播报的准确率。本发明能够对智能医生进行全面测试。

Description

测试装置、测试的方法及存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种测试装置、测试的方法及存储介质。

背景技术

智能医生让每一个用户可以足不出户，就可以通过语音交互方式完成问诊，智能医生在产品上线前需要进行端到端的测试，确保智能医生具备独立承接问诊的能力。然而，现有的智能医生测试方案较为简单，例如，关注的重点仅仅在于其是否能够针对用户的问题给出正确的意见，而忽略了其他能力的测试，例如其能够正确识别用户的语音也是重要组成部分，因此，现有的测试方案无法对其进行全面测试，影响后期的使用，降低使用体验。

发明内容

本发明的目的在于提供一种测试装置、测试的方法及存储介质，旨在对智能医生进行全面测试，及时发现存在的缺陷。

为实现上述目的，本发明提供一种测试装置，所述测试装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的测试系统，所述测试系统被所述处理器执行时实现如下步骤：

按照智能医生的应用场景划分模板，对每一模板准备对应的多个问题对应的语音文件供智能医生进行语音识别，分别得到多个问题对应的语音识别结果，基于语音识别结果计算该智能医生的语音识别的准确率；

按照预设的构造方式构造该多个问题的答案，分别获取该多个问题的答案对应的第一文本，供智能医生对该第一文本进行第一批次的答案归置处理，并计算该第一批次的答案归置处理的准确率，以及，将该多个问题的答案的语音文件供智能医生进行语音识别，获取该多个问题的答案的语音文件的识别结果，将该识别结果转换为第二文本，供智能医生对该第二文本进行第二批次的答案归置处理，并计算该第二批次的答案归置处理的准确率；

获取多个问题对应的文本，供智能医生对该多个问题对应的文本进行语音播报，将语音播报的音频转换为拼音，获取多个问题对应的标准拼音，基于所转换的拼音及标准拼音计算语音播报的准确率。

优选地，所述语音识别的准确率包括单字准确率及整句准确率，单字准确率＝a1/A1，a1为一个问题中准确识别的字数，A1为该问题的总字数，整句准确率＝a2/A2，a2为一个模板中准确识别的语句的数量，A2为该模板中所有语句的数量；

所述第一批次的答案归置处理的准确率＝b1/B1，b1为未经语音识别但正确归置的答案数，B1为一个模板中所有语句的数量，所述第二批次的答案归置处理的准确率＝b2/B2，b2为经语音识别且正确归置的答案数，B2为一个模板中所有语句的数量；

所述语音播报的准确率包括第一准确率及第二准确率，第一准确率＝c1/C1，c1为一个问题的文本经语音播报后，其音频转化的拼音中正确的拼音的数量，C1为该问题对应的标准拼音的数量，第二准确率＝c2/C2，c2为一个模板中的各问题的文本经语音播报后，整个问题的全部拼音都准确的问题的数量，C2为该模板中所有问题的数量。

优选地，所述测试系统被所述处理器执行时，还实现如下步骤：

获取一次完整问诊的全部相关数据，由该一次完整问诊的全部相关数据构建问诊的树形结构，基于一次完整问诊的全部相关数据对智能医生执行一次完整问诊，获取智能医生反馈的问诊结果，根据该树形结构及问诊结果计算路径通过率。

优选地，所述根据该树形结构及问诊结果计算路径通过率，具体包括：获取该树形结构的总问诊支路数量，根据问诊结果获取问诊支路，并获取正确执行完一次完整问诊的问诊支路数量，路径通过率＝正确执行完一次完整问诊的问诊支路数量/总问诊支路数量。

为实现上述目的，本发明还提供一种测试的方法，所述测试的方法包括：

S1，按照智能医生的应用场景划分模板，对每一模板准备对应的多个问题对应的语音文件供智能医生进行语音识别，分别得到多个问题对应的语音识别结果，基于语音识别结果计算该智能医生的语音识别的准确率；

S2，按照预设的构造方式构造该多个问题的答案，分别获取该多个问题的答案对应的第一文本，供智能医生对该第一文本进行第一批次的答案归置处理，并计算该第一批次的答案归置处理的准确率，以及，将该多个问题的答案的语音文件供智能医生进行语音识别，获取该多个问题的答案的语音文件的识别结果，将该识别结果转换为第二文本，供智能医生对该第二文本进行第二批次的答案归置处理，并计算该第二批次的答案归置处理的准确率；

S3，获取多个问题对应的文本，供智能医生对该多个问题对应的文本进行语音播报，将语音播报的音频转换为拼音，获取多个问题对应的标准拼音，基于所转换的拼音及标准拼音计算语音播报的准确率。

优选地，所述语音识别的准确率包括单字准确率及整句准确率，单字准确率＝a1/A1，a1为一个问题中准确识别的字数，A1为该问题的总字数，整句准确率＝a2/A2，a2为一个模板中准确识别的语句的数量，A2为该模板中所有语句的数量；

所述第一批次的答案归置处理的准确率＝b1/B1，b1为未经语音识别但正确归置的答案数，B1为一个模板中所有语句的数量，所述第二批次的答案归置处理的准确率＝b2/B2，b2为经语音识别且正确归置的答案数，B2为一个模板中所有语句的数量；

所述语音播报的准确率包括第一准确率及第二准确率，第一准确率＝c1/C1，c1为一个问题的文本经语音播报后，其音频转化的拼音中正确的拼音的数量，C1为该问题对应的标准拼音的数量，第二准确率＝c2/C2，c2为一个模板中的各问题的文本经语音播报后，整个问题的全部拼音都准确的问题的数量，C2为该模板中所有问题的数量。

优选地，所述步骤S3之后，还包括：

S4，获取一次完整问诊的全部相关数据，由该一次完整问诊的全部相关数据构建问诊的树形结构，基于一次完整问诊的全部相关数据对智能医生执行一次完整问诊，获取智能医生反馈的问诊结果，根据该树形结构及问诊结果计算路径通过率。

优选地，所述根据该树形结构及问诊结果计算路径通过率，具体包括：

获取该树形结构的总问诊支路数量，根据问诊结果获取问诊支路，并获取正确执行完一次完整问诊的问诊支路数量，路径通过率＝正确执行完一次完整问诊的问诊支路数量/总问诊支路数量。

优选地，所述预设的构造方式，具体包括：

模拟方式构造：获取大量真实医疗咨询场景的语句，基于该语句构造多个问题对应的答案；

抽取方式构造：从问题中抽取关键字作为答案；

系统方式构造：将用户咨询的语句进行分词，对分词后的语句进行词性标注，基于标注后的词性获取可替换的分词，将该可替换的分词进行替换，以作为答案。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有测试系统，所述测试系统被处理器执行时实现上述的测试的方法的步骤。

本发明的有益效果是：本发明按照智能医生的应用场景划分模板，每一模板准备多个问题，整体测试方案包括基于上述的模板中的问题来获取智能医生的语音识别的准确率、答案归置处理的准确率及语音播报的准确率，以验证智能医生的语音识别能力、验证答案归置能力及验证语音播报能力，能够对智能医生进行全面测试，及时发现存在的缺陷。

附图说明

图1为本发明各个实施例一可选的应用环境示意图；

图2是图1中测试装置一实施例的硬件架构的示意图；

图3为基于一次问诊咨询的全部相关数据构建问诊的树形结构的示意图；

图4为本发明测试的方法第一实施例的流程示意图；

图5为本发明测试的方法第二实施例的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参阅图1所示，是本发明测试的方法的较佳实施例的应用环境示意图。该应用环境示意图包括测试装置1及智能医生。测试装置1可以通过网络、近场通信技术等适合的技术与智能医生进行数据交互。所述智能医生为智能装置，能够通过语音交互方式完成问诊。

所述测试装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述测试装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。

在本实施例中，如图2所示，测试装置1可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的测试系统。需要指出的是，图2仅示出了具有组件11-13的测试装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

其中，存储器11包括内存及至少一种类型的可读存储介质。内存为测试装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是测试装置1的内部存储单元，例如该测试装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是测试装置1的外部存储设备，例如测试装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于测试装置1的操作系统和各类应用软件，例如存储本发明一实施例中的测试系统的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述测试装置1的总体操作，例如执行与所述智能医生进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行测试系统等。

所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述测试装置1与其他电子设备之间建立通信连接。本实施例中，网络接口13主要用于将测试装置1与智能医生相连，在测试装置1与智能医生之间建立数据传输通道和通信连接。

所述测试系统存储在存储器11中，包括至少一个存储在存储器11中的计算机可读指令，该至少一个计算机可读指令可被处理器器12执行，以实现本申请各实施例的方法；以及，该至少一个计算机可读指令依据其各部分所实现的功能不同，可被划为不同的逻辑模块。

在一实施例中，上述测试系统被所述处理器12执行时实现如下步骤：

按照智能医生的应用场景划分模板，对每一模板准备对应的多个问题对应的语音文件供智能医生进行语音识别，分别得到多个问题对应的语音识别结果，基于语音识别结果计算该智能医生的语音识别的准确率；

其中，智能医生为可提供医疗咨询的智能设备，按照智能医生的应用场景划分模板，如下表1所示，模板包括：特殊选项问题、数字单选问题、核心语义(单选)、核心语义(多选)、核心语义(肯否定)、肯否定问题、男女问题、数字多选问题、值抽取日期问题、值抽取数字问题等等。

表1

每一模板准备对应的多个问题(即表1中的原文语料数)，例如：

男女问题：请问您的性别是？

核心语义(肯否定)：你去过医院吗？你拍过CT吗？

问数值：你今年多大？你发烧多少度了？你血压多少？

核心语义(多选)：请问是否有以下诱发因素：情绪波动、近期有感冒受凉、失眠？

数字多选问题：请问还有以下伴随症状吗？1、疼痛；2、瘙痒；3、增多；4、增大。

特殊选项问题：您还可以说不清楚、以上都无。

对每一模板准备对应的多个问题做成准确的语音文件或者进行录音得到准确的语音文件，智能医生进行语音识别，识别后的语音识别结果为波形文件，将该波形文件转换为文字，然后基于上述的每一模板对应的多个问题及该波形文件转换的文字，计算该智能医生的语音识别的准确率，以此来衡量智能医生的语音识别能力。

优选地，计算该智能医生的语音识别的准确率包括计算单字准确率、整句准确率，单字准确率为一个问题中能够准确识别的字数的比例，且针对一字一问题的情况，单字准确率与整句准确率相同：单字准确率＝a1/A1，a1为一个问题中准确识别的字数，A1为该问题的总字数；整句准确率为一个模板的所有语句中能够准确识别的语句的比例(一个问题为一个语句)：整句准确率＝a2/A2，a2为一个模板中准确识别的语句的数量，A2为该模板中所有语句的数量。通过单字准确率衡量智能医生局部的语音识别能力，通过整句准确率衡量智能医生整体的语音识别的能力，通过局部与整体语音识别能力的衡量，能够准确快速地找出不足之处以待改进。

一般来说，智能医生的语音识别的能力在上述的单字准确率、整句准确率分别不低于对应的阈值时，才能够使得后续在医疗咨询的实际应用中准确识别用户的语音，例如单字准确率的阈值为0.96，整句准确率的阈值为0.95，如果单字准确率、整句准确率分别低于对应的阈值，则影响整个医疗咨询的效果。

按照预设的构造方式构造该多个问题的答案，分别获取该多个问题的答案对应的第一文本，供智能医生对该第一文本进行第一批次的答案归置处理，并计算该第一批次的答案归置处理的准确率，以及，将该多个问题的答案的语音文件供智能医生进行语音识别，获取该多个问题的答案的语音文件的识别结果，将该识别结果转换为第二文本，供智能医生对该第二文本进行第二批次的答案归置处理，并计算该第二批次的答案归置处理的准确率；

其中，为了最大程度地模拟真实医疗咨询的过程，按照预设的方式构造该多个问题的答案的方式包括：

模拟方式构造：获取大量真实医疗咨询场景的语句，基于该语句模拟该真实医疗咨询场景构造多个问题对应的答案；

抽取方式构造：从问题中抽取部分关键字直接作为答案进行导入，比如问题“你怀孕了吗？”，基于这个问题抽取“怀了”、“怀孕了”作为答案；

系统方式构造：将用户咨询的语句进行分词，对分词后的语句进行词性标注，由相关程序替换其中的主、谓或宾语，比如句式为“我高烧37度了”，其中的37度为可替换词语，通过相关程序可以自动生成37度到40度这个区间的所有数据，作为答案。

其中，本实施例是衡量智能医生的答案归置处理能力，包括计算第一批次的答案归置处理的准确率及第二批次的答案归置处理的准确率，第一批次的答案归置处理的准确率为：以单个模板为单位，未进行语音识别的答案直接提供给智能医生进行归置处理，其归置处理正确的比例。第二批次的答案归置处理的准确率为：以单个模板为单位，进行语音识别的答案提供给智能医生进行归置处理，其归置处理正确的比例。第一批次的答案归置处理的准确率与第二批次的答案归置处理的准确率不同之处在于：第二批次的答案归置处理的准确率还与智能医生的语音识别能力有关。

其中，第一批次的答案归置处理的准确率＝b1/B1，b1为未经语音识别但正确归置的答案数，B1为一个模板中所有语句的数量，第二批次的答案归置处理的准确率＝b2/B2，b2为经语音识别且正确归置的答案数，B2为一个模板中所有语句的数量。以下举例说明：

若问题为：为了更好的判断您的疾病，请先告诉我您的性别？

则对应的标准答案是“男”、“女”。

在测试时准备了2种情况：第1种情况用户回答“我是男的”，第2种情况用户回答“我是男的”，但经智能医生语音识别后得到“我是男地”。

第一批次的答案归置处理的准确率即对应第一种情况，第二批次的答案归置处理的准确率对应第2种情况。将第1种情况的回答“我是男的”直接提供给智能医生进行归置处理，如果其归置为“男”，则归置处理是正确的，如果其归置为“女”，则归置错误。将第2种情况经语音识别后的回答“我是男地”提供给智能医生进行归置处理，如果其归置为“男”，则归置处理是正确的，如果其归置为“女”，则归置错误。

本实施例将未语音识别的答案直接提供给智能医生进行归置处理、将经语音识别的答案直接提供给智能医生进行归置处理，通过无语音识别干扰及有语音识别干扰的答案归置能力的衡量，能够准确快速地找出不足之处以待改进。

一般来说，智能医生的答案归置能力在上述的第一批次的答案归置处理的准确率及第二批次的答案归置处理的准确率分别不低于对应的阈值时，才能够使得后续在医疗咨询的实际应用中准确归置答案，例如第一批次的答案归置处理的准确率的阈值为0.95，第二批次的答案归置处理的准确率的阈值为0.93，如果第一批次的答案归置处理的准确率、第二批次的答案归置处理的准确率分别低于对应的阈值，则影响整个医疗咨询的效果。

获取多个问题对应的文本，供智能医生对该多个问题对应的文本进行语音播报，将语音播报的音频转换为拼音，获取多个问题对应的标准拼音，基于所转换的拼音及标准拼音计算语音播报的准确率。

本实施例衡量智能医生的语音播报能力，在获取多个问题对应的文本后，获取多个问题对应的标准拼音，并由智能医生对该文本进行语音播报，将智能医生播报的音频通过引擎转化问拼音的形式，然后将转化的拼音与标准拼音进行对比，以验证语音播报的准确率。其中，转化的拼音中正确的拼音的数量是与标准拼音相比较，如果某个拼音对应与标准拼音的相同，则正确。

其中，语音播报的准确率包括第一准确率及第二准确率，第一准确率＝c1/C1，c1为一个问题的文本经语音播报后，其音频转化的拼音中正确的拼音的数量，C1为该问题对应的标准拼音的数量，第二准确率＝c2/C2，c2为一个模板中的各问题的文本经语音播报后，整个问题的全部拼音都准确的问题的数量，C2为该模板中所有问题的数量。

其中，在智能医生对该文本进行语音播报时，调整智能医生的语速、音量及音高，例如语速、音量及音高的数值分别为50、51及52。

此外，验证智能医生的语音播报能力还包括验证智能医生的语音播报的断句能力，此部分可以随机抽取部分语音播报的音频，由人工进行验证。

其中，通过第一准确率衡量智能医生局部的语音播报能力，通过第二准确率衡量智能医生整体的语音播报的能力，通过局部与整体语音播报能力的衡量，能够准确快速地找出不足之处以待改进。

一般来说，智能医生的语音播报的能力在上述的第一准确率、第二准确率分别不低于对应的阈值时，才能够使得后续在医疗咨询的实际应用中准确播报语音，例如第一准确率的阈值为0.98，第二准确率的阈值为0.98，如果第一准确率、第二准确率分别低于对应的阈值，则影响整个医疗咨询的效果。

与现有技术相比，本发明按照智能医生的应用场景划分模板，每一模板准备多个问题，整体测试方案包括基于上述的模板中的问题来获取智能医生的语音识别的准确率、答案归置处理的准确率及语音播报的准确率，以验证智能医生的语音识别能力、验证答案归置能力及验证语音播报能力，能够对智能医生进行全面测试，及时发现存在的缺陷。

在一优选的实施例中，所述测试系统被所述处理器执行时，还实现如下步骤：获取一次完整问诊的全部相关数据，由该一次完整问诊的全部相关数据构建问诊的树形结构，基于一次完整问诊的全部相关数据对智能医生执行一次完整问诊，获取智能医生反馈的问诊结果，根据该树形结构及问诊结果计算路径通过率。

优选地，根据该树形结构及问诊结果计算路径通过率，包括：获取该树形结构的总问诊支路数量，根据问诊结果获取问诊支路，并获取正确执行完一次完整问诊的问诊支路数量，路径通过率＝正确执行完一次完整问诊的问诊支路数量/总问诊支路数量。本实施例实际上为模拟实际应用场景，测试一次完整的问诊过程，以下举例说明：

例如，如图3所示，一次问诊咨询的全部相关数据包括6个问题，由该一次完整问诊的全部相关数据构建问诊的树形结构。在图3中，一共存在4条问诊支路：

问诊支路1：问题1–问题2.1–问题3；

问诊支路2：问题1–问题2.2–问题3；

问诊支路3：问题1–问题2.2–问题4；

问诊支路4：问题1–问题2.3–问题4；

每一条问诊支路能否通过取决于智能医生的语音识别的准确率及答案归置处理的准确率，因此存在一定概率无法通过。当前问题在用户回答后，智能医生理解用户回答后进行答案归置处理正确，那么正确处理问题数量+1，反之归置处理错误或没有给出反馈，那么错误处理问题数量+1。假设问诊支路1，2，4能通过，而问诊支路3因为语音识别错误或答案归置错误无法往下执行，则认定为失败的问诊支路，那么对于该一次完整问诊的树形结构而言，该路径通过率为：3/4*100％＝75％。

通过上面的描述可以看出：上述的语音识别能力、验证答案归置能力在每一问诊支路中呈现叠加的效果，即如果智能医生的某一种能力或多种能力较差，那么无法通过一条问诊支路，如果智能医生的每一种能力均较强，那么通过一条问诊支路的概率越大。因此，通过测试一次完整的问诊过程，能够从整体上测试智能医生的整体能力，以提高用户使用体验。

如图4所示，图4为本发明测试的方法一实施例的流程示意图，该测试的方法包括以下步骤：

步骤S1，按照智能医生的应用场景划分模板，对每一模板准备对应的多个问题对应的语音文件供智能医生进行语音识别，分别得到多个问题对应的语音识别结果，基于语音识别结果计算该智能医生的语音识别的准确率；

其中，智能医生为可提供医疗咨询的智能设备，按照智能医生的应用场景划分模板，如上述表1所示，模板包括：特殊选项问题、数字单选问题、核心语义(单选)、核心语义(多选)、核心语义(肯否定)、肯否定问题、男女问题、数字多选问题、值抽取日期问题、值抽取数字问题等等。

每一模板准备对应的多个问题(即表1中的原文语料数)，例如：

男女问题：请问您的性别是？

核心语义(肯否定)：你去过医院吗？你拍过CT吗？

问数值：你今年多大？你发烧多少度了？你血压多少？

核心语义(多选)：请问是否有以下诱发因素：情绪波动、近期有感冒受凉、失眠？

数字多选问题：请问还有以下伴随症状吗？1、疼痛；2、瘙痒；3、增多；4、增大。

特殊选项问题：您还可以说不清楚、以上都无。

对每一模板准备对应的多个问题做成准确的语音文件或者进行录音得到准确的语音文件，智能医生进行语音识别，识别后的语音识别结果为波形文件，将该波形文件转换为文字，然后基于上述的每一模板对应的多个问题及该波形文件转换的文字，计算该智能医生的语音识别的准确率，以此来衡量智能医生的语音识别能力。

优选地，计算该智能医生的语音识别的准确率包括计算单字准确率、整句准确率，单字准确率为一个问题中能够准确识别的字数的比例，且针对一字一问题的情况，单字准确率与整句准确率相同：单字准确率＝a1/A1，a1为一个问题中准确识别的字数，A1为该问题的总字数；整句准确率为一个模板的所有语句中能够准确识别的语句的比例(一个问题为一个语句)：整句准确率＝a2/A2，a2为一个模板中准确识别的语句的数量，A2为该模板中所有语句的数量。通过单字准确率衡量智能医生局部的语音识别能力，通过整句准确率衡量智能医生整体的语音识别的能力，通过局部与整体语音识别能力的衡量，能够准确快速地找出不足之处以待改进。

一般来说，智能医生的语音识别的能力在上述的单字准确率、整句准确率分别不低于对应的阈值时，才能够使得后续在医疗咨询的实际应用中准确识别用户的语音，例如单字准确率的阈值为0.96，整句准确率的阈值为0.95，如果单字准确率、整句准确率分别低于对应的阈值，则影响整个医疗咨询的效果。

步骤S2，按照预设的方式构造该多个问题的答案，分别获取该多个问题的答案对应的第一文本，供智能医生对该第一文本进行第一批次的答案归置处理，并计算该第一批次的答案归置处理的准确率，以及，将该多个问题的答案的语音文件供智能医生进行语音识别，获取该多个问题的答案的语音文件的识别结果，将该识别结果转换为第二文本，供智能医生对该第二文本进行第二批次的答案归置处理，并计算该第二批次的答案归置处理的准确率；

其中，为了最大程度地模拟真实医疗咨询的过程，按照预设的方式构造该多个问题的答案的方式包括：

模拟方式构造：获取大量真实医疗咨询场景的语句，基于该语句模拟该真实医疗咨询场景构造多个问题对应的答案；

抽取方式构造：从问题中抽取部分关键字直接作为答案进行导入，比如问题“你怀孕了吗？”，基于这个问题抽取“怀了”、“怀孕了”作为答案；

系统方式构造：将用户咨询的语句进行分词，对分词后的语句进行词性标注，由相关程序替换其中的主、谓或宾语，比如句式为“我高烧37度了”，其中的37度为可替换词语，通过相关程序可以自动生成37度到40度这个区间的所有数据，作为答案。

其中，本实施例是衡量智能医生的答案归置处理能力，包括计算第一批次的答案归置处理的准确率及第二批次的答案归置处理的准确率，第一批次的答案归置处理的准确率为：以单个模板为单位，未进行语音识别的答案直接提供给智能医生进行归置处理，其归置处理正确的比例。第二批次的答案归置处理的准确率为：以单个模板为单位，进行语音识别的答案提供给智能医生进行归置处理，其归置处理正确的比例。第一批次的答案归置处理的准确率与第二批次的答案归置处理的准确率不同之处在于：第二批次的答案归置处理的准确率还与智能医生的语音识别能力有关。

其中，第一批次的答案归置处理的准确率＝b1/B1，b1为未经语音识别但正确归置的答案数，B1为一个模板中所有语句的数量，第二批次的答案归置处理的准确率＝b2/B2，b2为经语音识别且正确归置的答案数，B2为一个模板中所有语句的数量。以下举例说明：

若问题为：为了更好的判断您的疾病，请先告诉我您的性别？

则对应的标准答案是“男”、“女”。

在测试时准备了2种情况：第1种情况用户回答“我是男的”，第2种情况用户回答“我是男的”，但经智能医生语音识别后得到“我是男地”。

第一批次的答案归置处理的准确率即对应第一种情况，第二批次的答案归置处理的准确率对应第2种情况。将第1种情况的回答“我是男的”直接提供给智能医生进行归置处理，如果其归置为“男”，则归置处理是正确的，如果其归置为“女”，则归置错误。将第2种情况经语音识别后的回答“我是男地”提供给智能医生进行归置处理，如果其归置为“男”，则归置处理是正确的，如果其归置为“女”，则归置错误。

本实施例将未语音识别的答案直接提供给智能医生进行归置处理、将经语音识别的答案直接提供给智能医生进行归置处理，通过无语音识别干扰及有语音识别干扰的答案归置能力的衡量，能够准确快速地找出不足之处以待改进。

一般来说，智能医生的答案归置能力在上述的第一批次的答案归置处理的准确率及第二批次的答案归置处理的准确率分别不低于对应的阈值时，才能够使得后续在医疗咨询的实际应用中准确归置答案，例如第一批次的答案归置处理的准确率的阈值为0.95，第二批次的答案归置处理的准确率的阈值为0.93，如果第一批次的答案归置处理的准确率、第二批次的答案归置处理的准确率分别低于对应的阈值，则影响整个医疗咨询的效果。

步骤S3，获取多个问题对应的文本，供智能医生对该多个问题对应的文本进行语音播报，将语音播报的音频转换为拼音，获取多个问题对应的标准拼音，基于所转换的拼音及标准拼音计算语音播报的准确率。

本实施例衡量智能医生的语音播报能力，在获取多个问题对应的文本后，获取多个问题对应的标准拼音，并由智能医生对该文本进行语音播报，将智能医生播报的音频通过引擎转化问拼音的形式，然后将转化的拼音与标准拼音进行对比，以验证语音播报的准确率。其中，转化的拼音中正确的拼音的数量是与标准拼音相比较，如果某个拼音对应与标准拼音的相同，则正确。

其中，语音播报的准确率包括第一准确率及第二准确率，第一准确率＝c1/C1，c1为一个问题的文本经语音播报后，其音频转化的拼音中正确的拼音的数量，C1为该问题对应的标准拼音的数量，第二准确率＝c2/C2，c2为一个模板中的各问题的文本经语音播报后，整个问题的全部拼音都准确的问题的数量，C2为该模板中所有问题的数量。

其中，在智能医生对该文本进行语音播报时，调整智能医生的语速、音量及音高，例如语速、音量及音高的数值分别为50、51及52。

此外，验证智能医生的语音播报能力还包括验证智能医生的语音播报的断句能力，此部分可以随机抽取部分语音播报的音频，由人工进行验证。

其中，通过第一准确率衡量智能医生局部的语音播报能力，通过第二准确率衡量智能医生整体的语音播报的能力，通过局部与整体语音播报能力的衡量，能够准确快速地找出不足之处以待改进。

一般来说，智能医生的语音播报的能力在上述的第一准确率、第二准确率分别不低于对应的阈值时，才能够使得后续在医疗咨询的实际应用中准确播报语音，例如第一准确率的阈值为0.98，第二准确率的阈值为0.98，如果第一准确率、第二准确率分别低于对应的阈值，则影响整个医疗咨询的效果。

与现有技术相比，本发明按照智能医生的应用场景划分模板，每一模板准备多个问题，整体测试方案包括基于上述的模板中的问题来获取智能医生的语音识别的准确率、答案归置处理的准确率及语音播报的准确率，以验证智能医生的语音识别能力、验证答案归置能力及验证语音播报能力，能够对智能医生进行全面测试，及时发现存在的缺陷。

在一优选的实施例中，如图5所示，所述步骤S3之后，还包括：

步骤S4，获取一次完整问诊的全部相关数据，由该一次完整问诊的全部相关数据构建问诊的树形结构，基于一次完整问诊的全部相关数据对智能医生执行一次完整问诊，获取智能医生反馈的问诊结果，根据该树形结构及问诊结果计算路径通过率。

优选地，根据该树形结构及问诊结果计算路径通过率，包括：获取该树形结构的总问诊支路数量，根据问诊结果获取问诊支路，并获取正确执行完一次完整问诊的问诊支路数量，路径通过率＝正确执行完一次完整问诊的问诊支路数量/总问诊支路数量。本实施例实际上为模拟实际应用场景，测试一次完整的问诊过程，以下举例说明：

例如，如图3所示，一次问诊咨询的全部相关数据包括6个问题，由该一次完整问诊的全部相关数据构建问诊的树形结构。在图3中，一共存在4条问诊支路：

问诊支路1：问题1–问题2.1–问题3；

问诊支路2：问题1–问题2.2–问题3；

问诊支路3：问题1–问题2.2–问题4；

问诊支路4：问题1–问题2.3–问题4；

每一条问诊支路能否通过取决于智能医生的语音识别的准确率及答案归置处理的准确率，因此存在一定概率无法通过。当前问题在用户回答后，智能医生理解用户回答后进行答案归置处理正确，那么正确处理问题数量+1，反之归置处理错误或没有给出反馈，那么错误处理问题数量+1。假设问诊支路1，2，4能通过，而问诊支路3因为语音识别错误或答案归置错误无法往下执行，则认定为失败的问诊支路，那么对于该一次完整问诊的树形结构而言，该路径通过率为：3/4*100％＝75％。

通过上面的描述可以看出：上述的语音识别能力、验证答案归置能力在每一问诊支路中呈现叠加的效果，即如果智能医生的某一种能力或多种能力较差，那么无法通过一条问诊支路，如果智能医生的每一种能力均较强，那么通过一条问诊支路的概率越大。因此，通过测试一次完整的问诊过程，能够从整体上测试智能医生的整体能力，以提高用户使用体验。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有测试系统，所述测试系统被处理器执行时实现上述的测试的方法的步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种测试装置，其特征在于，所述测试装置包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的测试系统，所述测试系统被所述处理器执行时实现如下步骤：

按照智能医生的应用场景划分模板，对每一模板准备对应的多个问题对应的语音文件供智能医生进行语音识别，分别得到多个问题对应的语音识别结果，基于语音识别结果计算该智能医生的语音识别的准确率；

按照预设的构造方式构造该多个问题的答案，分别获取该多个问题的答案对应的第一文本，供智能医生对该第一文本进行第一批次的答案归置处理，并计算该第一批次的答案归置处理的准确率，以及，将该多个问题的答案的语音文件供智能医生进行语音识别，获取该多个问题的答案的语音文件的识别结果，将该识别结果转换为第二文本，供智能医生对该第二文本进行第二批次的答案归置处理，并计算该第二批次的答案归置处理的准确率；

获取多个问题对应的文本，供智能医生对该多个问题对应的文本进行语音播报，将语音播报的音频转换为拼音，获取多个问题对应的标准拼音，基于所转换的拼音及标准拼音计算语音播报的准确率。

2.根据权利要求1所述的测试装置，其特征在于，所述语音识别的准确率包括单字准确率及整句准确率，单字准确率＝a1/A1，a1为一个问题中准确识别的字数，A1为该问题的总字数，整句准确率＝a2/A2，a2为一个模板中准确识别的语句的数量，A2为该模板中所有语句的数量；

所述第一批次的答案归置处理的准确率＝b1/B1，b1为未经语音识别但正确归置的答案数，B1为一个模板中所有语句的数量，所述第二批次的答案归置处理的准确率＝b2/B2，b2为经语音识别且正确归置的答案数，B2为一个模板中所有语句的数量；

所述语音播报的准确率包括第一准确率及第二准确率，第一准确率＝c1/C1，c1为一个问题的文本经语音播报后，其音频转化的拼音中正确的拼音的数量，C1为该问题对应的标准拼音的数量，第二准确率＝c2/C2，c2为一个模板中的各问题的文本经语音播报后，整个问题的全部拼音都准确的问题的数量，C2为该模板中所有问题的数量。

3.根据权利要求1或2所述的测试装置，其特征在于，所述测试系统被所述处理器执行时，还实现如下步骤：

获取一次完整问诊的全部相关数据，由该一次完整问诊的全部相关数据构建问诊的树形结构，基于一次完整问诊的全部相关数据对智能医生执行一次完整问诊，获取智能医生反馈的问诊结果，根据该树形结构及问诊结果计算路径通过率。

4.根据权利要求3所述的测试装置，其特征在于，所述根据该树形结构及问诊结果计算路径通过率，具体包括：获取该树形结构的总问诊支路数量，根据问诊结果获取问诊支路，并获取正确执行完一次完整问诊的问诊支路数量，路径通过率＝正确执行完一次完整问诊的问诊支路数量/总问诊支路数量。

5.一种测试的方法，其特征在于，所述测试的方法包括：

S1，按照智能医生的应用场景划分模板，对每一模板准备对应的多个问题对应的语音文件供智能医生进行语音识别，分别得到多个问题对应的语音识别结果，基于语音识别结果计算该智能医生的语音识别的准确率；

S2，按照预设的构造方式构造该多个问题的答案，分别获取该多个问题的答案对应的第一文本，供智能医生对该第一文本进行第一批次的答案归置处理，并计算该第一批次的答案归置处理的准确率，以及，将该多个问题的答案的语音文件供智能医生进行语音识别，获取该多个问题的答案的语音文件的识别结果，将该识别结果转换为第二文本，供智能医生对该第二文本进行第二批次的答案归置处理，并计算该第二批次的答案归置处理的准确率；

S3，获取多个问题对应的文本，供智能医生对该多个问题对应的文本进行语音播报，将语音播报的音频转换为拼音，获取多个问题对应的标准拼音，基于所转换的拼音及标准拼音计算语音播报的准确率。

6.根据权利要求5所述的测试的方法，其特征在于，所述语音识别的准确率包括单字准确率及整句准确率，单字准确率＝a1/A1，a1为一个问题中准确识别的字数，A1为该问题的总字数，整句准确率＝a2/A2，a2为一个模板中准确识别的语句的数量，A2为该模板中所有语句的数量；

所述第一批次的答案归置处理的准确率＝b1/B1，b1为未经语音识别但正确归置的答案数，B1为一个模板中所有语句的数量，所述第二批次的答案归置处理的准确率＝b2/B2，b2为经语音识别且正确归置的答案数，B2为一个模板中所有语句的数量；

所述语音播报的准确率包括第一准确率及第二准确率，第一准确率＝c1/C1，c1为一个问题的文本经语音播报后，其音频转化的拼音中正确的拼音的数量，C1为该问题对应的标准拼音的数量，第二准确率＝c2/C2，c2为一个模板中的各问题的文本经语音播报后，整个问题的全部拼音都准确的问题的数量，C2为该模板中所有问题的数量。

7.根据权利要求5或6所述的测试的方法，其特征在于，所述步骤S3之后，还包括：

S4，获取一次完整问诊的全部相关数据，由该一次完整问诊的全部相关数据构建问诊的树形结构，基于一次完整问诊的全部相关数据对智能医生执行一次完整问诊，获取智能医生反馈的问诊结果，根据该树形结构及问诊结果计算路径通过率。

8.根据权利要求7所述的测试的方法，其特征在于，所述根据该树形结构及问诊结果计算路径通过率，具体包括：

获取该树形结构的总问诊支路数量，根据问诊结果获取问诊支路，并获取正确执行完一次完整问诊的问诊支路数量，路径通过率＝正确执行完一次完整问诊的问诊支路数量/总问诊支路数量。

9.根据权利要求5或6所述的测试的方法，其特征在于，所述预设的构造方式，具体包括：

模拟方式构造：获取大量真实医疗咨询场景的语句，基于该语句构造多个问题对应的答案；

抽取方式构造：从问题中抽取关键字作为答案；

系统方式构造：将用户咨询的语句进行分词，对分词后的语句进行词性标注，基于标注后的词性获取可替换的分词，将该可替换的分词进行替换，以作为答案。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有测试系统，所述测试系统被处理器执行时实现如权利要求5至9中任一项所述的测试的方法的步骤。