CN110010121B - 验证应答话术的方法、装置、计算机设备和存储介质 - Google Patents

验证应答话术的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110010121B
CN110010121B CN201910175773.6A CN201910175773A CN110010121B CN 110010121 B CN110010121 B CN 110010121B CN 201910175773 A CN201910175773 A CN 201910175773A CN 110010121 B CN110010121 B CN 110010121B
Authority
CN
China
Prior art keywords
text
appointed
transcription
corpus
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910175773.6A
Other languages
English (en)
Other versions
CN110010121A (zh
Inventor
张垒
邢艳
邹芳
李晋
占敏敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910175773.6A priority Critical patent/CN110010121B/zh
Publication of CN110010121A publication Critical patent/CN110010121A/zh
Application granted granted Critical
Publication of CN110010121B publication Critical patent/CN110010121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Machine Translation (AREA)

Abstract

本申请中提供了一种验证应答话术的方法、装置、计算机设备和存储介质，用于验证模拟用户应答人工智能语音系统的话术，包括：获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本；将第一指定语料文本合成对应的第一录音；获取人工智能语音系统的第一语音问话，并根据第一语音问话提取第一录音进行语音交互应答；对提取的第一录音转写成第一转写文本，并从预设语义库中查找对应的第一语义；对应与所述第二文本、预设语义进行对比；若获取第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处进行标记第一录音有误。无需人工进行一一测试，节省时间，降低验证的成本。

Description

验证应答话术的方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种验证应答话术的方法、装置、计算机设备和存储介质。
背景技术
目前针对系统语音播报的流程测试，是通过人工与系统进行语音对话，完成语音对话交互的过程，进而验证系统设置的语音内容是否可以正常运行，以实现系统语音播报，但是采用人工与系统进行一对一的语音对话测试，花费时间长，成本高。
发明内容
本申请的主要目的为提供一种验证应答话术的方法、装置、计算机设备和存储介质，用于节省语音验证的时间，降低验证的成本。
为实现上述目的，本申请提供了一种验证应答话术的方法，用于验证模拟用户应答人工智能语音系统的话术，包括以下步骤：
获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
将所述第一指定语料文本合成对应的第一录音；
获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，根据所述第一语音问话提取所述第一录音进行语音交互应答；
对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
若所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。
进一步地，所述将所述第一指定语料文本合成对应的录音的步骤之前，包括：
根据所述指定应用场景，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
所述将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率的步骤之前，包括：
在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
进一步地，所述若所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误的步骤之后，包括：
将所述语音交互应答处的所述第一录音有误的标记发送到终端，以便测试人员到所述第一录音标记有误的所述语音交互应答处查看。
进一步地，所述将所述第一指定语料文本合成对应的第一录音的步骤，包括：
通过文本到语音的合成将所述第一指定语料文本合成对应的第一录音。
进一步地，所述对所述语音交互应答中提取的所述第一录音进行转写的步骤，包括：
通过自动语音识别对所述语音交互应答中提取的所述第一录音进行转写。
进一步地，所述将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率的步骤，包括：
获取所述第一转写文本中每一转写字段在所述第一转写文本中位置；
将所述第一转写文本中每一所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置进行一一对比，以判断每一所述转写字段是否准确；
若所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置均一致，则判定所述转写字段准确；
获取所有所述转写字段准确字数与所述第二文本的字段字数比例，以获取所述第一转写文本转写的准确率。
本申请还提供了一种验证应答话术的装置，用于验证模拟用户应答人工智能语音系统的话术，包括：
第一获取模块，用于获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
合成模块，用于将所述第一指定语料文本合成对应的第一录音；
应答模块，用于获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，并根据所述第一语音问话提取所述第一录音进行语音交互应答；
转写模块，用于对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
对比模块，用于将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
执行模块，用于若判断所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。
存储模块，用于根据所述指定应用场景，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
查找模块，用于在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的验证应答话术的方法、装置、计算机设备和存储介质，具有以下有益效果：
通过获取到指定应用场景下指定语义对应的第一指定语料文本合成的第一录音，并根据人工智能语音系统中获取到的第一语音对话，提取第一录音进行语音交互应答，通过对提取的第一录音进行转写，以得到第一转写文本以及对应第一转写文本的第一语义，通过对转写文本以及第一语义进行验证，以验证模拟人工语音进行应答的话术是否有误，无需人工进行一一测试，节省人工时间，降低验证的成本。
附图说明
图1是本申请一实施例中验证应答话术的方法步骤示意图；
图2是本申请一实施例中验证应答话术的装置结构框图；
图3是本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，为本申请一实施例中提供了一种验证应答话术的方法，包括以下步骤：
步骤S1，获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
步骤S2，将所述第一指定语料文本合成对应的第一录音；
步骤S3，获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，根据所述第一语音问话提取所述第一录音进行语音交互应答；
步骤S4，对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
步骤S5，将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
步骤S6，若所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。
在本实施例中，预先把需要在人工智能语音系统上进行播报的话术存储于人工智能语音系统中，使其可以进行完整的语音对话流程的交互，测试系统将接收到同一应用场景下或者不同应用场景下可能接收到的客户通话回复的各种语义所对应的每一第一指定语料文本以及第一指定语料本文对应的第二文本，分别将所有第一指定语料文本合成对应的第一语音，如系统进行问话“请问您是某某先生吗”，用户用于肯定语义的语料答复有：“我是”、“没错”、“对的”、“是的”、“不是，我是他朋友”等等，将预设可能进行肯定回复的第一指定语料文本按指定顺序存储于自动化系统测试工具的指定目录内，并根据指定目录的顺序对每一肯定语义的语料模拟正常电话进行交互，无需人工进行真实通话，系统根据接收到的回复进行判断，以便进行下一步的语音交互对话，将该应用场景下的语音交互中模拟用户回复的合成语音进行转写成对应的第一转写文本，并根据该第一转写文本从预设语义库中查找对应的第一语义，其中，预设语义库中存储有预设的每一第一指定语料文本对应的第一语义，若将第一指定语料文本合成第一录音后，在转化成对应的第一转写文本，可根据转写文本的内容、字眼从预设语义库中查找对应的第一语义，如第一转写文本为“我是”，根据“是”的字眼，可以在预设语义库中查找到对应的第一语义为肯定语义；通过对比转写后的第一转写文本与预设语句的第二文本以得到第一转写文本转写的准确率，判断其转写后的第一转写文本是否准确，通过对比转写文本所对应的第一语义与预设语句的语义以得到第一语义的准确率，判断其第一转写文本所对应的第一语义是否准确，第一转写文本的字段与预设文本的字段作比对，计算对的字段占所有字段的比例，获取其转写文本准确率，转写后的语义存在两种状态，肯定或者否定，若处于肯定与否定之间，则会根据预先接收到的内容进行划分进肯定状态或者否定状态，以此判断语义的准确率要么是100％，要么为0％；若判断其转写文本准确率低于100％或者转写后的语义不准确，则在对应的语音交互应答处进行标识，其中，语音交互应答指的是每一次咨询问题后，每一问题的答复存在多种情况，所以将问题提问后的节点作为语音交互应答处，如系统进行问话“请问您是某某先生吗”后，在该应答处设置有多种回复的可能语料，如“我是”、“没错”、“对的”等，若获取到的答复不是指定的答复，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。以便让检测人员可以在对应的语音交互应答处进行复测。若检测人员进行复测成功后，则获取到该语音交互应答处出现错误的概率，该错误概率指的是系统标记有误，但是检测人员复测无误的概率。
在本实施例中，测试系统获取到指定应用场景下预设语义对应的第一指定语料文本，将该第一指定语料文本合成对应的第一录音，若获取到人工智能语音系统在指定的应用场景下的第一语音问话，根据该第一语音问话提取预设的第一录音进行语音交互应答；对语音交互应答中提取的第一录音进行转写，生成对应的第一转写文本，并根据该第一转写文本获取到对应的第一语义；将第一转写文本与预设语义对应的第二文本进行对比以得到所述第一转写文本转写的准确率，以及将第一语义与预设语义进行对比以得到所述第一语义的准确率。
其中，在一具体实施例中，判断第一转写文本转写准确率可以通过对比转写后的第一转写文本与预设语义的第二文本的字数，将两段字段内的标点符号或者助词等进行删减，然后对比其重合的字，并进行分析，以判断其转写后的第一转写文本的准确率，如转写的第一转写文本为“没错”，而预设语义的第二文本为“是的”，则其转写准确率为0，这两个语义虽然是一样的，但是其转写的字段不一致，所以第一转写文本转写准确率为0，其判断是需要语义和字段都是要一致。
若预设语义的第二文本也为“没错”，则其转写准确率为100％；再如：预设文本是“我在开会”，转成录音后进行流程测试，在通过ASR将录音转写后的第一转写文本若为“我在恺回”，那么表示有两个字转写不准确，其转写准确率为50％；判断转写语义的准确率，通过提取转写文本的语义，并与预设语义进行对比，如获取转写的文本为“我在开车”、“我在开会”或者“我在忙”，则其对应的语义可以为“用户忙”，若预设语义为“用户忙”，则可以判断其转写文本的语义准确率为100％；针对多轮测试提取的语义准确数占测试语义总数的比例，如：预设文本是“我在开会”，对应语义为“忙”，ASR将录音转写后的文本若为“我是恺回”，因为文本命中了“肯定”语义的“是”，那么此语义提取是错误，其准确率为0％。
在一实施例中，将所述第一指定语料文本合成对应的录音的步骤S1之前，包括：
步骤S101，根据所述指定应用场景下，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
所述将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率的步骤S5之前，包括：
步骤S501，在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
以上步骤中，将接收到的每一指定应用场景下预设语义对应的第一指定语料文本按照指定顺序存储于测试目录中，以用于验证在对应的语音交互的应答处的答复内容是否为预设答复，便于通过测试工具将流程中的每个语音交互应答处的语料进行自动化的验证，其语料与语义之间的关系，可以为如，语料文本：我在开车、我在开会、我不方便，对应语义为：用户忙；或者，语料文本：没错、对的、是的，对应语义为：肯定。将每一第一指定语料文本按照指定顺序存储于测试目录中，并将每一第一指定语料文本对应的预设语义以及指定的字段对应存储于所述测试目录中，当提取第一指定语料对应的第一录音进行语音交互应答时，将提取的对应第一录音进行转写，生成对应的第一转写文本，并根据该第一转写文本获取到对应的第一语义，获取预设于测试目录与第一指定语料对应的预设语义以及第二文本，进而进行对比，以获取到提取的第一录音的第一转写文本的转写准确率以及第一语义的语义准确率。
在一实施例中，，获取到模拟正常通话的语音交互应答中回复的第一录音，通过语音识别引擎对回复的第一录音进行分析，获取到对应的第一录音的第一转写文本以及第一语义，系统通过分析对应的第一语义，以便进一步从存储的话术中选取可对接的话术，以便进行下一步的语音交互，同时也可将该应答处的语音交互的录音的第一转写文本以及第一语义分别与预设于该应答处的预设语句的第二文本和语义进行对比，以便初步判断该语音交互应答处，所采用的回复的录音进行语音交互是否与预设的一致，若一致，则可以进行下一步的测试流程，若存在差异，则得到所提取的第一录音有误，并在该语音交互应答处标记所述第一录音有误，以便提醒测试人员，该应答处需要进行人工复测，大大节省了人工测试的时间，节省成本，且测试流程更快。
通过语音识别引擎转写为文本，并获取到对应的语义，预设系统接收到的同一句话在当下场景下只会返回一种语义，若出现不确定的语义时，则根据所在应用场景下，将其划分为肯定的语义或者划分为否定的语义，如系统模拟人工测试时，咨询“请问您最近有贷款记录吗”，根据接收到的录音内容如“大概有吧”，系统通过语音识别引擎进行判断所回复的录音，将该情境下的大概、应该统一归为肯定的语义，则进行下一步的语音交互。
在一实施例中，所述若所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记有误的步骤S6之后，包括：
步骤S7，将所述语音交互应答处的有误标记发送到终端，以便测试人员到有误标记的所述语音交互应答处查看。
以上步骤中，若对比转写的第一转写文本与预设语义的第二文本的字段不同，则判断其回复的第一录音的第一转写文本不准确；或者/和第一转写文本的第一语义与预设语义不同，则判断其回复的第一录音的第一转写文本的第一语义不准确，在不准确的语音交互应答处标记第一录音有误，并将语音交互应答处的第一录音有误标记发送到终端，以便测试人员到标记有误的第一录音的所述语音交互应答处查看。
在一实施例中，将第一指定语料文本合成对应的第一录音的步骤S2，包括：
步骤S21，通过文本到语音的合成将所述第一指定语料文本分别合成对应的第一录音。
在本实施例中，文本到语音的合成是TTS，TTS是Text To Speech的缩写，即“从文本到语音”，是人机对话的一部分，让机器能够说话。TTS是语音合成应用的一种，它将储存于电脑中的文件，如帮助文件或者网页，转换成自然语音输出。TTS不仅能阅读计算机上的信息，更能增加文本文档的可读性。现在的TTS应用包括语音驱动的邮件以及声音敏感系统，并常与声音识别程序一起使用。
以上步骤中，将预设接收到同一应用场景下或者不同应用场景下可能接收到的客户通话回复的各种语义所对应的所有语料文本，通过TTS分别将所有语料文本合成对应的语音。
在一实施例中，对所述语音交互应答中提取的所述第一录音进行转写的步骤S4，包括：
步骤S41，通过自动语音识别对所述语音交互应答中提取的所述第一录音进行转写。
在本实施例中，自动语音识别技术(ASR，英文Automatic Speech Recognition)是一种将人的语音转换为文本的技术。由于语音信号的多样性和复杂性，语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。
以上步骤中，将预设应用场景下的语音交互中模拟用户回复的第一指定语料文本合成语音，通过ASR进行转写成对应的第一转写文本和对应的第一语义，通过对比转写后的第一转写文本与预设语义对应的第二文本的内容，判断其转写后的第一转写文本是否准确，通过对比第一转写文本所对应的第一语义与预设语义是否一致，进而判断其第一转写文本所对应的第一语义是否准确。
在一实施例中，将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率的步骤S5，包括：
步骤S51，获取所述第一转写文本中每一转写字段在所述第一转写文本中位置；
步骤S52，将所述第一转写文本中每一所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置进行一一对比，以判断每一所述转写字段是否准确；；
骤S53，若所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置均一致，则判定所述转写字段准确；
步骤S54，获取所有所述转写字段准确字数与所述第二文本的字段字数比例，以获取到所述第一转写文本转写的准确率。
以上步骤中，获取所述第一转写文本中每一转写字段在所述第一转写文本中位置，通过对比转写后的第一文本与第二文本的字数，将两段字段内的标点符号或者助词等进行删减，然后对比其重合的字，并进行分析，以判断其转写后的文本的准确率，如转写的第一文本为“没错”，而预设语义对应的第二文本为“是的”，则其转写准确率为0，若预设语义对应的第二文本也为“没错”，则其转写准确率为100％；再如：预设文本是“我在开会”，转成录音后进行流程测试，再通过ASR将录音转写后的第一文本若为“我在恺回”，那么表示有两个字转写不准确，其转写准确率为50％；判断转写语义的准确率，通过提取第一转写文本的语义，并与预设语义进行对比，如获取转写的第一转写文本为“我在开车”、“我在开会”或者“我在忙”，则其对应的语义可以为“用户忙”，若预设语义为“用户忙”，则可以判断其转写文本的语义的准确率为100％；针对多轮测试提取的语义准确数占测试语义总数的比例，如：预设文本是“我在开会”，对应语义为“忙”，ASR将录音转写后的第一转写文本若为“我是恺回”，因为文本命中了“肯定”语义的“是”，此时，文本语义为肯定语义，与对应的语义“忙”不对应，那么此语义是错误，其准确率为0％。
综上所述，为本申请实施例中提供的验证应答话术的方法，通过获取到指定应用场景下指定语义对应的第一指定语料文本合成的第一录音，并根据人工智能语音系统中获取到的第一语音对话，提取第一录音进行语音交互应答，通过对提取的第一录音进行转写，以得到第一转写文本以及对应第一转写文本的第一语义，通过对转写文本以及第一语义进行验证，以验证模拟人工语音进行应答的话术是否有误，无需人工进行一一测试，节省人工时间，降低验证的成本。
参照图3，本申请一实施例中还提供了一种验证应答话术的装置，用于验证模拟用户应答人工智能语音系统的话术，包括：
第一获取模块10，用于获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
合成模块20，用于将所述第一指定语料文本合成对应的第一录音；
应答模块30，用于获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，并根据所述第一语音问话提取所述第一录音进行语音交互应答；
转写模块40，用于对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
对比模块50，用于将所述第一转写文本与所述预设语义对应的第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
执行模块60，用于若判断所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。
在本实施例中，预先把需要在人工智能语音系统上进行播报的话术存储于人工智能语音系统中，使其可以进行完整的语音对话流程的交互，测试系统将接收到同一应用场景下或者不同应用场景下可能接收到的客户通话回复的各种语义所对应的每一第一指定语料文本以及第一指定语料文本对应的第二文本，分别将所有第一指定语料文本合成对应的第一语音，如系统进行问话“请问您是某某先生吗”，用户用于肯定语义的语料答复有：“我是”、“没错”、“对的”、“是的”、“不是，我是他朋友”等等，将预设可能进行肯定回复的第一指定语料文本按指定顺序存储于自动化系统测试工具的指定目录内，并根据指定目录的顺序对每一肯定语义的语料模拟正常电话进行交互，无需人工进行真实通话，系统根据接收到的回复进行判断，以便进行下一步的语音交互对话，将该应用场景下的语音交互中模拟用户回复的合成语音进行转写成对应的第一转写文本，并根据该第一转写文本从预设语义库中查找对应的第一语义，其中，预设语义库中存储有预设的每一第一指定语料文本对应的第一语义，若将第一指定语料文本合成第一录音后，在转化成对应的第一转写文本，可根据转写文本的内容、字眼从预设语义库中查找对应的第一语义，如第一转写文本为“我是”，根据“是”的字眼，可以在预设语义库中查找到对应的第一语义为肯定语义；通过对比转写后的第一转写文本与预设语句的第二文本以得到第一转写文本转写的准确率，判断其转写后的第一转写文本是否准确，通过对比转写文本所对应的第一语义与预设语句的语义以得到第一语义的准确率，判断其第一转写文本所对应的第一语义是否准确，第一转写文本的字段与预设文本的字段作比对，计算对的字段占所有字段的比例，获取其转写文本准确率，转写后的语义存在两种状态，肯定或者否定，若处于肯定与否定之间，则会根据预先接收到的内容进行划分进肯定状态或者否定状态，以此判断语义的准确率要么是100％，要么为0％；若判断其转写文本准确率低于100％或者转写后的语义不准确，则在对应的语音交互应答处进行标识，其中，语音交互应答指的是每一次咨询问题后，每一问题的答复存在多种情况，所以将问题提问后的节点作为语音交互应答处，如系统进行问话“请问您是某某先生吗”后，在该应答处设置有多种回复的可能语料，如“我是”、“没错”、“对的”等，若获取到的答复不是指定的答复，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。以便让检测人员可以在对应的语音交互应答处进行复测。若检测人员进行复测成功后，则获取到该语音交互应答处出现错误的概率，该错误概率指的是系统标记有误，但是检测人员复测无误的概率。
在本实施例中，测试系统获取到指定应用场景下预设语义对应的第一指定语料文本，将该第一指定语料文本合成对应的第一录音，若获取到人工智能语音系统在指定的应用场景下的第一语音问话，根据该第一语音问话提取预设的第一录音进行语音交互应答；对语音交互应答中提取的第一录音进行转写，生成对应的第一转写文本，并根据该第一转写文本获取到对应的第一语义；将第一转写文本与预设语义对应的第二文本进行对比，以及将第一语义与预设语义进行对比以得到所述第一转写文本转写的准确率，以及将第一语义与预设语义进行对比以得到所述第一语义的准确率。
其中，在一具体实施例中，判断第一转写文本转写准确率可以通过对比转写后的第一转写文本与预设语义的第二文本的字数，将两段字段内的标点符号或者助词等进行删减，然后对比其重合的字，并进行分析，以判断其转写后的第一转写文本的准确率，如转写的第一转写文本为“没错”，而预设语义的第二文本为“是的”，则其转写准确率为0，这两个语义虽然是一样的，但是其转写的字段不一致，所以第一转写文本转写准确率为0，其判断是需要语义和字段都是要一致。
若预设语义的第二文本也为“没错”，则其转写准确率为100％；再如：预设文本是“我在开会”，转成录音后进行流程测试，在通过ASR将录音转写后的第一转写文本若为“我在恺回”，那么表示有两个字转写不准确，其转写准确率为50％；判断转写语义的准确率，通过提取转写文本的语义，并与预设语义进行对比，如获取转写的文本为“我在开车”、“我在开会”或者“我在忙”，则其对应的语义可以为“用户忙”，若预设语义为“用户忙”，则可以判断其转写文本的语义准确率为100％；针对多轮测试提取的语义准确数占测试语义总数的比例，如：预设文本是“我在开会”，对应语义为“忙”，ASR将录音转写后的文本若为“我是恺回”，因为文本命中了“肯定”语义的“是”，那么此语义提取是错误，其准确率为0％。
在一实施例中，验证应答话术的装置包括：
存储模块，用于根据所述指定应用场景，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
查找模块，用于在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
在本实施例中，将接收到的每一指定应用场景下预设语义对应的第一指定语料文本按照指定顺序存储于测试目录中，以用于验证在对应的语音交互的应答处的答复内容是否为预设答复，便于通过测试工具将流程中的每个语音交互应答处的语料进行自动化的验证，其语料与语义之间的关系，可以为如，语料文本：我在开车、我在开会、我不方便，对应语义为：用户忙；或者，语料文本：没错、对的、是的，对应语义为：肯定。将每一第一指定语料文本按照指定顺序存储于测试目录中，并将每一第一指定语料文本对应的预设语义以及指定的字段对应存储于所述测试目录中，当提取第一指定语料对应的第一录音进行语音交互应答时，将提取的对应第一录音进行转写，生成对应的第一转写文本，并根据该第一转写文本获取到对应的第一语义，并获取预设于测试目录与第一指定语料对应的预设语义以及第二文本，进而进行对比，以获取到提取的第一录音的第一转写文本的转写准确率以及第一语义的语义准确率。
在一实施例中，获取到模拟正常通话的语音交互应答中回复的第一录音，通过语音识别引擎对回复的第一录音进行分析，获取到对应的第一录音的第一转写文本以及第一语义，系统通过分析对应的第一语义，以便进一步从存储的话术中选取可对接的话术，以便进行下一步的语音交互，同时也可将该应答处的语音交互的录音的第一转写文本以及第一语义分别与预设于该应答处的预设语句的第二文本和语义进行对比，以便初步判断该语音交互应答处，所采用的回复的录音进行语音交互是否与预设的一致，若一致，则可以进行下一步的测试流程，若存在差异，则得到所提取的第一录音有误，并在该语音交互应答处标记有误，以便提醒测试人员，该应答处需要进行人工复测，大大节省了人工测试的时间，节省成本，且测试流程更快。
通过语音识别引擎转写为文本，并获取到对应的语义，预设系统接收到的同一句话在当下场景下只会返回一种语义，若出现不确定的语义时，则根据所在应用场景下，将其划分为肯定的语义或者划分为否定的语义，如系统模拟人工测试时，咨询“请问您最近有贷款记录吗”，根据接收到的录音内容如“大概有吧”，系统通过语音识别引擎进行判断所回复的录音，将该情境下的大概、应该统一归为肯定的语义，则进行下一步的语音交互。
在一实施例中，验证应答话术的装置包括：
发送模块，用于将所述语音交互应答处的所述第一录音有误的标记发送到终端，以便测试人员到所述第一录音标记有误的所述语音交互应答处查看。
在本实施例中，若对比转写的第一转写文本与预设语义的第二文本的字段不同，则判断其回复的第一录音的第一转写文本不准确；或者/和第一转写文本的第一语义与预设语义不同，则判断其回复的第一录音的第一转写文本的第一语义不准确，在不准确的语音交互应答处进行标记有误，并将语音交互应答处的第一录音有误的标记发送到终端，以便测试人员到第一录音标记有误的所述语音交互应答处查看。
在一实施例中，合成模块20包括：
合成单元，用于通过文本到语音的合成将所述第一指定语料文本分别合成对应的第一录音。
在本实施例中，文本到语音的合成是TTS，TTS是Text To Speech的缩写，即“从文本到语音”，是人机对话的一部分，让机器能够说话。TTS是语音合成应用的一种，它将储存于电脑中的文件，如帮助文件或者网页，转换成自然语音输出。TTS不仅能阅读计算机上的信息，更能增加文本文档的可读性。现在的TTS应用包括语音驱动的邮件以及声音敏感系统，并常与声音识别程序一起使用。
在本实施例中，合成单元将预设接收到同一应用场景下或者不同应用场景下可能接收到的客户通话回复的各种语义所对应的所有语料文本，通过TTS分别将所有语料文本合成对应的语音。
在一实施例中，转写模块40包括：
转写单元，用于通过自动语音识别对所述语音交互应答中提取的所述第一录音进行转写。
在本实施例中，自动语音识别技术(ASR，英文Automatic Speech Recognition)是一种将人的语音转换为文本的技术。由于语音信号的多样性和复杂性，语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。
在本实施例中，转写单元将预设应用场景下的语音交互中模拟用户回复的第一指定语料文本合成语音，通过ASR进行转写成对应的第一转写文本和对应的第一语义，通过对比转写后的第一转写文本与预设语义对应的第二文本的内容，判断其转写后的第一转写文本是否准确，通过对比第一转写文本所对应的第一语义与预设语义是否一致，进而判断其第一转写文本所对应的第一语义是否准确。
在一实施例中，第三获取模块60包括：
第一获取单元，用于获取所述第一转写文本中每一转写字段在所述第一转写文本中位置；
对比单元，用于将所述第一转写文本中每一所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置进行一一对比，以判断每一所述转写字段是否准确；；
判定单元，用于若所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置均一致，则判定所述转写字段准确；
第二获取单元，用于获取所有所述转写字段准确字数与所述第二文本的字段字数比例，以获取到所述第一转写文本转写的准确率。
在本实施例中，第一获取单元获取所述第一转写文本中每一转写字段在所述第一转写文本中位置，对比单元通过对比转写后的第一文本与第二文本的字数，将两段字段内的标点符号或者助词等进行删减，然后对比其重合的字，并进行分析，以判断其转写后的文本的准确率，如转写的第一文本为“没错”，而预设语义对应的第二文本为“是的”，则其转写准确率为0，若预设语义对应的第二文本也为“没错”，则其转写准确率为100％；再如：预设文本是“我在开会”，转成录音后进行流程测试，再通过ASR将录音转写后的第一文本若为“我在恺回”，那么表示有两个字转写不准确，其转写准确率为50％；判断转写语义的准确率，通过提取第一转写文本的语义，并与预设语义进行对比，如获取转写的第一转写文本为“我在开车”、“我在开会”或者“我在忙”，则其对应的语义可以为“用户忙”，若预设语义为“用户忙”，则可以判断其转写文本的语义的准确率为100％；针对多轮测试提取的语义准确数占测试语义总数的比例，如：预设文本是“我在开会”，对应语义为“忙”，ASR将录音转写后的第一转写文本若为“我是恺回”，因为文本命中了“肯定”语义的“是”，此时，文本语义为肯定语义，与对应的语义“忙”不对应，那么此语义是错误，其准确率为0％。
综上所述，为本申请实施例中提供的验证应答话术的装置，通过获取到指定应用场景下指定语义对应的第一指定语料文本合成的第一录音，并根据人工智能语音系统中获取到的第一语音对话，提取第一录音进行语音交互应答，通过对提取的第一录音进行转写，以得到第一转写文本以及对应第一转写文本的第一语义，通过对转写文本以及第一语义进行验证，以验证模拟人工语音进行应答的话术是否有误，无需人工进行一一测试，节省人工时间，降低验证的成本。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设语句文本等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种验证应答话术的方法。
上述处理器用于验证模拟用户应答人工智能语音系统的话术，执行上述验证应答话术的方法的步骤：
获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
将所述第一指定语料文本合成对应的第一录音；
获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，根据所述第一语音问话提取所述第一录音进行语音交互应答；
对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
将所述第一转写文本与所述预设语义对应的第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
若判断所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。
在一实施例中，所述处理器将所述第一指定语料文本合成对应的录音的步骤之前，包括：
根据所述指定应用场景，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
所述将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率的步骤之前，包括：
在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
在一实施例中，所述处理器若所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记有误的步骤之后，包括：
将所述语音交互应答处的所述第一录音有误的标记发送到终端，以便测试人员到所述第一录音标记有误的所述语音交互应答处查看。
在一实施例中，所述处理器将所述第一指定语料文本合成对应的第一录音的步骤，包括：
通过文本到语音的合成将所述第一指定语料文本合成对应的第一录音。
在一实施例中，所述处理器对所述语音交互应答中提取的所述第一录音进行转写的步骤，包括：
通过自动语音识别对所述语音交互应答中提取的所述第一录音进行转写。
在一实施例中，所述处理器将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率的步骤，包括：
获取所述第一转写文本中每一转写字段在所述第一转写文本中位置；
将所述第一转写文本中每一所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置进行一一对比，以判断每一所述转写字段是否准确；
若所述转写字段的字体和所在位置与所述第二文本的字段和对应的位置均一致，则判定所述转写字段准确；
获取所有所述转写字段准确字数与所述第二文本的字段字数比例，以获取所述第一转写文本转写的准确率。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种验证应答话术的方法，用于验证模拟用户应答人工智能语音系统的话术，具体为：
获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
将所述第一指定语料文本合成对应的第一录音；
获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，根据所述第一语音问话提取所述第一录音进行语音交互应答；
对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
将所述第一转写文本与所述预设语义对应的第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
若判断所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误。
在一实施例中，所述处理器将所述第一指定语料文本合成对应的录音的步骤之前，包括：
根据所述指定应用场景下，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
所述将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率的步骤之前，包括：
在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
在一实施例中，所述处理器若所述第一转写文本转写准确率低于100％或/和第一语义准确率低于100％，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记有误的步骤之后，包括：
将所述语音交互应答处的所述第一录音有误的标记发送到终端，以便测试人员到所述第一录音标记有误的所述语音交互应答处查看。
在一实施例中，所述处理器将所述第一指定语料文本合成对应的第一录音的步骤，包括：
通过文本到语音的合成将所述第一指定语料文本合成对应的第一录音。
在一实施例中，所述处理器对所述语音交互应答中提取的所述第一录音进行转写的步骤，包括：
通过自动语音识别对所述语音交互应答中提取的所述第一录音进行转写。
在一实施例中，所述处理器将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率的步骤，包括：
获取所述第一转写文本中每一转写字段在所述第一转写文本中位置；
将所述第一转写文本中每一所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置进行一一对比，以判断每一所述转写字段是否准确；
若所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置均一致，则判定所述转写字段准确；
获取所有所述转写字段准确字数与所述第二文本的字段字数比例，以获取所述第一转写文本转写的准确率。
综上所述，为本申请实施例中提供的验证应答话术的方法、装置、计算机设备和存储介质，通过获取到指定应用场景下指定语义对应的第一指定语料文本合成的第一录音，并根据人工智能语音系统中获取到的第一语音对话，提取第一录音进行语音交互应答，通过对提取的第一录音进行转写，以得到第一转写文本以及对应第一转写文本的第一语义，通过对转写文本以及第一语义进行验证，以验证模拟人工语音进行应答的话术是否有误，无需人工进行一一测试，节省人工时间，降低验证的成本。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种验证应答话术的方法，用于验证模拟用户应答人工智能语音系统的话术，其特征在于，包括以下步骤：
获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
将所述第一指定语料文本合成对应的第一录音；
获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，根据所述第一语音问话提取所述第一录音进行语音交互应答；
对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
若所述第一转写文本转写准确率低于100%或/和第一语义准确率低于100%，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误;
所述将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率的步骤，包括：
获取所述第一转写文本中每一转写字段在所述第一转写文本中位置；
将所述第一转写文本中每一所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置进行一一对比，以判断每一所述转写字段是否准确；
若所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置均一致，则判定所述转写字段准确；
获取所有所述转写字段准确字数与所述第二文本的字段字数比例，以获取所述第一转写文本转写的准确率。
2.根据权利要求1所述的验证应答话术的方法，其特征在于，所述将所述第一指定语料文本合成对应的第一录音的步骤之前，包括：
根据所述指定应用场景，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
所述将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率的步骤之前，包括：
在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
3.根据权利要求1所述的验证应答话术的方法，其特征在于，所述若所述第一转写文本转写准确率低于100%或/和第一语义准确率低于100%，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误的步骤之后，包括：
将所述语音交互应答处的所述第一录音有误的标记发送到终端，以便测试人员到所述第一录音标记有误的所述语音交互应答处查看。
4.根据权利要求1所述的验证应答话术的方法，其特征在于，所述将所述第一指定语料文本合成对应的第一录音的步骤，包括：
通过文本到语音的合成将所述第一指定语料文本合成对应的第一录音。
5.根据权利要求1所述的验证应答话术的方法，其特征在于，所述对所述语音交互应答中提取的所述第一录音进行转写的步骤，包括：
通过自动语音识别对所述语音交互应答中提取的所述第一录音进行转写。
6.一种验证应答话术的装置，用于验证模拟用户应答人工智能语音系统的话术，其特征在于，包括：
第一获取模块，用于获取指定应用场景下预设语义对应的第一指定语料文本以及第二文本，其中，所述第一指定语料文本为指定的字段所组成的词组或者句子，所述第二文本为检验所述第一指定语料文本的指定字段；
合成模块，用于将所述第一指定语料文本合成对应的第一录音；
应答模块，用于获取所述人工智能语音系统在所述指定应用场景下的第一语音问话，并根据所述第一语音问话提取所述第一录音进行语音交互应答；
转写模块，用于对所述语音交互应答中提取的所述第一录音进行转写，生成对应的第一转写文本，并根据所述第一转写文本从预设语义库中查找对应的第一语义；
对比模块，用于将所述第一转写文本与所述第二文本进行对比以得到所述第一转写文本转写的准确率，以及将所述第一语义与所述预设语义进行对比以得到所述第一语义的准确率；
执行模块，用于若判断所述第一转写文本转写准确率低于100%或/和第一语义准确率低于100%，则得到所提取的所述第一录音有误，并在对应的语音交互应答处标记所述第一录音有误；
所述对比模块包括：
第一获取单元，用于获取所述第一转写文本中每一转写字段在所述第一转写文本中位置；
对比单元，用于将所述第一转写文本中每一所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置进行一一对比，以判断每一所述转写字段是否准确；
判定单元，用于若所述转写字段的内容和所在位置与所述第二文本的字段和对应的位置均一致，则判定所述转写字段准确；
第二获取单元，用于获取所有所述转写字段准确字数与所述第二文本的字段字数比例，以获取到所述第一转写文本转写的准确率。
7.根据权利要求6所述的验证应答话术的装置，其特征在于，还包括：
存储模块，用于根据所述指定应用场景，将获取到的每一所述指定应用场景下预设语义对应的所述第一指定语料文本按指定顺序存储于测试目录中，并将所有所述第一指定语料文本对应的所述预设语义以及所述第二文本对应存储于所述测试目录中；
查找模块，用于在所述测试目录中查找应与所述第一指定语料文本对应的所述预设语义以及所述第二文本。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201910175773.6A 2019-03-08 2019-03-08 验证应答话术的方法、装置、计算机设备和存储介质 Active CN110010121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910175773.6A CN110010121B (zh) 2019-03-08 2019-03-08 验证应答话术的方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910175773.6A CN110010121B (zh) 2019-03-08 2019-03-08 验证应答话术的方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110010121A CN110010121A (zh) 2019-07-12
CN110010121B true CN110010121B (zh) 2023-12-26

Family

ID=67166655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910175773.6A Active CN110010121B (zh) 2019-03-08 2019-03-08 验证应答话术的方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110010121B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225114A (zh) * 2020-01-14 2020-06-02 深圳壹账通智能科技有限公司 拨测方法、装置、计算机设备及存储介质
CN111522943A (zh) * 2020-03-25 2020-08-11 平安普惠企业管理有限公司 逻辑节点的自动化测试方法、装置、设备及存储介质
CN113707128B (zh) * 2020-05-20 2023-06-20 思必驰科技股份有限公司 用于全双工语音交互系统的测试方法及系统
CN113127620A (zh) * 2021-04-19 2021-07-16 上海明略人工智能(集团)有限公司 营销过程管理方法、系统、电子设备及可读存储介质
CN113836010A (zh) * 2021-09-14 2021-12-24 招商银行股份有限公司 语音智能客服自动化测试方法、系统及存储介质
CN114679515B (zh) * 2022-05-30 2022-08-30 杭州一知智能科技有限公司 外呼系统的接通时刻点判定方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257600A (zh) * 2016-12-29 2018-07-06 中国移动通信集团浙江有限公司 语音处理方法和装置
CN108777751A (zh) * 2018-06-07 2018-11-09 上海航动科技有限公司 一种呼叫中心系统及其语音交互方法、装置和设备
CN109427334A (zh) * 2017-09-01 2019-03-05 王阅 一种基于人工智能的人机交互方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711562B1 (en) * 2005-09-27 2010-05-04 At&T Intellectual Property Ii, L.P. System and method for testing a TTS voice

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257600A (zh) * 2016-12-29 2018-07-06 中国移动通信集团浙江有限公司 语音处理方法和装置
CN109427334A (zh) * 2017-09-01 2019-03-05 王阅 一种基于人工智能的人机交互方法及系统
CN108777751A (zh) * 2018-06-07 2018-11-09 上海航动科技有限公司 一种呼叫中心系统及其语音交互方法、装置和设备

Also Published As

Publication number Publication date
CN110010121A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN110010121B (zh) 验证应答话术的方法、装置、计算机设备和存储介质
CN109410664B (zh) 一种发音纠正方法及电子设备
CN111613212B (zh) 语音识别方法、系统、电子设备和存储介质
CN111402862B (zh) 语音识别方法、装置、存储介质及设备
US20030191643A1 (en) Automatic multi-language phonetic transcribing system
US9495955B1 (en) Acoustic model training
US10685644B2 (en) Method and system for text-to-speech synthesis
US20210090563A1 (en) Dialogue system, dialogue processing method and electronic apparatus
CN111223476B (zh) 语音特征向量的提取方法、装置、计算机设备和存储介质
US20210350073A1 (en) Method and system for processing user inputs using natural language processing
CN113449489A (zh) 标点符号标注方法、装置、计算机设备和存储介质
CN110503941B (zh) 语言能力评测方法、装置、系统、计算机设备及存储介质
CN110349567B (zh) 语音信号的识别方法和装置、存储介质及电子装置
KR102020773B1 (ko) 음성합성엔진을 이용한 멀티미디어 음성인식 자동 평가시스템
US11615787B2 (en) Dialogue system and method of controlling the same
KR101992370B1 (ko) 말하기 학습방법 및 학습시스템
CN113393841B (zh) 语音识别模型的训练方法、装置、设备及存储介质
CN111798871B (zh) 会话环节识别方法、装置及设备、存储介质
CN113051384A (zh) 基于对话的用户画像抽取方法及相关装置
KR20210068776A (ko) 음성 인식 오류 보정 장치 및 방법
CN113053409B (zh) 音频测评方法及装置
CN111816171B (zh) 语音识别模型的训练方法、语音识别方法及装置
CN115410560A (zh) 一种语音识别方法、装置、存储介质及设备
CN110895938B (zh) 语音校正系统及语音校正方法
KR102391447B1 (ko) 하이브리드 지능형 고객 상담장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant