CN104347081A - 一种测试场景说法覆盖度的方法和装置 - Google Patents

一种测试场景说法覆盖度的方法和装置 Download PDF

Info

Publication number
CN104347081A
CN104347081A CN201310341998.7A CN201310341998A CN104347081A CN 104347081 A CN104347081 A CN 104347081A CN 201310341998 A CN201310341998 A CN 201310341998A CN 104347081 A CN104347081 A CN 104347081A
Authority
CN
China
Prior art keywords
scene
mark
test
text
saying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310341998.7A
Other languages
English (en)
Other versions
CN104347081B (zh
Inventor
陈玫
徐浩
韩贵平
吴景
廖玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310341998.7A priority Critical patent/CN104347081B/zh
Publication of CN104347081A publication Critical patent/CN104347081A/zh
Application granted granted Critical
Publication of CN104347081B publication Critical patent/CN104347081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种测试场景说法覆盖度的方法和装置,以高效、准确地对语音产品的语义识别功能进行测试。所述方法包括:向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;将所述测试服务器返回的测试结果与预期的结果进行对比;输出所述进行对比后的结果。与现有技术相比,本发明实施例提供的方法无需测试语义识别功能的人员海量讲话,一方面可以节省测试的人力成本,无需消耗测试人员过多的体力即可完成测试,另一方面,文本样本易于编写、扩展,在收集到新的文本样本后直接通过脚本就可执行,语义识别功能的测试效率高,也可根据需求反复选择文本样本进行回归测试。

Description

一种测试场景说法覆盖度的方法和装置
技术领域
本发明涉及终端应用领域,具体涉及一种测试场景说法覆盖度的方法和装置。
背景技术
随着通信技术、特别是模式识别技术的进步,终端的语音产品的功能已经从自动语音识别(Automatic Speech Recognition,ASR)向语义识别(Semantic Recognition,SR)发展。所谓语义识别,是指机器在听到人的讲话内容后,能够识别语言中承载的人的意图。具有语义识别的语音产品在产品成型或上市前,通常会进行语义识别方面的功能测试,以便通过测试得到的结果获知产品功能是否能够达到预期,进而完善语音产品的语义识别功能。
鉴于语音产品更新换代快,市场竞争激烈,良好、高效的功能测试方案是语音产品功能不断完善,迅速占领市场的保证。现有技术提供的一种对语音产品进行功能测试的方法是:通过人工以语音方式向语音产品输入大量的、各种不同句式的句子,进而去验证业务服务器是否能够给出对应的语义识别结果。
上述现有技术提供的对语音产品进行功能测试的方法的主要缺陷在于,测试必须是通过语音输入,而测试不同场景一般需支持海量的问法,很多时候只是变通一个字或者增加一个语气词就意味着是一种不同的问法。因此,通过人工以语音输入方式对语音产品进行语义识别功能的测试,不仅难以快速有效覆盖不同场景进而影响测试结果的准确性,而且实际执行时由于需要大量讲话导致体力消耗较大。
发明内容
本发明实施例提供一种测试场景说法覆盖度的方法和装置,以高效、准确地对语音产品的语义识别功能进行测试。
一种测试场景说法覆盖度的方法,包括:向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;将所述测试服务器返回的测试结果与预期的结果进行对比;输出所述进行对比后的结果。
一种测试场景说法覆盖度的装置,所述装置包括:
发送模块,用于向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;
结果对比模块,用于将所述测试服务器返回的测试结果与预期的结果进行对比;
结果输出模块,用于输出所述进行对比后的结果。
从上述本发明实施例可知,由于向测试服务器发送的文本样本是直接以文字表示的场景说法构成的测试用样本,而不是通过测试人员说话的方式向语音产品输入句子。因此,与现有技术通过人工以语音方式向语音产品输入大量的、各种不同句式的句子去测试语义识别功能相比,本发明实施例提供的方法无需测试语义识别功能的人员海量讲话,一方面可以节省测试的人力成本,无需消耗测试人员过多的体力即可完成测试,另一方面,文本样本易于编写、扩展,在收集到新的文本样本后直接通过脚本就可执行,语义识别功能的测试效率高,也可根据需求反复选择文本样本进行回归测试。
附图说明
图1是本发明实施例提供的测试场景说法覆盖度的方法的基本流程示意图;
图2是本发明实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图3是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图4是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图5-a是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图5-b是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图5-c是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图6-a是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图6-b是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图;
图6-c是本发明另一实施例提供的测试场景说法覆盖度的装置逻辑结构示意图。
具体实施方式
本发明实施例提供一种测试场景说法覆盖度的方法,包括:向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;将所述测试服务器返回的测试结果与预期的结果进行对比;输出所述进行对比后的结果。本发明实施例还提供相应的一种测试场景说法覆盖度的装置。以下分别进行详细说明。
本发明实施例的测试场景说法覆盖度的方法可应用于个人电脑、智能手机等装有语音产品的终端,其基本流程可参考图1,主要包括步骤:
S101,向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本。
现有技术对语义识别功能进行测试时,是测试人员或其他人员向装有语音产品的终端输入语音(例如,通过话筒喊话),语音传送到接入服务器后,由接入服务器将该语音转入语音识别引擎。接入服务器再将语音识别引擎返回的以文字表示的语音识别结果发送给业务服务器进行语义识别。从上述对现有技术的描述可知,现有技术具有人工向装有语音产品的终端输入语音以及语音识别引擎对语音进行识别后得出以文字表示的识别结果两个步骤。由于语音识别技术比较成熟,大多数语音识别引擎都能够对语音进行有效识别,鉴于此,本发明实施例提供的测试场景说法覆盖度的方法可以省去语音识别这一过程,即向测试服务器发送文本样本而不是向接入服务器发送语音。在本发明实施例中,文本样本是直接以文字表示的场景说法构成的测试用样本,可以作为测试请求的一部份内容,携带在发送给测试服务器的测试请求中。所谓直接以文字表示的场景说法,是指不是将以语音表示的场景说法通过语音识别引擎的识别后转换成以文字表示的场景说法,而是指该场景说法从输入终端开始一直至发送到测试服务器都是以文本表示,中间没有经过任何识别和/或转换环节。
S102,将测试服务器返回的测试结果与预期的结果进行对比。
作为步骤S101中文本样本的一个实施例,文本样本的格式可以是:文字串+预期场景的标识(IDentifier,ID)即“文字串,预期场景的标识”,其中,文字串是前述实施例中提及的直接以文字表示的场景说法。例如,对于一个视频场景说法的测试,文本样本格式可以是“最近有什么好看的视频,26”,其中,“最近有什么好看的视频”就是文字串,而“26”就是预期场景的标识。相应于文本样本的格式是文字串+预期场景的标识这一实施例,将测试服务器返回的测试结果与预期的结果进行对比可以是:解析测试服务器返回的测试请求响应,获得识别场景的标识;将识别场景的标识与预期场景的标识进行对比。例如,对于发送给测试服务器的文本样本“最近有什么好看的视频,26”,终端解析测试服务器返回的测试请求响应,获得的识别场景的标识可能是26,也可能是其他,例如,36,54等等。
为了进一步进行更加精确的测试,作为步骤S101中文本样本的另一实施例,文本样本的格式可以是:文字串+预期场景的标识(IDentifier,ID)+预期场景的子场景的标识即“文字串,预期场景的标识,预期场景的子场景的标识”,类似地,文字串是前述实施例中提及的直接以文字表示的场景说法。例如,对于一个视频场景说法的测试,文本样本格式可以是“最近有什么好看的视频,26,15”,其中,“最近有什么好看的视频”就是文字串,而“26”和“15”分别是预期场景的标识和预期场景的子场景的标识。相应于文本样本的格式是文字串+预期场景的标识+所述预期场景的子场景的标识这一实施例,将测试服务器返回的测试结果与预期的结果进行对比可以是:解析测试服务器返回的测试请求响应,获得识别场景的标识和识别场景的子场景的标识;将识别场景的标识与预期场景的标识进行对比以及将识别场景的子场景的标识与预期场景的子场景的标识进行对比。例如,对于发送给测试服务器的文本样本“最近有什么好看的视频,26,15”,终端解析测试服务器返回的测试请求响应,获得的识别场景的标识可能是26,也可能是其他,例如,36,54等等;获得的识别场景的子场景的标识可能是15,也可能是其他,例如,12,10等等。
上述实施例中,测试服务器返回的测试结果还可以包括结果串,其中,结果串是对直接以文字表示的场景说法的意图领会结果。相应地,上述测试场景说法覆盖度的方法还可以包括:将结果串与预期的场景说法意图领会结果对比,以获得语音产品对场景说法的意图领会的正确率。在通过发送测试请求向测试服务器发送文本样本之前,本发明实施例提供的测试场景说法覆盖度的方法还包括:录入文本样本。录入的文本样本可以在终端本地存储,也可以异地存储,在需要时可以从中读取、拷贝,也可以随时编写文本样本。当然,上述的文本样本是可以批量发送、测试服务器批量执行的,提高效率。
为了更好地说明上述本发明实施例提供的测试场景说法覆盖度的方法,以下以场景是视频场景为例进行说明,假设用于测试视频场景的文本样本有8个,如下表1所示:
表1
上述表1中,前三列的内容就是文本样本的内容,例如,第二行前三列的文本样本是“最近流行啥视频,26,68”,所返回的识别场景的ID和所返回的识别场景的子场景的ID分别是26和68,与预期场景、预期场景的子场景吻合,返回的结果串是“为您找到如下视频:《中国合伙人》、《速度与激情6》、《致我们终将逝去的青春》”,说明语音产品对“最近流行啥视频”这一语义的识别基本正常。从上述表1还可以看出,尽管第二行前三列的文本样本是“最近流行啥视频,26,68”,第三行前三列的文本样本是“最近有什么火爆的视频,26,68”,以及第五行前三列的文本样本是“最近有什么好看得视频,26,68”,三个文本样本的文字串有细微差别,但从返回的结果即所返回的识别场景的ID和所返回的识别场景的子场景的ID、特别是返回的结果串来看,仍然给出的是相同或基本相同的结果,进一步说明语音产品对“最近流行啥视频”以及与此类似的语义的识别基本正常。需要说明的是,如果语音产品对场景识别错误,那么返回的结果串一般而言都是不正常的。例如,上述表1中,对于文本样本“最近有傻子好看的片片哟,26,68”,所返回识别场景的ID和所返回识别场景的子场景的ID分别是23和42,与预期场景的ID和预期场景的子场景的ID均不符,因此,返回的结果串“为您找到如下小说:《挪威的森林》、《明朝那些事儿》、《孝庄秘史》”显然与预期的也不符合,
S103,输出步骤S102进行对比后的结果。
所输出的步骤S102进行对比后的结果可以是上述表1,也可以是对表1进行处理过的测试报告,例如,通过表1给出的测试结果,计算场景说法覆盖度的正确率等。本发明对步骤S102进行对比后的结果的输出形式可以不做限定。
从上述本发明实施例提供的测试场景说法覆盖度的方法可知,由于向测试服务器发送的文本样本是直接以文字表示的场景说法构成的测试用样本,而不是通过测试人员说话的方式向语音产品输入句子。因此,与现有技术通过人工以语音方式向语音产品输入大量的、各种不同句式的句子去测试语义识别功能相比,本发明实施例提供的方法无需测试语义识别功能的人员海量讲话,一方面可以节省测试的人力成本,无需消耗测试人员过多的体力即可完成测试,另一方面,文本样本易于编写、扩展,在收集到新的文本样本后直接通过脚本就可执行,语义识别功能的测试效率高,也可根据需求反复选择文本样本进行回归测试。
下面对用于执行上述测试场景说法覆盖度的方法的本发明实施例的测试场景说法覆盖度的装置进行说明,其基本逻辑结构参考图2。为了便于说明,仅仅示出了与本发明实施例相关的部分,主要包括发送模块201、结果对比模块202和结果输出模块203,各模块详细说明如下:
发送模块201,用于向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;
结果对比模块202,用于将所述测试服务器返回的测试结果与预期的结果进行对比;
结果输出模块203,用于输出所述进行对比后的结果。
需要说明的是,以上附图2示例的测试场景说法覆盖度的装置的实施方式中,各功能模块的划分仅是举例说明,实际应用中可以根据需要,例如相应硬件的配置要求或者软件的实现的便利考虑,而将上述功能分配由不同的功能模块完成,即将所述测试场景说法覆盖度的装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。而且,实际应用中,本实施例中的相应的功能模块可以是由相应的硬件实现,也可以由相应的硬件执行相应的软件完成,例如,前述的发送模块,可以是具有执行前述向测试服务器发送文本样本的测试请求的硬件,例如发送器,也可以是能够执行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备;再如前述的结果对比模块,可以是具有执行前述将所述测试服务器返回的测试结果与预期的结果进行对比功能的硬件,例如结果对比器,也可以是能够执行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备(本说明书提供的各个实施例都可应用上述描述原则)。
附图2示例的测试场景说法覆盖度的装置中,文本样本的格式为:文字串+预期场景的标识,所述文字串是所述直接以文字表示的场景说法,结果对比模块202可以包括第一解析单元301和第一对比单元302,如附图3所示本发明另一实施例提供的测试场景说法覆盖度的装置,其中:
第一解析单元301解析所述测试服务器返回的测试请求响应,获得识别场景的标识;
第一对比单元302将所述识别场景的标识与所述预期场景的标识进行对比。
附图2示例的测试场景说法覆盖度的装置中,文本样本的格式为:文字串+预期场景的标识+所述预期场景的子场景的标识,所述文字串是所述直接以文字表示的场景说法,结果对比模块202可以包括第二单元401和第二对比单元402,如附图4示本发明另一实施例提供的测试场景说法覆盖度的装置,其中:
第二解析单元401,用于解析所述测试服务器返回的测试请求响应,获得识别场景的标识和所述识别场景的子场景的标识;
第二对比单元402,用于将所述识别场景的标识与所述预期场景的标识进行对比以及将所述识别场景的子场景的标识与所述预期场景的子场景的标识进行对比。
附图2至附图4任一示例的测试场景说法覆盖度的装置中,测试服务器返回的测试结果还包括结果串,所述结果串是对所述直接以文字表示的场景说法的意图领会结果。附图2至附图4任一示例的测试场景说法覆盖度的装置还包括测试模块501,如附图5-a至附图5-c任一示例的测试场景说法覆盖度的装置。测试模块501用于将所述结果串与预期的场景说法意图领会结果对比,以获得语音产品对场景说法的意图领会的正确率。
附图2至附图4任一示例的测试场景说法覆盖度的装置还包括文本录入模块601,如附图6-a至附图6-c任一示例的测试场景说法覆盖度的装置。文本录入模块601用于录入所述文本样本。
本发明实施例还给出一种终端,该终端可以用于实施上述实施例中提供的测试场景说法覆盖度的方法。具体来讲:终端可以包括有一个或一个以上计算机可读存储介质的存储器、一个或者一个以上处理核心的处理器等部件。本领域技术人员可以理解,上述终端结构并不构成对终端的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
尽管未示出,终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端的显示单元是触摸屏显示器,终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令:
向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;
将所述测试服务器返回的测试结果与预期的结果进行对比;
输出所述进行对比后的结果。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,所述文本样本的格式为:文字串+预期场景的标识,所述文字串是所述直接以文字表示的场景说法,所述终端的存储器中,还包含用于执行以下操作的指令:
解析所述测试服务器返回的测试请求响应,获得识别场景的标识;
将所述识别场景的标识与所述预期场景的标识进行对比。
假设上述为第二种可能的实施方式,则在第二种可能的实施方式作为基础而提供的第三种可能的实施方式中,所述文本样本的格式为:文字串+预期场景的标识+所述预期场景的子场景的标识,所述文字串是所述直接以文字表示的场景说法,所述终端的存储器中,还包含以下指令:
解析所述测试服务器返回的测试请求响应,获得识别场景的标识和所述识别场景的子场景的标识;
将所述识别场景的标识与所述预期场景的标识进行对比以及将所述识别场景的子场景的标识与所述预期场景的子场景的标识进行对比。
在第一、第二或者第三种可能的实施方式作为基础而提供的第四种可能的实施方式中,所述测试服务器返回的测试结果还包括结果串,所述结果串是对所述直接以文字表示的场景说法的意图领会结果,所述终端的存储器中,还包含以下指令:
将所述结果串与预期的场景说法意图领会结果对比,以获得语音产品对场景说法的意图领会的正确率。
在第一、第二或者第三种可能的实施方式作为基础而提供的第五种可能的实施方式中,所述终端的存储器中,还包含以下指令:
录入所述文本样本。
作为另一方面,本发明再一实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序被一个或者一个以上的处理器用来执行一个测试场景说法覆盖度的方法,所述方法包括:
向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;
将所述测试服务器返回的测试结果与预期的结果进行对比;
输出所述进行对比后的结果。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,所述文本样本的格式为:文字串+预期场景的标识,所述文字串是所述直接以文字表示的场景说法;所述将所述测试服务器返回的测试结果与预期的结果进行对比,包括:
解析所述测试服务器返回的测试请求响应,获得识别场景的标识;
将所述识别场景的标识与所述预期场景的标识进行对比。
假设上述为第二种可能的实施方式,则在第二种可能的实施方式作为基础而提供的第三种可能的实施方式中,所述文本样本的格式为:文字串+预期场景的标识+所述预期场景的子场景的标识,所述文字串是所述直接以文字表示的场景说法;所述将所述测试服务器返回的测试结果与预期的结果进行对比,包括:
解析所述测试服务器返回的测试请求响应,获得识别场景的标识和所述识别场景的子场景的标识;将所述识别场景的标识与所述预期场景的标识进行对比以及将所述识别场景的子场景的标识与所述预期场景的子场景的标识进行对比。
在第一、第二或者第三种可能的实施方式作为基础而提供的第四种可能的实施方式中,所述测试服务器返回的测试结果还包括结果串,所述结果串是对所述直接以文字表示的场景说法的意图领会结果;所述方法还包括:将所述结果串与预期的场景说法意图领会结果对比,以获得语音产品对场景说法的意图领会的正确率。
在第一、第二或者第三种可能的实施方式作为基础而提供的第五种可能的实施方式中,在通过发送测试请求向测试服务器发送文本样本之前,所述方法还包括:录入所述文本样本。
需要说明的是,上述装置各模块/单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其带来的技术效果与本发明方法实施例相同,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的测试场景说法覆盖度的方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种测试场景说法覆盖度的方法,其特征在于,所述方法包括:
向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;
将所述测试服务器返回的测试结果与预期的结果进行对比;
输出所述进行对比后的结果。
2.根据权利要求1所述的方法,其特征在于,所述文本样本的格式为:文字串+预期场景的标识,所述文字串是所述直接以文字表示的场景说法;
所述将所述测试服务器返回的测试结果与预期的结果进行对比包括:
解析所述测试服务器返回的测试请求响应,获得识别场景的标识;
将所述识别场景的标识与所述预期场景的标识进行对比。
3.根据权利要求1所述的方法,其特征在于,所述文本样本的格式为:文字串+预期场景的标识+所述预期场景的子场景的标识,所述文字串是所述直接以文字表示的场景说法;
所述将所述测试服务器返回的测试结果与预期的结果进行对比包括:
解析所述测试服务器返回的测试请求响应,获得识别场景的标识和所述识别场景的子场景的标识;
将所述识别场景的标识与所述预期场景的标识进行对比以及将所述识别场景的子场景的标识与所述预期场景的子场景的标识进行对比。
4.根据权利要求1至3任意一项所述的方法,其特征在于,所述测试服务器返回的测试结果还包括结果串,所述结果串是对所述直接以文字表示的场景说法的意图领会结果;
所述方法还包括:将所述结果串与预期的场景说法意图领会结果对比,以获得语音产品对场景说法的意图领会的正确率。
5.根据权利要求1至3任意一项所述的方法,其特征在于,向测试服务器发送文本样本的测试请求之前,所述方法还包括:录入所述文本样本。
6.一种测试场景说法覆盖度的装置,其特征在于,所述装置包括:
发送模块,用于向测试服务器发送文本样本的测试请求,所述文本样本是直接以文字表示的场景说法构成的测试用样本;
结果对比模块,用于将所述测试服务器返回的测试结果与预期的结果进行对比;
结果输出模块,用于输出所述进行对比后的结果。
7.根据权利要求6所述的装置,其特征在于,所述文本样本的格式为:文字串+预期场景的标识,所述文字串是所述直接以文字表示的场景说法;
所述结果对比模块包括:
第一解析单元,用于解析所述测试服务器返回的测试请求响应,获得识别场景的标识;
第一对比单元,用于将所述识别场景的标识与所述预期场景的标识进行对比。
8.根据权利要求6所述的装置,其特征在于,所述文本样本的格式为:文字串+预期场景的标识+所述预期场景的子场景的标识,所述文字串是所述直接以文字表示的场景说法;
所述结果对比模块包括:
第二解析单元,用于解析所述测试服务器返回的测试请求响应,获得识别场景的标识和所述识别场景的子场景的标识;
第二对比单元,用于将所述识别场景的标识与所述预期场景的标识进行对比以及将所述识别场景的子场景的标识与所述预期场景的子场景的标识进行对比。
9.根据权利要求6至8任意一项所述的装置,其特征在于,所述测试服务器返回的测试结果还包括结果串,所述结果串是对所述直接以文字表示的场景说法的意图领会结果;
所述装置还包括:测试模块,用于将所述结果串与预期的场景说法意图领会结果对比,以获得语音产品对场景说法的意图领会的正确率。
10.根据权利要求6至8任意一项所述的装置,其特征在于,所述装置还包括:
文本录入模块,用于录入所述文本样本。
CN201310341998.7A 2013-08-07 2013-08-07 一种测试场景说法覆盖度的方法和装置 Active CN104347081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310341998.7A CN104347081B (zh) 2013-08-07 2013-08-07 一种测试场景说法覆盖度的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310341998.7A CN104347081B (zh) 2013-08-07 2013-08-07 一种测试场景说法覆盖度的方法和装置

Publications (2)

Publication Number Publication Date
CN104347081A true CN104347081A (zh) 2015-02-11
CN104347081B CN104347081B (zh) 2019-07-02

Family

ID=52502546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310341998.7A Active CN104347081B (zh) 2013-08-07 2013-08-07 一种测试场景说法覆盖度的方法和装置

Country Status (1)

Country Link
CN (1) CN104347081B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107086040A (zh) * 2017-06-23 2017-08-22 歌尔股份有限公司 语音识别能力测试方法和装置
CN107908556A (zh) * 2017-11-08 2018-04-13 中国平安人寿保险股份有限公司 接口测试方法、装置、设备及计算机可读存储介质
CN108399114A (zh) * 2018-03-21 2018-08-14 财付通支付科技有限公司 一种系统性能测试方法、装置及存储介质
CN109448701A (zh) * 2018-09-19 2019-03-08 易诚博睿(南京)科技有限公司 一种智能语音识别到语义理解的结果统计系统及方法
CN111145737A (zh) * 2018-11-06 2020-05-12 中移(杭州)信息技术有限公司 语音测试方法、装置和电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1279461A (zh) * 1999-06-30 2001-01-10 国际商业机器公司 改善语音识别准确性的方法和装置
CN1316083A (zh) * 1999-05-13 2001-10-03 奥迪纳特公司 使用语音识别模型的自动的语言评估
CN1760972A (zh) * 2004-10-15 2006-04-19 微软公司 使用合成输入测试和调整语音识别系统
CN1965218A (zh) * 2004-06-04 2007-05-16 皇家飞利浦电子股份有限公司 交互式语音识别系统的性能预测
CN1975856A (zh) * 2006-10-30 2007-06-06 邹采荣 一种基于支持向量机的语音情感识别方法
US20090018823A1 (en) * 2006-06-27 2009-01-15 Nokia Siemens Networks Oy Speech coding
US20090074195A1 (en) * 2007-09-13 2009-03-19 John Cornell Distributed intelligibility testing system
CN101562012A (zh) * 2008-04-16 2009-10-21 创而新(中国)科技有限公司 语音分级测定方法及系统
KR101005858B1 (ko) * 2009-02-13 2011-01-05 한국과학기술원 히스토그램 등화를 이용한 음향모델 파라메터 적응 장치 및그 방법
CN102723080A (zh) * 2012-06-25 2012-10-10 惠州市德赛西威汽车电子有限公司 一种语音识别测试系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1316083A (zh) * 1999-05-13 2001-10-03 奥迪纳特公司 使用语音识别模型的自动的语言评估
CN1279461A (zh) * 1999-06-30 2001-01-10 国际商业机器公司 改善语音识别准确性的方法和装置
CN1965218A (zh) * 2004-06-04 2007-05-16 皇家飞利浦电子股份有限公司 交互式语音识别系统的性能预测
CN1760972A (zh) * 2004-10-15 2006-04-19 微软公司 使用合成输入测试和调整语音识别系统
US20090018823A1 (en) * 2006-06-27 2009-01-15 Nokia Siemens Networks Oy Speech coding
CN1975856A (zh) * 2006-10-30 2007-06-06 邹采荣 一种基于支持向量机的语音情感识别方法
US20090074195A1 (en) * 2007-09-13 2009-03-19 John Cornell Distributed intelligibility testing system
CN101562012A (zh) * 2008-04-16 2009-10-21 创而新(中国)科技有限公司 语音分级测定方法及系统
KR101005858B1 (ko) * 2009-02-13 2011-01-05 한국과학기술원 히스토그램 등화를 이용한 음향모델 파라메터 적응 장치 및그 방법
CN102723080A (zh) * 2012-06-25 2012-10-10 惠州市德赛西威汽车电子有限公司 一种语音识别测试系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107086040A (zh) * 2017-06-23 2017-08-22 歌尔股份有限公司 语音识别能力测试方法和装置
CN107086040B (zh) * 2017-06-23 2021-03-02 歌尔股份有限公司 语音识别能力测试方法和装置
CN107908556A (zh) * 2017-11-08 2018-04-13 中国平安人寿保险股份有限公司 接口测试方法、装置、设备及计算机可读存储介质
CN108399114A (zh) * 2018-03-21 2018-08-14 财付通支付科技有限公司 一种系统性能测试方法、装置及存储介质
CN108399114B (zh) * 2018-03-21 2021-02-02 财付通支付科技有限公司 一种系统性能测试方法、装置及存储介质
CN109448701A (zh) * 2018-09-19 2019-03-08 易诚博睿(南京)科技有限公司 一种智能语音识别到语义理解的结果统计系统及方法
CN111145737A (zh) * 2018-11-06 2020-05-12 中移(杭州)信息技术有限公司 语音测试方法、装置和电子设备
CN111145737B (zh) * 2018-11-06 2022-07-01 中移(杭州)信息技术有限公司 语音测试方法、装置和电子设备

Also Published As

Publication number Publication date
CN104347081B (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
KR102401942B1 (ko) 번역품질 평가 방법 및 장치
US11328017B2 (en) Method and system for generating a conversational agent by automatic paraphrase generation based on machine translation
US20210027788A1 (en) Conversation interaction method, apparatus and computer readable storage medium
US10971135B2 (en) System and method for crowd-sourced data labeling
JP2015176099A (ja) 対話システム構築支援装置、方法、及びプログラム
CN110930980B (zh) 一种中英文混合语音的声学识别方法及系统
CN109241330A (zh) 用于识别音频中的关键短语的方法、装置、设备和介质
CN104347081A (zh) 一种测试场景说法覆盖度的方法和装置
US20230259712A1 (en) Sound effect adding method and apparatus, storage medium, and electronic device
CN111312209A (zh) 文本到语音的转换处理方法、装置及电子设备
CN110399306B (zh) 软件模块自动化测试方法及装置
CN116821290A (zh) 面向多任务对话的大语言模型训练方法和交互方法
CN111105781B (zh) 语音处理方法、装置、电子设备以及介质
US11036996B2 (en) Method and apparatus for determining (raw) video materials for news
US20230153550A1 (en) Machine Translation Method and Apparatus, Device and Storage Medium
CN111815274A (zh) 信息处理方法、装置和电子设备
CN112002325B (zh) 多语种语音交互方法和装置
CN112509581B (zh) 语音识别后文本的纠错方法、装置、可读介质和电子设备
CN110728137B (zh) 用于分词的方法和装置
CN112905869A (zh) 语言模型的自适应训练方法、装置、存储介质及设备
CN106155893B (zh) 判断应用程序测试覆盖范围的方法及程序测试设备
CN109656550A (zh) json数据解析方法、装置、设备及可读存储介质
CN110675896A (zh) 用于音频的文字时间对齐方法、装置、介质及电子设备
CN109145312A (zh) 一种基于二级缓存的机器翻译方法、装置、介质和电子设备
US11816712B1 (en) Systems and methods for generation, execution and evaluation of synthetic shopping sessions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant