CN109102797B - 语音识别测试方法、装置、计算机设备及存储介质 - Google Patents
语音识别测试方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109102797B CN109102797B CN201810735475.3A CN201810735475A CN109102797B CN 109102797 B CN109102797 B CN 109102797B CN 201810735475 A CN201810735475 A CN 201810735475A CN 109102797 B CN109102797 B CN 109102797B
- Authority
- CN
- China
- Prior art keywords
- voice
- recognition
- target platform
- error rate
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010998 test method Methods 0.000 title claims description 13
- 238000012360 testing method Methods 0.000 claims abstract description 145
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008676 import Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种语音识别测试方法,用于解决现有语音识别测试流程容易受到人为因素干扰,难以做到规范统一的问题。本发明提供的方法包括:确定待语音测试的各个目标平台;获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。本发明还提供语音识别测试装置、计算机设备及存储介质。
Description
技术领域
本发明涉及语音识别技术领域,尤其涉及语音识别测试方法、装置、计算机设备及存储介质。
背景技术
目前,语音识别技术已经应用极为广泛,很多平台可以对外提供语音识别的服务接口,用户可以通过平台提供的服务接口使用各个平台的语音识别功能。但是,不同平台使用的语音识别模型一般都会存在差异,这就导致同一个声音文件在不同的平台上识别出来的结果往往并不相同,有时候甚至差别很大。为此,平台在开发语音识别模型时,需要测试不同平台的语音识别效果与自身的进行对比,分析其中的优劣,以便更好地改进平台的语音识别功能。
然而,现有语音识别测试流程上不同环节需要由不同的处理人员进行处理,由于不同处理人员往往有各自的测试习惯,难以做到规范统一,给语音识别的测试工作带来诸多不便,不利于测试流程的数据记录和测试数据的横向比对。
发明内容
基于此,有必要针对上述技术问题,提供一种可以提高语音识别测试的效率、排除人为干扰因素的语音识别测试方法、装置、计算机设备及存储介质。
一种语音识别测试方法,包括:
确定待语音测试的各个目标平台;
获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;
调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;
针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;
根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
一种语音识别测试装置,包括:
平台确定模块,用于确定待语音测试的各个目标平台;
文件文本获取模块,用于获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;
语音识别模块,用于调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;
错词率计算模块,用于针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;
第一报告生成模块,用于根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述语音识别测试方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述语音识别测试方法的步骤。
上述语音识别测试方法、装置、计算机设备及存储介质,首先,确定待语音测试的各个目标平台;然后,获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;接着,调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;最后,根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。可见,本方法在整个语音测试流程中无需人员处理,不仅提高了语音识别测试的效率,而且排除了人为干扰因素,可以实现测试报告的规范统一;另外,通过在多个目标平台上进行语音文件的语音识别测试并计算各个目标平台识别这些语音文件时的错词率,可以横向对比各个目标平台的测试性能,更直观地反映各个目标平台语音识别功能的优劣。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中语音识别测试方法的一应用环境示意图;
图2是本发明一实施例中语音识别测试方法的一流程图;
图3是本发明一实施例中语音识别测试方法步骤S105在一个应用场景下的流程示意图;
图4是本发明一实施例中语音识别测试方法在一个应用场景下测试目标平台上语音识别模型的流程示意图;
图5是本发明一实施例中语音识别测试方法在一个应用场景下确定语音识别模型的弱支持领域的流程示意图;
图6是本发明一实施例中语音识别测试装置的结构示意图;
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的语音识别测试方法可以通过语音测试平台实施,可应用在如图1的应用环境中,其中,该语音测试平台的服务器通过网络与各个目标平台的服务器进行通信。其中,上述服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种语音识别测试方法,以该方法应用在图1中语音测试平台的服务器为例进行说明,包括如下步骤:
S101、确定待语音测试的各个目标平台;
本方案中,在开始语音测试时,需要先确定出本次待语音测试的各个目标平台。一般来说,所述各个目标平台为多个各不相同的语音识别平台,这样有利于横向对比这些目标平台的语音识别效果。具体地,本方案的语音测试平台可以提供一界面窗口给测试人员选择,在测试窗口中,测试人员可以具体选择本次测试所针对的各个目标平台有哪些,在一次语音测试中可以选择一个、两个或多个目标平台。
S102、获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;
可以理解的是,测试用的各个语音文件以及与这些语音文件对应的标准文本可以是预先收集好并存储在语音测试平台上的,当然,也可以由测试人员在本次语音测试开始之前手动上传或者通过网络从其它数据库中提取得到,对此本实施例不作具体限定。
需要说明的是,标准文本是指所述语音文件的音频内容对应的文本内容,该标准文本在本次语音测试之前均经过修正、确认,确保了文本内容与对应语音文件的音频所表达的内容一致。
S103、调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;
在确定本次语音测试的各个目标平台以及获取到测试用的各个语音文件、标准文本之后,可以调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别。可以理解的是,各个目标平台对外提供语音识别服务接口,本方案的语音测试平台通过对接这些接口,可以使用各个目标平台提供的语音识别功能。在将各个语音文件发送给各个目标平台之后,各个语音文件会分别在各个目标平台中完成音转字,然后各个目标平台分别输出各个语音文件对应的识别结果,也即识别得到的文本。
进一步地,在调用语音识别服务接口对语音文件进行语音识别之前,还可以先对各个语音文件进行预处理,比如降噪处理。在预处理之前,测试人员可以手动选择是否降噪以及降噪的具体处理方式;或者,语音测试平台也可以设置默认的降噪处理方式,并默认对各个语音文件进行降噪处理。
S104、针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;
具体地,针对每个语音文件,可以将该语音文件对应的识别结果与该语音文件对应的标准文本进行比对,计算识别结果相对标准文本的错词率,也即文本内容的误差比例。而对于每个目标平台来说,则需要分别计算各个语音文件对应的错词率。因此,假设一共N个参与本次语音测试的语音文件,M个目标平台,则针对每个目标平台计算得到的错词率个数为N个,对M个目标平台则总共需要计算M*N个错词率。
S105、根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
可以理解的是,在得到各个目标平台上各个语音文件对应的错词率之后,本次语音测试基本上完成,最后需要生成本次语音测试的第一测试报告提供给测试人员查阅。需要说明的是,该第一测试报告的具体内容可以根据实际情况来确定。比如,若本次语音测试关注的重点是各个目标平台平均错词率的排行,则可以根据各个目标平台上各个语音文件对应的错词率分别计算出各个目标平台的平台错词率,然后依据平台错词率从大到小或从小到大对各个目标平台进行排序,并在生成的第一测试报告中体现。这样,测试人员查看该第一测试报告即可清楚地得知各个目标平台在错词率方面的优劣。
进一步地,如图3所示,所述步骤S105具体可以包括:
S201、针对每个目标平台,根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率;
S202、在计算得到各个目标平台对应的平台错词率后,按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序;
S203、生成空白的第一测试报告,并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
对于上述步骤S201,可以理解的是,对于一个目标平台来说,该目标平台的平台错词率具体可以是各个语音文件对应的错词率的平均值,假设有N个语音文件,则每个语音文件对应的错词率表示为Wn,则该目标平台的平台错词率等于(W1+W2+……Wn)/N。
对于步骤S202,该预设的排序规则具体可以是按照目标平台的预设平台顺序进行排序,也可以按照平台错词率进行排序。可以理解的是,本次语音测试中,测试人员有可能更加关注某些著名平台的平台错词率,因此,测试人员可以预设设置各个平台之间的排序,将重点关注的平台排序在前,其它平台排序在后,从而在生成的第一测试报告可以更加突出反映测试人员重点关注的几个平台的平台错词率。或者,测试人员若希望对比查看这些目标平台之间哪些目标平台的平台错词率更高或者更低,通过按照平台错词率进行排序,最后生成的第一测试报告可以更突出反映各个目标平台之间在平台错词率方面的优劣。
对于步骤S203,可知,在对各个目标平台对应的平台错词率进行排序之后,即可依据排序后的顺序将各个目标平台对应的平台错词率以及相应的目标平台信息导入至该第一测试报告中。
通过上述步骤S201-S203,本实施例的语音识别测试方法可以分析各个目标平台的平台错词率,并按照预设的排序规则对各个目标平台进行排序,这样,测试人员可以依据平台错词率对比这些目标平台上语音识别服务的优劣,使得各个目标平台之间的横向对比更加突出和高效。
进一步地,本方法还可以在测试时,指定平台上的特定语音识别模型进行测试。具体地,如图4所示,所述语音识别测试方法还包括:
S301、分别确定所述各个目标平台的指定语音识别模型;
S302、调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别,并获取各个目标平台输出的识别文本;
S303、针对每个所述目标平台,根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率;
S304、根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
对于步骤S301,可以理解的是,在本次语音测试时,可以指定各个目标平台上用来测试的语音识别模型具体是哪个,被指定的语音识别模型即为上述的指定语音识别模型。具体地,这些指定语音识别模型可以由语音测试平台指定,也可以由测试人员手动选择各个目标平台上的语音识别模型作为指定语音识别模型,还可以由各个目标平台自行指定语音识别模型,对此不做具体限定。
步骤S302与上述步骤S103类似,在调用各个目标平台的语音识别服务接口对各个所述语音文件进行语音识别时,发送给各个目标平台上的指定语音识别模型来识别即可,识别后可以获取到各个目标平台反馈的识别文本。
对于步骤S303,在得到各个目标平台输出的识别文本后,与上述步骤S104类似,可以根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率。
对于步骤S304,在得到各个目标平台上所述指定语音识别模型对应的错词率之后,与上述步骤S105同理,可以由此生成语音测试的第二测试报告。其中,与步骤S105存在区别的地方是,步骤S304生成的第二测试报告主要针对各个目标平台上所述指定语音识别模型的,该第二测试报告重点横向对比的是不同平台上指定语音识别模型之间的差异和优劣,因此在生成的第二测试报告中需要体现出各个指定语音识别模型对应的错词率。
通过上述步骤S301-S304,本方法在本次语音测试时,不仅可以从第一维度(即平台的维度)确定各个目标平台,还可以从第二维度(即平台上语音识别模型的维度)确定每个目标平台下的语音识别模型,通过两个维度的确定,使得本次语音测试的结果可以反映出具体语音识别模型的效果和优劣。
进一步地,在针对第二维度,即目标平台下具体的语音识别模型进行测试时,还可以具体评估这些语音识别模型在词语领域的支持力度如何。目前,在语音识别领域,由于语音识别模型往往需要极其大量的训练样本完成训练,而语言的领域过于宽泛,为了提高训练效率同时也为了提升语音识别模型的准确性,目前训练的语音识别模型均会区分不同的应用领域,比如财经、新闻、体育、电影对话等。因此,测试语音识别模型对某个应用领域的支持力度存在重大意义。为此,如图5所示,在步骤S302之后,该语音识别测试方法还可以包括:
S401、针对每个指定语音识别模型,获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本;
S402、针对每个指定语音识别模型,将各个所述语音文件所对应识别文本与标准文本进行对比,确定各个所述标准文本的易错词,所述易错词是指识别文本与标准文本对比后、所述标准文本中对比不一致的文本;
S403、针对每个指定语音识别模型,确定各个所述标准文本的易错词所属的词语领域;
S404、针对每个指定语音识别模型,将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域,所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
上述步骤S401~S404均是分别针对每个指定语音识别模型进行的处理,为了便于说明,下述对步骤S401~S404的说明中不再强调。
对于步骤S401,类似步骤S103,可以理解的是,将各个所述语音文件输入所述指定语音识别模型进行语音识别,识别后,这些指定语音识别模型会输出对应的识别文本,获取这些识别文本。
对于步骤S402,在获取到各个语音文件对应识别文本后,将这些识别文本与相应的标准文本进行对比,可以得知标准文本中哪些文本与识别文本不一致,该标准文本中与识别文本不一致的词语可以认为就是该标准文本的易错词。这里说的易错词是指容易识别错误的文本内容。
对于步骤S403,可以理解的是,不同的文本均有其所述的词语领域,例如,比亚迪、宝马、奔驰、四轮驱动等文本属于汽车的词语领域;七言、静夜思、观沧海等文本属于诗词的词语领域。因此,在确定出各个所述标准文本的易错词之后,可以进一步确定这些易错词所属的词语领域。具体地,可以通过网络检索的方式确定易错词的词语领域,当网络检索无法得到结果时,可以提供给指定工作人员人工确认,本实施例对此不作限定。
对于步骤S404,对于一个语音识别模型来说,标准文本中的易错词,代表了该语音识别模型对这些易错词的识别效果较差。可以理解的是,由于语音识别模型是通过样本训练得到的,而且往往样本的选择均会区分领域,因此对于特定的语音识别模型来说,存在“偏科”现象是较为常见的。例如,某个语音识别模型训练用的样本均为诗词领域的文本,该领域文本中很少包含数值,从而该语音识别模型识别标准文本的易错词很可能是数值类文本,比如将“一心一意”错误识别为“1心1意”,通过标准文本“一心一意”确定出易错词为“一”,当该语音识别模型识别其它语音文件得出的识别文本也有类似情况时,即其它语音文件对应的标准文本的易错词也包含数值时,则可以确定该语音识别模型对数值类词语领域为弱支持。需要说明的是,弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域,具体地,可以是该语音识别模型对弱支持领域的识别准确率在预设的阈值以下。
为便于理解,在步骤S404将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域之前,可以通过如下步骤确定某个指定语言识别模型的弱支持领域:
S501、针对每个指定语音识别模型,根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率;
S502、针对每个指定语音识别模型,筛选模型错词率超过预设错词率阈值的所述语音文件;
S503、针对每个指定语音识别模型,确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本;
在上述步骤S501-S503的基础上,所述将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域具体为:将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
对于步骤S501,针对单个指定语音识别模型,可以根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率,这里所说的模型错词率是指这个语音识别模型在识别某个语音文件时的错词率。需要说明的是,步骤S501需要分别计算出一个语音识别模型识别各个语音文件时的模型错词率,假设存在N个语音文件,则对于一个语音识别模型来说,需要计算出N个模型错词率。
对于步骤S502,可以理解的是,当某个语音文件的模型错词率超过预设错词率阈值时,可以认为该语音识别模型识别这个语音文件时的错词率过高,也即识别准确率过低,这反映了该语音识别模型在识别这个语音文件所述的词语领域时识别准确率过低,因此,筛选出这些模型错词率超过预设错词率阈值的所述语音文件后,即可依据这些筛选出的语音文件来确认该语音识别模型的弱支持领域。
对于步骤S503,容易理解的是,在筛选出语音文件后,容易确定出与之对应的标准文本。
在步骤S501-S503的基础上,确定出目标标准文本之后,由于上述步骤S403已经确定出了各个标准文本的易错词所述的词语领域,因此直接可以得知目标标准文本所对应的词语领域,这些词语领域就是该指定语音识别模型的弱支持领域。
进一步地,上述步骤S103中得出的识别结果还可以包括各个语音文件对应的识别耗时,识别耗时是指平台对某个语音文件进行语音识别所需的时间。可以理解的是,识别耗时与错词率之间往往是相对的,在优化语音识别模型时,需要考量模型的错词率优先还有识别速度优先。一般来说,识别耗时越短,即识别速度越快,则往往错词率越高;反之,错词率越低,即识别准确率越高,则往往识别速度越慢、识别耗时越长。本实施例中,可以将各个目标平台的识别耗时加入至该第一测试报告中,使得第一测试报告上可以反映各个目标平台在提供语音识别服务时的耗时,测试人员可以将耗时作为评估平台语音识别能力的参考因素。
进一步地,在步骤S105之后,本语音识别测试方法还可以包括:将所述测试报告发送至预先指定的目标终端。可以理解的是,所述目标终端可以预先设定,比如设定邮件地址,在生成得到测试报告后,将该测试报告自动通过邮件发送给该邮件地址,从而测试人员可以方便地接收到测试报告,并方便测试人员查看测试报告。
由上述内容可知,本实施例提供的语音识别测试方法在整个语音测试流程中无需人员处理,不仅提高了语音识别测试的效率,而且排除了人为干扰因素,可以实现测试报告的规范统一;另外,通过在多个目标平台上进行语音文件的语音识别测试并计算各个目标平台识别这些语音文件时的错词率,可以横向对比各个目标平台的测试性能,更直观地反映各个目标平台语音识别功能的优劣。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种语音识别测试装置,该语音识别测试装置与上述实施例中语音识别测试方法一一对应。如图6所示,该语音识别测试装置包括平台确定模块601、文件文本获取模块602、语音识别模块603、错词率计算模块604和第一报告生成模块605。各功能模块详细说明如下:
平台确定模块601,用于确定待语音测试的各个目标平台;
文件文本获取模块602,用于获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;
语音识别模块603,用于调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;
错词率计算模块604,用于针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;
第一报告生成模块605,用于根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
进一步地,所述第一报告生成模块可以包括:
平台错词率计算单元,用于针对每个目标平台,根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率;
排序单元,用于在计算得到各个目标平台对应的平台错词率后,按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序;
导入报告单元,用于生成空白的第一测试报告,并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
进一步地,所述语音识别测试装置还可以包括:
指定模块确定模块,用于分别确定所述各个目标平台的指定语音识别模型;
模型识别模块,用于调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别,并获取各个目标平台输出的识别文本;
模型错词率计算模块,用于针对每个所述目标平台,根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率;
第二报告生成模块,用于根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
进一步地,所述语音识别测试装置还可以包括:
识别文本获取模块,用于针对每个指定语音识别模型,获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本;
易错词确定模块,用于针对每个指定语音识别模型,将各个所述语音文件所对应识别文本与标准文本进行对比,确定各个所述标准文本的易错词,所述易错词是指识别文本与标准文本对比后、所述标准文本中对比不一致的文本;
词语领域确定模块,用于针对每个指定语音识别模型,确定各个所述标准文本的易错词所属的词语领域;
弱支持领域确定模块,用于针对每个指定语音识别模型,将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域,所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
进一步地,所述语音识别测试装置还可以包括:
各模型错词计算模块,用于针对每个指定语音识别模型,根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率;
语音文件筛选模块,用于针对每个指定语音识别模型,筛选模型错词率超过预设错词率阈值的所述语音文件;
目标标准文本确定模块,用于针对每个指定语音识别模型,确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本;
所述弱支持领域确定模块具体可以用于将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
关于语音识别测试装置的具体限定可以参见上文中对于语音识别测试方法的限定,在此不再赘述。上述语音识别测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储语音识别测试方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种语音识别测试方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中语音识别测试方法的步骤,例如图2所示的步骤S101至步骤S105。或者,处理器执行计算机程序时实现上述实施例中语音识别测试装置的各模块/单元的功能,例如图6所示模块601至模块605的功能。为避免重复,这里不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中语音识别测试方法的步骤,例如图2所示的步骤S101至步骤S105。或者,计算机程序被处理器执行时实现上述实施例中语音识别测试装置的各模块/单元的功能,例如图6所示模块601至模块605的功能。为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (8)
1.一种语音识别测试方法,其特征在于,包括:
确定待语音测试的各个目标平台;
获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;
获取测试人员的手动选择结果,若所述手动选择结果为降噪,则根据所述手动选择结果对应的降噪处理方式,对各个语音文件进行降噪处理;
调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;
针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;
根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告;
分别确定所述各个目标平台的指定语音识别模型;
调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别,并获取各个目标平台输出的识别文本;
针对每个所述目标平台,根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率;
根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
2.根据权利要求1所述的语音识别测试方法,其特征在于,所述根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告包括:
针对每个目标平台,根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率;
在计算得到各个目标平台对应的平台错词率后,按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序;
生成空白的第一测试报告,并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
3.根据权利要求1所述的语音识别测试方法,其特征在于,在分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别之后,还包括:
针对每个指定语音识别模型,获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本;
针对每个指定语音识别模型,将各个所述语音文件所对应识别文本与标准文本进行对比,确定各个所述标准文本的易错词,所述易错词是指识别文本与标准文本对比后、所述标准文本中对比不一致的文本;
针对每个指定语音识别模型,确定各个所述标准文本的易错词所属的词语领域;
针对每个指定语音识别模型,将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域,所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
4.根据权利要求3所述的语音识别测试方法,其特征在于,在将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域之前,还包括:
针对每个指定语音识别模型,根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率;
针对每个指定语音识别模型,筛选模型错词率超过预设错词率阈值的所述语音文件;
针对每个指定语音识别模型,确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本;
所述将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域具体为:将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
5.一种语音识别测试装置,其特征在于,包括:
平台确定模块,用于确定待语音测试的各个目标平台;
文件文本获取模块,用于获取测试用的各个语音文件以及所述各个语音文件对应的标准文本;
文本预处理模块,用于获取测试人员的手动选择结果,若所述手动选择结果为降噪,则根据所述手动选择结果对应的降噪处理方式,对各个语音文件进行降噪处理;
语音识别模块,用于调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送给各个目标平台进行语音识别,并获取各个目标平台输出的识别结果;
错词率计算模块,用于针对每个所述目标平台,根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率;
第一报告生成模块,用于根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告;
指定模块确定模块,用于分别确定所述各个目标平台的指定语音识别模型;
模型识别模块,用于调用各个目标平台的语音识别服务接口,分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别,并获取各个目标平台输出的识别文本;
模型错词率计算模块,用于针对每个所述目标平台,根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率;
第二报告生成模块,用于根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
6.根据权利要求5所述的语音识别测试装置,其特征在于,所述第一报告生成模块包括:
平台错词率计算单元,用于针对每个目标平台,根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率;
排序单元,用于在计算得到各个目标平台对应的平台错词率后,按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序;
导入报告单元,用于生成空白的第一测试报告,并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
7.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述语音识别测试方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述语音识别测试方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810735475.3A CN109102797B (zh) | 2018-07-06 | 2018-07-06 | 语音识别测试方法、装置、计算机设备及存储介质 |
PCT/CN2018/106256 WO2020006878A1 (zh) | 2018-07-06 | 2018-09-18 | 语音识别测试方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810735475.3A CN109102797B (zh) | 2018-07-06 | 2018-07-06 | 语音识别测试方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109102797A CN109102797A (zh) | 2018-12-28 |
CN109102797B true CN109102797B (zh) | 2024-01-26 |
Family
ID=64845576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810735475.3A Active CN109102797B (zh) | 2018-07-06 | 2018-07-06 | 语音识别测试方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109102797B (zh) |
WO (1) | WO2020006878A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523990B (zh) * | 2019-01-21 | 2021-11-05 | 未来电视有限公司 | 语音检测方法和装置 |
CN110164474B (zh) * | 2019-05-08 | 2021-09-14 | 北京百度网讯科技有限公司 | 语音唤醒自动化测试方法及系统 |
CN110136717A (zh) * | 2019-05-22 | 2019-08-16 | 北京汽车股份有限公司 | 语音识别处理方法、装置、系统及车辆 |
CN110335628B (zh) * | 2019-06-28 | 2022-03-18 | 百度在线网络技术(北京)有限公司 | 智能设备的语音测试方法、装置及电子设备 |
CN110415681B (zh) * | 2019-09-11 | 2022-02-18 | 北京声智科技有限公司 | 一种语音识别效果测试方法及系统 |
CN112447167B (zh) * | 2020-11-17 | 2024-07-12 | 康键信息技术(深圳)有限公司 | 语音识别模型验证方法、装置、计算机设备和存储介质 |
CN112562724B (zh) * | 2020-11-30 | 2024-05-17 | 携程计算机技术(上海)有限公司 | 语音质量的评估模型、训练评估方法、系统、设备及介质 |
CN112929231A (zh) * | 2021-01-27 | 2021-06-08 | 思必驰科技股份有限公司 | 实时语音识别服务压测方法 |
CN115171657A (zh) * | 2022-05-26 | 2022-10-11 | 青岛海尔科技有限公司 | 语音设备的测试方法和装置、存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6622121B1 (en) * | 1999-08-20 | 2003-09-16 | International Business Machines Corporation | Testing speech recognition systems using test data generated by text-to-speech conversion |
CN102723080A (zh) * | 2012-06-25 | 2012-10-10 | 惠州市德赛西威汽车电子有限公司 | 一种语音识别测试系统及方法 |
CN102930866A (zh) * | 2012-11-05 | 2013-02-13 | 广州市神骥营销策划有限公司 | 一种用于口语练习的学生朗读作业的评判方法 |
CN103745731A (zh) * | 2013-12-31 | 2014-04-23 | 安徽科大讯飞信息科技股份有限公司 | 一种语音识别效果自动化测试系统及测试方法 |
JP2015045689A (ja) * | 2013-08-27 | 2015-03-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 音声認識システムについての音声認識結果を評価する方法、並びに、そのコンピュータ及びコンピュータ・プログラム |
CN105302795A (zh) * | 2015-11-11 | 2016-02-03 | 河海大学 | 基于汉语模糊发音和语音识别的中文文本校验系统及方法 |
CN105653517A (zh) * | 2015-11-05 | 2016-06-08 | 乐视致新电子科技(天津)有限公司 | 一种识别率确定方法及装置 |
US9659559B2 (en) * | 2009-06-25 | 2017-05-23 | Adacel Systems, Inc. | Phonetic distance measurement system and related methods |
CN107305768A (zh) * | 2016-04-20 | 2017-10-31 | 上海交通大学 | 语音交互中的易错字校准方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101145401B1 (ko) * | 2009-12-02 | 2012-05-16 | 한국생산기술연구원 | 로봇의 음성인식 성능 평가장치 및 평가 방법 |
US9053087B2 (en) * | 2011-09-23 | 2015-06-09 | Microsoft Technology Licensing, Llc | Automatic semantic evaluation of speech recognition results |
CN103578463B (zh) * | 2012-07-27 | 2017-12-01 | 腾讯科技(深圳)有限公司 | 自动化测试方法及测试装置 |
JP6078402B2 (ja) * | 2013-04-01 | 2017-02-08 | 日本電信電話株式会社 | 音声認識性能推定装置とその方法とプログラム |
CN104538042A (zh) * | 2014-12-22 | 2015-04-22 | 南京声准科技有限公司 | 终端智能语音测试系统和方法 |
CN107039050B (zh) * | 2016-02-04 | 2020-12-04 | 阿里巴巴集团控股有限公司 | 对待测试语音识别系统的自动测试方法和装置 |
CN106228986A (zh) * | 2016-07-26 | 2016-12-14 | 北京奇虎科技有限公司 | 一种语音识别引擎的自动化测试方法、装置和系统 |
-
2018
- 2018-07-06 CN CN201810735475.3A patent/CN109102797B/zh active Active
- 2018-09-18 WO PCT/CN2018/106256 patent/WO2020006878A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6622121B1 (en) * | 1999-08-20 | 2003-09-16 | International Business Machines Corporation | Testing speech recognition systems using test data generated by text-to-speech conversion |
US9659559B2 (en) * | 2009-06-25 | 2017-05-23 | Adacel Systems, Inc. | Phonetic distance measurement system and related methods |
CN102723080A (zh) * | 2012-06-25 | 2012-10-10 | 惠州市德赛西威汽车电子有限公司 | 一种语音识别测试系统及方法 |
CN102930866A (zh) * | 2012-11-05 | 2013-02-13 | 广州市神骥营销策划有限公司 | 一种用于口语练习的学生朗读作业的评判方法 |
JP2015045689A (ja) * | 2013-08-27 | 2015-03-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 音声認識システムについての音声認識結果を評価する方法、並びに、そのコンピュータ及びコンピュータ・プログラム |
CN103745731A (zh) * | 2013-12-31 | 2014-04-23 | 安徽科大讯飞信息科技股份有限公司 | 一种语音识别效果自动化测试系统及测试方法 |
CN105653517A (zh) * | 2015-11-05 | 2016-06-08 | 乐视致新电子科技(天津)有限公司 | 一种识别率确定方法及装置 |
CN105302795A (zh) * | 2015-11-11 | 2016-02-03 | 河海大学 | 基于汉语模糊发音和语音识别的中文文本校验系统及方法 |
CN107305768A (zh) * | 2016-04-20 | 2017-10-31 | 上海交通大学 | 语音交互中的易错字校准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109102797A (zh) | 2018-12-28 |
WO2020006878A1 (zh) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109102797B (zh) | 语音识别测试方法、装置、计算机设备及存储介质 | |
US20180365525A1 (en) | Multi-sampling model training method and device | |
CN109992601B (zh) | 待办事项信息的推送方法、装置和计算机设备 | |
US10140285B2 (en) | System and method for generating phrase based categories of interactions | |
CN108897723B (zh) | 场景对话文本识别方法、装置以及终端 | |
CN109976998B (zh) | 一种软件缺陷预测方法、装置和电子设备 | |
CN105373478B (zh) | 自动化测试方法和系统 | |
CN110472136B (zh) | 查询结果的推送方法、装置、存储介质和计算机设备 | |
CN109473093A (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
CN113627159B (zh) | 纠错模型的训练数据确定方法、装置、介质及产品 | |
CN111178714A (zh) | 亲密度确定方法、装置、计算机设备和存储介质 | |
CN105096952A (zh) | 一种语音识别的辅助处理方法和服务器 | |
CN113946363A (zh) | 业务数据的执行配置方法、装置、计算机设备及存储介质 | |
CN108986786B (zh) | 语音交互设备评级方法、系统、计算机设备和存储介质 | |
CN110928941B (zh) | 一种数据分片抽取方法及装置 | |
CN109542782B (zh) | 基于机器学习的nfc测试方法、装置和计算机设备 | |
CN115248779A (zh) | 一种代码覆盖测试方法、装置、计算机设备及存储介质 | |
CN112907145B (zh) | 模型解释方法以及电子设备 | |
CN113671386B (zh) | 一种氢燃料电池耐久性能分析方法及装置 | |
CN114971926A (zh) | 保费计算模型测试方法、系统、设备及存储介质 | |
KR102306953B1 (ko) | 음성인식 기반 진료 지원 방법 | |
TWI695285B (zh) | 基於系統程式架構之迴歸測試方法及系統 | |
CN113094258A (zh) | 精准测试方法、装置、计算机设备及介质 | |
CN111552785A (zh) | 人机交互系统数据库更新方法、装置、计算机设备和介质 | |
CN110597874A (zh) | 数据分析模型的创建方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |