CN103745731A - 一种语音识别效果自动化测试系统及测试方法 - Google Patents
一种语音识别效果自动化测试系统及测试方法 Download PDFInfo
- Publication number
- CN103745731A CN103745731A CN201310751488.7A CN201310751488A CN103745731A CN 103745731 A CN103745731 A CN 103745731A CN 201310751488 A CN201310751488 A CN 201310751488A CN 103745731 A CN103745731 A CN 103745731A
- Authority
- CN
- China
- Prior art keywords
- file
- audio frequency
- audio
- play
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 91
- 230000000694 effects Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 238000004088 simulation Methods 0.000 claims description 11
- 238000013515 script Methods 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000013095 identification testing Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000007115 recruitment Effects 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 5
- 238000012795 verification Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000010998 test method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000208140 Acer Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种语音识别效果自动化测试系统及测试方法，包括：自动配置模块、语音的自动播放和自动记录模块、语音识别及结果统计模块；操作者仅需事先准备测试素材，执行全过程自动，极大减少了人的参与，节约了人力成本，可以反复测试验证，并且满足几天几夜的大规模测试，测试结果自动进行统计，避免人工误差，极大提升测试效率和准确度，该系统可应用到任一台式机或笔记本等设备上，对其识别效果评估上，快速得到结果数据，承担人力无法完成的任务，给各厂商提供了极大便利。
Description
技术领域
本发明涉及一种语音识别效果自动化测试系统及测试方法，属于语音识别技术。
背景技术
语音识别的研究开始于20世纪50年代，起初是要将人类的自然语音转化为计算机可读的输入。
语音识别系统基本上包括语音信号预处理与特征提取、声学对比、语言解码。特征提取是对语音信号进行分析处理，适当去掉与语音识别无关的冗余信息，获得影响语音识别的重要信息。声学对比是将语音特征与使用训练算法产生的声学模型进行模式匹配。语言解码是利用由识别语音命令构成的语法网络或由统计方法构成的语言模型，进行语法和语义分析，从而进行正确的语音识别。
随着语音输入功能和应用的普及，与英特尔合作的多家PC厂商包括了惠普、宏碁、华硕、联想、戴尔、同方等，均有对语音输入的迫切需求，但各家设备参数各异，识别性能是否满足需求，亟待一整套的效果测试方法。
目前针对语音识别系统的测试有两类:客观测试和主观测试。客观测试，就用事先准备好的音频测试集，使用系统批量测试工具进行识别，再统计出识别率，这种方式并不能很好确认录音系统的好坏，另外也不利于同类不同厂商产品的移植测试。主观测试，又分模拟测试和现场口呼两种方式。模拟测试需要一个人操作放音设备，一个人操作收音设备，一个进行结果记录，这极大浪费了人力，并容易操作引入错误；现场口呼，就是组织几个发音人，手拿测试语料，头带录音设备，对识别系统进行效果测试，这种方式不利于测试的复现，在测试过程中，测试人在语料的多次朗读中也会不可避免的出现朗读错误，导致测试的重复进行；另外，发音人现场口呼的测试也极大的受说话人情绪波动和发音清晰度的影响。
目前主观测试方法，其主要过程如图1所示，传统测试方法人工参与较多，测试具有不可复现性，评估过程和结果统计不能一步完成，录音设备的质量没有针对性关注，不能大规模的进行测试。
对于现有公开号为CN102592595A语音识别方法及系统,其公开了一种语音识别方法及系统。包括：构建解码识别网络；对接收的语音信号进行解码，根据热词对活跃节点的历史路径进行激励；在最后一帧语音信号帧解码后，决策最优节点；从最优节点回溯最优路径及对应的单词序列。通过它，可快速、准确识别热点词汇及用户个性化词汇，提高热词的识别效果。本发明是构建一套自动测试系统，形成明确测试方法，可用来对其效果进行自动评估。该专利缺少对识别效果的评估方法，只描述了技术实现，缺少结果的验证，并不能确定这样实现的系统效果达成情况。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种语音识别效果自动化测试系统及测试方法，操作者仅需事先准备测试素材，执行全过程自动，极大减少了人的参与，节约了人力成本，可以反复测试验证，并且满足几天几夜的大规模测试，测试结果自动进行统计，避免人工误差，极大提升测试效率和准确度，该系统可应用到任一台式机或笔记本等设备上，对其识别效果评估上，快速得到结果数据，承担人力无法完成的任务，给各厂商提供了极大便利。
本发明技术解决方案：一种语音识别效果自动化测试系统，如图3所示包括：自动配置模块、语音的自动播放和自动记录模块、语音识别及结果统计模块，其中：
自动配置模块，对音频播放和录音声卡设备、声道、音量大小进行设置，最终生成设备和播放方式配置文件；所述配置文件提供一组默认设置，如果用户忘记设置，则启用默认设置，默认设置为系统默认声卡的左声道播放待识别的录音音频，右声道播放用于模拟真实噪音环境的噪音录音音频，该噪音音频一般都是根据实际使用场景采集取得，另外一个声卡用于播放音乐音频；如果不适用默认设置，用户自行选择进行设置；该模块还对音频音量大小进行校准，用于模拟各种不同信噪比下的识别效果；完成所有设置后，将最终用户设置写入设备和播放方式配置文件，即config.txt文件送至语音自动播放和自动记录模块；
语音的自动播放和自动记录模块：调用自动配置模块中的设备和播放方式配置文件，即config.txt文件，模拟播放音频，同时自动录制音频，完成对音频的放音和收音操作，并且能根据指定格式生成测试音频列表；收音即录音，会将识别、噪音和音乐播放的声音同时混合录到指定文件中，录制后的音频名与识别音频文件名相同，会保存在不同的文件夹中；音频存放路径统一为Sound，包含4个子文件夹Utterance、Music、Noise、Record，其中Utterance-听写识别会话音频，Music-音乐文件，Noise-噪音文件，Record-录音收集文件，Record中的音频是最终用于识别的文件，Record目录包含4个子文件夹All、Babble、Music、Clean，分别存放混合背景噪音和音乐的识别文件、仅混合噪音的识别文件、仅混合音乐的识别文件、纯净的识别文件，具体要测试哪些场景下的效果，可以由用户自行配置和使用；以上生成的音频和测试执行脚本，会送至语音识别及结果统计模块，供其自动测试使用；
语音识别及结果统计模块：该模块是对前两个模块成果进行最终验证，生成识别测试脚本，执行批量识别，统计识别结果，它只与语音的自动播放和自动记录模块发生直接关系，根据Record目录中要测试的音频类别，生成多组测试脚本，按顺序批量识别自动播放和自动记录模块采集的音频，生成识结果文件；自动依据动态规划的方法来对其原始标注与识别结果，统计替换错误、插入错误和删除错误数目，最终统计出识别字错误率和命令词正确率效果指标；结果数据均以csv文件顺序保存，该文件被用户直接查阅，非常便捷查看出多次测试的结果。
整个自动化测试系统是纯净绿色版，无需安装任何第三方软件即可使用，兼容winxp、win7、win8、win2003server、win2008server等操作系统。
所述录音放音设备及音量的自动配置模块具体实现过程如下：
（1）读取系统声卡设备信息，包含默认设置等信息；
（2）显示默认设置给用户选择是否使用，默认配置为：系统自带声卡左声道播放识别听写音频，右声道播放噪音音频，外接声卡为播放音乐。如果用户选择不使用n；
（3）进行候选音频播放设备设置，分别用0、1…表示，可以分别选择识别音频、音乐音频、噪音音频播放设备；
（4）进行候选录音设备设置，分别用0、1…表示，选择录音设备；
（5）校准音量，调节识别音频播放音箱音量直至分贝仪显示65dB；调节音乐音频播放音箱音量直至分贝仪显示55dB；调节噪音音频播放音箱音量直至分贝仪显示65dB；调节录音麦克风音量直至Level Meter显示峰值为-6dB；
（6）预播放时间和播放模式设置，为了更真实模拟实际场景，可设置背景音乐和噪声先于语音识别音频播放前开始播放，时间单位为秒。音频播放模式采用了两种方式，1-音乐、噪音循环播放，2-音乐、噪音从头播放。
（7）经过上述，即可完成所有设置项，并将最终用户设置写入config.txt文件。
一种语音识别效果自动化测试方法实现步骤如下：
（1）录音和放音设置
主要完成声卡的选择以及外接音箱音量等设置。
系统内部默认选择外接声卡左声道播放拼写音频，右声道播放噪音音频，内置声卡播放音乐音频，这个是我们经过多次实验，发现最符合实际使用场景，而得到的参考值。
对“拼写”“音乐”“噪音”播放音量调节分别为65dB、55dB、50dB，然后按照提示调节麦克风音量。这三个值可以根据要模拟的场景进行调整。
设置完成后，会生成一个可保留的配置文件。
（2）放音和录音
根据任务列表事先设定好的顺序，进行音频的播放和采集，完成待测试音频的收集工作。
对干净识别音频、音乐音频、噪音音频根据实际测试场景，经实测对象的录音系统将其采集成混合真实背景音的识别音频，不同音频由配置好的声卡播放并录音，录音文件保存在Sound\Record目录下对应的分类文件夹下，录音文件名称与任务列表中的“拼写音频”文件名相同，并且会生成测试音频列表。
（3）分析
完成对步骤（2）收集音频的效果评估和结果统计。采用多线程批量识别工具，根据测试配置文件，模拟用户实际实时输入，获取识别结果，并记录到生成文件中。自动调用结果统计工具，对识别结果文件和事先准备好的音频标注文件，进行动态规划比对，列出识别错误的结果，并且结果是经过字字对应，遇到删除错误，结果文件文本显示一个空格表示，遇到插入错误，标注文件文本显示一个空格标注，最终列出具体的句子正确率和字正确率。对生成的多组测试结果文件，进行自动汇总统计，形成一个可供用户查看的csv文件，方便用户形成各类对比图表。
本发明与现有技术相比的优点在于：
（1）本发明可以采集各类录音设备的音频，从而更有效便捷的判断该设备是否满足语音识别较高的效果需求。操作者仅需事先准备测试素材，执行全过程自动，极大减少了人的参与，节约了人力成本，可以反复测试验证，并且满足几天几夜的大规模测试，测试结果自动进行统计，避免人工误差，极大提升测试效率和准确度，该系统可应用到任一台式机或笔记本等设备上，对其识别效果评估上，快速得到结果数据，承担人力无法完成的任务，给各厂商提供了极大便利。
（2）由于本发明配置灵活，操作简便，可以快速模拟各种场景下的效果测试，用户也不必专门培训便能够通过自动程序执行识别效果评估，快速完成对各类硬件设备的录音质量进行判断，判断其是否符合安装语音识别相关产品的基本要求。
（3）由于本发明对命令词的识别结果根据NLP(自然语言处理)技术进行了二次过滤判断，保证了虽是不同的识别结果文本，却能达到相同的预期结果，更直观反应任务完成成功率。
（4）本发明采集的音频，可以反复多次用于测试验证，配置相同，识别结果就能相同，解决了现有技术的测试结果不可重现性问题。
附图说明
图1为传统主观测试方法流程图；
图2为本发明测试方法示意图；
图3为本发明测试系统的体系结构图；
图4为自动配置模块的实现流程图；
图5为本发明测试方法音源与被测对象位置图。
具体实施方式
为了更好地理解本发明，先对一些基本概念进行一下解释说明。
开放式听写：又称连续语音识别，主要用于识别大段音频内容的识别技术，可以广泛应用于短信听写，语音聊天、发微博等方面。
命令词识别：特指对一些命令的语音识别，如执行对电脑的操作，可以说开机、关机、打开记事本、打开浏览器等。
WER：字错误率，主要针对开放式听写来说，因为对其要求句正确率，那是基本不可行的，故用这个指标来衡量。其计算公式为:1-字精确率。字精确率公式为:（识别正确字数-插入错误字数）/识别语音字总数*100%。所谓插入错误字数即为在识别结果中,增加了一个多余的词。
CAR：动作正确率，主要针对命令词识别来说，不仅是识别结果的正确率，还要对识别结果对应的NLP结果正确性加以统计。例如，有两个识别结果“打开记事本”和“我打记事”，一个识别对，一个有删除错误，但最终结果都能调出系统的记事本，那么就认为这两句话动作都正确。
Sidespeech：背景说法声，可以认为是环境噪音的一种。
如图2所示，本发明测试方法是涵盖硬件设备和软件程序的一整套系统的测试方法。它要求有一台计算机设备作为测试程序的宿主机和语音的录制，该机器需要有麦克录音输入功能；一个内置声卡用于播放音乐；一个外接声卡用来连接放音音箱，该声卡可以是M-AUDIO等复杂声卡设备，也可以是便捷式的usb声卡；一个具有左右声道之分的音箱，该音箱需要是高保真音箱，分别用来模拟播放噪音音频和识别音频；一个声压仪用来测量放音音量大小和录音音量大小等。自动测试程序运行在宿主设备，驱动系统三个模块的有序运行，主控着整个测试系统。输入文件有：待识别语音、噪音、音乐三类音频文件，测试数据配置文件；中间文件：设备配置、录制的待识别的混合音频，测试脚本，原始结果文件；输出文件：识别结果统计csv文件。
下面结合附图对本发明进行详细说明。
如图3所示，本发明语音识别效果自动化测试系统包括自动配置模块、语音的自动播放和自动记录模块、语音识别及结果统计模块，它们之间既可相互独立又可串联一起运行，结构灵活。
如图4所示，本发明中自动配置模块具体实现如下：
（1）使用操作系统函数，读取声卡配置信息；内置和外接声卡都需要考虑，具体信息包含声卡的类型和型号信息，是否是否认声卡，并对获取的声卡型号信息回显给用户。
（2）回显默认设置供用户选择，默认设置具体为系统默认声卡播放音乐音频，另外一个声卡左声道播放拼写音频，右声道播放噪音音频，默认选择输入y,若输入n可根据提示更改设备。
（3）如果用户选择不用默认设置，可以进入选择播放设备流程，依次进行识别音频、音乐音频、噪音音频的播放设备进行选择。
（4）选择完播放设备，进入选择录音设备流程，用户可以选择录音设备序号。
（5）统一进入校准音量流程，依次对识别、音乐、噪音的放音和语音输入录制的音量进行设置。调节识别音频播放音箱音量直至分贝仪显示65dB；调节音乐音频播放音箱音量直至分贝仪显示55dB；调节噪音音频播放音箱音量直至分贝仪显示65dB；调节录音麦克风音量直至Level Meter显示峰值为-6dB。
（6）设置预播放时间，以秒作为单位，这样可以更加真实模拟实际场景。
（7）设置播放模式，两种方式，从头播放和循环播放。从头播放，可以评估相同的背景音对不同识别句子的干扰，而循环播放，可以更能真实反应实际应用场景，具体选择哪种，可以根据实际测试需求来定。
（8）结束流程，生成最终的配置文件，为下一步程序提供基本设备配置信息和播放录音要求。
本发明中语音的自动播放和自动记录模块具体实现如下：
（1）检查指导放音列表、配置文件、音频目录中等输入文件是否存在，如果不存在，返回相应错误提示，结束运行。
（2）根据放音列表中的文件名，到默认位置去打开播放音频，同时启动录音线程对其混合音频录制。音频列表每行可以填识别音频或是和音乐、噪音等一种或全部的音频进行同时播放，可以指定识别音频的类型，是开放是听写还是命令词。
（3）录制的音频，进行了细致的分析和存放，并且对每个文件夹下生成录制音频的文件列表，以供下游模块测试使用。
本模块可以支持各类格式的音频播放，可以是wav、pcm、mp3等，支持各种采样率采集的音频，如8k、16k、44k等，但采集来的数据统一保存格式为16k16bitwav，因为识别系统基本是16k的占据较多，可以用来评估不同识别系统的效果。
本发明中语音识别及结果统计模块具体实现如下：
（1）遍历音频存放路径下的音频列表文件，根据音频列表文件生成测试脚本。
（2）使用多线程识别测试工具，对每个测试脚本进行识别。
（3）每个测试脚本生成一个对应的识别结果文件，根据识别结果文件，可以却分出开放式听写和命令词。
（4）对开放式听写结果进行统计汇总，统计WER值。
（5）对命令词结果进行处理，取出识别结果文本，内部并且做好位置对应。
（6）对命令词识别结果文本送入提供的单机版的NLP处理程序，统计出最终的动作正确率CAR。
（7）将开放式听写的WER和命令词的CAR，根据是否有音乐、噪音等类型，统计至一个汇总表格，供最终查阅。汇总表格采用的是csv格式存放，可以方便打开和进行更多的分析处理。
整体此测试系统三个模块各自具象到三个工具程序，具体如下：
(1)DeviceConfig.exe（设备配置程序）
运行该程序可引导用户选择播放设备、调节播放设备和麦克风的音量、设置音乐和噪音的预播放时间以及播放逻辑。
(2)Recorder.exe（录音程序）
运行该程序可执行录音功能，按照task.csv（默认任务列表）中的任务设置顺序执行，不同音频由各自对应的声卡播放，命令行显示各任务的音频文件路径。
(3)ResAnalysts.exe（分析程序）
运行该程序可执行对拼写音频的字识别效果和语义识别效果的分类分析功能，结果汇总到根目录下的result.csv文件中，统计了相应声音环境下开放式听写（Open Dictation）的字错误率（WER）和命令词（Voice Command）的词正确率（CAR）。
本发明中的测试方法，为了能评估多个设备环境的录音效果，整个程序均为绿色版，复制到任一计算机或者超级本上均能直接运行。另外为了尽量真实模拟用户使用场景，选定了三个代表性的场景进行评估:安静环境下，有背景说话声，有音乐背景声。安静环境下，就直接播放会话的音频文件；背景说话声，就通过音响播放sidespeech音频；音乐背景声，通过播放音乐进行模拟。在细节方面也考虑较多，规定默认用外接音响的左声道播放用户音频，右声道播放噪音，被测对象自带声卡播放音乐，自带麦克进行录音，这样的细节安排，完全模拟了实际用户使用。
具体的测试方法流程如下：
（1）测试准备
测试前用户需先确保被测试机器麦克风与拼写音频播放音箱的距离（正前方25英寸），与噪音音频播放音响的距离和角度（23英寸和45度角），与分贝仪的距离至少达到0.25英寸以避免阻塞声音播放。确保外部声卡和被测试机器以及电源的连接，确保用于分析的加密锁连接被测试机器的USB接口。具体位置如图5所示。
（2）任务设置
设置播放音频的任务列表，默认列表文件为task.csv，在此文件中指定“拼写”“音乐”“噪音”文件以及类型，类型分为dictation和command。
（3）具体执行操作
（a）录音和放音设置
默认设置为系统默认声卡左声道播放拼写音频，右声道播放噪音音频，另外一个声卡播放音乐音频，默认选择输入y,若输入n可根据提示更改设备。
播放设备选择完成后会出现调节音量的提示，此时系统会播放校准音频，用户根据提示调节音量以至分贝仪显示符合相应音频的播放音量，“拼写”“音乐”“噪音”播放音量调节分别为65dB、55dB、50dB，然后按照提示调节麦克风音量。
设备和音量设置完成，可对播放逻辑进行设置，根据提示可设置音乐和噪音的预播放时间以及播放模式（即循环播放还是从头播放）。
输入音频播放模式后，全部设置完成，程序自动退出。
（b）放音和录音
根据任务列表不同音频由各自的声卡播放并录音，录音文件保存在Sound\Record目录下对应的分类文件夹下，录音文件名称与“拼写音频”文件名相同。
（c）分析
结束录音后运行分析程序可对之前录音的效果进行分析并将分析结果保存在根目录下的result.csv文件中，结果分类统计了不同声音背景下的字错误率和命令准确率。
本发明未详细阐述部分属于本领域公知技术。
以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种语音识别效果自动化测试系统，其特征在于包括：自动配置模块、语音的自动播放和自动记录模块、语音识别及结果统计模块，其中：
自动配置模块，对音频播放和录音声卡设备、声道、音量大小进行设置，最终生成设备和播放方式配置文件；所述配置文件提供一组默认设置，如果用户忘记设置，则启用默认设置，默认设置为系统默认声卡的左声道播放待识别的录音音频，右声道播放用于模拟真实噪音环境的噪音录音音频，该噪音音频一般都是根据实际使用场景采集取得，另外一个声卡用于播放音乐音频；如果不适用默认设置，用户自行选择进行设置；该模块还对音频音量大小进行校准，用于模拟各种不同信噪比下的识别效果；完成所有设置后，将最终用户设置写入设备和播放方式配置文件，即config.txt文件送至语音自动播放和自动记录模块；
语音的自动播放和自动记录模块：调用自动配置模块中的设备和播放方式配置文件，即config.txt文件，模拟播放音频，同时自动录制音频，完成对音频的放音和收音操作，并且能根据指定格式生成测试音频列表；收音即录音，会将识别、噪音和音乐播放的声音同时混合录到指定文件中，录制后的音频名与识别音频文件名相同，会保存在不同的文件夹中；音频存放路径统一为Sound，包含4个子文件夹Utterance、Music、Noise、Record，其中Utterance-听写识别会话音频，Music-音乐文件，Noise-噪音文件，Record-录音收集文件，Record中的音频是最终用于识别的文件，Record目录包含4个子文件夹All、Babble、Music、Clean，分别存放混合背景噪音和音乐的识别文件、仅混合噪音的识别文件、仅混合音乐的识别文件、纯净的识别文件，具体要测试哪些场景下的效果，可以由用户自行配置和使用；以上生成的音频和测试执行脚本，会送至语音识别及结果统计模块，供其自动测试使用；
语音识别及结果统计模块：该模块是对前两个模块成果进行最终验证，生成识别测试脚本，执行批量识别，统计识别结果，它只与语音的自动播放和自动记录模块发生直接关系，根据Record目录中要测试的音频类别，生成多组测试脚本，按顺序批量识别自动播放和自动记录模块采集的音频，生成识结果文件；自动依据动态规划的方法来对其原始标注与识别结果，统计替换错误、插入错误和删除错误数目，最终统计出识别字错误率和命令词正确率效果指标；结果数据均以csv文件顺序保存，该文件被用户直接查阅，非常便捷查看出多次测试的结果。
2.根据权利要求1所述的语音识别效果自动化测试系统，其特征在于：所述自动配置模块具体实现过程如下：
（1）读取系统声卡设备信息，包含默认设置信息；
（2）显示默认设置给用户选择是否使用，默认配置为：系统自带声卡左声道播放识别听写音频，右声道播放噪音音频，外接声卡为播放音乐；如果用户选择不使用n；
（3）进行候选音频播放设备设置，分别用0、1…表示，分别选择识别音频、音乐音频、噪音音频播放设备；
（4）进行候选录音设备设置，分别用0、1…表示，选择录音设备；
（5）校准音量，调节识别音频播放音箱音量直至分贝仪显示65dB；调节音乐音频播放音箱音量直至分贝仪显示55dB；调节噪音音频播放音箱音量直至分贝仪显示65dB；调节录音麦克风音量直至Level Meter显示峰值为-6dB；
（6）预播放时间和播放模式设置，为了更真实模拟实际场景，设置背景音乐和噪声先于语音识别音频播放前开始播放，时间单位为秒；音频播放模式采用了两种方式，1-音乐、噪音循环播放，2-音乐、噪音从头播放；
（7）经过上述，即完成所有设置项，并将最终用户设置写入config.txt文件。
3.一种语音识别效果自动化测试方法，其特征在于实现步骤如下：
（1）录音和放音设置
完成声卡的选择以及外接音箱音量等设置；
系统内部默认选择外接声卡左声道播放拼写音频，右声道播放噪音音频，内置声卡播放音乐音频，这个是我们经过多次实验，发现最符合实际使用场景，而得到的参考值；
对“拼写”“音乐”“噪音”播放音量调节分别为65dB、55dB、50dB，然后按照提示调节麦克风音量，这三个值根据要模拟的场景进行调整；
设置完成后，会生成一个可保留的配置文件；
（2）放音和录音
根据任务列表事先设定好的顺序，进行音频的播放和采集，完成待测试音频的收集工作，对干净识别音频、音乐音频、噪音音频根据实际测试场景，经实测对象的录音系统将其采集成混合真实背景音的识别音频，不同音频由配置好的声卡播放并录音，录音文件保存在Sound\Record目录下对应的分类文件夹下，录音文件名称与任务列表中的“拼写音频”文件名相同，并且会生成测试音频列表；
（3）分析
完成对步骤（2）收集音频的效果评估和结果统计。采用多线程批量识别工具，根据测试配置文件，模拟用户实际实时输入，获取识别结果，并记录到生成文件中；自动调用结果统计工具，对识别结果文件和事先准备好的音频标注文件，进行动态规划比对，列出识别错误的结果，并且结果是经过字字对应，遇到删除错误，结果文件文本显示一个空格表示，遇到插入错误，标注文件文本显示一个空格标注，最终列出具体的句子正确率和字正确率；对生成的多组测试结果文件，进行自动汇总统计，形成一个可供用户查看的csv文件，方便用户形成各类对比图表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310751488.7A CN103745731B (zh) | 2013-12-31 | 2013-12-31 | 一种语音识别效果自动化测试系统及测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310751488.7A CN103745731B (zh) | 2013-12-31 | 2013-12-31 | 一种语音识别效果自动化测试系统及测试方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103745731A true CN103745731A (zh) | 2014-04-23 |
| CN103745731B CN103745731B (zh) | 2016-10-19 |
Family
ID=50502744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310751488.7A Active CN103745731B (zh) | 2013-12-31 | 2013-12-31 | 一种语音识别效果自动化测试系统及测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103745731B (zh) |
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104538042A (zh) * | 2014-12-22 | 2015-04-22 | 南京声准科技有限公司 | 终端智能语音测试系统和方法 |
| CN104795064A (zh) * | 2015-03-30 | 2015-07-22 | 福州大学 | 低信噪比声场景下声音事件的识别方法 |
| CN105654951A (zh) * | 2016-01-29 | 2016-06-08 | 中国航空无线电电子研究所 | 通用多功能语音信号适配器 |
| CN105654946A (zh) * | 2014-12-02 | 2016-06-08 | 三星电子株式会社 | 用于语音识别的设备和方法 |
| CN106030699A (zh) * | 2014-10-09 | 2016-10-12 | 谷歌公司 | 多个设备上的热词检测 |
| CN106341756A (zh) * | 2016-08-29 | 2017-01-18 | 北海爱飞数码科技有限公司 | 个性化智能音箱 |
| CN106548772A (zh) * | 2017-01-16 | 2017-03-29 | 上海智臻智能网络科技股份有限公司 | 语音识别测试系统及方法 |
| CN106559729A (zh) * | 2015-09-25 | 2017-04-05 | 神讯电脑(昆山)有限公司 | Mic语音自动识别测试系统及方法 |
| CN106571142A (zh) * | 2016-10-11 | 2017-04-19 | 惠州市德赛西威汽车电子股份有限公司 | 一种汽车导航语音识别率自动测试系统 |
| CN107086040A (zh) * | 2017-06-23 | 2017-08-22 | 歌尔股份有限公司 | 语音识别能力测试方法和装置 |
| CN107680613A (zh) * | 2017-08-13 | 2018-02-09 | 惠州市德赛西威汽车电子股份有限公司 | 一种声控设备语音识别能力测试方法及设备 |
| CN108206981A (zh) * | 2017-12-29 | 2018-06-26 | 歌尔科技有限公司 | 拾音测试方法及设备 |
| CN108281140A (zh) * | 2017-12-29 | 2018-07-13 | 潍坊歌尔电子有限公司 | 智能设备噪声消除性能的测试方法和系统 |
| WO2018157840A1 (zh) * | 2017-03-01 | 2018-09-07 | 广东神马搜索科技有限公司 | 语音识别测试方法及测试终端、计算设备及存储介质 |
| CN108511000A (zh) * | 2018-03-06 | 2018-09-07 | 福州瑞芯微电子股份有限公司 | 一种测试智能音箱唤醒词识别率的方法及系统 |
| CN108564966A (zh) * | 2018-02-02 | 2018-09-21 | 安克创新科技股份有限公司 | 语音测试的方法及其设备、具有存储功能的装置 |
| CN108696622A (zh) * | 2018-05-28 | 2018-10-23 | 成都昊铭科技有限公司 | 无需接口的语音唤醒测试装置、系统及方法 |
| CN109040750A (zh) * | 2018-09-17 | 2018-12-18 | 四川长虹电器股份有限公司 | 一种智能电视的语音模块的自动化测试系统及方法 |
| CN109102797A (zh) * | 2018-07-06 | 2018-12-28 | 平安科技（深圳）有限公司 | 语音识别测试方法、装置、计算机设备及存储介质 |
| CN109256115A (zh) * | 2018-10-22 | 2019-01-22 | 四川虹美智能科技有限公司 | 一种智能家电的语音检测系统及方法 |
| CN109473094A (zh) * | 2018-11-12 | 2019-03-15 | 东风汽车有限公司 | 车载控制屏语音识别率测试方法、电子设备、系统 |
| CN109523993A (zh) * | 2018-11-02 | 2019-03-26 | 成都三零凯天通信实业有限公司 | 一种基于cnn与gru融合深度神经网络的语音语种分类方法 |
| CN109979427A (zh) * | 2017-12-28 | 2019-07-05 | 东莞迪芬尼电声科技有限公司 | 检测音响的系统和方法 |
| CN110136697A (zh) * | 2019-06-06 | 2019-08-16 | 深圳市数字星河科技有限公司 | 一种基于多进程线程并行运算的英语朗读练习系统 |
| CN110223689A (zh) * | 2019-06-10 | 2019-09-10 | 秒针信息技术有限公司 | 语音信息的优化能力的确定方法及装置、存储介质 |
| CN110415681A (zh) * | 2019-09-11 | 2019-11-05 | 北京声智科技有限公司 | 一种语音识别效果测试方法及系统 |
| CN110581915A (zh) * | 2019-08-30 | 2019-12-17 | Oppo广东移动通信有限公司 | 稳定性测试方法、装置、存储介质及电子设备 |
| CN110675857A (zh) * | 2019-09-23 | 2020-01-10 | 湖北亿咖通科技有限公司 | 一种语音识别自动化测试系统及方法 |
| CN110728975A (zh) * | 2019-10-10 | 2020-01-24 | 南京创维信息技术研究院有限公司 | 一种asr识别率自动化测试的系统及方法 |
| CN111061598A (zh) * | 2019-12-06 | 2020-04-24 | 安徽芯智科技有限公司 | 一种自动化语音引擎效果测试系统及其方法 |
| CN111354335A (zh) * | 2018-12-24 | 2020-06-30 | 深圳市优必选科技有限公司 | 一种语音识别测试方法、装置、存储介质及终端设备 |
| CN111369976A (zh) * | 2018-12-25 | 2020-07-03 | 华为技术有限公司 | 测试语音识别设备的方法及测试装置 |
| CN111405122A (zh) * | 2020-03-18 | 2020-07-10 | 苏州科达科技股份有限公司 | 音频通话测试方法、装置及存储介质 |
| CN111415684A (zh) * | 2020-03-18 | 2020-07-14 | 歌尔微电子有限公司 | 语音模组的测试方法、装置及计算机可读存储介质 |
| CN111696523A (zh) * | 2019-03-12 | 2020-09-22 | 大众问问(北京)信息科技有限公司 | 一种语音识别引擎的准确度测试方法、装置、电子设备 |
| CN111739512A (zh) * | 2020-06-18 | 2020-10-02 | 中汽院智能网联科技有限公司 | 一种基于实车的语音唤醒率测试方法、系统、设备及介质 |
| CN111798852A (zh) * | 2019-06-27 | 2020-10-20 | 深圳市豪恩声学股份有限公司 | 语音唤醒识别性能测试方法、装置、系统及终端设备 |
| CN111899745A (zh) * | 2020-06-29 | 2020-11-06 | 厦门亿联网络技术股份有限公司 | 一种音频编解码兼容性自动测试方法及系统 |
| CN111953764A (zh) * | 2020-08-07 | 2020-11-17 | 杭州国芯科技股份有限公司 | 人工智能语音算法自动化测试方法 |
| CN112086106A (zh) * | 2020-08-11 | 2020-12-15 | 北京声智科技有限公司 | 测试场景对齐方法、装置、介质和设备 |
| CN112346957A (zh) * | 2019-08-07 | 2021-02-09 | 上海沃尔沃汽车研发有限公司 | 车载语音系统自动测试设备和方法 |
| CN112908298A (zh) * | 2021-01-18 | 2021-06-04 | 杭州国芯科技股份有限公司 | 一种语音识别测试项目中自动转录和测试方法 |
| JP2021103329A (ja) * | 2020-09-18 | 2021-07-15 | 北京百度網訊科技有限公司 | オーディオ認識方法、オーディオ認識装置、電子機器、記憶媒体及びプログラム |
| CN113314099A (zh) * | 2021-07-28 | 2021-08-27 | 北京世纪好未来教育科技有限公司 | 语音识别置信度的确定方法和确定装置 |
| CN113436611A (zh) * | 2021-06-11 | 2021-09-24 | 阿波罗智联(北京)科技有限公司 | 车载语音设备的测试方法、装置、电子设备和存储介质 |
| CN113450767A (zh) * | 2021-06-24 | 2021-09-28 | 平安国际智慧城市科技股份有限公司 | 语音识别测试方法、装置、测试设备及存储介质 |
| CN114333871A (zh) * | 2020-09-30 | 2022-04-12 | 上海商米科技集团股份有限公司 | 一种用于语音降噪芯片的自动测试方法及装置 |
| CN114441029A (zh) * | 2022-01-20 | 2022-05-06 | 深圳壹账通科技服务有限公司 | 语音标注系统的录音噪音检测方法、装置、设备及介质 |
| CN115171657A (zh) * | 2022-05-26 | 2022-10-11 | 青岛海尔科技有限公司 | 语音设备的测试方法和装置、存储介质 |
| CN115757862A (zh) * | 2023-01-09 | 2023-03-07 | 百融至信(北京)科技有限公司 | 批量录音匹配话术文本的方法和装置、电子设备及存储介质 |
| WO2023061126A1 (zh) * | 2021-10-15 | 2023-04-20 | 青岛海尔电冰箱有限公司 | 冰箱语音模块的测试系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030236672A1 (en) * | 2001-10-30 | 2003-12-25 | Ibm Corporation | Apparatus and method for testing speech recognition in mobile environments |
| CN1811915A (zh) * | 2005-01-28 | 2006-08-02 | 中国科学院计算技术研究所 | 一种电话连续语音识别系统性能的评测方法及其系统 |
| CN101128006A (zh) * | 2007-09-25 | 2008-02-20 | 康佳集团股份有限公司 | 一种声控手机软件测试系统及方法 |
| US7440895B1 (en) * | 2003-12-01 | 2008-10-21 | Lumenvox, Llc. | System and method for tuning and testing in a speech recognition system |
| US20090157399A1 (en) * | 2007-12-18 | 2009-06-18 | Electronics And Telecommunications Research Institute | Apparatus and method for evaluating performance of speech recognition |
| CN102723080A (zh) * | 2012-06-25 | 2012-10-10 | 惠州市德赛西威汽车电子有限公司 | 一种语音识别测试系统及方法 |
-
2013
- 2013-12-31 CN CN201310751488.7A patent/CN103745731B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030236672A1 (en) * | 2001-10-30 | 2003-12-25 | Ibm Corporation | Apparatus and method for testing speech recognition in mobile environments |
| US7440895B1 (en) * | 2003-12-01 | 2008-10-21 | Lumenvox, Llc. | System and method for tuning and testing in a speech recognition system |
| CN1811915A (zh) * | 2005-01-28 | 2006-08-02 | 中国科学院计算技术研究所 | 一种电话连续语音识别系统性能的评测方法及其系统 |
| CN101128006A (zh) * | 2007-09-25 | 2008-02-20 | 康佳集团股份有限公司 | 一种声控手机软件测试系统及方法 |
| US20090157399A1 (en) * | 2007-12-18 | 2009-06-18 | Electronics And Telecommunications Research Institute | Apparatus and method for evaluating performance of speech recognition |
| CN102723080A (zh) * | 2012-06-25 | 2012-10-10 | 惠州市德赛西威汽车电子有限公司 | 一种语音识别测试系统及方法 |
Cited By (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106030699A (zh) * | 2014-10-09 | 2016-10-12 | 谷歌公司 | 多个设备上的热词检测 |
| CN106030699B (zh) * | 2014-10-09 | 2019-12-10 | 谷歌有限责任公司 | 多个设备上的热词检测 |
| CN105654946A (zh) * | 2014-12-02 | 2016-06-08 | 三星电子株式会社 | 用于语音识别的设备和方法 |
| CN104538042A (zh) * | 2014-12-22 | 2015-04-22 | 南京声准科技有限公司 | 终端智能语音测试系统和方法 |
| CN104795064B (zh) * | 2015-03-30 | 2018-04-13 | 福州大学 | 低信噪比声场景下声音事件的识别方法 |
| WO2016155047A1 (zh) * | 2015-03-30 | 2016-10-06 | 福州大学 | 低信噪比声场景下声音事件的识别方法 |
| CN104795064A (zh) * | 2015-03-30 | 2015-07-22 | 福州大学 | 低信噪比声场景下声音事件的识别方法 |
| CN106559729A (zh) * | 2015-09-25 | 2017-04-05 | 神讯电脑(昆山)有限公司 | Mic语音自动识别测试系统及方法 |
| CN105654951A (zh) * | 2016-01-29 | 2016-06-08 | 中国航空无线电电子研究所 | 通用多功能语音信号适配器 |
| CN106341756A (zh) * | 2016-08-29 | 2017-01-18 | 北海爱飞数码科技有限公司 | 个性化智能音箱 |
| CN106341756B (zh) * | 2016-08-29 | 2020-07-31 | 北海爱飞数码科技有限公司 | 个性化智能音箱 |
| CN106571142A (zh) * | 2016-10-11 | 2017-04-19 | 惠州市德赛西威汽车电子股份有限公司 | 一种汽车导航语音识别率自动测试系统 |
| CN106548772A (zh) * | 2017-01-16 | 2017-03-29 | 上海智臻智能网络科技股份有限公司 | 语音识别测试系统及方法 |
| WO2018157840A1 (zh) * | 2017-03-01 | 2018-09-07 | 广东神马搜索科技有限公司 | 语音识别测试方法及测试终端、计算设备及存储介质 |
| CN107086040A (zh) * | 2017-06-23 | 2017-08-22 | 歌尔股份有限公司 | 语音识别能力测试方法和装置 |
| CN107086040B (zh) * | 2017-06-23 | 2021-03-02 | 歌尔股份有限公司 | 语音识别能力测试方法和装置 |
| CN107680613A (zh) * | 2017-08-13 | 2018-02-09 | 惠州市德赛西威汽车电子股份有限公司 | 一种声控设备语音识别能力测试方法及设备 |
| CN109979427A (zh) * | 2017-12-28 | 2019-07-05 | 东莞迪芬尼电声科技有限公司 | 检测音响的系统和方法 |
| CN108206981A (zh) * | 2017-12-29 | 2018-06-26 | 歌尔科技有限公司 | 拾音测试方法及设备 |
| CN108281140A (zh) * | 2017-12-29 | 2018-07-13 | 潍坊歌尔电子有限公司 | 智能设备噪声消除性能的测试方法和系统 |
| CN108564966A (zh) * | 2018-02-02 | 2018-09-21 | 安克创新科技股份有限公司 | 语音测试的方法及其设备、具有存储功能的装置 |
| CN108511000A (zh) * | 2018-03-06 | 2018-09-07 | 福州瑞芯微电子股份有限公司 | 一种测试智能音箱唤醒词识别率的方法及系统 |
| CN108511000B (zh) * | 2018-03-06 | 2020-11-03 | 福州瑞芯微电子股份有限公司 | 一种测试智能音箱唤醒词识别率的方法及系统 |
| CN108696622A (zh) * | 2018-05-28 | 2018-10-23 | 成都昊铭科技有限公司 | 无需接口的语音唤醒测试装置、系统及方法 |
| WO2020006878A1 (zh) * | 2018-07-06 | 2020-01-09 | 平安科技（深圳）有限公司 | 语音识别测试方法、装置、计算机设备及存储介质 |
| CN109102797A (zh) * | 2018-07-06 | 2018-12-28 | 平安科技（深圳）有限公司 | 语音识别测试方法、装置、计算机设备及存储介质 |
| CN109102797B (zh) * | 2018-07-06 | 2024-01-26 | 平安科技（深圳）有限公司 | 语音识别测试方法、装置、计算机设备及存储介质 |
| CN109040750A (zh) * | 2018-09-17 | 2018-12-18 | 四川长虹电器股份有限公司 | 一种智能电视的语音模块的自动化测试系统及方法 |
| CN109040750B (zh) * | 2018-09-17 | 2020-03-17 | 四川长虹电器股份有限公司 | 一种智能电视的语音模块的自动化测试系统及方法 |
| CN109256115A (zh) * | 2018-10-22 | 2019-01-22 | 四川虹美智能科技有限公司 | 一种智能家电的语音检测系统及方法 |
| CN109523993B (zh) * | 2018-11-02 | 2022-02-08 | 深圳市网联安瑞网络科技有限公司 | 一种基于cnn与gru融合深度神经网络的语音语种分类方法 |
| CN109523993A (zh) * | 2018-11-02 | 2019-03-26 | 成都三零凯天通信实业有限公司 | 一种基于cnn与gru融合深度神经网络的语音语种分类方法 |
| CN109473094A (zh) * | 2018-11-12 | 2019-03-15 | 东风汽车有限公司 | 车载控制屏语音识别率测试方法、电子设备、系统 |
| CN111354335A (zh) * | 2018-12-24 | 2020-06-30 | 深圳市优必选科技有限公司 | 一种语音识别测试方法、装置、存储介质及终端设备 |
| CN111369976A (zh) * | 2018-12-25 | 2020-07-03 | 华为技术有限公司 | 测试语音识别设备的方法及测试装置 |
| CN111696523A (zh) * | 2019-03-12 | 2020-09-22 | 大众问问(北京)信息科技有限公司 | 一种语音识别引擎的准确度测试方法、装置、电子设备 |
| CN111696523B (zh) * | 2019-03-12 | 2024-03-01 | 大众问问(北京)信息科技有限公司 | 一种语音识别引擎的准确度测试方法、装置、电子设备 |
| CN110136697A (zh) * | 2019-06-06 | 2019-08-16 | 深圳市数字星河科技有限公司 | 一种基于多进程线程并行运算的英语朗读练习系统 |
| CN110223689A (zh) * | 2019-06-10 | 2019-09-10 | 秒针信息技术有限公司 | 语音信息的优化能力的确定方法及装置、存储介质 |
| CN111798852B (zh) * | 2019-06-27 | 2024-03-29 | 深圳市豪恩声学股份有限公司 | 语音唤醒识别性能测试方法、装置、系统及终端设备 |
| CN111798852A (zh) * | 2019-06-27 | 2020-10-20 | 深圳市豪恩声学股份有限公司 | 语音唤醒识别性能测试方法、装置、系统及终端设备 |
| CN112346957B (zh) * | 2019-08-07 | 2023-12-05 | 上海沃尔沃汽车研发有限公司 | 车载语音系统自动测试设备和方法 |
| CN112346957A (zh) * | 2019-08-07 | 2021-02-09 | 上海沃尔沃汽车研发有限公司 | 车载语音系统自动测试设备和方法 |
| CN110581915A (zh) * | 2019-08-30 | 2019-12-17 | Oppo广东移动通信有限公司 | 稳定性测试方法、装置、存储介质及电子设备 |
| CN110415681B (zh) * | 2019-09-11 | 2022-02-18 | 北京声智科技有限公司 | 一种语音识别效果测试方法及系统 |
| CN110415681A (zh) * | 2019-09-11 | 2019-11-05 | 北京声智科技有限公司 | 一种语音识别效果测试方法及系统 |
| CN110675857A (zh) * | 2019-09-23 | 2020-01-10 | 湖北亿咖通科技有限公司 | 一种语音识别自动化测试系统及方法 |
| CN110728975A (zh) * | 2019-10-10 | 2020-01-24 | 南京创维信息技术研究院有限公司 | 一种asr识别率自动化测试的系统及方法 |
| CN111061598A (zh) * | 2019-12-06 | 2020-04-24 | 安徽芯智科技有限公司 | 一种自动化语音引擎效果测试系统及其方法 |
| CN111415684A (zh) * | 2020-03-18 | 2020-07-14 | 歌尔微电子有限公司 | 语音模组的测试方法、装置及计算机可读存储介质 |
| CN111415684B (zh) * | 2020-03-18 | 2023-12-22 | 歌尔微电子股份有限公司 | 语音模组的测试方法、装置及计算机可读存储介质 |
| CN111405122A (zh) * | 2020-03-18 | 2020-07-10 | 苏州科达科技股份有限公司 | 音频通话测试方法、装置及存储介质 |
| CN111739512A (zh) * | 2020-06-18 | 2020-10-02 | 中汽院智能网联科技有限公司 | 一种基于实车的语音唤醒率测试方法、系统、设备及介质 |
| CN111899745A (zh) * | 2020-06-29 | 2020-11-06 | 厦门亿联网络技术股份有限公司 | 一种音频编解码兼容性自动测试方法及系统 |
| CN111899745B (zh) * | 2020-06-29 | 2024-03-22 | 厦门亿联网络技术股份有限公司 | 一种音频编解码兼容性自动测试方法及系统 |
| CN111953764B (zh) * | 2020-08-07 | 2023-04-07 | 杭州国芯科技股份有限公司 | 人工智能语音算法自动化测试方法 |
| CN111953764A (zh) * | 2020-08-07 | 2020-11-17 | 杭州国芯科技股份有限公司 | 人工智能语音算法自动化测试方法 |
| CN112086106B (zh) * | 2020-08-11 | 2024-03-22 | 北京声智科技有限公司 | 测试场景对齐方法、装置、介质和设备 |
| CN112086106A (zh) * | 2020-08-11 | 2020-12-15 | 北京声智科技有限公司 | 测试场景对齐方法、装置、介质和设备 |
| JP2021103329A (ja) * | 2020-09-18 | 2021-07-15 | 北京百度網訊科技有限公司 | オーディオ認識方法、オーディオ認識装置、電子機器、記憶媒体及びプログラム |
| JP7158110B2 (ja) | 2020-09-18 | 2022-10-21 | 阿波▲羅▼智▲聯▼（北京）科技有限公司 | オーディオ認識方法、オーディオ認識装置、電子機器、記憶媒体及びプログラム |
| CN114333871A (zh) * | 2020-09-30 | 2022-04-12 | 上海商米科技集团股份有限公司 | 一种用于语音降噪芯片的自动测试方法及装置 |
| CN112908298A (zh) * | 2021-01-18 | 2021-06-04 | 杭州国芯科技股份有限公司 | 一种语音识别测试项目中自动转录和测试方法 |
| JP7308335B2 (ja) | 2021-06-11 | 2023-07-13 | 阿波▲羅▼智▲聯▼（北京）科技有限公司 | 車載音声機器のテスト方法、装置、電子機器及び記憶媒体 |
| CN113436611A (zh) * | 2021-06-11 | 2021-09-24 | 阿波罗智联(北京)科技有限公司 | 车载语音设备的测试方法、装置、电子设备和存储介质 |
| JP2022116320A (ja) * | 2021-06-11 | 2022-08-09 | 阿波▲羅▼智▲聯▼（北京）科技有限公司 | 車載音声機器のテスト方法、装置、電子機器及び記憶媒体 |
| CN113450767A (zh) * | 2021-06-24 | 2021-09-28 | 平安国际智慧城市科技股份有限公司 | 语音识别测试方法、装置、测试设备及存储介质 |
| CN113314099A (zh) * | 2021-07-28 | 2021-08-27 | 北京世纪好未来教育科技有限公司 | 语音识别置信度的确定方法和确定装置 |
| WO2023061126A1 (zh) * | 2021-10-15 | 2023-04-20 | 青岛海尔电冰箱有限公司 | 冰箱语音模块的测试系统 |
| CN114441029A (zh) * | 2022-01-20 | 2022-05-06 | 深圳壹账通科技服务有限公司 | 语音标注系统的录音噪音检测方法、装置、设备及介质 |
| CN115171657A (zh) * | 2022-05-26 | 2022-10-11 | 青岛海尔科技有限公司 | 语音设备的测试方法和装置、存储介质 |
| CN115757862A (zh) * | 2023-01-09 | 2023-03-07 | 百融至信(北京)科技有限公司 | 批量录音匹配话术文本的方法和装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103745731B (zh) | 2016-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103745731B (zh) | 一种语音识别效果自动化测试系统及测试方法 | |
| CN110415681B (zh) | 一种语音识别效果测试方法及系统 | |
| CN108847215B (zh) | 基于用户音色进行语音合成的方法及装置 | |
| Mauch et al. | The audio degradation toolbox and its application to robustness evaluation | |
| CN106548772A (zh) | 语音识别测试系统及方法 | |
| US7440895B1 (en) | System and method for tuning and testing in a speech recognition system | |
| CN103179495B (zh) | 移动终端的耳机麦克风和听筒的音频测试方法及系统 | |
| CN101271688B (zh) | 韵律修改装置和方法 | |
| CN107221319A (zh) | 一种语音识别测试系统和方法 | |
| CN109147765A (zh) | 音频质量综合评测方法及系统 | |
| Pallett | Performance assessment of automatic speech recognizers | |
| US20110144990A1 (en) | Rating speech naturalness of speech utterances based on a plurality of human testers | |
| CN108735192B (zh) | 一种结合曲风的钢琴演奏音质评价系统及方法 | |
| Lundén et al. | On urban soundscape mapping: A computer can predict the outcome of soundscape assessments | |
| Enzinger et al. | The importance of using between-session test data in evaluating the performance of forensic-voice-comparison systems | |
| Schlotterbeck et al. | What classroom audio tells about teaching: a cost-effective approach for detection of teaching practices using spectral audio features | |
| Choi et al. | A proposal for foley sound synthesis challenge | |
| CN110503941A (zh) | 语言能力评测方法、装置、系统、计算机设备及存储介质 | |
| CN118038854A (zh) | 一种测试系统 | |
| Jesse et al. | Forensic voice comparisons in German with phonetic and automatic features using VOCALISE software | |
| CN101154175A (zh) | 一种结合语音识别的音频测试方法及系统 | |
| CN110956870A (zh) | 一种视唱练耳教学方法及装置 | |
| CN110600006B (zh) | 一种语音识别的评测方法及系统 | |
| Yosrita et al. | Identify the accuracy of the recitation of Al-Quran reading verses with the science of tajwid with Mel-Frequency Ceptral Coefficients method | |
| Smith et al. | Crowdsourcing emotional speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666 Applicant after: IFLYTEK Co.,Ltd. Address before: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666 Applicant before: ANHUI USTC IFLYTEK Co.,Ltd. |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170818 Address after: 230000, Hefei province high tech Zone, 2800 innovation Avenue, 288 innovation industry park, H2 building, room two, Anhui Patentee after: Anhui Puji Information Technology Co.,Ltd. Address before: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666 Patentee before: IFLYTEK Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 230000, Hefei province high tech Zone, 2800 innovation Avenue, 288 innovation industry park, H2 building, room two, Anhui Patentee after: ANHUI IFLYTEK MEDICAL INFORMATION TECHNOLOGY CO.,LTD. Address before: 230000, Hefei province high tech Zone, 2800 innovation Avenue, 288 innovation industry park, H2 building, room two, Anhui Patentee before: Anhui Puji Information Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province Patentee after: Anhui Xunfei Medical Co.,Ltd. Address before: Room 288, H2 / F, phase II, innovation industrial park, 2800 innovation Avenue, high tech Zone, Hefei, Anhui 230000 Patentee before: ANHUI IFLYTEK MEDICAL INFORMATION TECHNOLOGY CO.,LTD. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province Patentee after: IFLYTEK Medical Technology Co.,Ltd. Address before: 230088 floor 23-24, building A5, No. 666, Wangjiang West Road, high tech Zone, Hefei, Anhui Province Patentee before: Anhui Xunfei Medical Co.,Ltd. |