CN111798852B - 语音唤醒识别性能测试方法、装置、系统及终端设备 - Google Patents

语音唤醒识别性能测试方法、装置、系统及终端设备 Download PDF

Info

Publication number
CN111798852B
CN111798852B CN201910566526.9A CN201910566526A CN111798852B CN 111798852 B CN111798852 B CN 111798852B CN 201910566526 A CN201910566526 A CN 201910566526A CN 111798852 B CN111798852 B CN 111798852B
Authority
CN
China
Prior art keywords
voice
wake
playing device
tested
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910566526.9A
Other languages
English (en)
Other versions
CN111798852A (zh
Inventor
唐月
李艳明
张欣欣
冷明星
温志锋
王丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Horn Audio Co Ltd
Original Assignee
Shenzhen Horn Audio Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Horn Audio Co Ltd filed Critical Shenzhen Horn Audio Co Ltd
Priority to CN201910566526.9A priority Critical patent/CN111798852B/zh
Publication of CN111798852A publication Critical patent/CN111798852A/zh
Application granted granted Critical
Publication of CN111798852B publication Critical patent/CN111798852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请实施例适用于测试技术领域,公开了一种语音设备的语音唤醒识别性能测试方法、装置、系统、终端设备及计算机可读存储介质,其中,方法包括:控制唤醒语音播放装置播放预先录制的语料;通过待测试语音唤醒设备识别所述语料,得到响应数据;根据所述响应数据,得出测试结果。本申请实施例通过控制自动播放语料,自动采集响应数据,根据响应数据得出测试结果,实现了语音唤醒类产品的自动化测试,提高了测试效率和测试准确率。

Description

语音唤醒识别性能测试方法、装置、系统及终端设备
技术领域
本申请属于测试技术领域,尤其涉及一种语音设备的语音唤醒识别性能测试方法、装置、系统、终端设备及计算机可读存储介质。
背景技术
随着语音技术的不断发展进步,语音唤醒类产品也层出不穷,应用领域也越来越广泛。
语音唤醒类产品的唤醒识别率高低直接影响用户体验,从而也直接影响产品的销量,以及是否被大众所接受。目前,语音唤醒类产品性能评估基本以人为体验为主,没有系统的、通用的、客观的评价标准,更没有一套完整的测试方案。测试过程一般是手工测试,测试效率低下,测试结果受主观因素影响较大,准确率较低。
发明内容
有鉴于此,本申请实施例提供一种语音设备的语音唤醒识别性能测试方法、装置、系统、终端设备及计算机可读存储介质,以解决现有测试方法的效率和准确率较低的问题。
本申请实施例的第一方面提供一种语音设备的语音唤醒识别性能测试方法,包括:
控制唤醒语音播放装置播放预先录制的语料;
通过待测试语音唤醒设备识别所述语料,得到响应数据;
根据所述响应数据,得出测试结果;
其中,所述唤醒语音播放装置和所述待测试语音唤醒设备的相对位置是预先设定的。
结合第一方面,在一种可能的实现方式中,所述方法还包括
控制至少一个噪声播放装置播放预先录制的噪声;
其中,所述至少一个噪声播放装置与唤醒语音播放装置、所述待测试语音唤醒设备的相对位置是预先设定的。
结合第一方面,在一种可能的实现方式中,在所述控制唤醒语音播放设备播放预先录制的语料之前,还包括:
控制所述唤醒语音播放装置和/或所述噪声播放装置播放校准音频;
通过声压测量装置分别采集唤醒语音播放装置和/或所述噪声播放装置的声压信息;
根据所述声压信息进行自动校准。
结合第一方面,在一种可能的实现方式中,所述根据所述声压信息进行自动校准,包括:
判断所述声压信息是否达到预设声压阈值;
当所述声压信息未达到所述预设声压阈值,自动调整所述唤醒语音播放装置和/或所述噪声播放装置播放的校准音频的音量大小,直到声压信息是否达到预设声压阈值。
结合第一方面,在一种可能的实现方式中,所述方法还包括:
对所述待测试语音唤醒设备进行回声消除测试,得出回声消除测试结果。
本申请实施例的第二方面提供一种语音设备的语音唤醒识别性能测试装置,包括:
第一控制模块,用于控制唤醒语音播放装置播放预先录制的语料;
响应数据获取模块,用于通过待测试语音唤醒设备识别所述语料,得到响应数据;
计算模块,用于根据所述响应数据,得出测试结果;
其中,所述唤醒语音播放装置和所述待测试语音唤醒设备的相对位置是预先设定的。
结合第二方面,在一种可能的实现方式中,所述装置还包括
第二控制模块,用于控制至少一个噪声播放装置播放预先录制的噪声;
其中,所述至少一个噪声播放装置与唤醒语音播放装置、所述待测试语音唤醒设备的相对位置是预先设定的。
结合第二方面,在一种可能的实现方式中,还包括:
第三控制模块,用于控制所述唤醒语音播放装置和/或所述噪声播放装置播放校准音频;
声压采集模块,用于通过声压测量装置分别采集唤醒语音播放装置和/或所述噪声播放装置的声压信息;
自动校准模块,用于根据所述声压信息进行自动校准。
结合第二方面,在一种可能的实现方式中,所述自动校准模块包括:
判断单元,用于判断所述声压信息是否达到预设声压阈值;
调整单元,用于当所述声压信息未达到所述预设声压阈值,自动调整所述唤醒语音播放装置和/或所述噪声播放装置播放的校准音频的音量大小,直到声压信息是否达到预设声压阈值。
结合第二方面,在一种可能的实现方式中,还包括:
回声测试消除模块,用于对所述待测试语音唤醒设备进行回声消除测试,得出回声消除测试结果。
本申请实施例的第三方面提供一种语音设备的语音唤醒识别性能测试系统,包括终端设备、与所述终端设备连接的唤醒语音播放装置以及与所述终端设备连接的待测试语音唤醒设备;
所述终端设备用于控制所述唤醒语音播放装置播放预先录制的唤醒语音;通过所述待测试语音唤醒设备识别所述唤醒语音,得到响应数据;根据所述响应数据,得出测试结果;
其中,所述唤醒语音播放装置和所述待测试语音唤醒设备的相对位置是预先设定的。
本申请实施例的第四方面提供一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面任一项所述方法的步骤。
本申请实施例的第五方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面任一项所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:通过控制自动播放语料,自动采集响应数据,根据响应数据得出测试结果,实现了语音唤醒类产品的自动化测试,提高了测试效率和测试准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种语音设备的语音唤醒识别性能测试系统的结构示意框图;
图2为本申请实施例提供的语音设备的语音唤醒识别性能测试方法的流程示意框图;
图3为本申请实施例提供的语音设备的语音唤醒识别性能测试方法的另一种流程示意框图;
图4为本申请实施例提供的自动校准的流程示意框图;
图5为本申请实施例提供的测试结果对比示意图;
图6为本申请实施例提供的智能耳机测试平台示意图;
图7为本申请实施例提供的智能音箱测试平台示意图;
图8为本申请实施例提供的一种语音设备的语音唤醒识别性能测试装置的结构示意框图
图9为本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
实施例一
请参见图1,为本申请实施例提供的一种语音设备的语音唤醒识别性能测试系统的结构示意框图,该系统可以包括终端设备11、与终端设备连接的唤醒语音播放装置12以及与终端设备连接的待测试语音唤醒设备13。
终端设备用于控制唤醒语音播放装置播放预先录制的语料;通过待测试语音唤醒设备识别语料,得到响应数据;根据响应数据,得出测试结果。
其中,唤醒语音播放装置和待测试语音唤醒设备的相对位置是预先设定的。
需要说明的是,待测试语音唤醒设备是指具备语音唤醒功能的设备,其可以具体为但不限于智能耳机、智能音箱或者智能电视等。
终端设备用于接收待测试语音唤醒设备的测试数据,分析测试数据得出测试结果等。该终端设备可以具体为但不限于PC。唤醒语音播放装置是指用于播放预先录制的唤醒语音的设备,其可以为但不限于音箱。
在测试过程中,可能需要播放噪声,也可能不需要噪声。在一些特殊场景下,则可以只播放语料,不用播放噪声,例如,当前环境已经存在噪声。一般情况下,需要播放唤醒语音的同时,播放相应的噪声。因此,在一些实施例中,上述系统还可以包括至少一个噪声播放装置14,该噪声播放装置与终端设备连接。不同测试场景和测试需求,噪声播放装置的数量和位置也会有相应不同。
可以理解的是,测试场景和待测试语音唤醒设备的不同,唤醒语音播放装置、待测试语音唤醒设备和噪声播放装置之间的相对位置也会有相应地不同。
本实施例实现了语音唤醒类产品的自动化测试,提高了测试效率和测试准确率。
实施例二
请参见图2,为本申请实施例提供的一种语音设备的语音唤醒识别性能测试方法的流程示意框图,该方法可以具体应用上述实施例一的终端设备,该方法可以包括以下步骤:
步骤S201、控制唤醒语音播放装置播放预先录制的语料。
步骤S202、通过待测试语音唤醒设备识别语料,得到响应数据。
具体地,终端设备控制唤醒语音播放装置播放预先录制的语料,待测试语音唤醒设备采集语料,当待测试语音唤醒设备识别到唤醒词之后,成功被唤醒,同时,待测试语音唤醒设备也会将识别到的语音信息传输至终端设备。
需要说明的是,上述语料可以包括唤醒词和语句,此时,通过一句语料即可测试出语音设备的唤醒率和识别率。例如,语料为“小明,今天星期几”,其中,“小明”为唤醒词,“今天星期几”为需要识别的语句。这样通过一句语料即可同时进行唤醒测试和识别测试。当然,唤醒测试和识别测试也可以分开进行,但识别测试应当是在语音设备唤醒后进行。上述语料也可以仅包括唤醒词,例如,语料为“小明”。待语音设备被唤醒后,在发出“今天星期几”的识别测试语料,进行识别测试。
上述响应数据是指待测试语音唤醒设备根据唤醒语音做出相应响应动作的相关数据,其可以包括是否被唤醒和识别到的语音信息,即可以包括唤醒响应数据和/或识别响应数据。例如,当发出“小明”的唤醒词后,语音设备回答“我在”则表明唤醒成功,反之,如果长时间没有回复则表明唤醒失败。发出“今天星期几”的识别语料时,如果语音设备回答“今天星期二”则表明识别成功或响应成功,反之,如果没有回复或者超过一定时间阈值没有回复,则表明识别失败或响应识别。
步骤S203、根据响应数据,得出测试结果。其中,唤醒语音播放装置和待测试语音唤醒设备的相对位置是预先设定的。
具体地,终端设备根据待测试语音唤醒设备是否被唤醒,得出待测试语音设备的唤醒率,根据识别到的语音信息,得出待测试语音设备的语音识别率。
可以理解的是,唤醒语音播放装置和待测试语音唤醒设备的相对位置可以根据不同的测试场景和测试设备类型进行设定。但应当保证待测试语音唤醒设备能够采集到唤醒语音播放装置播放的唤醒语音。
在一些场景下,在播放唤醒语音的同时需要播放噪声,验证噪声环境下语音类产品的唤醒识别率。
参见图3示出的语音设备的语音唤醒识别性能测试方法的另一种流程示意框图,该方法可以包括以下步骤:
步骤S301、控制唤醒语音播放装置播放预先录制的语料。
步骤S302、控制至少一个噪声播放装置播放预先录制的噪声;其中,至少一个噪声播放装置与唤醒语音播放装置、待测试语音唤醒设备的相对位置是预先设定的。
需要说明的是,上述噪声播放装置的数量可以根据实际测试场景和测试需要选取,在此不作限定。该噪声播放装置可以具体为但不限于智能音箱。噪声播放装置与唤醒语音播放装置、待测试语音唤醒设备三者之间的相互位置可以根据测试场景进行设置,在此不作限定,
其中,噪声是预先录制的,可以根据测试场景和测试需求预先录制不同的噪声场景。例如,可预先设置7种噪声场景,分别为白噪声、粉红噪声、酒吧噪声、汽车噪声、餐厅噪声、音乐噪声以及影视剧噪声。所录制的唤醒语音可以包括多段语料,其可以根据具体测试产品的功能,预先录制对应不同需求的语料。
步骤S303、通过待测试语音唤醒设备识别语料,得到响应数据。
步骤S304、根据响应数据,得出测试结果。其中,唤醒语音播放装置和待测试语音唤醒设备的相对位置是预先设定的。
需要说明的是,步骤S301~S304与上述步骤S201~S203之间的相同之处可相互参见,在此不再赘述。
唤醒语音播放装置和噪声播放装置在进行测试之前,需要进行校准。本实施例中,校准过程可以是手动校准,也可以是自动校准。自动校准可以进一步提高测试效率和测试准确率。
在一些实施例中,参见图4示出的自动校准的流程示意框图,在上述控制唤醒语音播放设备播放预先录制的语料之前,上述方法还可以包括:
步骤S401、控制唤醒语音播放装置和/或噪声播放装置播放校准音频。
可以理解的是,校准音频的类型可以是任意的,例如,校准音频为粉红噪声。可以单独对唤醒语音播放装置进行自动校准,可以单独对噪声播放装置进行自动校准,也可以同时对唤醒语音播放装置和噪声播放装置进行自动校准。
步骤S402、通过声压测量装置分别采集唤醒语音播放装置和/或噪声播放装置的声压信息。
需要说明的是,上述声压测量装置可以具体为但不限于声压计,该声压测试装置与终端设备连接,终端设备可以获取到声压测量装置上测量的声压信息。例如,通过声压测量装置测量噪声播放装置前方1m处的声压和声音等级,测量唤醒语音播放装置的前方1m处的声压和声音等级。
其中,针对每种噪声场景,均需要预先校准,校准后可以记录相应的音量等级,这样,在测试过程中,可以直接根据记录的音量等级设置声音大小。
步骤S403、根据声压信息进行自动校准。
具体地,根据声压信息,判断声压信息是否达到预设声压阈值;若达到,则记录相应的声压信息;反之,当声压信息未达到预设声压阈值,自动调整唤醒语音播放装置和/或噪声播放装置播放的校准音频的音量大小,直到声压信息是否达到预设声压阈值。
可以理解的是,预设声压阈值可以根据测试场景和测试产品的不同也会有相应地不同,在此不作限定。
语音唤醒类设备一般具有回音消除功能,回音消除会影响唤醒率和识别率的结果,当回声消除功能较差时,可能会影响到唤醒率和识别率的结果。因此,可以在进行唤醒测试之前,先对语音唤醒类设备的回音消除功能进行测试。
在一些实施例中,上述方法还可以包括:对待测试语音唤醒设备进行回声消除测试,得出回声消除测试结果。
具体地,将待测试语音唤醒设备的芯片组的I2S点连接至终端设备,将噪声音箱、语音音箱与待测试语音唤醒设备等距离1m放置在消音室内。当噪声音箱播放噪声后,语音音箱播放语音指令,该指令可以例如为“回声消除”,当语音指令播放后,芯片启用回声消除功能消除噪声。待测试语音设备接收两种声音,通过芯片的回声消除功能,过滤掉噪声音箱的信号,只留下指令信号的内容,通过分析可以确认回声消除结果是否达到理想状态。具体测试结果可以参见图5示出的测试结果对比示意图。
测试场景和测试设备的不同,噪声播放装置、唤醒语音播放装置和待测试语音唤醒设备的相对位置也会相应不同。通过多个噪声播放装置可以模拟出多种背景噪声,多种背景噪声兼容多个平台,这样可以使得测试过程尽量客观化,减少测试结果受主观因素影响,提高测试准确率。下面则以入耳式耳机唤醒测试和智能音箱唤醒测试进行示例说明。
对于入耳式耳机唤醒测试,其测试平台包括四个智能音箱和一个人工嘴,四个智能音箱用于播放噪声。参见图6示出的智能耳机测试平台示意图,4个智能音箱分别位于以待测试耳机为中心,对角线为4m的正方形的端点位置,分别为1#、2#、3#、4#。四个智能音箱与PC分别连接无线网络,即音箱与PC连接至一个局域网内。此时PC端既可以通过adb工具分别控制智能音箱播放指定音频,模拟真实用户场景噪音。语音指令则通过仿真人躯干发出,待测耳机正确佩戴与仿真人头上,放置于正方形中心位置。PC端可以通过cmd命名窗口调用adb工具,控制四个音箱播放不同噪声。同时可以控制音量等级,以达到设定的声压级。
对于智能音箱唤醒测试,其测试平台包括5个智能音箱和待测试音箱组成。参见图7示出的智能音箱测试平台示意图,包括1个噪声音箱和一个唤醒语音播放音箱,分别为1、2、3、4、5。按照特定的0.9m的近场测试和2.75m的远场测试进行测试。噪声源位于以待测音箱为中心的135°,距离1.8m处。其他四个音响分别位于30°,0.9m和2.7m处,以及90°,0.9m和2.7m处。通过电脑局域网控制每个音箱发出指定噪音,模拟家庭真实使用情况。控制四个语音音响播放提前录制好的语料,综合评估产品语音唤醒识别性能,完成语音测试。
需要说明的是,针对不同的测试产品和测试场景,可以设置不同的测试平台,以模拟出多种背景噪声,减少了主观因素对测试结果的影响。
本实施例实现了语音唤醒类产品的自动化测试,提高了测试效率和测试准确率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
实施例三
请参见图8,为本申请实施例提供的一种语音设备的语音唤醒识别性能测试装置的结构示意框图,该装置可以包括:
第一控制模块81,用于控制唤醒语音播放装置播放预先录制的语料;
响应数据获取模块82,用于通过待测试语音唤醒设备识别语料,得到响应数据;
计算模块83,用于根据响应数据,得出测试结果;
其中,唤醒语音播放装置和待测试语音唤醒设备的相对位置是预先设定的。
在一种可能的实现方式中,上述装置还可以包括
第二控制模块,用于控制至少一个噪声播放装置播放预先录制的噪声;
其中,至少一个噪声播放装置与唤醒语音播放装置、待测试语音唤醒设备的相对位置是预先设定的。
在一种可能的实现方式中,上述装置还可以包括:
第三控制模块,用于控制唤醒语音播放装置和/或噪声播放装置播放校准音频;
声压采集模块,用于通过声压测量装置分别采集唤醒语音播放装置和/或噪声播放装置的声压信息;
自动校准模块,用于根据声压信息进行自动校准。
在一种可能的实现方式中,上述自动校准模块可以包括:
判断单元,用于判断声压信息是否达到预设声压阈值;
调整单元,用于当声压信息未达到预设声压阈值,自动调整唤醒语音播放装置和/或噪声播放装置播放的校准音频的音量大小,直到声压信息是否达到预设声压阈值。
在一种可能的实现方式中,上述装置还可以包括:
回声测试消除模块,用于对待测试语音唤醒设备进行回声消除测试,得出回声消除测试结果。
需要说明的是,本实施例提供的测试装置与上述实施例的测试方法一一对应,相关介绍请参见上文相应内容,在此不再赘述。
本实施例实现了语音唤醒类产品的自动化测试,提高了测试效率和测试准确率。
实施例四
图9是本申请一实施例提供的终端设备的示意图。如图9所示,该实施例的终端设备9包括:处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92。所述处理器90执行所述计算机程序92时实现上述各个语音设备的语音唤醒识别性能测试方法实施例中的步骤,例如图2所示的步骤S201至S203。或者,所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块或单元的功能,例如图8所示模块81至83的功能。
示例性的,所述计算机程序92可以被分割成一个或多个模块或单元,所述一个或者多个模块或单元被存储在所述存储器91中,并由所述处理器90执行,以完成本申请。所述一个或多个模块或单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序92在所述终端设备9中的执行过程。例如,所述计算机程序92可以被分割成第一控制模块、响应数据获取模块以及计算模块,各模块具体功能如下:
第一控制模块,用于控制唤醒语音播放装置播放预先录制的语料;
响应数据获取模块,用于通过待测试语音唤醒设备识别语料,得到响应数据;
计算模块,用于根据响应数据,得出测试结果。
所述终端设备9可以是桌上型计算机、笔记本或掌上电脑等计算设备。所述终端设备可包括,但不仅限于,处理器90、存储器91。本领域技术人员可以理解,图9仅仅是终端设备9的示例,并不构成对终端设备9的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器90可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是所述终端设备9的内部存储单元,例如终端设备9的硬盘或内存。所述存储器91也可以是所述终端设备9的外部存储设备,例如所述终端设备9上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置、终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置、终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.一种语音设备的语音唤醒识别性能测试方法,其特征在于,包括:
控制噪声播放装置播放噪声后,控制唤醒语音播放装置播放语音指令,所述语音指令用于待测试语音唤醒设备的芯片启动回声消除功能;
获取所述待测试语音唤醒设备的回声消除测试结果,所述回声消除测试结果是所述待测试语音唤醒设备响应于所述语音指令启动芯片的回声消除功能,并通过所述回声消除功能对接收到的所述噪声播放装置播放的信号进行过滤后得到的结果;
当所述回声消除测试结果表征所述待测试语音唤醒设备的回声消除结果达到理想状态,则控制所述唤醒语音播放装置播放预先录制的语料,控制至少一个所述噪声播放装置播放预先录制的噪声;
通过待测试语音唤醒设备识别所述语料,得到响应数据;
根据所述响应数据,得出测试结果;
其中,所述唤醒语音播放装置和所述待测试语音唤醒设备的相对位置是预先设定的;所述至少一个噪声播放装置与唤醒语音播放装置、所述待测试语音唤醒设备的相对位置是预先设定的。
2.如权利要求1所述的方法,其特征在于,在所述控制唤醒语音播放设备播放预先录制的语料之前,还包括:
控制所述唤醒语音播放装置和/或所述噪声播放装置播放校准音频;
通过声压测量装置分别采集唤醒语音播放装置和/或所述噪声播放装置的声压信息;
根据所述声压信息进行自动校准。
3.如权利要求2所述的方法,其特征在于,所述根据所述声压信息进行自动校准,包括:
判断所述声压信息是否达到预设声压阈值;
当所述声压信息未达到所述预设声压阈值,自动调整所述唤醒语音播放装置和/或所述噪声播放装置播放的校准音频的音量大小,直到声压信息是否达到预设声压阈值。
4.一种语音设备的语音唤醒识别性能测试装置,其特征在于,包括:
回声消除测试模块,用于控制噪声播放装置播放噪声后,控制唤醒语音播放装置播放语音指令,所述语音指令用于待测试语音唤醒设备的芯片启动回声消除功能;获取所述待测试语音唤醒设备的回声消除测试结果,所述回声消除测试结果是所述待测试语音唤醒设备响应于所述语音指令启动芯片的回声消除功能,并通过所述回声消除功能对接收到的所述噪声播放装置播放的信号进行过滤后得到的结果;
第一控制模块,用于当所述回声消除测试结果表征所述待测试语音唤醒设备的回声消除结果达到理想状态,则控制唤醒语音播放装置播放预先录制的语料;
第二控制模块,用于控制至少一个所述噪声播放装置播放预先录制的噪声;
响应数据获取模块,用于通过待测试语音唤醒设备识别所述语料,得到响应数据;
计算模块,用于根据所述响应数据,得出测试结果;
其中,所述唤醒语音播放装置和所述待测试语音唤醒设备的相对位置是预先设定的;所述至少一个噪声播放装置与唤醒语音播放装置、所述待测试语音唤醒设备的相对位置是预先设定的。
5.如权利要求4所述的装置,其特征在于,所述装置还包括:
第三控制模块,用于控制所述唤醒语音播放装置和/或所述噪声播放装置播放校准音频;
声压采集模块,用于通过声压测量装置分别采集唤醒语音播放装置和/或所述噪声播放装置的声压信息;
自动校正模块,用于根据所述声压信息进行自动校准。
6.如权利要求5所述的装置,其特征在于,所述自动校准模块具体用于:
判断所述声压信息是否达到预设声压阈值;
当所述声压信息未达到所述预设声压阈值,自动调整所述唤醒语音播放装置和/或所述噪声播放装置播放的校准音频的音量大小,直到声压信息是否达到预设声压阈值。
7.一种语音设备的语音唤醒识别性能测试系统,其特征在于,包括终端设备、与所述终端设备连接的唤醒语音播放装置以及与所述终端设备连接的待测试语音唤醒设备;
所述终端设备用于控制噪声播放装置播放噪声后,控制唤醒语音播放装置播放语音指令,所述语音指令用于待测试语音唤醒设备的芯片启动回声消除功能;获取所述待测试语音唤醒设备的回声消除测试结果,所述回声消除测试结果是所述待测试语音唤醒设备响应于所述语音指令启动芯片的回声消除功能,并通过所述回声消除功能对接收到的所述噪声播放装置播放的信号进行过滤后得到的结果;当所述回声消除测试结果表征所述待测试语音唤醒设备的回声消除结果达到理想状态,则控制所述唤醒语音播放装置播放预先录制的唤醒语音;控制至少一个噪声播放装置播放预先录制的噪声;通过所述待测试语音唤醒设备识别所述唤醒语音,得到响应数据;根据所述响应数据,得出测试结果;
其中,所述唤醒语音播放装置和所述待测试语音唤醒设备的相对位置是预先设定的;所述至少一个噪声播放装置与唤醒语音播放装置、所述待测试语音唤醒设备的相对位置是预先设定的。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述方法的步骤。
CN201910566526.9A 2019-06-27 2019-06-27 语音唤醒识别性能测试方法、装置、系统及终端设备 Active CN111798852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910566526.9A CN111798852B (zh) 2019-06-27 2019-06-27 语音唤醒识别性能测试方法、装置、系统及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910566526.9A CN111798852B (zh) 2019-06-27 2019-06-27 语音唤醒识别性能测试方法、装置、系统及终端设备

Publications (2)

Publication Number Publication Date
CN111798852A CN111798852A (zh) 2020-10-20
CN111798852B true CN111798852B (zh) 2024-03-29

Family

ID=72804870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910566526.9A Active CN111798852B (zh) 2019-06-27 2019-06-27 语音唤醒识别性能测试方法、装置、系统及终端设备

Country Status (1)

Country Link
CN (1) CN111798852B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863545B (zh) * 2021-01-13 2023-10-03 抖音视界有限公司 性能测试方法、装置、电子设备及计算机可读存储介质
CN113470618A (zh) * 2021-06-08 2021-10-01 阿波罗智联(北京)科技有限公司 唤醒测试的方法、装置、电子设备和可读存储介质
CN113593536A (zh) * 2021-06-09 2021-11-02 中国电子产品可靠性与环境试验研究所((工业和信息化部电子第五研究所)(中国赛宝实验室)) 一种检测语音识别准确率的装置和系统
CN113436611B (zh) * 2021-06-11 2022-10-14 阿波罗智联(北京)科技有限公司 车载语音设备的测试方法、装置、电子设备和存储介质
CN113593549A (zh) * 2021-06-29 2021-11-02 青岛海尔科技有限公司 确定语音设备的唤醒率的方法及装置
CN113593564A (zh) * 2021-09-02 2021-11-02 北京声智科技有限公司 设备测试的处理方法、测试系统、电子设备和存储介质
CN113823334B (zh) * 2021-11-22 2022-02-08 腾讯科技(深圳)有限公司 一种应用于车载设备的环境模拟方法、相关装置及设备
CN114724545A (zh) * 2022-03-22 2022-07-08 青岛海尔空调器有限总公司 用于测试空调的方法及装置、测试系统、存储介质
CN115512686A (zh) * 2022-06-22 2022-12-23 青岛海尔科技有限公司 唤醒结果的确定方法、装置、存储介质及电子装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128658A (en) * 1998-10-22 2000-10-03 3Com Corporation Self-initiated system event using network resources
KR20060014773A (ko) * 2004-08-12 2006-02-16 주식회사 현대오토넷 음성 인식 테스트 장치 및 방법
US7949104B1 (en) * 1998-03-26 2011-05-24 The Broadcast Team, Inc. Message delivery system with echo-cancellation
KR20110061987A (ko) * 2009-12-02 2011-06-10 한국생산기술연구원 로봇의 음성인식 성능 평가장치 및 평가 방법
CN103745731A (zh) * 2013-12-31 2014-04-23 安徽科大讯飞信息科技股份有限公司 一种语音识别效果自动化测试系统及测试方法
CN104538042A (zh) * 2014-12-22 2015-04-22 南京声准科技有限公司 终端智能语音测试系统和方法
CN104796692A (zh) * 2014-01-20 2015-07-22 宁波舜宇光电信息有限公司 一种电视机音频采集装置的回声消除测试方法及其系统
CN106548772A (zh) * 2017-01-16 2017-03-29 上海智臻智能网络科技股份有限公司 语音识别测试系统及方法
CN107221319A (zh) * 2017-05-16 2017-09-29 厦门盈趣科技股份有限公司 一种语音识别测试系统和方法
CN108281140A (zh) * 2017-12-29 2018-07-13 潍坊歌尔电子有限公司 智能设备噪声消除性能的测试方法和系统
CN108364643A (zh) * 2017-12-29 2018-08-03 潍坊歌尔电子有限公司 用于智能设备的声源定位性能的测试方法和系统
CN108511000A (zh) * 2018-03-06 2018-09-07 福州瑞芯微电子股份有限公司 一种测试智能音箱唤醒词识别率的方法及系统
CN108564966A (zh) * 2018-02-02 2018-09-21 安克创新科技股份有限公司 语音测试的方法及其设备、具有存储功能的装置
CN108877770A (zh) * 2018-05-31 2018-11-23 北京百度网讯科技有限公司 用于测试智能语音设备的方法、装置和系统
CN108962222A (zh) * 2018-07-12 2018-12-07 四川虹美智能科技有限公司 一种语音识别功能测试方法及装置
CN109192193A (zh) * 2018-08-14 2019-01-11 四川虹美智能科技有限公司 一种语音识别产品测试方法和测试装置
CN109192195A (zh) * 2018-09-29 2019-01-11 深圳市微测检测有限公司 一种语音识别测试系统及方法
CN109360562A (zh) * 2018-12-07 2019-02-19 深圳创维-Rgb电子有限公司 回声消除方法、装置、介质以及语音唤醒方法和设备
CN109817219A (zh) * 2019-03-19 2019-05-28 四川长虹电器股份有限公司 语音唤醒测试方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035797B2 (en) * 2001-12-14 2006-04-25 Nokia Corporation Data-driven filtering of cepstral time trajectories for robust speech recognition
US7813499B2 (en) * 2005-03-31 2010-10-12 Microsoft Corporation System and process for regression-based residual acoustic echo suppression
US20070067172A1 (en) * 2005-09-22 2007-03-22 Minkyu Lee Method and apparatus for performing conversational opinion tests using an automated agent
US8090077B2 (en) * 2007-04-02 2012-01-03 Microsoft Corporation Testing acoustic echo cancellation and interference in VoIP telephones
US9495266B2 (en) * 2013-05-16 2016-11-15 Advantest Corporation Voice recognition virtual test engineering assistant

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7949104B1 (en) * 1998-03-26 2011-05-24 The Broadcast Team, Inc. Message delivery system with echo-cancellation
US6128658A (en) * 1998-10-22 2000-10-03 3Com Corporation Self-initiated system event using network resources
KR20060014773A (ko) * 2004-08-12 2006-02-16 주식회사 현대오토넷 음성 인식 테스트 장치 및 방법
KR20110061987A (ko) * 2009-12-02 2011-06-10 한국생산기술연구원 로봇의 음성인식 성능 평가장치 및 평가 방법
CN103745731A (zh) * 2013-12-31 2014-04-23 安徽科大讯飞信息科技股份有限公司 一种语音识别效果自动化测试系统及测试方法
CN104796692A (zh) * 2014-01-20 2015-07-22 宁波舜宇光电信息有限公司 一种电视机音频采集装置的回声消除测试方法及其系统
CN104538042A (zh) * 2014-12-22 2015-04-22 南京声准科技有限公司 终端智能语音测试系统和方法
CN106548772A (zh) * 2017-01-16 2017-03-29 上海智臻智能网络科技股份有限公司 语音识别测试系统及方法
CN107221319A (zh) * 2017-05-16 2017-09-29 厦门盈趣科技股份有限公司 一种语音识别测试系统和方法
CN108281140A (zh) * 2017-12-29 2018-07-13 潍坊歌尔电子有限公司 智能设备噪声消除性能的测试方法和系统
CN108364643A (zh) * 2017-12-29 2018-08-03 潍坊歌尔电子有限公司 用于智能设备的声源定位性能的测试方法和系统
CN108564966A (zh) * 2018-02-02 2018-09-21 安克创新科技股份有限公司 语音测试的方法及其设备、具有存储功能的装置
CN108511000A (zh) * 2018-03-06 2018-09-07 福州瑞芯微电子股份有限公司 一种测试智能音箱唤醒词识别率的方法及系统
CN108877770A (zh) * 2018-05-31 2018-11-23 北京百度网讯科技有限公司 用于测试智能语音设备的方法、装置和系统
CN108962222A (zh) * 2018-07-12 2018-12-07 四川虹美智能科技有限公司 一种语音识别功能测试方法及装置
CN109192193A (zh) * 2018-08-14 2019-01-11 四川虹美智能科技有限公司 一种语音识别产品测试方法和测试装置
CN109192195A (zh) * 2018-09-29 2019-01-11 深圳市微测检测有限公司 一种语音识别测试系统及方法
CN109360562A (zh) * 2018-12-07 2019-02-19 深圳创维-Rgb电子有限公司 回声消除方法、装置、介质以及语音唤醒方法和设备
CN109817219A (zh) * 2019-03-19 2019-05-28 四川长虹电器股份有限公司 语音唤醒测试方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The NTID speech rocognition test:NSRT;Bochne.JH;《International Journal of Audiology》;20150630;全文 *
车载语音识别率自动化测试研究;李乔娜;《汽车文摘》;20191030;全文 *

Also Published As

Publication number Publication date
CN111798852A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111798852B (zh) 语音唤醒识别性能测试方法、装置、系统及终端设备
CN109192193B (zh) 一种语音识别产品测试方法和测试装置
CN108564966B (zh) 语音测试的方法及其设备、具有存储功能的装置
US10347272B2 (en) De-reverberation control method and apparatus for device equipped with microphone
CN107221319A (zh) 一种语音识别测试系统和方法
CN110265052B (zh) 收音设备的信噪比确定方法、装置、存储介质及电子装置
CN110602624B (zh) 音频测试方法、装置、存储介质及电子设备
CN109712608B (zh) 多音区唤醒测试方法、装置及存储介质
CN109195090B (zh) 用于产品内麦克风电声参数的测试方法及系统
CN212013054U (zh) 降噪耳机测试设备
EP4033483B1 (en) Method and apparatus for testing vehicle-mounted voice device, electronic device and storage medium
CN110475181B (zh) 设备配置方法、装置、设备和存储介质
CN113470618A (zh) 唤醒测试的方法、装置、电子设备和可读存储介质
CN111613248A (zh) 拾音测试方法、设备及系统
CN103812462A (zh) 响度控制方法及装置
CN103117083A (zh) 一种音频信息采集装置及方法
CN109600697A (zh) 终端外放音质确定方法及装置
CN111785298A (zh) 声学性能测试方法及装置、电子设备、计算机可读介质
CN109741761B (zh) 声音处理方法和装置
CN111354335A (zh) 一种语音识别测试方法、装置、存储介质及终端设备
CN109979487A (zh) 语音信号检测方法和装置
WO2022083502A1 (zh) 语音交互方法及相关装置、对应关系建立方法
CN112261229B (zh) 骨传导通话设备测试方法、装置及系统
CN113517000A (zh) 回声消除的测试方法、终端以及存储装置
CN113259826B (zh) 在电子终端中实现助听的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant