CN111739512A - 一种基于实车的语音唤醒率测试方法、系统、设备及介质 - Google Patents
一种基于实车的语音唤醒率测试方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN111739512A CN111739512A CN202010560393.7A CN202010560393A CN111739512A CN 111739512 A CN111739512 A CN 111739512A CN 202010560393 A CN202010560393 A CN 202010560393A CN 111739512 A CN111739512 A CN 111739512A
- Authority
- CN
- China
- Prior art keywords
- voice
- wake
- interaction system
- preset
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 112
- 230000003993 interaction Effects 0.000 claims abstract description 81
- 230000004044 response Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 23
- 238000010998 test method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012797 qualification Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 10
- 230000002618 waking effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 1
- 208000000114 Pain Threshold Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 230000037040 pain threshold Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及实车语音测试领域，具体公开了一种基于实车的语音唤醒率测试方法、系统、设备及介质。所述方法包括步骤S1‑S6，其以保存为音频文件的方式预先采集实车行驶噪声环境(步骤S1)，测试时在实验室预设分贝值下原声播放所述音频文件，以按照实车行驶噪声环境搭建实验室内噪声环境(步骤S2、S3)，使得语音测试环境符合语音交互系统实车使用状态，更加真实地反映语音交互系统的性能；按照预设语音唤醒指令唤醒语音交互系统(步骤S4)，根据语音交互系统的响应来判定测试合格或不合格(步骤S5)，然后根据测试合格和不合格的次数来计算语音唤醒率(步骤S6)，使得依赖于步骤S1‑S3计算的唤醒率(步骤S4‑S6)与实车环境下真实的唤醒率差异较小。
Description
技术领域
本发明涉及实车语音测试领域，具体涉及一种基于实车的语音唤醒率测试方法、系统、设备及介质。
背景技术
语音识别是车载语音交互系统(本申请中简称语音交互系统，多指带有语音识别功能的汽车中控系统)获取用户意图的重要途径，比如，用户可以在不方便直接操控汽车中控系统的情况下说出语音指令来进行控制,语音交互系统识别对应的语音指令，进而发出相应的声音与/或呈现相应的画面。比如语音指令为“拨打xx的电话”，车载语音交互系统识别到后将发出“好的，为您拨打xx的电话”的指令确认语音，车载中控屏幕将切换为通话界面。
语音识别可以包括初步的唤醒和后续的识别这两个过程。随着主机厂、科技公司、初创公司等纷纷加入智能车载语音交互市场的大河，语音交互系统的软硬件性能以及系统的功能、质量都无法保证，在出厂前都需要进行测试，比如语音唤醒率测试。因为，语音交互系统只有在被唤醒后，才能够识别并执行语音指令，这使得唤醒率成为衡量语音交互系统的一个重要性能指标，如何高效且准确地测试得到语音交互系统的唤醒率尤为重要。
目前语音交互系统的唤醒测试基本在实验室进行，仅基于零部件级(未装载在实车中)，但在装车以后受车辆行驶环境、行驶状态等影响，其与在实验室的测试结果往往有明显的不同，这种测试方法不能体现语音交互系统的实际性能。
发明内容
本发明提供一种基于实车的语音唤醒率测试方法、系统、设备及介质，解决的技术问题在于：零部件级的实验室内语音交互系统唤醒时间测试方法不能满足实际驾驶状态要求，测试结果与实车差异较大，不能体现语音交互系统的实际性能。
本发明提供的基础方案为：
一种基于实车的语音唤醒率测试方法，包括步骤：
S1.采集开放道路上驾驶标准车辆的车内噪声，保存为音频文件；
S2.将被测车辆放置在预设分贝值下的实验室内，激活所述被测车辆的语音交互系统；
S3.在所述被测车辆内原声播放采集的所述音频文件，播放的所述音频文件的分贝值与步骤S1中采集的所述音频文件的分贝值相同；
S4.向所述语音交互系统多次输入预设语音唤醒指令，记录每次所述语音交互系统的响应信息；
S5.根据每次所述预设语音唤醒指令和对应的所述响应信息，判定此次测试为合格或不合格；
S6.统计步骤S5中测试合格和不合格的次数，并根据测试合格和不合格的次数计算对应预设语音唤醒指令的语音唤醒率。
本基础方案：
以保存为音频文件的方式预先采集实车行驶噪声环境(步骤S1)，测试时在实验室预设分贝值下原声播放所述音频文件，以按照实车行驶噪声环境搭建实验室内噪声环境(步骤S2、S3)，使得语音测试环境符合语音交互系统实车使用状态，更加真实地反映语音交互系统的性能；
按照预设语音唤醒指令唤醒语音交互系统(步骤S4)，根据语音交互系统的响应来判定测试合格或不合格(步骤S5)，然后根据测试合格和不合格的次数来计算语音唤醒率(步骤S6)，使得依赖于步骤S1-S3计算的唤醒率(步骤S4-S6)与实车环境下真实的唤醒率差异较小。
在进一步的实施方案中，所述步骤S2中的被测车辆与所述步骤S1中的标准车辆为同一款车，所述步骤S1保存的音频文件包括在不同分贝值道路环境下、不同时间点采集的第1-第i音频文件，i≥2。
本方案：
限定实验室参与测试的被测车辆与步骤S1中的标准车辆为同一款车而不是同一辆车，从而针对每一种被测车型，只需进行一次实车行驶时噪声采集(步骤S1)，以缩减工作量；
限定步骤S1保存的音频文件包括在不同分贝值道路环境下、不同时间点采集的第1-第i音频文件，因为实车会行驶在各种各样的开放道路上，比如吵闹的市中心、安静的郊区等，而本方案的第1-第i音频文件主要是根据不同的升压级别划分，从而囊括了实车环境中各种分贝值下的噪声环境，测试更全面。
在进一步的实施方案中，在所述步骤S2中，所述预设分贝值的取值范围为[0,5dB]。
本方案进一步限定实验室的噪声分贝值在5dB以下，在可行的操作下该值越小越好，最好是0dB，以免在测试时加入了新的噪声，影响唤醒率的准确性。
在进一步的实施方案中，所述步骤S4具体包括：
S41.创建语音唤醒指令集，所述语音唤醒指令集包括第1-第m预设语音唤醒指令；
S42.向所述语音交互系统第1次输入所述第1预设语音唤醒指令；
S43.等待所述步骤S5完成后，关闭所述语音交互系统；
S44.向所述语音交互系统第2次输入所述第1预设语音唤醒指令，并再次执行所述步骤S43，直到向所述语音交互系统第n次输入所述第1预设语音唤醒指令，并完成所述步骤43后进入下一步；
S45.按照与所述步骤S42-S44相同的处理过程完成所述第2-第m预设指令向所述语音交互系统的各n次输出，m≥5，n≥100。
本方案：
创建语音唤醒指令集，包括第1-第m预设语音唤醒指令，可针对不同的语音唤醒功能进行测试，比如开启导航、播放音乐、打电话等，测试更为全面；
针对每一预设语音唤醒指令，都测试上百次(n≥100)，而测试次数越多，计算的唤醒率就越准确，但测试次数越多，工作量也越大。实际测试时，可根据具体的语音交互系统和测试需求而定。
在进一步的实施方案中，所述步骤S5具体包括：
S51.记录当前输入预设语音唤醒指令的完成时刻作为判定起始时刻；
S52.记录所述语音交互系统的响应信息；所述响应信息包括所述语音交互系统发出的声音和呈现的画面；
S53.根据所述响应信息分析所述语音交互系统正常响应的时刻作为判定结束时刻；
S54.将所述判定结束时刻与所述判定起始时刻作差，得到所述语音交互系统的响应时间段；
S55.判断所述响应时间段是否在规定的时间段之内，若是，则标记本次语音唤醒测试为合格；反之，若不一致，则标记为不合格。
本方案进一步将语音交互系统的响应时间段(输入预设语音唤醒指令的完成时刻至语音交互系统正常响应的启示时刻)与预设的时间段作对比，以判定本次测试合格或不合格。这是判断系统是否被正常唤醒的重要指标，只要在预设的时间段内未被唤醒，不管在预设时间段外是否被唤醒，都会被判定为不合格。随着用户对唤醒时间要求越来越短，预设的时间段也设置为越来越短，一般是3s以下。
在进一步的实施方案中，所述步骤S6具体包括：
S61.统计所述第1-第m预设语音唤醒指令对应的语音唤醒合格次数分别为P＝[P1P2 … Pm]，不合格次数分别为F＝[F1 F2 … Fm]，其中P1+F1＝P2+F2＝P3+F3＝…＝Pm+Fm＝n；
S62.根据公式D＝P/n＝[D1 D2 …Dm]计算对应预设语音唤醒指令的唤醒率。
本方案针对每一预设语音唤醒指令，通过计算测试合格的次数占测试总次数的比例得到其对应的唤醒率，实现了对不同语音唤醒功能的语音唤醒率计算。
本发明还提供一种语音唤醒率测试系统，应用于上述语音唤醒率测试方法，包括音频采集模块、音频播放模块、唤醒指令控制模块、系统响应采集模块和分析处理模块；
所述音频采集模块用于采集开放道路上驾驶标准车辆的车内噪声，保存为音频文件并传输至所述音频播放模块；
所述音频播放模块用于在被测车辆内原声播放采集的所述音频文件，播放的所述音频文件的分贝值与所述音频采集模块采集的所述音频文件的分贝值相同；所述被测车辆放置在预设分贝值下的实验室内，被测车辆的语音交互系统已被激活；
所述唤醒指令控制模块用于生成预设语音唤醒指令，并向所述语音交互系统输入；
所述系统响应采集模块用于采集在一所述预设语音唤醒指令完成输入后所述语音交互系统的响应信息；
所述分析处理模块用于获取所述响应信息，并根据所述响应信息判定此次测试为合格或不合格；还用于统计测试合格和不合格的次数，并根据测试合格和不合格的次数计算对应预设语音唤醒指令的语音唤醒率。
进一步地，所述系统响应采集模块包括图像采集模块和声音采集模块；
所述图像采集模块用于采集所述语音交互系统呈现的画面并向所述分析处理模块输入；
所述声音采集模块用于采集所述语音交互系统发出的声音并向所述分析处理模块输入。
本测试系统采用各个模块实现测试方法中的各个步骤，为测试方法提供硬件基础，便于方法实施。
本发明还提供一种测试设备，至少包括测试系统中所述的音频采集模块、音频播放模块、唤醒指令控制模块、图像采集模块、声音采集模块和分析处理模块中的一种模块。也即，将音频采集模块、音频播放模块、唤醒指令控制模块、图像采集模块、声音采集模块和分析处理模块单独做成设备，或者随意结合做成的各种设备，也都是上述方法在实施时的具象。
本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序用于被上述语音唤醒率测试系统或测试设备加载，以实现上述语音唤醒率测试方法。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random AccessMemory，RAM)等。
附图说明
图1为本发明实施例1提供的一种基于实车的语音唤醒率测试方法的步骤流程图；
图2为本发明实施例2提供的一种基于实车的语音唤醒率测试系统的模块结构图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例1
为高效且准确地测试得到实车环境下语音交互系统的唤醒率，本实施例提供一种基于实车的语音唤醒率测试方法，包括步骤S1-S6。
S1.采集开放道路上驾驶标准车辆的车内噪声，保存为音频文件。
本步骤保存的音频文件包括在不同分贝值道路环境下、不同时间点采集的第1-第i音频文件(i≥2)。因为实车会行驶在各种各样的开放道路上(本实施例匀速行驶40km/h)，比如吵闹的市中心、安静的郊区等，而本方案的第1-第i音频文件主要是根据不同的升压级别划分，从而囊括了实车环境中各种分贝值下的噪声环境，测试更全面。
参考下表1，为城市5类环境的噪声标准值，可见，环境噪声主要在40-70dB之间。
表1
| 环境类别 | 噪声标准值(单位：dB) |
| 0 | 40-50 |
| 1 | 45-55 |
| 2 | 50-60 |
| 3 | 55-65 |
| 4 | 55-70 |
噪声是使人感到不愉快的声音的总称，人们通常用声级计测量声波的大小，声级的单位是分贝(dB)。正常人刚能听到的最小的声音叫做听阈，听阈的声强为零分贝。人耳开始感到疼痛的声音叫做痛阈，痛阈为120分贝。日常声音的分贝：人们轻声耳语时为30分贝，一般交谈时为60分贝，大声吵嚷时为80～90分贝，火车、拖拉机为100分贝，大炮发射、飞机起飞为130分贝。
考虑车辆行驶时自身产生的一些噪声和一些极为安静和极为喧闹的极端情况，本实施例纳入的采集噪声在20-90dB之间，采集的各个音频文件所在的分贝值区间具体下表2所示。
表2
| 音频文件(i＝10) | 分贝值区间(单位：dB) |
| 第1音频文件 | 20-30 |
| 第2音频文件 | 30-35 |
| 第3音频文件 | 35-40 |
| 第4音频文件 | 40-45 |
| 第5音频文件 | 45-50 |
| 第6音频文件 | 50-55 |
| 第7音频文件 | 55-60 |
| 第8音频文件 | 60-70 |
| 第9音频文件 | 70-80 |
| 第10音频文件 | 80-90 |
S2.将被测车辆放置在预设分贝值下的实验室内，激活所述被测车辆的语音交互系统。
在本步骤中，所述预设分贝值的取值范围为[0,5dB]。实验室的噪声分贝值在5dB以下，在可行的操作下该值越小越好，最好是0dB，以免在测试时加入了新的噪声，影响唤醒率的准确性。本实施例搭建的实验室其噪声控制在2dB左右。并且在实验室参与测试的被测车辆与步骤S1中的标准车辆为同一款车而不是同一辆车，从而针对每一种被测车型，只需进行一次实车行驶时噪声采集(步骤S1)，以缩减工作量。
当语音交互系统被激活后，也即能够接收到语音唤醒指令并识别，以及做出相应的响应。
S3.在所述被测车辆内原声播放采集的所述音频文件，播放的所述音频文件的分贝值与步骤S1中采集的所述音频文件的分贝值相同。
实施本步骤，可使得实验室的噪声分贝值与步骤S1采集的噪声分贝值基本一致，从而实现了实车运行环境的还原，确保计算的语音唤醒率与真正实车环境下测试的语音唤醒率较为贴切。
S4.向所述语音交互系统多次输入预设语音唤醒指令，记录每次所述语音交互系统的响应信息。
本步骤具体包括：
S41.创建语音唤醒指令集，所述语音唤醒指令集包括第1-第m预设语音唤醒指令；
S42.向所述语音交互系统第1次输入所述第1预设语音唤醒指令；
S43.等待所述步骤S5完成后，关闭所述语音交互系统；
S44.向所述语音交互系统第2次输入所述第1预设语音唤醒指令，并再次执行所述步骤S43，直到向所述语音交互系统第n次输入所述第1预设语音唤醒指令，并完成所述步骤43后进入下一步；
S45.按照与所述步骤S42-S44相同的处理过程完成所述第2-第m预设指令向所述语音交互系统的各n次输出，m≥5，n≥100。
本步骤创建语音唤醒指令集，包括第1-第m预设语音唤醒指令，可针对不同的语音唤醒功能进行测试，比如开启导航、播放音乐、打电话等，测试更为全面；针对每一预设语音唤醒指令，都测试上百次(n≥100，不同的唤醒指令可以选择测试不同次数)，而测试次数越多，计算的唤醒率就越准确，但测试次数越多，工作量也越大。实际测试时，可根据具体的语音交互系统和测试需求而定。
在第5音频文件(45-50dB)的音频文件原声原音量级播放下的实验室，本实施例具体的预设语音唤醒指令设置和测试次数、响应信息等参考下表3。
表3
| 预设语音唤醒指令(m＝6) | 指令功能 | 测试次数 | 响应信息 |
| 第1预设语音唤醒指令 | 开启导航 | 200 | 导航界面 |
| 第2预设语音唤醒指令 | 打开收音机 | 200 | 收音界面或收音声 |
| 第3预设语音唤醒指令 | 播放音乐 | 200 | 音乐播放声 |
| 第4预设语音唤醒指令 | 打电话 | 200 | 通话界面 |
| 第5预设语音唤醒指令 | 播报温度 | 200 | 温度播报声 |
| 第6预设语音唤醒指令 | 播放视频 | 200 | 视频界面 |
S5.根据每次所述预设语音唤醒指令和对应的所述响应信息，判定此次测试为合格或不合格。
该步骤具体包括：
S51.记录当前输入预设语音唤醒指令的完成时刻作为判定起始时刻；
S52.记录所述语音交互系统的响应信息；所述响应信息包括所述语音交互系统发出的声音和呈现的画面；
S53.根据所述响应信息分析所述语音交互系统正常响应的时刻作为判定结束时刻；
S54.将所述判定结束时刻与所述判定起始时刻作差，得到所述语音交互系统的响应时间段；
S55.判断所述响应时间段是否在规定的时间段之内，若是，则标记本次语音唤醒测试为合格；反之，若不一致，则标记为不合格。
本步骤进一步将语音交互系统的响应时间段(输入预设语音唤醒指令的完成时刻至语音交互系统正常响应的启示时刻)与预设时间段作对比，以判定本次测试合格或不合格。这是判断系统是否被正常唤醒的重要指标，只要在预设的时间段内未被唤醒，不管在预设时间段外是否被唤醒，都会被判定为不合格。随着用户对唤醒时间要求越来越短，预设的时间段也设置为越来越短，一般是3s以下。
判定起始时刻如何理解？比如第1预设语音唤醒指令为“导航去xxx火车站”，则“站”字发声结束的那一时刻即为判定起始时刻。
判定结束时刻如何理解？比如检测系统打开了导航界面的那一时刻即为判定结束时刻。
需要注意的是，如果在规定的检测时间内，比如3s，语音交互系统没有任何响应或者响应错误(比如应该打开导航界面却打开了收音机)，则直接判定为测试失败。这种情况则无需计算对应语音唤醒指令的响应时间段。
S6.统计步骤S5中测试合格和不合格的次数，并根据测试合格和不合格的次数计算对应预设语音唤醒指令的语音唤醒率。
所述步骤S6具体包括：
S61.统计所述第1-第m预设语音唤醒指令对应的语音唤醒合格次数分别为P＝[P1P2 … Pm]，不合格次数分别为F＝[F1 F2 … Fm]，其中P1+F1＝P2+F2＝P3+F3＝…＝Pm+Fm＝n；
S62.根据公式D＝P/n＝[D1 D2 …Dm]计算对应预设语音唤醒指令的唤醒率。
结合上表3，本实施例的测试合格和不合格对对应唤醒率的具体情况可参考下表4。本实施例测试的语音交互系统以某车型语音交互系统为例(不便于公开)。
表4
参考表5，为对上述语音交互系统进行零部件级别测试(测试环境相同)的语音唤醒情况，其中P1’-P6’为对应的测试合格次数，D1’-D6’为对应的语音唤醒率。将表5与表4进行对比，可发现零部件级别测试的语音唤醒率均比实车测试高。而语音交互系统的实际应用均是在实车环境中，本实施例测得的语音唤醒率明显更加真实地反映语音交互系统的性能。
表5
综上所述，本实施例提供的一种基于实车的语音唤醒率测试方法，实现的有益效果在于：
以保存为音频文件的方式预先采集实车行驶噪声环境(步骤S1)，测试时在实验室预设分贝值下原声播放所述音频文件，以按照实车行驶噪声环境搭建实验室内噪声环境(步骤S2、S3)，使得语音测试环境符合语音交互系统实车使用状态，更加真实地反映语音交互系统的性能；
按照预设语音唤醒指令唤醒语音交互系统(步骤S4)，根据语音交互系统的响应来判定测试合格或不合格(步骤S5)，然后根据测试合格和不合格的次数来计算语音唤醒率(步骤S6)，使得依赖于步骤S1-S3计算的唤醒率(步骤S4-S6)与实车环境下真实的唤醒率差异较小。
实施例2
本实施例中说明书附图中的附图标记包括：音频采集模块1、音频播放模块2、唤醒指令控制模块3、系统响应采集模块4、分析处理模块5、图像采集模块41、声音采集模块42。
参见图2，本实施例提供一种语音唤醒率测试系统，应用于实施例1所述的一种语音唤醒率测试方法，包括音频采集模块1、音频播放模块2、唤醒指令控制模块3、系统响应采集模块4和分析处理模块5；
所述音频采集模块1用于采集开放道路上驾驶标准车辆的车内噪声，保存为音频文件并传输至所述音频播放模块2(用于执行实施例1中步骤S1)；
所述音频播放模块2用于在被测车辆内原声播放采集的所述音频文件，播放的所述音频文件的分贝值与所述音频采集模块1采集的所述音频文件的分贝值相同(用于执行实施例1中步骤S2)；所述被测车辆放置在预设分贝值下的实验室内，被测车辆的语音交互系统6已被激活(用于执行实施例1中步骤S3)；
所述唤醒指令控制模块3用于生成预设语音唤醒指令，并向所述语音交互系统6输入(用于执行实施例1中步骤S4)；
所述系统响应采集模块4用于采集在一所述预设语音唤醒指令完成输入后所述语音交互系统6的响应信息(用于执行实施例1中步骤S5)；
所述分析处理模块5用于获取所述响应信息，并根据所述响应信息判定此次测试为合格或不合格；还用于统计测试合格和不合格的次数，并根据测试合格和不合格的次数计算对应预设语音唤醒指令的语音唤醒率(用于执行实施例1中步骤S6)。
鉴于上述各个模块主要是用于执行实施例1中的各个步骤，而步骤S1-S6的更具体的内容实施例1已经说明，本实施例则不再赘述。
本实施例需要说明的是：
所述音频采集模块1基于其音频采集的功能可采用录音器。音频采集时在距离录音器2cm处放置一个声级计，用来记录原始音频的声压级。
所述音频播放模块2基于其音频播放功能可采用音乐播放器。音频回放时，在距离播放器2cm处同样放置一个声级计，回放前调试播放器音量使二者声压级一致。
所述唤醒指令控制模块3可采用第一电脑，该第一电脑上安装有语音合成软件，可以生成预设语音唤醒指令。
所述系统响应采集模块4包括图像采集模块41和声音采集模块42。
所述图像采集模块41用于采集所述语音交互系统6呈现的画面并向所述分析处理模块5输入，其可采用高帧工业相机，将拍摄的语音交互系统的显示画面实时地发送到所述分析处理模块5。
所述声音采集模块42用于采集所述语音交互系统6发出的声音并向所述分析处理模块5输入，其可采用拾音器。
所述分析处理模块5可采用第二电脑(可与第一电脑是同一个终端)，该第二电脑上安装有基于图像视觉技术和声音识别技术开发的分析处理程序。
本实施例所提供的测试系统采用各个模块实现测试方法中的各个步骤，为测试方法提供硬件基础，便于方法实施。
实施例3
本实施例提供一种测试设备，至少包括实施例2中测试系统中所述的音频采集模块1、音频播放模块2、唤醒指令控制模块3、图像采集模块41、声音采集模块42和分析处理模块5中的一种模块。也即，将音频采集模块1、音频播放模块2、唤醒指令控制模块3、图像采集模块41、声音采集模块42和分析处理模块5单独做成设备，或者随意结合做成的各种设备，也都是上述方法在实施时的具象。本实施例和实施例2的差别在于，本实施例侧重于保护一种设备，侧重于结构的完整性。比如普通的台式电脑办公系统包括显示模块和运算模块。而显示器作为显示模块的具象是一种设备，机箱作为运算模块的一种具象也是一种设备。也即，本实施例保护实施例1中任意一种模块单独做成的设备，也保护任意两种、三种、四种或全五种集成在一起的设备。
作为一种优选的实施方式，本实施例最后采用有音频采集模块1与音频播放模块2集成在一起的音频设备，采集和播放集成在一起可保护音频文件不因传输而受损。采用有唤醒指令控制模块3、分析处理模块5、图像采集模块41、声音采集模块42是集成在一起的电脑及其外围组件。分析处理模块5是电脑主机；唤醒指令控制模块3是电脑上搭载的软件，其可自动生成各种预设语音唤醒指令，还能进行播报；图像采集模块41是通过数据线连接电脑主机的高帧工业相机，与所述电脑主机连接进行数据传输，声音采集模块42是通过数据线连接电脑主机的录音器。
实施例4
本实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序用于被上述实施例2所述的语音唤醒率测试系统或实施例3所述测试设备加载，以实现上述实施例1所述的语音唤醒率测试方法。其中，存储介质可以是磁碟、光盘、只读存储器(Read OnlyMemory，ROM)或者随机存取器(Random Access Memory，RAM)等。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.一种基于实车的语音唤醒率测试方法，其特征在于，包括步骤：
S1.采集开放道路上驾驶标准车辆的车内噪声，保存为音频文件；
S2.将被测车辆放置在预设分贝值下的实验室内，激活所述被测车辆的语音交互系统；
S3.在所述被测车辆内原声播放采集的所述音频文件，播放的所述音频文件的分贝值与步骤S1中采集的所述音频文件的分贝值相同；
S4.向所述语音交互系统多次输入预设语音唤醒指令，记录每次所述语音交互系统的响应信息；
S5.根据每次所述预设语音唤醒指令和对应的所述响应信息，判定此次测试为合格或不合格；
S6.统计步骤S5中测试合格和不合格的次数，并根据测试合格和不合格的次数计算对应预设语音唤醒指令的语音唤醒率。
2.如权利要求1所述的一种基于实车的语音唤醒率测试方法，其特征在于：所述步骤S2中的被测车辆与所述步骤S1中的标准车辆为同一款车，所述步骤S1保存的音频文件包括在不同分贝值道路环境下、不同时间点采集的第1-第i音频文件，i≥2。
3.如权利要求1所述的一种基于实车的语音唤醒率测试方法，其特征在于：在所述步骤S2中，所述预设分贝值的取值范围为[0,5dB]。
4.如权利要求1所述的一种基于实车的语音唤醒率测试方法，其特征在于，所述步骤S4具体包括：
S41.创建语音唤醒指令集，所述语音唤醒指令集包括第1-第m预设语音唤醒指令；
S42.向所述语音交互系统第1次输入所述第1预设语音唤醒指令；
S43.等待所述步骤S5完成后，关闭所述语音交互系统；
S44.向所述语音交互系统第2次输入所述第1预设语音唤醒指令，并再次执行所述步骤S43，直到向所述语音交互系统第n次输入所述第1预设语音唤醒指令，并完成所述步骤43后进入下一步；
S45.按照与所述步骤S42-S44相同的处理过程完成所述第2-第m预设语音唤醒指令向所述语音交互系统的各n次输出，m≥5，n≥100。
5.如权利要求4所述的一种基于实车的语音唤醒率测试方法，其特征在于，所述步骤S5具体包括：
S51.记录当前输入预设语音唤醒指令的完成时刻作为判定起始时刻；
S52.记录所述语音交互系统的响应信息；所述响应信息包括所述语音交互系统发出的声音和呈现的画面；
S53.根据所述响应信息分析所述语音交互系统正常响应的时刻作为判定结束时刻；
S54.将所述判定结束时刻与所述判定起始时刻作差，得到所述语音交互系统的响应时间段；
S55.判断所述响应时间段是否在规定的时间段之内，若是，则标记本次语音唤醒测试为合格；反之，若不一致，则标记为不合格。
6.如权利要求5所述的一种基于实车的语音唤醒率测试方法，其特征在于，所述步骤S6具体包括：
S61.统计所述第1-第m预设语音唤醒指令对应的语音唤醒合格次数分别为P＝[P1P2…Pm]，不合格次数分别为F＝[F1 F2…Fm]，其中P1+F1＝P2+F2＝P3+F3＝…＝Pm+Fm＝n；
S62.根据公式D＝P/n＝[D1 D2…Dm]计算对应预设语音唤醒指令的唤醒率。
7.一种基于实车的语音唤醒率测试系统，应用于权利要求1-6所述的一种基于实车的语音唤醒率测试方法，其特征在于：包括音频采集模块、音频播放模块、唤醒指令控制模块、系统响应采集模块和分析处理模块；
所述音频采集模块用于采集开放道路上驾驶标准车辆的车内噪声，保存为音频文件并传输至所述音频播放模块；
所述音频播放模块用于在被测车辆内原声播放采集的所述音频文件，播放的所述音频文件的分贝值与所述音频采集模块采集的所述音频文件的分贝值相同；所述被测车辆放置在预设分贝值下的实验室内，被测车辆的语音交互系统已被激活；
所述唤醒指令控制模块用于生成预设语音唤醒指令，并向所述语音交互系统输入；
所述系统响应采集模块用于采集在一所述预设语音唤醒指令完成输入后所述语音交互系统的响应信息；
所述分析处理模块用于获取所述响应信息，并根据所述响应信息判定此次测试为合格或不合格；还用于统计测试合格和不合格的次数，并根据测试合格和不合格的次数计算对应预设语音唤醒指令的语音唤醒率。
8.如权利要求7所述的一种基于实车的语音唤醒率测试系统，其特征在于：所述系统响应采集模块包括图像采集模块和声音采集模块；
所述图像采集模块用于采集所述语音交互系统呈现的画面并向所述分析处理模块输入；
所述声音采集模块用于采集所述语音交互系统发出的声音并向所述分析处理模块输入。
9.一种测试设备，其特征在于：包括权利要求8所述的音频采集模块、音频播放模块、唤醒指令控制模块、图像采集模块、声音采集模块和分析处理模块中的至少一种模块。
10.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序用于被权利要求7-8任意一项权利要求所述的一种基于实车的语音唤醒率测试系统或权利要求9所述的一种设备加载，以实现权利要求1-6所述的一种基于实车的语音唤醒率测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560393.7A CN111739512A (zh) | 2020-06-18 | 2020-06-18 | 一种基于实车的语音唤醒率测试方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560393.7A CN111739512A (zh) | 2020-06-18 | 2020-06-18 | 一种基于实车的语音唤醒率测试方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111739512A true CN111739512A (zh) | 2020-10-02 |
Family
ID=72649782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010560393.7A Pending CN111739512A (zh) | 2020-06-18 | 2020-06-18 | 一种基于实车的语音唤醒率测试方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739512A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712821A (zh) * | 2020-12-24 | 2021-04-27 | 北京百度网讯科技有限公司 | 基于仿真的语音测试方法、装置、电子设备及存储介质 |
| CN112863545A (zh) * | 2021-01-13 | 2021-05-28 | 北京字节跳动网络技术有限公司 | 性能测试方法、装置、电子设备及计算机可读存储介质 |
| CN113470618A (zh) * | 2021-06-08 | 2021-10-01 | 阿波罗智联(北京)科技有限公司 | 唤醒测试的方法、装置、电子设备和可读存储介质 |
| CN113643704A (zh) * | 2021-08-18 | 2021-11-12 | 中国第一汽车股份有限公司 | 车机语音系统的测试方法、上位机、系统和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745731A (zh) * | 2013-12-31 | 2014-04-23 | 安徽科大讯飞信息科技股份有限公司 | 一种语音识别效果自动化测试系统及测试方法 |
| CN108511000A (zh) * | 2018-03-06 | 2018-09-07 | 福州瑞芯微电子股份有限公司 | 一种测试智能音箱唤醒词识别率的方法及系统 |
| CN108597494A (zh) * | 2018-03-07 | 2018-09-28 | 珠海格力电器股份有限公司 | 语音测试方法及装置 |
| CN109147761A (zh) * | 2018-08-09 | 2019-01-04 | 北京易诚高科科技发展有限公司 | 一种基于批量语音识别和tts文本合成的测试方法 |
| CN109192195A (zh) * | 2018-09-29 | 2019-01-11 | 深圳市微测检测有限公司 | 一种语音识别测试系统及方法 |
| CN109192193A (zh) * | 2018-08-14 | 2019-01-11 | 四川虹美智能科技有限公司 | 一种语音识别产品测试方法和测试装置 |
| CN109326305A (zh) * | 2018-09-18 | 2019-02-12 | 易诚博睿(南京)科技有限公司 | 一种批量测试语音识别和文本合成的方法和测试系统 |
| CN110136694A (zh) * | 2018-02-09 | 2019-08-16 | 上海鑫蓝海自动化科技有限公司 | 一种语音识别处理设备的测试装置 |
| CN110808029A (zh) * | 2019-11-20 | 2020-02-18 | 斑马网络技术有限公司 | 车机语音测试系统及方法 |
| CN110942768A (zh) * | 2019-11-20 | 2020-03-31 | Oppo广东移动通信有限公司 | 设备唤醒的测试方法、装置、移动终端和存储介质 |
| CN111246200A (zh) * | 2020-01-17 | 2020-06-05 | 四川长虹电器股份有限公司 | 智能电视唤醒率和误唤醒的自动化测试方法 |
-
2020
- 2020-06-18 CN CN202010560393.7A patent/CN111739512A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103745731A (zh) * | 2013-12-31 | 2014-04-23 | 安徽科大讯飞信息科技股份有限公司 | 一种语音识别效果自动化测试系统及测试方法 |
| CN110136694A (zh) * | 2018-02-09 | 2019-08-16 | 上海鑫蓝海自动化科技有限公司 | 一种语音识别处理设备的测试装置 |
| CN108511000A (zh) * | 2018-03-06 | 2018-09-07 | 福州瑞芯微电子股份有限公司 | 一种测试智能音箱唤醒词识别率的方法及系统 |
| CN108597494A (zh) * | 2018-03-07 | 2018-09-28 | 珠海格力电器股份有限公司 | 语音测试方法及装置 |
| CN109147761A (zh) * | 2018-08-09 | 2019-01-04 | 北京易诚高科科技发展有限公司 | 一种基于批量语音识别和tts文本合成的测试方法 |
| CN109192193A (zh) * | 2018-08-14 | 2019-01-11 | 四川虹美智能科技有限公司 | 一种语音识别产品测试方法和测试装置 |
| CN109326305A (zh) * | 2018-09-18 | 2019-02-12 | 易诚博睿(南京)科技有限公司 | 一种批量测试语音识别和文本合成的方法和测试系统 |
| CN109192195A (zh) * | 2018-09-29 | 2019-01-11 | 深圳市微测检测有限公司 | 一种语音识别测试系统及方法 |
| CN110808029A (zh) * | 2019-11-20 | 2020-02-18 | 斑马网络技术有限公司 | 车机语音测试系统及方法 |
| CN110942768A (zh) * | 2019-11-20 | 2020-03-31 | Oppo广东移动通信有限公司 | 设备唤醒的测试方法、装置、移动终端和存储介质 |
| CN111246200A (zh) * | 2020-01-17 | 2020-06-05 | 四川长虹电器股份有限公司 | 智能电视唤醒率和误唤醒的自动化测试方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712821A (zh) * | 2020-12-24 | 2021-04-27 | 北京百度网讯科技有限公司 | 基于仿真的语音测试方法、装置、电子设备及存储介质 |
| CN112863545A (zh) * | 2021-01-13 | 2021-05-28 | 北京字节跳动网络技术有限公司 | 性能测试方法、装置、电子设备及计算机可读存储介质 |
| CN112863545B (zh) * | 2021-01-13 | 2023-10-03 | 抖音视界有限公司 | 性能测试方法、装置、电子设备及计算机可读存储介质 |
| CN113470618A (zh) * | 2021-06-08 | 2021-10-01 | 阿波罗智联(北京)科技有限公司 | 唤醒测试的方法、装置、电子设备和可读存储介质 |
| EP4102499A1 (en) * | 2021-06-08 | 2022-12-14 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Wakeup testing method and apparatus, electronic device and readable storage medium |
| JP2022187977A (ja) * | 2021-06-08 | 2022-12-20 | アポロ インテリジェント コネクティヴィティ （ベイジン） テクノロジー カンパニー リミテッド | ウェイクアップテスト方法、装置、電子機器、及び読み取り可能な記憶媒体 |
| CN113643704A (zh) * | 2021-08-18 | 2021-11-12 | 中国第一汽车股份有限公司 | 车机语音系统的测试方法、上位机、系统和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739512A (zh) | 一种基于实车的语音唤醒率测试方法、系统、设备及介质 | |
| US11017799B2 (en) | Method for processing voice in interior environment of vehicle and electronic device using noise data based on input signal to noise ratio | |
| CN111724782B (zh) | 一种车载语音交互系统的响应时间测试系统、方法及设备 | |
| US8407057B2 (en) | Machine, system and method for user-guided teaching and modifying of voice commands and actions executed by a conversational learning system | |
| CN111798852B (zh) | 语音唤醒识别性能测试方法、装置、系统及终端设备 | |
| CN110459212A (zh) | 音量控制方法及设备 | |
| CN110602624B (zh) | 音频测试方法、装置、存储介质及电子设备 | |
| MX2008016354A (es) | Deteccion de una maquina contestadora utilizando reconocimiento de dialogo. | |
| CN109712608B (zh) | 多音区唤醒测试方法、装置及存储介质 | |
| CN109361995B (zh) | 一种电器设备的音量调节方法、装置、电器设备和介质 | |
| EP4102499A1 (en) | Wakeup testing method and apparatus, electronic device and readable storage medium | |
| CN111785298A (zh) | 声学性能测试方法及装置、电子设备、计算机可读介质 | |
| CN110475181A (zh) | 设备配置方法、装置、设备和存储介质 | |
| CN113643704A (zh) | 车机语音系统的测试方法、上位机、系统和存储介质 | |
| CN108829370B (zh) | 有声资源播放方法、装置、计算机设备及存储介质 | |
| US10818298B2 (en) | Audio processing | |
| CN113225659A (zh) | 设备测试方法及电子设备 | |
| KR102488319B1 (ko) | 오디오 인식 방법, 오디오 인식 장치, 전자 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램 | |
| US20210090577A1 (en) | Computer-implement voice command authentication method and electronic device | |
| CN111767083B (zh) | 误唤醒音频数据的收集方法、播放设备、电子设备、介质 | |
| CN111767083A (zh) | 误唤醒音频数据的收集方法、播放设备、电子设备、介质 | |
| CN114360523A (zh) | 关键词数据集获取、模型训练方法、装置、设备及介质 | |
| CN115171664A (zh) | 语音唤醒方法、装置、智能语音设备、车辆及存储介质 | |
| US20210233546A1 (en) | Amplitude-independent window sizes in audio encoding | |
| CN115050366A (zh) | 一种语音识别方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |
|
| RJ01 | Rejection of invention patent application after publication |