CN113707129B - 物联网设备中语音模块的自动化测试方法 - Google Patents
物联网设备中语音模块的自动化测试方法 Download PDFInfo
- Publication number
- CN113707129B CN113707129B CN202111003200.9A CN202111003200A CN113707129B CN 113707129 B CN113707129 B CN 113707129B CN 202111003200 A CN202111003200 A CN 202111003200A CN 113707129 B CN113707129 B CN 113707129B
- Authority
- CN
- China
- Prior art keywords
- wake
- message
- test
- test equipment
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 196
- 230000004044 response Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000003993 interaction Effects 0.000 claims description 4
- 238000010998 test method Methods 0.000 abstract description 4
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000004378 air conditioning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种物联网设备中语音模块的自动化测试方法,包括:S110、测试设备播放唤醒词;S120、语音模块对监听到的唤醒词进行识别,在识别成功后进入唤醒状态,向测试设备发送唤醒消息,播放应答语音,发送第一提醒消息;S130、测试设备接收唤醒消息和第一提醒消息,进入S140;S140、测试设备播放命令词;S150、语音模块对监听到的命令词进行识别,将识别结果发送至测试设备,播放应答语音,发送第二提醒消息;S160、测试设备接收识别结果和第二提醒消息,判断是否满足预设条件,若是则当前命令词对应的测试过程有效,并保存识别结果。本发明可以避免干扰识别结果降低整体的识别率,提高对其测试识别率的准确度。
Description
技术领域
本说明书一个或多个实施例涉及物联网设备技术领域,尤其涉及一种物联网设备中语音模块的自动化测试方法。
背景技术
随着物联网技术的发展,目前出现了很多具有语音识别功能模块的物联网设备,例如,空调。但是由于其软硬件不同,价格不同,其语音识别的能力存在很大差距,抗干扰的能力不同,在不同环境中语音识别率是不同的。
目前,在智能语音识别领域出现了一些自动化、半自动化的测试方法,但是这些方法的测试准确率都存在一定的问题,并不能真实反映语音识别功能模块的识别率,特别是在噪音干扰的情况下,尤其是识别能力比较差的语音识别功能模块。
发明内容
本说明书一个或多个实施例描述了一种物联网设备中语音模块的自动化测试方法。
本发明提供了一种物联网设备中语音模块的自动化测试方法,包括:
S110、在测试设备与物联网设备中的语音模块进行时间戳同步之后,所述测试设备播放唤醒词;
S120、所述语音模块对监听到的唤醒词进行识别,在识别成功后进入唤醒状态,向所述测试设备发送用于表示所述语音模块进入所述唤醒状态的唤醒消息,播放所述唤醒词对应的应答语音,并在该应答语音播放完成后向所述测试设备发送第一提醒消息,所述第一提醒消息用于表示所述唤醒词对应的应答语音已播放完成;
S130、若所述测试设备在播放所述唤醒词后的预设时长内接收到所述唤醒消息和所述第一提醒消息,则进入S140;
S140、所述测试设备播放命令词;
S150、所述语音模块对监听到的命令词进行识别,将识别结果发送至所述测试设备,播放所述命令词对应的应答语音,并在该应答语音播放完成后向所述测试设备发送第二提醒消息,所述第二提醒消息用于表示所述命令词对应的应答语音已播放完成;
S160、若所述测试设备在播放所述命令词后的预设时长内接收到所述识别结果和所述第二提醒消息,则判断所述识别结果对应的时间戳是否满足预设条件,若是,则当前命令词对应的测试过程有效,并保存所述识别结果;所述预设条件包括:所述识别结果对应的时间戳大于所述命令词播放完成时对应的时间戳且小于所述第二提醒消息对应时间戳;其中,所述测试设备和所述语音模块之间的各个交互信息中均包含对应的时间戳。
本说明书实施例提供的物联网设备中语音模块的自动化测试方法,通过在交互消息中添加时间戳,然后根据时间戳判断是否满足预设条件,进而判断识别结果是否为干扰识别结果还是有效识别结果,后续可以只针对有效的识别结果判断识别正确与否,从而避免干扰识别结果降低整体的识别率,尤其是针对识别能力较差的语音模块,可以大大提高对其测试识别率的准确度,因为识别能力较差的语音模块受噪音干扰的影响比较大。除了消息中添加时间戳之外,本发明设置了唤醒状态消息、第一提醒消息、第二提醒消息等多种交互消息,从而保证两者交互状态是匹配的,大大降低测试设备播放语音但是语音模块无法监听的情况发生,顺利执行测试过程。可见,本发明解决了待测的物联网设备在容易被干扰的情况下(例如,识别能力较低的语音模块在嘈杂的测试环境中,语音模块受到噪音干扰而关闭麦克风造成无法监听到测试设备播放的唤醒词或命令词),语音模块的识别率不准确的问题。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书一个实施例中物联网设备中语音模块的自动化测试方法的流程示意图;
图2~4是本说明书一个实施例中PC端的测试程序和被测设备之间的交互示意图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
第一方面,本发明提供一种物联网设备中语音模块的自动化测试方法,如图1~4所示,该方法包括:
S110、在测试设备与物联网设备中的语音模块进行时间戳同步之后,所述测试设备播放唤醒词;
可理解的是,测试设备和物联网设备进行时间戳同步的作用是保证两者进行信息交互时信息中携带的时间戳对于两个设备均有参考价值。
其中,唤醒词的作用是唤醒语音模块,使语音模块进入唤醒状态。在语音模块处于唤醒状态时,对语音模块进行测试。例如,测试设备播放唤醒词为“小美同学”。
可理解的是,在整个测试过程中涉及到的两个硬件包括测试设备和待测试的物联网设备,例如,空调。测试设备是通过安装在其上的测试设备进行整个测试流程。
S120、所述语音模块对监听到的唤醒词进行识别,在识别成功后进入唤醒状态,向所述测试设备发送用于表示所述语音模块进入所述唤醒状态的唤醒消息,播放所述唤醒词对应的应答语音,并在该应答语音播放完成后向所述测试设备发送第一提醒消息,所述第一提醒消息用于表示所述唤醒词对应的应答语音已播放完成;
也就是说,当测试设备播放唤醒词后,语音模块对监听到的唤醒词进行识别,在识别出是唤醒词之后,由待唤醒状态进入唤醒状态,并且会向测试设备发送唤醒消息,从而告知测试设备“语音模块进入所述唤醒状态”。当语音模块进入唤醒状态后,会播放应答语音,例如,测试设备对空调播放的唤醒词为“小美同学”,语音模块播放的应答语音为“在的”。在应答语音播放完成后,语音模块会像测试设备发送第一提醒消息,从而告知测试设备“所述唤醒词对应的应答语音已播放完成”。
S130、若所述测试设备在播放所述唤醒词后的预设时长内接收到所述唤醒消息和所述第一提醒消息,则进入S140;
可理解的是,测试设备在播放唤醒词后可以开始计时,如果在预设时长内接收到了唤醒消息和第一提醒消息,说明语音模块进入了唤醒状态并且已经播放了应答语音,此时可以针对预先设置的多个命令词依次进行测试。
S140、所述测试设备播放命令词;
其中,命令词在不同的物联网设备中的具体内容不同,例如,针对空调,命令词可以有“升高温度”、“开启除湿模式”、“开启制冷模式”、“将温度下调至25°”等。针对智能电视,命令词可以有“跳到CCTV6”、“调大声音”等。
针对每一个物联网设备,都可以预先设置多个命令词,然后针对每一个命令词进行下文中的测试,在一个命令词测试成功后进入下一个命令词的测试,直到所有的命令词均测试完成。
S150、所述语音模块对监听到的命令词进行识别,将识别结果发送至所述测试设备,播放所述命令词对应的应答语音,并在该应答语音播放完成后向所述测试设备发送第二提醒消息,所述第二提醒消息用于表示所述命令词对应的应答语音已播放完成;
也就是说,当语音模块监听到命令词之后,会进行识别,并且把识别结果发送给测试设备,然后播放对应的应答语音,在应答语音播放完成后,向测试设备发送第二提醒消息,从而告知测试设备“命令词对应的应答语音已播放完成”。
S160、若所述测试设备在播放所述命令词后的预设时长内接收到所述识别结果和所述第二提醒消息,则判断所述识别结果对应的时间戳是否满足预设条件,若是,则当前命令词对应的测试过程有效,并保存所述识别结果;所述预设条件包括:所述识别结果对应的时间戳大于所述命令词播放完成时对应的时间戳且小于所述第二提醒消息对应时间戳;其中,所述测试设备和所述语音模块之间的各个交互信息中均包含对应的时间戳。
可理解的是,当测试设备在播放命令词后开始计时,如果在预设时长内接收到识别结果和第二提醒消息,则进一步根据时间戳进行判断。具体为:判断所述识别结果对应的时间戳是否大于所述命令词播放完成时对应的时间戳且小于所述第二提醒消息对应时间戳。由于测试设备先播放命令词,然后语音模块发送识别结果,在识别结果发送完成后发送第二提醒消息,因此所述识别结果对应的时间戳应该大于所述命令词播放完成时对应的时间戳且小于所述第二提醒消息对应时间戳,如果不满足这个条件,说明播放的命令词、识别结果或者第二提醒消息之间不是对应的,可能是对干扰噪音识别后引发的识别结果、第二提醒消息等,所以这里采用预设条件进行判断。
如果满足上述预设条件,则说明依据当前命令词进行的测试是有效的,可以记录识别结果。这里说的有效并不是说识别结果是正确的,在这里并不对识别结果的正确与否进行判断,这里只是筛选出有效测试,当然下文中也提到了无效测试、失败测试等,只有有效测试对应的识别结果才有意义,因此后续在完成所有的命令词测试后,可以进一步区分识别结果的正确与否,进而确定语音模块的识别正确率。
在具体实施时,所述S160中还包括:若所述识别结果对应的时间戳不满足所述预设条件,则当前命令词对应的测试过程无效,并将所述识别结果记录为干扰识别结果,并返回S110以重新进行唤醒以及依据当前命令词重新进行测试。
也就是说,如果不满足上述预设条件,则说明针对当前命令词的测试过程是无效的,识别结果记录为干扰识别结果,然后S110中,重新开始进行唤醒操作和对当前命令词进行测试操作。
可理解的是,如果在嘈杂的环境中进行测试,语音模块监听到的命令词有可能是噪音,而非测试设备播放的命令词,所以语音模块返回识别结果、返回第二提醒消息的时间戳与命令词播放完成对应的时间戳可能会不满足上述预设条件。所以通过这种方式确定哪些信息是由于干扰引起的,从而避免在干扰噪音影响下语音模块的测试识别率与真实识别率不符的情况发生。
在具体实施时,所述S130还可以包括:若所述测试设备播放所述唤醒词后的预设时长内未接收到所述唤醒消息和所述第一提醒消息,则记录本次唤醒失败,并返回S110重新进行唤醒。
也就是说,如果测试设备在播放唤醒词后的预设时长内没有接收到唤醒消息和第一提醒消息,说明语音模块没有监听到唤醒词、关闭了麦克风或者其它原因,所以此时认为唤醒失败,可以重新进行唤醒,如果多次唤醒都失败,则结束本方法,可以提供工作人员进行硬件检查,检查没有问题之后再次进行测试。
在具体实施时,所述S150中还可以包括:若所述语音模块在发送所述第一提醒消息后的预设时长内未监听到所述命令词,则退出唤醒状态,向所述测试设备发送用于表示退出所述唤醒状态的退出唤醒消息。
也就是说,如果语音模块在发送第一提醒消息后,由于处于唤醒状态却没有监听到命令词,说明测试设备没有播放命令词,此时可能是测试设备的测试程序出现问题,因此此时语音模块可以退出唤醒状态,同时向测试设备发送退出唤醒消息,以通知测试设备。
在具体实施时,所述S160还可以包括:若所述测试设备在播放所述命令词后的预设时长内未接收到所述识别结果和所述第二提醒消息,则记录为本次测试失败。
也就是说,如果测试设备在播放命令词之后,却没有在规定时间内收到识别结果和第二提醒消息,说明语音模块没有监听到、无法识别、识别出来了但是发送信息的时间晚于规定时间等,语音模块内的程序可能存在问题,所以记录识别失败,此时可以回到S110重新测试,也可以结束测试,对语音模块进行检查。
在具体实施时,语音模块可以采用单轮语音模式,也可以采用多轮语音模式。单轮语音模式为:语音模块在唤醒后,测试设备播放一个命令词,语音模块识别完成发送相关信息后就会退出唤醒状态,下一个命令词需要重新唤醒。多轮语音模式为:提前设置一个预设时长,语音模块在唤醒后,开始计时,语音模块识别一个命令词,并发送相关信息后,计时归零,重新开始计时;再监听识别下一个命令词并发送相关信息后,预设时长归零,重新开始计时。
当所述语音模块为单轮语音模式时,所述S150还包括:在发送所述第二提醒消息后,所述语音模块退出唤醒状态,向所述测试设备发送用于表示退出所述唤醒状态的退出唤醒消息,以使所述测试设备在进行下一个命令词的测试或对当前命令词重新进行测试时返回S110以重新进行唤醒。
其中,语音模块在退出唤醒状态时一定会发送退出唤醒消息以通知测试设备。当测试设备知道语音模块为单轮模式且接收到了退出唤醒消息后,在需要进入下一个命令词的测试或者对当前命令词重新进行测试时会重新进行唤醒。
当所述语音模块为多轮语音模式时,所述S160还可以包括:在所述测试设备保存所述识别结果之后,若未接收到来自所述语音模块的退出唤醒消息,则返回S140以进行下一个命令词的测试。当然,如果接收到来自语音模块的退出唤醒消息,则需要返回S110重新进行唤醒并进行下一个命令词的测试。
在具体实施时,所述S150可以包括:所述语音模块在发送所述第二提醒消息后,将唤醒状态对应的计时周期的计时清零,重新开始计时,若在一个计时周期内没有监听到语音,则退出唤醒状态,并发送退出唤醒状态消息至测试设备。
也就是说,在多轮模式下,如果语音模块发送了第二提醒消息后,便对计时周期的计时清零,重新开始计时。如果测试设备接收到退出唤醒消息,则需要返回到S110重新进行唤醒,并继续进行测试。
针对多轮模式,本发明中的S130可以具体包括:所述测试设备在发送所述唤醒词的预设时长内接收到所述唤醒消息和所述第一提醒消息后,判断所述唤醒消息的时间戳是否小于所述第一提醒消息的时间戳,若是,则进入 S140。
也就是说,测试设备在接收到唤醒消息和第一提醒消息之后,在进入 S140之前,先根据时间戳进行判断,具体为判断唤醒消息的时间戳是否小于第一提醒消息的时间戳,因为语音模块首先发送唤醒消息,然后再发送第一提醒消息,因此唤醒消息的时间戳一定会小于第一提醒消息的时间戳。而如果唤醒消息的时间戳大于第一提醒消息的时间戳,则说明唤醒消息和第一提醒消息有可能针对的唤醒词不同,必然有个消息针对的不是真实的唤醒词,可能是干扰噪音,所以此时不能进入S140。通过这一步骤再次派出了干扰噪音的影响。
在具体实施时,本发明提供的方法还可以包括:
若所述测试设备在播放所述唤醒词或所述命令词的过程中,接收到所述语音模块返回的任一消息,则中止播放,将所述任一消息记录为干扰无效消息,并返回到S110中以重新进行唤醒和依据当前命令词进行测试。
也就是说,在测试设备在播放唤醒词或者命令词的过程中就接收到了语音模块返回的消息,说明语音模块返回的消息并不是针对测试设备此时所播放的命令词或播放词而做出的反馈,很有可能是语音模块识别了嘈杂环境中的干扰噪音而发出了反馈消息,因此此时需要中止播放过程,重新回到第一步进行重新唤醒和重新对当前的命令词进行测试。
在图2中给出了一个有效测试的流程图。在图3中,如果测试程序接收到的消息是识别结果,则记录为干扰识别,实际上此时无论接收到的是何种消息会认为是干扰消息。在图4中,测试程序如果超时接收到唤醒消息、识别结果等,都认为本次测试失败。
举例来说,空调中文语音模块为CI1003,是一种语音识别并能够语音应答的模块,语音模块为单轮语音模式。测试程序用唤醒词唤醒语音模块后,播放一个命令词,待测设备识别一次命令词后,自动退出唤醒状态的对话模式,在下一个命令词测试时需要重新唤醒。测试设备为Windows 10 PC端,并在PC端上部署了测试程序。测试设备的主要功能是:播放唤醒词、命令词、接收空调中文语音模块发出的唤醒消息、出唤醒消息、应答语音播放结束消息(即第一提醒消息、第二提醒消息)、识别结果。空调中文语音模块的主要功能是:监听识别唤醒词、命令词、播放应答语音、发送第一提醒消息和第二提醒消息、发出唤醒消息和退出唤醒消息。测试设备和空调中文语音模块通过串口通信,启动后先进行时间戳的同步,而且在所有的消息中均包含时间戳。具体的流程大致包括:
第一步:测试设备播放唤醒词,空调中文语音模块监听语音,识别成功后发送唤醒消息,播放应答语音,并发送第一提醒消息。
第二步:测试设备在规定时间内接收串口消息,如果超时未收到唤醒消息和第一提醒消息,则记录唤醒失败,返回到第一步重新进行唤醒。
第三步:测试设备按照配置数据播放命令词,空调中文语音模块监听语音并识别结果,发送识别结果到测试设备,并播放应答语音,播放完成后发送第二提醒消息到测试设备,在发送完成后,测试设备退出唤醒状态,向所述测试设备发送退出唤醒消息。
第四步:测试设备在规定时间内接收串口消息,如果识别结果的时间戳大于播放命令词完成的时间戳且小于第二提醒消息的时间戳,则测试结果有效,记录本次测试有效,保存识别结果。由于测试设备接收到退出唤醒消息,因此返回到第一步并测试下一个命令词。否则不满足上述大小关系,则本次测试无效,记录为干扰识别,回到第一步测试重新唤醒并测试当前命令词。如果超时未收到识别结果消息和第二提醒消息,则本次测试失败,并记录为识别失败。
举例来说,空调中文语音模块为多轮模式,空调中文语音模块在识别一个命令词之后不退出唤醒状态,而是将唤醒状态对应的计时周期的计时清零,重新开始计时。测试设备的主要功能是:播放唤醒词、命令词、接收空调中文语音模块发出的唤醒消息、退出唤醒消息、第一提醒消息、第二提醒消息、识别结果。空调中文语音模块的主要功能是:监听识别测试设备播放的语音词条、播放应答语音、发送唤醒消息和退出唤醒消、第一提醒消息、第二提醒消息到测试程设备。测试设备通过串口和空调中文语音模块的调试串口通信,启动后同步时间戳。两个设备之间的所有消息均包括发送消息时的时间戳。测试设备在播放命令词或唤醒词过程中,收到任何消息,均为无效消息并重新回到第一步。具体步骤大致包括:
第一步:测试设备播放唤醒词,空调中文语音模块监听语音,识别成功后发送唤醒消息,播放应答语音,发送第一提醒消息。
第二步:测试设备在规定时间内接收串口消息,判断唤醒消息对应的时间戳是否小于第一提醒消息的时间戳,若是,则进入第三步;如果超时未收到唤醒消息和第一提醒消息,则记录唤醒失败,并返回到第一步。
第三步:测试设备按照配置数据播放命令词,空调中文语音模块监听语音并识别结果,发送识别结果到测试设备,播放应答语音,播放完成后发送第二提醒消息到测试设备,空调中文语音模块监听将唤醒状态对应的计时周期的计时清零,重新开始计时;如果在一个计时周期内没有监听到语音,则退出唤醒状态,并发送退出唤醒状态消息给测试设备。
第四步:测试设备在规定时间内接收串口消息,如果识别结果的时间戳大于播放命令词完成的时间戳小于第二提醒消息的时间戳,则本次测试有效,记录识别结果,继续第三步继续测试下一个命令词。如果不满足上述条件,则记录本次测试无效,记录为干扰识别,回到第一步测试重新唤醒并测试当前命令词。如果超时未收到识别结果和第二提醒消息,则记录为本次测试失败。
可理解的是,本发明主要涉及测试设备和待测试的物联网设备,两个设备通过串口建立通讯连接,测试设备上的测试程序按照配置数据播放预先设定好的唤醒词和命令词,并且通过串口接收来自物联网设备的反馈信息,例如,唤醒消息、识别结果、应答语音播放完成的提醒消息、退出唤醒消息等。进而对这些消息进行分析,确定有效的识别结果,进而可以根据有效的识别结果的正确与否,判断物联网设备的语音模块的识别率(即正确识别率)。
其中,物联网设备对测试程序播放的唤醒词、命令词进行监听,对唤醒词、命令词进行识别,进而将唤醒消息、识别结果、应答语音播放完成的提醒消息等发送给测试设备。
在实际中,在有背景噪音的测试环境中,识别能力较差的语音模块,分辨噪音和测试音的能力较差,因此经常会收到噪音的干扰,从而导致测试出来的识别率与语音模块真实的识别率不同,导致测试出来的识别率的准确度较低,进而参考价值较低,对语音模块造成错误评价。而本发明中通过在交互消息中添加时间戳,然后根据时间戳判断是否满足预设条件,进而判断识别结果是否为干扰识别结果还是有效识别结果,后续可以只针对有效的识别结果判断识别正确与否,从而避免干扰识别结果降低整体的识别率,尤其是针对识别能力较差的语音模块,可以大大提高对其测试识别率的准确度,因为识别能力较差的语音模块受噪音干扰的影响比较大。
在有背景噪音的测试环境中,还存在一种问题,例如,当测试设备唤醒语音模块之后,语音模块识别到干扰噪音,而进入应答语音状态,此状态下有些语音模块会关闭麦克风,这就导致语音模块无法监听到测试设备播放的语音,导致语音模块无法反馈相应的消息,导致测试失败。这种问题是两者状态不匹配造成的。本发明在消息中添加时间戳,并且设置了唤醒状态消息、应答语音播放完成消息等多种交互消息,从而保证两者交互状态是匹配的,大大降低测试设备播放语音但是语音模块无法监听的情况发生,顺利执行测试过程。
可见,本发明主要解决了待测的物联网设备在容易被干扰的情况下(例如,识别能力较低的语音模块在嘈杂的测试环境中,语音模块受到噪音干扰而关闭麦克风造成无法监听到测试设备播放的唤醒词或命令词),语音模块的识别率不准确的问题,通过实验,本发明可以将识别准确率提升20%~50%左右。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (8)
1.一种物联网设备中语音模块的自动化测试方法,其特征在于,包括:
S110、在测试设备与物联网设备中的语音模块进行时间戳同步之后,所述测试设备播放唤醒词;
S120、所述语音模块对监听到的唤醒词进行识别,在识别成功后进入唤醒状态,向所述测试设备发送用于表示所述语音模块进入所述唤醒状态的唤醒消息,播放所述唤醒词对应的应答语音,并在该应答语音播放完成后向所述测试设备发送第一提醒消息,所述第一提醒消息用于表示所述唤醒词对应的应答语音已播放完成;
S130、若所述测试设备在播放所述唤醒词后的预设时长内接收到所述唤醒消息和所述第一提醒消息,则进入S140;
S140、所述测试设备播放命令词;
S150、所述语音模块对监听到的命令词进行识别,将识别结果发送至所述测试设备,播放所述命令词对应的应答语音,并在该应答语音播放完成后向所述测试设备发送第二提醒消息,所述第二提醒消息用于表示所述命令词对应的应答语音已播放完成;
S160、若所述测试设备在播放所述命令词后的预设时长内接收到所述识别结果和所述第二提醒消息,则判断所述识别结果对应的时间戳是否满足预设条件,若是,则当前命令词对应的测试过程有效,并保存所述识别结果;所述预设条件包括:所述识别结果对应的时间戳大于所述命令词播放完成时对应的时间戳且小于所述第二提醒消息对应时间戳;其中,所述测试设备和所述语音模块之间的各个交互信息中均包含对应的时间戳;
其中,所述S160中还包括:若所述识别结果对应的时间戳不满足所述预设条件,则当前命令词对应的测试过程无效,并将所述识别结果记录为干扰识别结果,并返回S110以重新进行唤醒以及依据当前命令词重新进行测试;
其中,所述方法还包括:若所述测试设备在播放所述唤醒词或所述命令词的过程中,接收到所述语音模块返回的任一消息,则中止播放,将所述任一消息记录为干扰无效消息,并返回到S110中以重新进行唤醒和依据当前命令词进行测试。
2.根据权利要求1所述的方法,其特征在于,所述S130还包括:若所述测试设备播放所述唤醒词后的预设时长内未接收到所述唤醒消息和所述第一提醒消息,则记录本次唤醒失败,并返回S110重新进行唤醒。
3.根据权利要求1所述的方法,其特征在于,所述S150中还包括:若所述语音模块在发送所述第一提醒消息后的预设时长内未监听到所述命令词,则退出唤醒状态,向所述测试设备发送用于表示退出所述唤醒状态的退出唤醒消息。
4.根据权利要求1所述的方法,其特征在于,所述S160还包括:若所述测试设备在播放所述命令词后的预设时长内未接收到所述识别结果和所述第二提醒消息,则记录为本次测试失败。
5.根据权利要求1所述的方法,其特征在于,所述语音模块为单轮语音模式;所述S150还包括:在发送所述第二提醒消息后,所述语音模块退出唤醒状态,向所述测试设备发送用于表示退出所述唤醒状态的退出唤醒消息,以使所述测试设备在进行下一个命令词的测试或对当前命令词重新进行测试时返回S110以重新进行唤醒。
6.根据权利要求1所述的方法,其特征在于,所述语音模块为多轮语音模式;所述S160中还包括:在所述测试设备保存所述识别结果之后,若未接收到来自所述语音模块的退出唤醒消息,则返回S140以进行下一个命令词的测试。
7.根据权利要求6所述的方法,其特征在于,所述S150包括:所述语音模块在发送所述第二提醒消息后,将唤醒状态对应的计时周期的计时清零,重新开始计时,若在一个计时周期内没有监听到语音,则退出唤醒状态,并发送退出唤醒状态消息至测试设备。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
S130具体包括:所述测试设备在发送所述唤醒词的预设时长内接收到所述唤醒消息和所述第一提醒消息后,判断所述唤醒消息的时间戳是否小于所述第一提醒消息的时间戳,若是,则进入S140。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111003200.9A CN113707129B (zh) | 2021-08-30 | 2021-08-30 | 物联网设备中语音模块的自动化测试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111003200.9A CN113707129B (zh) | 2021-08-30 | 2021-08-30 | 物联网设备中语音模块的自动化测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113707129A CN113707129A (zh) | 2021-11-26 |
CN113707129B true CN113707129B (zh) | 2023-06-23 |
Family
ID=78656691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111003200.9A Active CN113707129B (zh) | 2021-08-30 | 2021-08-30 | 物联网设备中语音模块的自动化测试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113707129B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114724545A (zh) * | 2022-03-22 | 2022-07-08 | 青岛海尔空调器有限总公司 | 用于测试空调的方法及装置、测试系统、存储介质 |
CN115188369A (zh) * | 2022-09-09 | 2022-10-14 | 北京探境科技有限公司 | 语音识别率测试方法、系统、芯片、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109243425A (zh) * | 2018-08-13 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 语音识别测试方法、装置、系统、计算机设备及存储介质 |
CN109859764A (zh) * | 2019-01-04 | 2019-06-07 | 四川虹美智能科技有限公司 | 一种语音控制方法和智能家电 |
CN110379410A (zh) * | 2019-07-22 | 2019-10-25 | 苏州思必驰信息科技有限公司 | 语音响应速度自动分析方法及系统 |
CN110401622A (zh) * | 2018-04-25 | 2019-11-01 | 中国移动通信有限公司研究院 | 一种语音质量评估方法、装置、电子设备和存储介质 |
CN111415684A (zh) * | 2020-03-18 | 2020-07-14 | 歌尔微电子有限公司 | 语音模组的测试方法、装置及计算机可读存储介质 |
US10891959B1 (en) * | 2016-07-01 | 2021-01-12 | Google Llc | Voice message capturing system |
CN112908318A (zh) * | 2019-11-18 | 2021-06-04 | 百度在线网络技术(北京)有限公司 | 智能音箱的唤醒方法、装置、智能音箱及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9698999B2 (en) * | 2013-12-02 | 2017-07-04 | Amazon Technologies, Inc. | Natural language control of secondary device |
-
2021
- 2021-08-30 CN CN202111003200.9A patent/CN113707129B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10891959B1 (en) * | 2016-07-01 | 2021-01-12 | Google Llc | Voice message capturing system |
CN110401622A (zh) * | 2018-04-25 | 2019-11-01 | 中国移动通信有限公司研究院 | 一种语音质量评估方法、装置、电子设备和存储介质 |
CN109243425A (zh) * | 2018-08-13 | 2019-01-18 | 百度在线网络技术(北京)有限公司 | 语音识别测试方法、装置、系统、计算机设备及存储介质 |
CN109859764A (zh) * | 2019-01-04 | 2019-06-07 | 四川虹美智能科技有限公司 | 一种语音控制方法和智能家电 |
CN110379410A (zh) * | 2019-07-22 | 2019-10-25 | 苏州思必驰信息科技有限公司 | 语音响应速度自动分析方法及系统 |
CN112908318A (zh) * | 2019-11-18 | 2021-06-04 | 百度在线网络技术(北京)有限公司 | 智能音箱的唤醒方法、装置、智能音箱及存储介质 |
CN111415684A (zh) * | 2020-03-18 | 2020-07-14 | 歌尔微电子有限公司 | 语音模组的测试方法、装置及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
蒋红梅 ; 刘沛 ; .基于SYN7318的语音控制家居系统设计.科技视界.2018,(第11期),全文. * |
陈林.语音家电全双工对话技术测试方法研究.《热点追踪》.2021,全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113707129A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113707129B (zh) | 物联网设备中语音模块的自动化测试方法 | |
CN109671426B (zh) | 一种语音控制方法、装置、存储介质及空调 | |
CN110942768A (zh) | 设备唤醒的测试方法、装置、移动终端和存储介质 | |
WO2019137345A1 (zh) | 与轮胎压力监测系统建立通信连接的方法、其装置及电子设备 | |
JP2011040886A (ja) | 診断装置および診断システム | |
CN111294652A (zh) | 智能电视故障在线诊断方法、装置及控制器 | |
CN112289345B (zh) | 一种可视化智能终端语音诊断的方法 | |
CN113347058A (zh) | 汽车整车can网络周期一致性的测试方法及系统 | |
CN110139153B (zh) | 一种视频播放状态检测及播放控制方法与系统 | |
CN107105100B (zh) | 移动终端游戏的监控方法和系统 | |
CN109086185B (zh) | 一种存储集群的故障检测方法、装置、设备及存储介质 | |
CN110456769A (zh) | 车辆故障诊断方法及系统 | |
CN111121232A (zh) | 一种空调产线检测方法、装置及计算机可读存储介质 | |
CN112309430A (zh) | 家电设备及其自检方法和装置 | |
WO2016040143A1 (en) | Smart plug and play automatic obd-ii system tester | |
CN109558279A (zh) | 一种串口数据接收方法以及异常监测定位方法 | |
CN115361434A (zh) | 一种分布式系统高负载情况下的多路径心跳检测方法 | |
CN112860555B (zh) | 一种软件远程升级验证测试装置和方法 | |
CN114157590A (zh) | 一种网卡测试方法、装置、设备及计算机可读存储介质 | |
CN114840422A (zh) | 测试方法、装置、电子设备及存储介质 | |
CN113593549A (zh) | 确定语音设备的唤醒率的方法及装置 | |
CN108279663A (zh) | 车辆错误信号的控制系统及控制方法、存储介质 | |
WO2023207327A1 (zh) | 语音识别准确性的检测方法、装置、设备及存储介质 | |
CN113114387B (zh) | 一种自动测试方法、装置、介质及电子设备 | |
CN106844125B (zh) | 待测试机台除错信息的自动录制装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |