CN110992932B - 一种自学习的语音控制方法、系统及存储介质 - Google Patents
一种自学习的语音控制方法、系统及存储介质 Download PDFInfo
- Publication number
- CN110992932B CN110992932B CN201911321657.7A CN201911321657A CN110992932B CN 110992932 B CN110992932 B CN 110992932B CN 201911321657 A CN201911321657 A CN 201911321657A CN 110992932 B CN110992932 B CN 110992932B
- Authority
- CN
- China
- Prior art keywords
- voice
- voice instruction
- instruction words
- self
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种自学习的语音控制方法、系统及存储介质，所述方法包括：实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果中的语音指令词后与语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；若匹配不成功则对该语音指令词进行标记，并上传至云端后台；当云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片，完成语音指令词的自学习；在接收更新指令后，将新增的语音指令词关联至对应的场景联动模式。本发明能够深度学习用户日常语音指令习惯从而更新语音指令词，提高用户语音控制体验。
Description
技术领域
本发明涉及智能家居技术领域，尤其涉及一种自学习的语音控制方法、系统及存储介质。
背景技术
随着语音识别技术的发展，已经越来越多的设备嵌入语音识别交互技术，用户可以通过语音在线控制相应的灯光、窗帘、空调等家用设备，实现语音的分布式操控。现在市面上的语音识别技术分为在线语音和离线语音。
但是，在对现有技术的研究与实践的过程中，本发明的发明人发现，目前市面上的离线语音识别系统需要用户先制定固定的指令词，在厂家通过频繁指令词训练后，在语音MCU处理器上进行运算从而实现基本的识别功能，不仅耗时和耗费人力，并且指令词训练过程繁琐而且不够人性化。
发明内容
本发明实施例所要解决的技术问题在于，提供一种自学习的语音控制方法、系统及存储介质，能够基于用户日常使用的语音习惯更新语音指令词。
为解决上述问题，本发明的一个实施例提供一种自学习的语音控制方法，至少包括如下步骤：
当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果；
根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；
若匹配不成功，则对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；
当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习；
在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。
进一步地，所述自学习的语音控制方法，还包括：
预先采集用户录入的语音指令词后，通过语音识别算法先后进行前端处理和声学特征提取处理，得到对应的声学特征数据；
对所述声学特征数据进行解码处理，构建WFST搜索空间模型，生成语音指令词列表后保存至DSP语音处理芯片中。
进一步地，所述实时采集用户的语音输入信号，还包括：
通过双麦克风拾音器进行目标语音信号和环境音的采集，并采用双麦降噪算法进行降噪采集。
进一步地，所述构建WFST搜索空间模型还包括声学模型训练，具体为：
在获取语料集合对应的文字集后，将获得的文字集进行格式化处理，在音频文件中提取声学特征数据并进行单因素训练后，将得到的音频信息和文字信息进行对齐训练，训练得到音频参数。
进一步地，所述前端处理，具体为：
将通过麦克风装置采集的语音信号转化为语音数据流，传输至DSP语音处理芯片；
通过所述DSP语音处理芯片将所接收的语音数据流进行语音格式转码处理，将语音数据流转换成对应格式的语音文件；
对转码后的语音文件进行端点检测，检测得到转码后的语音文件中的有效语音信息。
进一步地，所述声学特征提取处理，具体为：
将通过所述前端处理后的语音信号进行切割，得到若干针的语音信号；
通过傅里叶变换算法计算每针语音信号中包含的能量值、基音频谱、共振峰值和短时过零率，并建立声学特征数学模型。
进一步地，所述解码处理，具体为：
通过DSP语音处理芯片中的解码模块对提取的声学特征数据进行解码处理，并采用发音字典、声学模型和语言模型建立WFST搜索空间模型。
本发明的一个实施例还提供了一种自学习的语音控制系统，包括：
语音识别模块，用于当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果；
指令匹配模块，用于根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；
自学习模块，用于当语音指令词匹配不成功时，对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习；
指令更新模块，用于在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。
进一步地，所述自学习的语音控制系统，还包括：
预处理模块，用于预先采集用户录入的语音指令词后，通过语音识别算法先后进行前端处理和声学特征提取处理，得到对应的声学特征数据；
语音指令词列表模块，用于对所述声学特征数据进行解码处理，构建WFST搜索空间模型，生成语音指令词列表后保存至DSP语音处理芯片中。
本发明的另一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的自学习的语音控制方法。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的一种自学习的语音控制方法、系统及存储介质，所述方法包括：当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果；根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；若匹配不成功，则对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习；在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。本发明能够深度学习用户日常语音指令习惯，生成基于用户习惯的语音指令词至语音控制系统，无需进行繁琐的语音指令词训练过程，并解决目前固定离线式指令词在语音识别方面灵活性较低的问题，提高用户体验。
附图说明
图1是本发明第一实施例提供的一种自学习的语音控制方法的流程示意图；
图2是本发明第一实施例提供的实现自学习的语音控制方法的流程示意图；
图3是本发明第一实施例提供的实现自学习的语音控制方法的电路装置的结构示意图；
图4是本发明第二实施例提供的一种自学习的语音控制系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一实施例：
请参阅图1-3。
如图1所示，本实施例提供了一种自学习的语音控制方法，至少包括如下步骤：
S101、当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果。
具体的，对于步骤S101，如图2所示，当用户说出该设备的语音唤醒词，唤醒语音设备的时候就开始实时采集用户的语音信号。通过语音MCU进行分析和翻译成指令词存储在MCU的存储器上进行标记，当设备的语音采集系统采集到用户的语音指令词以后，通过语音信号模数转换电路，将语音模拟信号转换成数字信号后输入到语音处理专用DSP芯片，DSP芯片运用语音识别算法软件在语音DSP芯片内进行语音识别，先后进行前端处理、特征提取、模型训练和解码四个步骤。采集的每一句语音首先被麦克风拾音后成为语音数据流进入DSP芯片后，最先由前端处理，前端处理是先进行语音格式转码将数据流转成PCM或者WAV格式的语音，然后进行端点检测，将转码后语音中的有效语音检测出来，最后将前端处理得到的分段语音数据送入特征提取模块，进行声学特征提取，最后解码模块对提取的特征数据进行解码，解码过程中利用发音字典，声学模型，语言模型等信息构建WFST搜索空间，在搜索空间内寻找匹配概率最大的最优路径，得到最优的识别结果。
S102、根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令。
具体的，对于步骤S102，根据上一步得到的最优识别结果进行分析，将最优识别结果中识别得到语音指令词与本地存储的语音指令词列表中已有的指令词进行逐条比对，若比对结果一致则输出语音控制指令至对应的设备进行语音控制，以使设备根据语音控制指令进行驱动。
S103、若匹配不成功，则对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储。
具体的，对于步骤S103，若比对结果不一致，则将该指令信息标记，并上传至云端后台进行存储，而本地设备则不执行动作。
S104、当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习。
具体的，对于步骤S104，当云端后台检测该语音信息的标记次数达到10次后，自动下载到存储语音芯片内部，完成一次学习过程。
S105、在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。
具体的，对于步骤S105，当用户打开APP时，则会提示用户有新的指令词，是否需要关联进场景，用户确定后即可将语音面板生成的指令词关联到场景形成用户习惯的指令。例如设备当前默认的场景语音指令词是“回家模式”，实际上用户喜欢用“我回家了”代替“回家模式”这种生硬的交互模式，当设备标记“我回家了”超过10次则自动生成该指令词完成用户习惯的学习。
在优选的实施例中，所述自学习的语音控制方法，还包括：
预先采集用户录入的语音指令词后，通过语音识别算法先后进行前端处理和声学特征提取处理，得到对应的声学特征数据；
对所述声学特征数据进行解码处理，构建WFST搜索空间模型，生成语音指令词列表后保存至DSP语音处理芯片中。
具体的，用户通过设备的语音采集系统预先录入相关语音指令词，通过语音信号模数转换电路，将语音模拟信号转换成数字信号后输入至语音处理专用的DSP芯片中，DSP芯片运用语音识别算法软件分别进行前端处理、特征提取、模型训练和解码处理，构建WFST搜索空间，生成语音指令词列表后存储至本地。
在优选的实施例中，所述实时采集用户的语音输入信号，还包括：
通过双麦克风拾音器进行目标语音信号和环境音的采集，并采用双麦降噪算法进行降噪采集。
具体的，通过配置了两个电容式麦克风，第一麦克风用于采集人声，第二麦克风用于采集环境音，其中第一麦克风是主话筒，用于拾取人与设备对话的语音，第二麦克风是背景声拾音话筒，通常安装在设备的底部或者顶部，并且远离第一麦克风，两个麦克风在内部有主板隔离。正常语音交互时，用户嘴巴靠近第一麦克风或者声源距离与第一麦克风接近，产生较大的音频信号Va，与此同时，第二麦克风也会得到一些语音信号Vb，但Vb要比Va小得多，这两个信号输入语音前端处理器，其输入端是个差分放大器，也就是把两路信号相减后再放大，于是得到的信号是Vm＝Va-Vb。如果在使用环境中有背景噪音，因为音源是远离设备的，所以到达设备的两个麦克风时声波的强度几乎是一样的，也就是Va≈Vb，于是对于背景噪音，两个麦克风虽然都拾取背景噪音了，但Vm＝Va-Vb≈0，从上面的分析可以看出，这样的设计可以有效地抵御设备周边的环境噪声干扰，大大提高正常语音对话的清晰度。
在优选的实施例中，所述前端处理，具体为：
将通过麦克风装置采集的语音信号转化为语音数据流，传输至DSP语音处理芯片；
通过所述DSP语音处理芯片将所接收的语音数据流进行语音格式转码处理，将语音数据流转换成对应格式的语音文件；
对转码后的语音文件进行端点检测，检测得到转码后的语音文件中的有效语音信息。
具体的，一句语音首先被麦克风拾音后成为语音数据流进入DSP最先由前端处理，前端处理是先进行语音格式转码将数据流转成PCM或者WAV格式的语音，然后进行端点检测，检测转码后语音中的有效语音。
在优选的实施例中，所述声学特征提取处理，具体为：
将通过所述前端处理后的语音信号进行切割，得到若干针的语音信号；
通过傅里叶变换算法计算每针语音信号中包含的能量值、基音频谱、共振峰值和短时过零率，并建立声学特征数学模型。
具体的，将前端处理得到的分段语音数据送入声学特征提取模块，进行声学特征提取，由于语音信号是短时平稳信号，首先将声音信号切成一针一针的，每针大约20～30MS，每针语音信号包含数个语音信号的基本周期，再通过傅里叶变换计算把语音信号中包含的能量值、基音频谱、共振峰值和短时过零率计算出来，建立数学模型。
在优选的实施例中，所述解码处理，具体为：
通过DSP语音处理芯片中的解码模块对提取的声学特征数据进行解码处理，并采用发音字典、声学模型和语言模型建立WFST搜索空间模型。
具体的，解码模块对提取的特征数据进行解码，解码过程中利用发音字典，声学模型，语言模型等信息构建WFST搜索空间，通过加权有限状态转换器基于半环代数理论，在状态转移弧上设置有输入符号、输出符号以及对应的权重值。在语音识别中，输入可能是发声的声韵母，输出是一个个汉字或词语。在搜索空间内寻找匹配概率最大的最优路径，WFST的计算过程虽然都有一个路径能输出最优结果，但是需要在所有的路径中找到最短的路径，使得语音识别的效率提高，并提高准确率，便得到最优的识别结果。
在优选的实施例中，所述构建WFST搜索空间模型还包括声学模型训练，具体为：
在获取语料集合对应的文字集后，将获得的文字集进行格式化处理，在音频文件中提取声学特征数据并进行单因素训练后，将得到的音频信息和文字信息进行对齐训练，训练得到音频参数。
具体的，在采集到的语音指令进行声学特征提取后，将提取出的语音指令片段进行声学模型训练，本实施例中声学模型训练基于目前的圣经网络算法构架，将前端的特征提取出来的语音频谱作为神经网路算法的输入。其中，声学模型的训练步骤如下：1、获取语料集和对应的文字集；2、将获得的文字集进行格式化；3、从音频文件提取声学特征；4、单因素训练；5、将音频和文字对齐训练得到音频参数，最终得到指令词对应的信号信息。
如图3所示，本实施例还提供了一种实现自学习的语音控制方法的电路装置，包括第一麦克风、第二麦克风、AD转DC电源模块、语音主控MCU、按键模块、喇叭和WIFI模组，所述第一麦克风和第二麦克风，用于实现目标语音信号的采集以及环境音的采集并利用算法实现双麦降噪功能；所述语音主控MCU，用于实现语音信号的分析，学习以及控制信号的输出；所述WIFI模组，用于实现与云端的通讯，进而实现手机APP的控制；所述AC转DC电源模块，用于实现强电转弱点的功能，弱点供给语音模块和WIFI模块；所述实体按键模块用于实现场景本地一键操作。
设备预先已默认有一套可控制场景或者设备的语音指令词，当用户对着面板说出固定的指令词，设备即可执行相应的控制动作。比如用户对着面板说：“我回来了。”，面板执行开灯。如果当用户改变了语音内容，说：“我下班了。”此时此刻面板不会执行动作，麦克风会将该没有的语音拾音收集，通过语音MCU进行分析和翻译成指令词存储在MCU的存储器上进行标记，当下一次用户还是说出了该指令词，则再次标注记忆该指令，通过自学习生成该指令词，并通过WIFI通讯上传至服务器，当用户打开APP时，则会提示用户有新的指令词，是否需要关联进场景，用户确定后即可将语音面板生成的指令词关联到场景形成用户习惯的指令。
本发明实施例提供的一种自学习的语音控制方法，包括：当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果；根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；若匹配不成功，则对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习；在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。本发明能够深度学习用户日常语音指令习惯，生成基于用户习惯的语音指令词至语音控制系统，无需进行繁琐的语音指令词训练过程，并解决目前固定离线式指令词在语音识别方面灵活性较低的问题，提高用户体验。
本发明第二实施例：
如图4所示，本实施例提供了一种自学习的语音控制系统，包括：
语音识别模块100，用于当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果。
具体的，对于语音识别模块100，当用户说出该设备的语音唤醒词，唤醒语音设备的时候就开始实时采集用户的语音信号。通过语音MCU进行分析和翻译成指令词存储在MCU的存储器上进行标记，当设备的语音采集系统采集到用户的语音指令词以后，通过语音信号模数转换电路，将语音模拟信号转换成数字信号后输入到语音处理专用DSP芯片，DSP芯片运用语音识别算法软件在语音DSP芯片内进行语音识别，先后进行前端处理、特征提取、模型训练和解码四个步骤。采集的每一句语音首先被麦克风拾音后成为语音数据流进入DSP芯片后，最先由前端处理，前端处理是先进行语音格式转码将数据流转成PCM或者WAV格式的语音，然后进行端点检测，将转码后语音中的有效语音检测出来，最后将前端处理得到的分段语音数据送入特征提取模块，进行声学特征提取，最后解码模块对提取的特征数据进行解码，解码过程中利用发音字典，声学模型，语言模型等信息构建WFST搜索空间，在搜索空间内寻找匹配概率最大的最优路径，得到最优的识别结果。
指令匹配模块200，用于根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令。
具体的，对于指令匹配模块200，根据最优识别结果进行分析，将最优识别结果中识别得到语音指令词与本地存储的语音指令词列表中已有的指令词进行逐条比对，若比对结果一致则输出语音控制指令至对应的设备进行语音控制，以使设备根据语音控制指令进行驱动。
自学习模块300，用于当语音指令词匹配不成功时，对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习。
具体的，对于自学习模块300，若比对结果不一致，则将该指令信息标记，并上传至云端后台进行存储，而本地设备则不执行动作。当云端后台检测该语音信息的标记次数达到10次后，自动下载到存储语音芯片内部，完成一次学习过程。
指令更新模块400，用于在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。
具体的，对于指令更新模块400，当用户打开APP时，则会提示用户有新的指令词，是否需要关联进场景，用户确定后即可将语音面板生成的指令词关联到场景形成用户习惯的指令。例如设备当前默认的场景语音指令词是“回家模式”，实际上用户喜欢用“我回家了”代替“回家模式”这种生硬的交互模式，当设备标记“我回家了”超过10次则自动生成该指令词完成用户习惯的学习。
在优选的实施例中，所述自学习的语音控制系统，，还包括：
预处理模块，用于预先采集用户录入的语音指令词后，通过语音识别算法先后进行前端处理和声学特征提取处理，得到对应的声学特征数据；
语音指令词列表模块，用于对所述声学特征数据进行解码处理，构建WFST搜索空间模型，生成语音指令词列表后保存至DSP语音处理芯片中。
具体的，对于预处理模块和语音指令词列表模块，用户通过设备的语音采集系统预先录入相关语音指令词，通过语音信号模数转换电路，将语音模拟信号转换成数字信号后输入至语音处理专用的DSP芯片中，DSP芯片运用语音识别算法软件分别进行前端处理、特征提取、模型训练和解码处理，构建WFST搜索空间，生成语音指令词列表后存储至本地。
本发明实施例提供的一种自学习的语音控制系统，包括：语音识别模块，用于当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果；指令匹配模块，用于根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；自学习模块，用于当语音指令词匹配不成功时，对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习；指令更新模块，用于在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。本发明能够深度学习用户日常语音指令习惯，生成基于用户习惯的语音指令词至语音控制系统，无需进行繁琐的语音指令词训练过程，并解决目前固定离线式指令词在语音识别方面灵活性较低的问题，提高用户体验。
本发明的另一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的一种自学习的语音控制方法。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述模块的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (10)
1.一种自学习的语音控制方法，其特征在于，至少包括如下步骤：
当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果；
根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；
若匹配不成功，则对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；
当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习；
在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。
2.根据权利要求1所述的自学习的语音控制方法，其特征在于，还包括：
预先采集用户录入的语音指令词后，通过语音识别算法先后进行前端处理和声学特征提取处理，得到对应的声学特征数据；
对所述声学特征数据进行解码处理，构建WFST搜索空间模型，生成语音指令词列表后保存至DSP语音处理芯片中。
3.根据权利要求1所述的自学习的语音控制方法，其特征在于，所述实时采集用户的语音输入信号，还包括：
通过双麦克风拾音器进行人声和环境音的采集，并采用双麦降噪算法进行降噪采集得到所述语音输入信号；其中，所述环境音的声源远离所述双麦克风拾音器，所述双麦克风拾音器采集到的环境音的声波强度相同，所述人声距离所述双麦克风拾音器中的一个麦克风拾音器较近，所述双麦克风拾音器采集到的人声的声波强度不同，所述双麦降噪算法为根据所述双麦克风拾音器采集到的人声和环境音的声波强度计算得到所述语音输入信号。
4.根据权利要求1所述的自学习的语音控制方法，其特征在于，所述构建WFST搜索空间模型还包括声学模型训练，具体为：
在获取语料集合对应的文字集后，将获得的文字集进行格式化处理，在音频文件中提取声学特征数据并进行单音素训练后，将得到的音频信息和文字信息进行对齐训练，训练得到音频参数。
5.根据权利要求1所述的自学习的语音控制方法，其特征在于，所述前端处理，具体为：
将所述语音输入信号转化为语音数据流，传输至DSP语音处理芯片；
通过所述DSP语音处理芯片将所接收的语音数据流进行语音格式转码处理，将语音数据流转换成对应格式的语音文件；
对转码后的语音文件进行端点检测，检测得到转码后的语音文件中的有效语音信息。
6.根据权利要求1所述的自学习的语音控制方法，其特征在于，所述声学特征提取处理，具体为：
将通过所述前端处理后的语音信号进行切割，得到若干帧的语音信号；
通过傅里叶变换算法计算每帧语音信号中包含的能量值、基音频谱、共振峰值和短时过零率，并建立声学特征数学模型。
7.根据权利要求2所述的自学习的语音控制方法，其特征在于，所述解码处理，具体为：
通过DSP语音处理芯片中的解码模块对所述声学特征数据进行解码处理，并采用发音字典、声学模型和语言模型建立WFST搜索空间模型。
8.一种自学习的语音控制系统，其特征在于，包括：
语音识别模块，用于当用户通过语音唤醒词唤醒设备后，实时采集用户的语音输入信号，先后经过前端处理、声学特征提取处理和解码处理，并通过构建WFST搜索空间模型筛选匹配概率最高的最优路径，得到最优识别结果；
指令匹配模块，用于根据所述最优识别结果中的语音指令词与本地预存的语音指令词列表进行匹配，若匹配成功则输出对应的语音控制指令；
自学习模块，用于当语音指令词匹配不成功时，对所述最优识别结果中的语音指令词进行标记，并上传至云端后台后进行存储；当所述云端后台检测存在超过预设标记次数的语音指令词后，自动下载该语音指令词至DSP语音处理芯片中，完成语音指令词的自学习；
指令更新模块，用于在接收用户发送的更新语音指令词的指令后，将新增的语音指令词更新至所述语音指令词列表，并关联至对应的场景联动模式。
9.根据权利要求8所述的自学习的语音控制系统，其特征在于，还包括：
预处理模块，用于预先采集用户录入的语音指令词后，通过语音识别算法先后进行前端处理和声学特征提取处理，得到对应的声学特征数据；
语音指令词列表模块，用于对所述声学特征数据进行解码处理，构建WFST搜索空间模型，生成语音指令词列表后保存至DSP语音处理芯片中。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7任一项所述的自学习的语音控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911321657.7A CN110992932B (zh) | 2019-12-18 | 2019-12-18 | 一种自学习的语音控制方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911321657.7A CN110992932B (zh) | 2019-12-18 | 2019-12-18 | 一种自学习的语音控制方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110992932A CN110992932A (zh) | 2020-04-10 |
| CN110992932B true CN110992932B (zh) | 2022-07-26 |
Family
ID=70065722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911321657.7A Active CN110992932B (zh) | 2019-12-18 | 2019-12-18 | 一种自学习的语音控制方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110992932B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3125124A1 (en) * | 2020-07-24 | 2022-01-24 | Comcast Cable Communications, Llc | Systems and methods for training voice query models |
| CN118332213A (zh) * | 2020-09-29 | 2024-07-12 | 博泰车联网科技(上海)股份有限公司 | 脚本执行方法、装置、电子设备及存储介质 |
| CN113096653A (zh) * | 2021-03-08 | 2021-07-09 | 谭维敏 | 一种基于人工智能的个性化口音语音识别方法及系统 |
| CN113284489B (zh) * | 2021-04-16 | 2024-07-09 | 珠海格力电器股份有限公司 | 一种语音设备控制方法、装置、存储介质及语音设备 |
| CN113362820A (zh) * | 2021-05-26 | 2021-09-07 | 北京奇艺世纪科技有限公司 | 语音信息响应方法、装置、电子设备和存储介质 |
| CN113421567A (zh) * | 2021-08-25 | 2021-09-21 | 江西影创信息产业有限公司 | 基于智能眼镜的终端设备控制方法、系统及智能眼镜 |
| CN113838464B (zh) * | 2021-09-24 | 2024-07-19 | 浪潮金融信息技术有限公司 | 一种智能语音交互系统、方法及介质 |
| CN115294976A (zh) * | 2022-06-23 | 2022-11-04 | 中国第一汽车股份有限公司 | 一种基于车载语音场景的纠错交互方法、系统及其车辆 |
| CN118053426B (zh) * | 2024-04-16 | 2024-07-05 | 深圳市轻生活科技有限公司 | 一种互联互控的智能无线开关及其离线语音控制系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903619A (zh) * | 2012-12-28 | 2014-07-02 | 安徽科大讯飞信息科技股份有限公司 | 一种提高语音识别准确率的方法及系统 |
| CN104978964A (zh) * | 2014-04-14 | 2015-10-14 | 美的集团股份有限公司 | 语音控制指令纠错方法和系统 |
| CN105161099A (zh) * | 2015-08-12 | 2015-12-16 | 恬家（上海）信息科技有限公司 | 一种语音控制的遥控装置及其实现方法 |
| CN106814639A (zh) * | 2015-11-27 | 2017-06-09 | 富泰华工业（深圳）有限公司 | 语音控制系统及方法 |
| CN107195300A (zh) * | 2017-05-15 | 2017-09-22 | 珠海格力电器股份有限公司 | 语音控制方法和系统 |
| CN107644638A (zh) * | 2017-10-17 | 2018-01-30 | 北京智能管家科技有限公司 | 语音识别方法、装置、终端和计算机可读存储介质 |
| CN108831439A (zh) * | 2018-06-27 | 2018-11-16 | 广州视源电子科技股份有限公司 | 语音识别方法、装置、设备和系统 |
| CN109036391A (zh) * | 2018-06-26 | 2018-12-18 | 华为技术有限公司 | 语音识别方法、装置及系统 |
| CN109671434A (zh) * | 2019-02-18 | 2019-04-23 | 成都启英泰伦科技有限公司 | 一种语音设备及自学习语音识别方法 |
| CN109727593A (zh) * | 2018-12-25 | 2019-05-07 | 广东乐芯智能科技有限公司 | 一种语音控制的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101556594B1 (ko) * | 2009-01-14 | 2015-10-01 | 삼성전자 주식회사 | 신호처리장치 및 신호처리장치에서의 음성 인식 방법 |
| CN104616655B (zh) * | 2015-02-05 | 2018-01-16 | 北京得意音通技术有限责任公司 | 声纹模型自动重建的方法和装置 |
| US10417566B2 (en) * | 2016-05-22 | 2019-09-17 | Microsoft Technology Licensing, Llc | Self-learning technique for training a PDA component and a simulated user component |
-
2019
- 2019-12-18 CN CN201911321657.7A patent/CN110992932B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903619A (zh) * | 2012-12-28 | 2014-07-02 | 安徽科大讯飞信息科技股份有限公司 | 一种提高语音识别准确率的方法及系统 |
| CN104978964A (zh) * | 2014-04-14 | 2015-10-14 | 美的集团股份有限公司 | 语音控制指令纠错方法和系统 |
| CN105161099A (zh) * | 2015-08-12 | 2015-12-16 | 恬家（上海）信息科技有限公司 | 一种语音控制的遥控装置及其实现方法 |
| CN106814639A (zh) * | 2015-11-27 | 2017-06-09 | 富泰华工业（深圳）有限公司 | 语音控制系统及方法 |
| CN107195300A (zh) * | 2017-05-15 | 2017-09-22 | 珠海格力电器股份有限公司 | 语音控制方法和系统 |
| CN107644638A (zh) * | 2017-10-17 | 2018-01-30 | 北京智能管家科技有限公司 | 语音识别方法、装置、终端和计算机可读存储介质 |
| CN109036391A (zh) * | 2018-06-26 | 2018-12-18 | 华为技术有限公司 | 语音识别方法、装置及系统 |
| CN108831439A (zh) * | 2018-06-27 | 2018-11-16 | 广州视源电子科技股份有限公司 | 语音识别方法、装置、设备和系统 |
| CN109727593A (zh) * | 2018-12-25 | 2019-05-07 | 广东乐芯智能科技有限公司 | 一种语音控制的方法 |
| CN109671434A (zh) * | 2019-02-18 | 2019-04-23 | 成都启英泰伦科技有限公司 | 一种语音设备及自学习语音识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110992932A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992932B (zh) | 一种自学习的语音控制方法、系统及存储介质 | |
| CN109817213B (zh) | 用于自适应语种进行语音识别的方法、装置及设备 | |
| CN108962255B (zh) | 语音会话的情绪识别方法、装置、服务器和存储介质 | |
| CN108320733B (zh) | 语音数据处理方法及装置、存储介质、电子设备 | |
| CN108182937B (zh) | 关键词识别方法、装置、设备及存储介质 | |
| CN107329996B (zh) | 一种基于模糊神经网络的聊天机器人系统与聊天方法 | |
| CN107799126A (zh) | 基于有监督机器学习的语音端点检测方法及装置 | |
| CN107016993A (zh) | 一种智能家居的语音交互系统及方法 | |
| CN110853618A (zh) | 一种语种识别的方法、模型训练的方法、装置及设备 | |
| CN109949808A (zh) | 兼容普通话和方言的语音识别家电控制系统和方法 | |
| CN103700370A (zh) | 一种广播电视语音识别系统方法及系统 | |
| CN102111314A (zh) | 一种基于蓝牙传输的智能家居语音控制系统及方法 | |
| CN101923854A (zh) | 一种交互式语音识别系统和方法 | |
| WO2016173132A1 (zh) | 语音识别方法、装置及用户设备 | |
| CN102404278A (zh) | 一种基于声纹识别的点歌系统及其应用方法 | |
| CN111048085A (zh) | 基于zigbee无线技术的离线式语音控制方法、系统及存储介质 | |
| CN112562681B (zh) | 语音识别方法和装置、存储介质 | |
| CN105788596A (zh) | 一种语音识别电视控制方法及系统 | |
| CN110782896A (zh) | 一种基于语音控制的测量仪器测试系统及方法 | |
| CN111833878A (zh) | 基于树莓派边缘计算的中文语音交互无感控制系统和方法 | |
| CN110728993A (zh) | 一种变声识别方法及电子设备 | |
| CN114120979A (zh) | 语音识别模型的优化方法、训练方法、设备及介质 | |
| WO2024114303A1 (zh) | 音素识别方法、装置、电子设备及存储介质 | |
| CN111128127A (zh) | 一种语音识别处理方法及装置 | |
| WO2019041871A1 (zh) | 语音对象识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211224 Address after: 528311 room 2001, building 4, Midea Fortune Plaza, No. 1, Chengde Road, Junlan community, Beijiao Town, Shunde District, Foshan City, Guangdong Province Applicant after: Guangdong Ruizhu Intelligent Technology Co.,Ltd. Address before: Unit 1601-1610, 16th floor, Beijiao International Wealth Center (Wanlian Center), No.1, Yifu Road, Junlan community neighborhood committee, Beijiao Town, Shunde District, Foshan City, Guangdong Province, 528311 Applicant before: Ruizhu Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A self-learning voice control method, system, and storage medium Effective date of registration: 20230914 Granted publication date: 20220726 Pledgee: Industrial and Commercial Bank of China Limited Foshan Beijiao sub branch Pledgor: Guangdong Ruizhu Intelligent Technology Co.,Ltd. Registration number: Y2023980056856 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |