CN110111776A - 基于麦克风信号的语音交互唤醒电子设备、方法和介质 - Google Patents
基于麦克风信号的语音交互唤醒电子设备、方法和介质 Download PDFInfo
- Publication number
- CN110111776A CN110111776A CN201910475927.3A CN201910475927A CN110111776A CN 110111776 A CN110111776 A CN 110111776A CN 201910475927 A CN201910475927 A CN 201910475927A CN 110111776 A CN110111776 A CN 110111776A
- Authority
- CN
- China
- Prior art keywords
- voice signal
- user
- voice
- electronic equipment
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 49
- 238000012790 confirmation Methods 0.000 claims abstract description 10
- 210000001260 vocal cord Anatomy 0.000 claims description 53
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000001228 spectrum Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 7
- 210000000214 mouth Anatomy 0.000 description 52
- 238000003860 storage Methods 0.000 description 25
- 238000004458 analytical method Methods 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 14
- 238000013022 venting Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 7
- 241000209140 Triticum Species 0.000 description 5
- 235000021307 Triticum Nutrition 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 230000019771 cognition Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
提供了一种配置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：判断麦克风采集的声音信号中是否包含语音信号；响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。该交互方法适用于用户在携带智能电子设备时进行语音输入，操作自然且简单，简化了语音输入的步骤，降低交互负担和难度，使得交互更加自然。
Description
技术领域
本发明总的来说涉及语音输入领域，且更为具体地，涉及智能电子设备、语音输入触发方法。
背景技术
随着计算机技术的发展，语音识别算法日益成熟，语音输入因其在交互方式上的高自然性与有效性而正变得越来越重要。用户可以通过语音与移动设备(手机、手表等)进行交互，完成指令输入、信息查询、语音聊天等多种任务。
而在何时触发语音输入这一点上，现有的解决方案都有一些缺陷：
1.物理按键触发
按下(或按住)移动设备的某个(或某些)物理按键后，激活语音输入。
该方案的缺点是：需要物理按键；容易误触发；需要用户按键。
2.界面元素触发
点击(或按住)移动设备的屏幕上的界面元素(如图标)，激活语音输入。
该方案的缺点是：需要设备具备屏幕；触发元素占用屏幕内容；受限于软件UI限制，可能导致触发方式繁琐；容易误触发。
3.唤醒词(语音)检测
以某个特定词语(如产品昵称)为唤醒词，设备检测到对应的唤醒词后激活语音输入。
该方案的缺点是：隐私性和社会性较差；交互效率较低。
发明内容
鉴于上述情况，提出了本发明：
根据本发明的一个方面，提供了一种内置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：判断麦克风采集的声音信号中是否包含语音信号；响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
优选的，所述低声说话包括声带不发声的低声说话和声带发声的低声说话两种方式。
优选的，电子设备还操作来：响应于确定用户在做低声说话；判断用户在做声带不发声的低声说话还是在做声带发声的低声说话；根据判断的结果不同，对声音信号做不同的处理。
优选的，不同的处理为激活不同的应用程序来响应语音输入。
优选的，判断用户是否在做低声说话时使用的信号特征包括音量、频谱特征，能量分布。
优选的，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话时使用的信号特征包括音量、频谱特征，能量分布。
优选的，所述判断用户是否在做低声说话包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户是否在低声说话。
优选的，所述机器学习模型为卷积神经网络模型或者循环神经网络模型。
优选的，所述判断用户在做声带不发声的低声说话还是在做声带发声的低声说话包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话。
优选的，所述机器学习模型为卷积神经网络模型或者循环神经网络模型。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指等。
根据本发明的另一方面，提供了一种由配置有麦克风的电子设备执行的语音输入触发方法，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行所述语音输入触发方法，所述语音输入触发方法包括：判断麦克风采集的声音信号中是否包含语音信号；响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
根据本发明的另一方面，提供了一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令被计算机执行时能够执行语音交互唤醒方法，所述语音交互唤醒方法包括：判断麦克风采集的声音信号中是否包含语音信号；响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；以及响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
根据本发明的一个方面，提供了一种配置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理。
优选的，用户说话的语音包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音。
优选的，电子设备还可操作来：响应于确定用户正在近距离对着电子设备说话，判断用户在以如下方式中的一种在发声，包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音；根据判断的结果不同，对声音信号做不同的处理。
优选的，所述不同的处理为激活不同的应用程序处理语音输入。
优选的，判断使用的特征包括音量、频谱特征，能量分布等。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，电子设备还可操作来通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指中的一种。
优选的，电子设备还可操作来：使用神经网络模型判断声音信号中是否包含用户说话的语音以及说话产生的气流撞击麦克风产生的风噪声音。
优选的，电子设备还可操作来识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括识别声音信号中是否包含用户说话的语音；响应于确定声音信号中包含用户说话的语音，识别语音中的音素，将语音信号表示为音素序列；针对音素序列中的每个音素，确定该音素是否为吐气音素，即：用户发声该音素时有气流从嘴中出来；将声音信号按照固定窗口长度切分为声音片段序列；利用频率特征，识别每个声音片段是否包含风噪声；将语音音素序列中的吐气音素和声音片段序列中识别为风噪声的片段做比较，同时将音素序列中的非吐气音素和风噪声片段作比较，当吐气音素与风噪声片段重合度高于一定阈值，且非吐气音素与非风噪声片段重合度低于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
优选的，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：识别声音信号中包含风噪的声音特征；响应于确定声音信号中包含风噪声，识别声音信号包含语音信号；响应于确定声音信号中包含语音信号，识别语音信号对应的音素序列；针对声音信号中的风噪特征，计算每一时刻的风噪特征强度；针对音素序列中的每个音素，根据预先定义的数据模型获得该音素吐气的强度；通过基于高斯混合贝叶斯模型分析风噪特征与音素序列的一致性，重合度高于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
根据本发明的另一方面，提供了一种内置有多个麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：分析多个麦克风采集的声音信号；判断用户是否正在近距离对着电子设备说话；响应于确定用户正在近距离对着电子设备说话，将麦克风采集的声音信号作为用户的语音输入处理。
优选的，多个麦克风构成麦克风阵列系统。
优选的，所述判断用户是否正在近距离对着电子设备说话包括：利用到达阵列上各传声器的声音信号之间的时间差计算用户嘴部相对于麦克风阵列的位置；当用户嘴部距离电子设备的距离小于一定阈值时，确定用户正在近距离对着电子设备说话。
优选的，所述距离阈值为10厘米。
优选的，所述将该声音信号作为用户的语音输入做处理包括：根据说话人嘴部和电子设备之间距离的不同，对用户的语音输入做不同处理。
优选的，所述判断用户是否正在近距离对着电子设备说话包括：判断是否至少有一个麦克风采集的声音信号中包含用户说话的语音信号；响应于确定至少有一个麦克风采集的声音信号中包含用户说话的语音信号，从麦克风采集的声音信号中提取语音信号；判断从不同麦克风采集的声音信号中提取的语音信号的幅度差异是否超过预定阈值时；响应于确定幅度差值超过预定阈值，确认用户正在近距离对着电子设备说话。
优选的，电子设备还可操作来：定义多个麦克风中，语音信号幅度最大的麦克风为响应麦克风；根据响应麦克风的不同，对用户的语音输入做不同的处理。
优选的，所述判断用户是否正在近距离对着电子设备说话包括：利用提前训练的机器学习模型，处理多个麦克风的声音信号，判断用户是否正在近距离对着电子设备说话。
优选的，用户说话的语音包括：用户以正常音量说话的声音；用户以小音量说话的声音；用户以声带不发声方式说话发出的声音。
优选的，用户说话的语音包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音。
优选的，电子设备还可操作来：响应于确定用户正在近距离对着电子设备说话；判断用户在以如下方式中的一种在发声，包括：用户以正常音量说话的声音；用户以小音量说话的声音；用户以声带不发声方式说话发出的声音；以及根据判断的结果不同，对声音信号做不同的处理。
优选的，所述不同的处理为激活不同的应用程序处理语音输入。
优选的，判断的特征包括音量、频谱特征，能量分布等。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，电子设备还可操作来通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指、平板电脑中的一种。
根据本发明的一个方面，一种配置有麦克风的智能电子设备，所述智能电子便携设备如下操作与用户进行基于语音输入的交互：处理麦克风捕获的声音信号判断声音信号中是否存在语音信号；响应于确认声音信号中存在语音信号，基于麦克风采集的声音信号进一步判断智能电子设备与用户的嘴部距离是否小于预定阈值；响应于确定电子设备与用户嘴部距离小于预定阈值，将麦克风采集的声音信号作为语音输入处理。
优选的，预定阈值为3厘米。
优选的，预定阈值为1厘米。
优选的，电子设备的麦克风处还有接近光传感器，通过接近光传感器判断是否有物体接近电子设备。
优选的，电子设备的麦克风处还有距离传感器，通过距离传感器直接测量电子设备与用户嘴部的距离。
优选的，通过麦克风收集的声音信号特征来判断智能电子设备与用户的嘴部距离是否小于预定阈值。
优选的，所述语音信号包括下面各项之一或者组合：用户以正常音量说话发出的声音；用户低声说话发出的声音；用户声带不发声说话产生的声音。
优选的，电子设备还可操作来：响应于确定用户正在近距离对着电子设备说话；判断用户在以如下方式中的一种在发声，包括：用户以正常音量说话的声音；用户以小音量说话的声音；用户以声带不发声方式说话发出的声音；以及根据判断的结果不同，对声音信号做不同的处理。
优选的，所述不同的处理为激活不同的应用程序处理语音输入。
优选的，判断中使用的特征包括音量、频谱特征，能量分布等。
优选的，判断智能电子设备与用户的嘴部距离是否小于预定阈值时使用的特征包括声音信号中的时域特征和频域特征，包括音量、频谱能量。
优选的，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：从麦克风采集到的声音信号信号通过滤波器提取语音信号；判断所述语音信号的能量是否超过一定阈值；响应于语音信号强度超过一定阈值，判断电子设备与用户嘴部距离小于预定阈值。
优选的，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：利用深度神经网络模型处理麦克风采集的数据，判断智能电子设备与用户的嘴部距离是否小于预定阈值。
优选的，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：记录用户在未做语音输入时的语音信号；将麦克风当前采集的语音信号与未做语音输入时的语音信号作比较；如果判断麦克风当前采集的语音信号音量超过未做语音输入时的语音信号的音量一定阈值，判断智能电子设备与用户的嘴部距离小于预定阈值。
优选的，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
优选的，电子设备还通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
优选的，电子设备为智能手机、智能手表、智能戒指等。
此处的移动设备包括但不限于手机、头戴式显示器、手表，以及智能戒指、腕表等更小型的智能穿戴设备。
本方案优势：
1.交互更加自然。将设备放在嘴前即触发语音输入，符合用户习惯与认知。
2.使用效率更高。单手即可使用。无需在不同的用户界面/应用之间切换，也不需按住某个按键，直接抬起手到嘴边就能使用。
3.收音质量高。设备的录音机在用户嘴边，收取的语音输入信号清晰，受环境音的影响较小。
4.高隐私性与社会性。设备在嘴前，用户只需发出相对较小的声音即可完成高质量的语音输入，对他人的干扰较小，同时用户姿势可以包括捂嘴等，具有较好的隐私保护。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的上述和/或其它目的、特征和优势将变得更加清楚并更容易理解。其中：
图1是根据本发明实施例的语音输入交互方法的示意性流程图。
图2示出了根据本发明的另一实施例的配置有多个麦克风的电子设备使用多个麦克风接收的声音信号的差别的语音输入触发方法的总体流程图。
图3示出了根据本发明实施例的内置有麦克风的电子设备基于低声说话方式识别的语音输入触发方法的总体流程图。
图4描述基于麦克风的声音信号的距离判断的语音输入触发方法的总体流程图
图5是根据本发明实施例的触发姿势中的将手机上端麦克风贴近嘴部的正面示意图。
图6是根据本发明实施例的触发姿势中的将手机上端麦克风贴近嘴部的侧面示意图。
图7是根据本发明实施例的触发姿势中的将手机下端麦克风贴近嘴部的示意图。
图8是根据本发明实施例的触发姿势中的将智能手表麦克风贴近嘴部的示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
本公开针对智能电子设备的语音输入触发，基于配置的麦克风捕捉的声音内在特征，来确定是否触发语音输入应用，其中无需传统的物理按键触发、界面元素触发、唤醒词检测，交互更加自然。将设备放在嘴前即触发语音输入，符合用户习惯与认知。
下面将从以下几个方面来继续本公开：1、基于人类说话时风噪声特征的语音输入触发，具体地，通过识别人说话时候的语音和风噪声音来直接启动语音输入并将接收的声音信号作为语音输入处理；2、基于多个麦克风接收的声音信号的差别的语音输入触发；3、基于低声说话方式识别的语音输入触发；4、基于麦克风的声音信号的距离判断的语音输入触发。
一、基于人类说话时风噪声特征的语音输入触发
当用户近距离对着麦克风说话时，即使声音很小或者不触发声带发声，麦克风采集到的声音信号中包含两种声音成分，一是人声带后者口腔震动发出的声音，二是人说话产生的气流撞击麦克风产生的风噪声音。可以基于这个特性来触发电子设备的语音输入应用。
图1示出了根据本发明实施例的语音输入交互方法100的示意性流程图。
在步骤S101中，分析麦克风采集的声音信号，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音，
在步骤S102中，响应于确定声音信号中包含人说话的声音以及包含用户说话产生的气流撞击麦克风产生的风噪声音，将该声音信号作为用户的语音输入做处理。
本发明实施例的语音输入交互方法特别适合于在隐私要求比较高的情况下，不用声带发声地进行语音输入。
这里用户说话的语音可以包括：用户以正常音量说话的声音、用户以小音量说话的声音、用户以声带不发声方式说话发出的声音。
在一个示例中，可以识别上述不同的说话方式，根据识别结果产生不同的反馈，比如正常说话就是控制手机的语音助理，低声说话就是控制微信，声带不发声说话就是做语音转录笔记。
作为示例，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：
将声音信号存储到电子设备上的可存储介质；
将声音信号通过互联网发送出去；
将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；
将声音信号中的语音信号识别为文字，通过互联网发送出去；
将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
在一个示例中，还包括通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
在一个示例中，电子设备为智能手机、智能手表、智能戒指中的一种。
在一个示例中，使用神经网络模型判断声音信号中是否包含用户说话的语音以及说话产生的气流撞击麦克风产生的风噪声音。此仅为示例，可以使用其他机器学习算法。
在一个示例中，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中是否包含用户说话的语音；
响应于确定声音信号中包含用户说话的语音，识别语音中的音素，将语音信号表示为音素序列；
针对音素序列中的每个音素，确定该音素是否为吐气音素，即：用户发声该音素时有气流从嘴中出来；
将声音信号按照固定窗口长度切分为声音片段序列；
利用频率特征，识别每个声音片段是否包含风噪声；
将语音音素序列中的吐气音素和声音片段序列中识别为风噪声的片段做比较，同时将音素序列中的非吐气音素和风噪声片段作比较，当吐气音素与风噪声片段重合度高于一定阈值，且非吐气音素与非风噪声片段重合度低于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
在一个示例中，识别声音信号中是否包含人说话的语音以及是否包含人说话产生的气流撞击麦克风产生的风噪声音包括：
识别声音信号中包含风噪的声音特征；
响应于确定声音信号中包含风噪声，识别声音信号包含语音信号；
响应于确定声音信号中包含语音信号，识别语音信号对应的音素序列；
针对声音信号中的风噪特征，计算每一时刻的风噪特征强度；
针对音素序列中的每个音素，根据预先定义的数据模型获得该音素吐气的强度；
通过基于高斯混合贝叶斯模型分析风噪特征与音素序列的一致性，重合度高于一定阈值时，判断该声音信号中包含用户说话产生的气流撞击麦克风产生的风噪声音。
二、基于多个麦克风接收的声音信号的差别的语音输入触发
图2示出了根据本发明的另一实施例的配置有多个麦克风的电子设备使用多个麦克风接收的声音信号的差别的语音输入触发方法的总体流程图。
电子设备例如手机内置有多个麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行本实施例的语音输入触发方法。
如图2所示，在步骤S201中，分析多个麦克风采集的声音信号。
在一个示例中，多个麦克风包括至少3个麦克风，构成麦克风阵列系统，通过声音信号达到各个麦克风的时间差可以估计声源相对于智能设备的空间位置。
这里的声音信号包括例如声音信号的幅度、频率等等。
在步骤S202中，基于多个麦克风采集的声音信号，判断用户是否正在近距离对着电子设备说话。
在一个示例中，判断用户是否正在近距离对着电子设备说话包括：
利用到达阵列上各传声器的声音信号之间的时间差计算用户嘴部相对于麦克风阵列的位置，
当用户嘴部距离电子设备的距离小于一定阈值时，确定用户正在近距离对着电子设备说话。
在一个示例中，所述距离阈值为10厘米。
在步骤S203中，响应于确定用户正在近距离对着电子设备说话，将麦克风采集的声音信号作为用户的语音输入处理。
在一个示例中,将该声音信号作为用户的语音输入做处理包括：
根据说话人嘴部和电子设备之间距离的不同，对用户的语音输入做不同处理。例如，当距离为0-3cm时，激活语音助手响应用户的语音输入；当距离为3-10cm时，激活微信应用程序响应用户的语音输入，将语音信息发送给好友；
在一个示例中，判断用户是否正在近距离对着电子设备说话包括：
判断是否至少有一个麦克风采集的声音信号中包含用户说话的语音信号，
响应于确定至少有一个麦克风采集的声音信号中包含用户说话的语音信号，从麦克风采集的声音信号中提取语音信号，
判断从不同麦克风采集的声音信号中提取的语音信号的幅度差异是否超过预定阈值时，
响应于确定幅度差值超过预定阈值，确认用户正在近距离对着电子设备说话。
在上面的例子中，还可以包括：
定义多个麦克风中语音信号幅度最大的麦克风为响应麦克风，
根据响应麦克风的不同，对用户的语音输入做不同的处理。例如，当响应麦克风是智能手机底部的麦克风时，激活智能手机上的语音助手；当响应麦克风是智能手机顶部的麦克风时，激活录音机功能将用户的语音记录到存储设备；
在一个示例中，判断用户是否正在近距离对着电子设备说话包括：利用提前训练的机器学习模型，处理多个麦克风的声音信号，判断用户是否正在近距离对着电子设备说话。一般地，准备训练样本数据，然后利用训练样本数据来训练选定的机器学习模型，在实际应用时(有时也叫测试)，将多个麦克风捕获的声音信号(作为测试样本)输入机器学习模型，得到的输出表示用户是否正在近距离对着电子设备说话。作为示例，机器学习模型例如为深度学习神经网络、支持向量机、决策树等。
在一个示例中，用户说话的语音包括：用户以正常音量说话的声音，用户以小音量说话的声音，用户以声带不发声方式说话发出的声音。
在一个示例中，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
在一个示例，还包括通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
作为示例，电子设备为智能手机、智能手表、智能戒指、平板电脑等。
本实施例利用内置的不同麦克风之间声音信号的差别来识别用户是否近距离对着电子设备说话，进而决定是否启动语音输入，具有识别可靠，计算方法简单等优点。
三、基于低声说话方式识别的语音输入触发
低声说话是指说话音量小于正常说话(比如与他人正常交谈)音量的方式。低声说话包括两种方式。一种是声带不震动的低声说话(俗称悄悄话)，另一种是声带发生震动的低声说话。在声带不震动的低声说话方式下，产生的声音主要包含空气通过喉部、嘴部发出的声音以及嘴内舌头牙齿发出的声音。在声带震动的低声说话方式下，发出的声音除了包含声带不震动的低声说话方式下产生的声音，还包括声带震动产生的声音。但相比于正常音量的说话方式，声带震动的低声说话过程中，声带震动程度较小，产生的声带震动声音较小。声带不震动低声说话产生的声音和声带震动产生的声音的频率范围不同，可以区分。声带震动低声说话和声带震动的正常音量说话可以通过音量阈值来区分，具体的阈值可以提前设定，也可以由用户来设定。
示例方法：对麦克风采集的语音信号做滤波处理，提取两部分信号，分别为声带震动产生的声音成分V1和空气通过喉部、嘴部发出的以及嘴内舌头牙齿发出的声音V2。当V1和V2的能量比值小于一定阈值时，判定用户在做低声说话。
一般情况下，低声说话只有当用户距离麦克风比较近的时候才能检测，比如距离小于30厘米时。而定义近距离情况下的低声说话作为语音输入，对用户而言是一种易于学习和理解和方便操作的交互方式，可以免除显式的唤醒操作，比如按压特定的唤醒按键或者是通过语音唤醒词。且这种方式在绝大多数的实际使用情况下，不会被误触发。
图3示出了根据本发明实施例的配备有麦克风的电子设备基于低声说话方式识别的语音输入触发方法的总体流程图。配备有麦克风的电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行根据本发明实施例的语音输入触发方法。
如图3所示，在步骤S301中，判断麦克风采集的声音信号中是否包含语音信号。
在步骤S302中，响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话。
在步骤S303中，响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
低声说话可以包括声带不发声的低声说话和声带发声的低声说话两种方式。
在一个示例中,语音输入触发方法还可以包括：响应于确定用户在做低声说话，判断用户在做声带不发声的低声说话还是在做声带发声的低声说话，根据判断的结果不同，对声音信号做不同的处理。
作为示例，不同的处理为将语音输入交给不同的应用程序来处理。比如正常说话就是控制手机的语音助理，低声说话就是控制微信，声带不发声说话就是做语音转录笔记。
作为示例，判断用户是否在做低声说话时使用的信号特征可以包括音量、频谱特征，能量分布等。
作为示例，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话时使用的信号特征包括音量、频谱特征，能量分布等。
作为示例，判断用户是否在做低声说话可以包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户是否在低声说话。
作为示例，机器学习模型可以为卷积神经网络模型或者循环神经网络模型。
作为示例，判断用户在做声带不发声的低声说话还是在做声带发声的低声说话包括：利用机器学习模型，处理麦克风采集的声音信号，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话。
作为示例，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：
将声音信号存储到电子设备上的可存储介质；
将声音信号通过互联网发送出去；
将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；
将声音信号中的语音信号识别为文字，通过互联网发送出去；
将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
作为示例，语音输入触发方法还可以包括：通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
作为示例，电子设备可以为智能手机、智能手表、智能戒指等。
有关低声说话模式以及检测方法，作为示例，可以参考下述参考文献：
Zhang,Chi,and John HL Hansen."Analysis and classification of speechmode:whispered through shouted."Eighth Annual Conference of the InternationalSpeech Communication Association.2007.
Meenakshi,G.Nisha,and Prasanta Kumar Ghosh."Robust whisper activitydetection using long-term log energy variation of sub-band signal."IEEESignal Processing Letters 22.11(2015):1859-1863.
四、基于麦克风的声音信号的距离判断的语音输入触发
下面结合图4描述基于麦克风的声音信号的距离判断的语音输入触发方法的总体流程图。
如图4所示，在步骤401中，处理麦克风捕获的声音信号判断声音信号中是否存在语音信号。
在步骤402中，响应于确认声音信号中存在语音信号，基于麦克风采集的声音信号进一步判断智能电子设备与用户的嘴部距离是否小于预定阈值。
在步骤403中，响应于确定电子设备与用户嘴部距离小于预定阈值，将麦克风采集的声音信号作为语音输入处理。
在一个示例中，预定阈值为10厘米。
语音信号可以包括下面各项之一或者组合：用户以正常音量说话发出的声音；用户低声说话发出的声音；用户声带不发声说话产生的声音。
在一个示例中，判断智能电子设备与用户的嘴部距离是否小于预定阈值时使用的特征包括声音信号中的时域特征和频域特征，包括音量、频谱能量。
在一个示例中，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：利用深度神经网络模型处理麦克风采集的数据，判断智能电子设备与用户的嘴部距离是否小于预定阈值。
在一个示例中，所述判断智能电子设备与用户的嘴部距离是否小于预定阈值包括：记录用户在未做语音输入时的语音信号，将麦克风当前采集的语音信号与未做语音输入时的语音信号作比较，如果判断麦克风当前采集的语音信号音量超过未做语音输入时的语音信号的音量一定阈值，判断智能电子设备与用户的嘴部距离小于预定阈值。
在一个示例中，将声音信号作为用户的语音输入所做的处理包括以下一种或多种：将声音信号存储到电子设备上的可存储介质；将声音信号通过互联网发送出去；将声音信号中的语音信号识别为文字，存储到电子设备上的可存储介质；将声音信号中的语音信号识别为文字，通过互联网发送出去；将声音信号中的语音信号识别为文字，理解用户的语音指令，执行相应操作。
在一个示例中，语音输入触发还包括通过声纹分析识别特定用户，只对包含特定用户语音的声音信号做处理。
在一个示例中，电子设备为智能手机、智能手表、智能戒指等。
图5至图8显示了几例用户将智能电子便携设备的麦克风放置到嘴边较近距离的位置，此时用户发出的语音将作为语音输入。其中，图5与图6分别是手机上端有麦克风的情况，在这种情况下，用户有语音交互意图时，可以将手机的麦克风移动到嘴边0～10厘米处，直接说话即可作为语音输入。图7是手机下端有麦克风的情况，与前述上端有麦克风相类似，两种姿势不是互斥的，如果手机上下端均有麦克风则任意一种姿势均可以实施交互方案。图8是对应设备为智能手表时的情况，与上述设备为手机的情况类似。上述对触发姿势的说明是示例性的，并非穷尽性的，并且也不限于所披露的各种设备和麦克风情况。
作为使用单个麦克风来接收声音输入并触发语音输入的一个具体实施例子，可以首先通过分析单麦克风接收到的声音输入，判断是否为语音，并通过分析语音的近距离特有的特征，如麦克风爆破音、近场风噪、吹气声、能量、频谱特征、时域特征等，判断电子设备自身与用户的嘴的距离是否小于给定阈值，以及通过声纹识别判断语音输入来源是否属于可服务用户，结合以上几点来判断是否将麦克风信号作为语音输入。
作为使用双麦克风来接收声音输入并触发语音输入的一个具体实施例子，通过分析双麦克风输入信号的特征差异，如能量特征、频谱特征，判断发声位置是否贴近其中一个麦克风，通过双麦克风的信号差异从而屏蔽环境噪音、分离语音到对应的单声道，然后通过上述单麦克风的特征分析方法，判断电子设备自身与用户的嘴的距离小于给定阈值，以及通过声纹识别判断语音输入来源是否属于可服务用户，结合以上几点来判断是否将信号作为语音输入。
作为使用多麦克风阵列来接收声音输入并触发语音输入的一个具体实施例子，通过比较分析不同麦克风接收到的声音输入的信号的差异，通过从环境中分离近场语音信号，识别与检测声音信号是否包括语音，通过多麦克风阵列的声源定位技术判断语音信号的用户嘴的位置与设备之间的距离是否小于预定阈值，以及通过声纹识别判断语音输入来源是否属于可服务用户，结合以上几点来判断是否将信号作为语音输入。
在一个示例中，在智能电子便携设备通过分析语音信号，检测到发音位置位于自身附近，也即移动设备位于用户嘴部较近位置，智能电子便携设备便将声音信号作为语音输入，根据任务与上下文的不同，再结合自然语言处理技术理解用户的语音输入并完成相应的任务。
麦克风并不局限于前述示例，而是可以包括下面各项之一或者其组合：设备内置单麦克风；设备内置双麦克风；设备内置多麦克风阵列；外接无线麦克风；以及外接有线麦克风。
如前所述，智能电子便携设备可以为手机，装备有双耳蓝牙耳机、带有麦克风的有线耳机或者其他麦克风传感器。
智能电子便携设备可以为手表，以及智能戒指、腕表中的一种智能穿戴设备。
智能电子便携设备为头戴式智能显示设备，装备有麦克风或者多麦克风组。
在一个示例中，在电子设备激活语音输入应用后，可以做出反馈输出，反馈输出包括震动、语音、图像中的一种或者其组合。
本发明各个实施例的方案可以提供下述一种或几种优势：
1.交互更加自然。将设备放在嘴前即触发语音输入，符合用户习惯与认知。
2.使用效率更高。单手即可使用。无需在不同的用户界面/应用之间切换，也不需按住某个按键，直接抬起手到嘴边就能使用。
3.收音质量高。设备的录音机在用户嘴边，收取的语音输入信号清晰，受环境音的影响较小。
4.高隐私性与社会性。设备在嘴前，用户只需发出相对较小的声音即可完成高质量的语音输入，对他人的干扰较小，同时用户姿势可以包括捂嘴等，具有较好的隐私保护。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种配置有麦克风的电子设备，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：
判断麦克风采集的声音信号中是否包含语音信号；
响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；以及
响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
2.根据权利要求1的电子设备，所述低声说话包括声带不发声的低声说话和声带发声的低声说话两种方式。
3.根据权利要求2的电子设备,还包括：
响应于确定用户在做低声说话，
判断用户在做声带不发声的低声说话还是在做声带发声的低声说话，根据判断的结果不同，对声音信号做不同的处理。
4.根据权利要求3，不同的处理为激活不同的应用程序来响应语音输入。
5.根据权利要求1的电子设备，判断用户是否在做低声说话时使用的信号特征包括音量、频谱特征，能量分布。
6.根据权利要求3的电子设备，判断用户在做声带不发声的低声说话或者在做声带发声的低声说话时使用的信号特征包括音量、频谱特征，能量分布。
7.根据权利要求1的电子设备，所述判断用户是否在做低声说话包括：
利用机器学习模型，处理麦克风采集的声音信号，判断用户是否在低声说话。
8.根据权利要求7的电子设备，所述机器学习模型为卷积神经网络模型或者循环神经网络模型。
9.一种由配置有麦克风的电子设备执行的语音交互唤醒方法，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行所述语音交互唤醒方法，所述语音交互唤醒方法包括：
判断麦克风采集的声音信号中是否包含语音信号；
响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；以及
响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
10.一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令被计算机执行时能够执行语音交互唤醒方法，所述语音交互唤醒方法包括：
判断麦克风采集的声音信号中是否包含语音信号；
响应于确认麦克风采集的声音信号中包含语音信号，判断用户是否在做低声说话，即以低于正常音量的方式说话；以及
响应于确定用户正在做低声说话，无需任何唤醒操作地将声音信号作为语音输入处理。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910475927.3A CN110111776A (zh) | 2019-06-03 | 2019-06-03 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| PCT/CN2020/092191 WO2020244411A1 (zh) | 2019-06-03 | 2020-05-26 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910475927.3A CN110111776A (zh) | 2019-06-03 | 2019-06-03 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110111776A true CN110111776A (zh) | 2019-08-09 |
Family
ID=67493625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910475927.3A Pending CN110111776A (zh) | 2019-06-03 | 2019-06-03 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110111776A (zh) |
| WO (1) | WO2020244411A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199751A (zh) * | 2020-03-04 | 2020-05-26 | 北京声智科技有限公司 | 一种麦克风的屏蔽方法、装置和电子设备 |
| WO2020244411A1 (zh) * | 2019-06-03 | 2020-12-10 | 清华大学 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| WO2020244355A1 (zh) * | 2019-06-03 | 2020-12-10 | 清华大学 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| CN112399004A (zh) * | 2019-08-14 | 2021-02-23 | 原相科技股份有限公司 | 声音输出的调整方法及执行该调整方法的电子装置 |
| CN112420031A (zh) * | 2019-08-23 | 2021-02-26 | 华为技术有限公司 | 设备控制方法及装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114023303A (zh) * | 2021-11-25 | 2022-02-08 | 百度在线网络技术（北京）有限公司 | 语音处理方法、系统、装置、电子设备以及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1773604A (zh) * | 2004-11-08 | 2006-05-17 | 蔡源鸿 | 以声音分贝值作为程序参数值的方法 |
| CN103456305A (zh) * | 2013-09-16 | 2013-12-18 | 东莞宇龙通信科技有限公司 | 终端和基于多个声音采集单元的语音处理方法 |
| CN105988779A (zh) * | 2015-01-28 | 2016-10-05 | 宏达国际电子股份有限公司 | 电子装置、控制方法以及计算机可读的记录介质 |
| CN106373570A (zh) * | 2016-09-12 | 2017-02-01 | 深圳市金立通信设备有限公司 | 一种语音控制方法及终端 |
| CN107112014A (zh) * | 2014-12-19 | 2017-08-29 | 亚马逊技术股份有限公司 | 在基于语音的系统中的应用焦点 |
| CN107315561A (zh) * | 2017-06-30 | 2017-11-03 | 联想(北京)有限公司 | 一种数据处理方法和电子设备 |
| US20180137880A1 (en) * | 2016-11-16 | 2018-05-17 | Goverment Of The United States As Represented By Te Secretary Of The Air Force | Phonation Style Detection |
| CN108712566A (zh) * | 2018-04-27 | 2018-10-26 | 维沃移动通信有限公司 | 一种语音助手唤醒方法及移动终端 |
| CN108766460A (zh) * | 2018-05-15 | 2018-11-06 | 浙江口碑网络技术有限公司 | 基于语音的交互方法及系统 |
| CN109313898A (zh) * | 2016-06-10 | 2019-02-05 | 苹果公司 | 提供低声语音的数字助理 |
| CN109616109A (zh) * | 2018-12-04 | 2019-04-12 | 北京蓦然认知科技有限公司 | 一种语音唤醒方法、装置及系统 |
| CN109767774A (zh) * | 2017-11-08 | 2019-05-17 | 阿里巴巴集团控股有限公司 | 一种交互方法和设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060085183A1 (en) * | 2004-10-19 | 2006-04-20 | Yogendra Jain | System and method for increasing recognition accuracy and modifying the behavior of a device in response to the detection of different levels of speech |
| KR20160009344A (ko) * | 2014-07-16 | 2016-01-26 | 삼성전자주식회사 | 귓속말 인식 방법 및 장치 |
| US20160379638A1 (en) * | 2015-06-26 | 2016-12-29 | Amazon Technologies, Inc. | Input speech quality matching |
| WO2018223388A1 (en) * | 2017-06-09 | 2018-12-13 | Microsoft Technology Licensing, Llc. | Silent voice input |
| CN110111776A (zh) * | 2019-06-03 | 2019-08-09 | 清华大学 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
-
2019
- 2019-06-03 CN CN201910475927.3A patent/CN110111776A/zh active Pending
-
2020
- 2020-05-26 WO PCT/CN2020/092191 patent/WO2020244411A1/zh active Application Filing
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1773604A (zh) * | 2004-11-08 | 2006-05-17 | 蔡源鸿 | 以声音分贝值作为程序参数值的方法 |
| CN103456305A (zh) * | 2013-09-16 | 2013-12-18 | 东莞宇龙通信科技有限公司 | 终端和基于多个声音采集单元的语音处理方法 |
| CN107112014A (zh) * | 2014-12-19 | 2017-08-29 | 亚马逊技术股份有限公司 | 在基于语音的系统中的应用焦点 |
| CN105988779A (zh) * | 2015-01-28 | 2016-10-05 | 宏达国际电子股份有限公司 | 电子装置、控制方法以及计算机可读的记录介质 |
| CN109313898A (zh) * | 2016-06-10 | 2019-02-05 | 苹果公司 | 提供低声语音的数字助理 |
| CN106373570A (zh) * | 2016-09-12 | 2017-02-01 | 深圳市金立通信设备有限公司 | 一种语音控制方法及终端 |
| US20180137880A1 (en) * | 2016-11-16 | 2018-05-17 | Goverment Of The United States As Represented By Te Secretary Of The Air Force | Phonation Style Detection |
| CN107315561A (zh) * | 2017-06-30 | 2017-11-03 | 联想(北京)有限公司 | 一种数据处理方法和电子设备 |
| CN109767774A (zh) * | 2017-11-08 | 2019-05-17 | 阿里巴巴集团控股有限公司 | 一种交互方法和设备 |
| CN108712566A (zh) * | 2018-04-27 | 2018-10-26 | 维沃移动通信有限公司 | 一种语音助手唤醒方法及移动终端 |
| CN108766460A (zh) * | 2018-05-15 | 2018-11-06 | 浙江口碑网络技术有限公司 | 基于语音的交互方法及系统 |
| CN109616109A (zh) * | 2018-12-04 | 2019-04-12 | 北京蓦然认知科技有限公司 | 一种语音唤醒方法、装置及系统 |
Non-Patent Citations (3)
| Title |
|---|
| RAEESY Z, GILLESPIE K, MA C, ET AL.: "Lstm-based whisper detection", 《2018 IEEE SPOKEN LANGUAGE TECHNOLOGY WORKSHOP (SLT)》 * |
| ZHANG,CHI,AND JOHN HL HANSEN: "Analysis and classification of speech mode:whispered through shouted", 《EIGHTH ANNUAL CONFERENCE OF THE INTERNATIONAL SPEECH COMMUNICATION ASSOCIATION.2007》 * |
| 张剑铭: "耳语音检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244411A1 (zh) * | 2019-06-03 | 2020-12-10 | 清华大学 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| WO2020244355A1 (zh) * | 2019-06-03 | 2020-12-10 | 清华大学 | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 |
| CN112399004A (zh) * | 2019-08-14 | 2021-02-23 | 原相科技股份有限公司 | 声音输出的调整方法及执行该调整方法的电子装置 |
| CN112399004B (zh) * | 2019-08-14 | 2024-05-24 | 达发科技股份有限公司 | 声音输出的调整方法及执行该调整方法的电子装置 |
| CN112420031A (zh) * | 2019-08-23 | 2021-02-26 | 华为技术有限公司 | 设备控制方法及装置 |
| CN111199751A (zh) * | 2020-03-04 | 2020-05-26 | 北京声智科技有限公司 | 一种麦克风的屏蔽方法、装置和电子设备 |
| CN111199751B (zh) * | 2020-03-04 | 2021-04-13 | 北京声智科技有限公司 | 一种麦克风的屏蔽方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020244411A1 (zh) | 2020-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428806A (zh) | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 | |
| CN110223711A (zh) | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 | |
| CN110097875A (zh) | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 | |
| CN110111776A (zh) | 基于麦克风信号的语音交互唤醒电子设备、方法和介质 | |
| US10276164B2 (en) | Multi-speaker speech recognition correction system | |
| CN107481718B (zh) | 语音识别方法、装置、存储介质及电子设备 | |
| CN111432303B (zh) | 单耳耳机、智能电子设备、方法和计算机可读介质 | |
| CN109074806A (zh) | 控制分布式音频输出以实现语音输出 | |
| CN110164440A (zh) | 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质 | |
| CN107945789A (zh) | 语音识别方法、装置及计算机可读存储介质 | |
| CN103095911A (zh) | 一种通过语音唤醒寻找手机的方法及系统 | |
| KR20140144233A (ko) | 성문 특징 모델 갱신 방법 및 단말 | |
| CN110364156A (zh) | 语音交互方法、系统、终端及可读存储介质 | |
| CN109065060B (zh) | 一种语音唤醒方法及终端 | |
| EP4002363A1 (en) | Method and apparatus for detecting an audio signal, and storage medium | |
| US11626104B2 (en) | User speech profile management | |
| CN111105796A (zh) | 无线耳机控制装置及控制方法、语音控制设置方法和系统 | |
| CN113129867B (zh) | 语音识别模型的训练方法、语音识别方法、装置和设备 | |
| CN111798850B (zh) | 用语音操作设备的方法和系统及服务器 | |
| CN109754823A (zh) | 一种语音活动检测方法、移动终端 | |
| CN105741841B (zh) | 语音控制方法及电子设备 | |
| CN107403623A (zh) | 录音内容的保存方法、终端、云服务器及可读存储介质 | |
| CN110728993A (zh) | 一种变声识别方法及电子设备 | |
| CN111835522A (zh) | 一种音频处理方法及装置 | |
| CN111326175A (zh) | 一种对话者的提示方法及穿戴设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |