CN111432303B - 单耳耳机、智能电子设备、方法和计算机可读介质 - Google Patents

单耳耳机、智能电子设备、方法和计算机可读介质 Download PDF

Info

Publication number
CN111432303B
CN111432303B CN202010198596.6A CN202010198596A CN111432303B CN 111432303 B CN111432303 B CN 111432303B CN 202010198596 A CN202010198596 A CN 202010198596A CN 111432303 B CN111432303 B CN 111432303B
Authority
CN
China
Prior art keywords
ear microphone
user
mouth
microphone
ear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010198596.6A
Other languages
English (en)
Other versions
CN111432303A (zh
Inventor
喻纯
史元春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interactive Future Beijing Technology Co ltd
Original Assignee
Interactive Future Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Future Beijing Technology Co ltd filed Critical Interactive Future Beijing Technology Co ltd
Priority to CN202010198596.6A priority Critical patent/CN111432303B/zh
Priority to PCT/CN2020/093161 priority patent/WO2021184549A1/zh
Publication of CN111432303A publication Critical patent/CN111432303A/zh
Application granted granted Critical
Publication of CN111432303B publication Critical patent/CN111432303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups

Abstract

能够识别用户捂嘴手势下发声的单耳耳机、智能电子便携设备和语音交互唤醒方法。单耳耳机具有耳内麦克风和耳外麦克风，以及具有一块电路板，电路板上具有存储器和处理器，存储器上存储有计算机可执行指令，计算机可执行指令被处理器执行时能够执行如下操作：接收所述耳内麦克风和耳外麦克风采集的信号；分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声。所述识别结果可以触发语音输入。本发明能够准确地识别出捂嘴手势下的语音输入；另外在由耳机自身电路板对信号进行接受和处理的情况下，不需要额外解决数据传输和信号的时间同步问题，节省电能，且保证高识别精度；使用效率更高、收音质量高、隐私性与社会性高。

Description

单耳耳机、智能电子设备、方法和计算机可读介质
技术领域
本发明总的来说涉及语音输入领域，且更为具体地，涉及智能电子设备、语音输入触发方法。
背景技术
随着计算机技术的发展，语音识别算法日益成熟，语音输入因其在交互方式上的高自然性与有效性而正变得越来越重要。用户可以通过语音与移动设备(手机、手表等)进行交互，完成指令输入、信息查询、语音聊天等多种任务。
而在何时触发语音输入这一点上，现有的解决方案都有一些缺陷：
1.物理按键触发
按下(或按住)移动设备的某个(或某些)物理按键后，激活语音输入。
该方案的缺点是：需要物理按键；容易误触发；需要用户按键。
2.界面元素触发
点击(或按住)移动设备的屏幕上的界面元素(如图标)，激活语音输入。
该方案的缺点是：需要设备具备屏幕；触发元素占用屏幕内容；受限于软件UI限制，可能导致触发方式繁琐；容易误触发。
3.唤醒词(语音)检测
以某个特定词语(如产品昵称)为唤醒词，设备检测到对应的唤醒词后激活语音输入。
该方案的缺点是：隐私性和社会性较差；交互效率较低。
发明内容
针对上述问题，本申请人先前提交了几份专利申请，在如下四个方面上提出了多项新的技术方案：1、基于人类说话时风噪声特征的语音输入触发，具体地，通过识别人说话时候的语音和风噪声音来直接启动语音输入并将接收的声音信号作为语音输入处理；2、基于多个麦克风接收的声音信号的差别的语音输入触发；3、基于低声说话方式识别的语音输入触发；4、基于麦克风的声音信号的距离判断的语音输入触发，相关专利申请公开案号为CN110262767A、CN110223711A、CN110428806A、CN110111776A、CN110097875A、CN110164440A，本文将这几篇专利文献全文并入，作为本公开的内容。
根据本发明的一个方面，提供了一种单耳耳机，具有耳内麦克风和耳外麦克风，以及具有一块电路板，电路板上具有存储器和处理器，存储器上存储有计算机可执行指令，计算机可执行指令被处理器执行时能够执行如下操作：接收所述耳内麦克风和耳外麦克风采集的信号；分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声。
可选地，耳机还具备用于检测佩戴耳机的用户说话的说话检测模块，其中在分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声动作之前，所述耳机上的耳内麦克风和耳外麦克风处于关闭状态，所述说话检测模块检测佩戴耳机的用户是否在说话，以及在识别到用户开始说话之后，打开耳机上的耳内麦克风和耳外麦克风，进行声音信号采集并识别。
可选地，所述“分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声”，包括：对从耳内麦克风和耳外麦克风采集到的两路声音信号做人声信号增强，分别计算两路增强后信号的能量幅值，计算所述两路信号的能量幅值比值，识别耳外麦克风采集的用户声音信号在从用户口腔发出通过空气传到耳外麦克风之间的路径上有没有被遮挡，并基于此判断用户是否在做捂嘴手势的状态下发声。
可选地，所述耳外的麦克风是空气传导麦克风。
可选地，所述耳内的麦克风为空气传导麦克风或骨传导麦克风。
可选地，所述分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声包括：计算耳机上耳内和耳外麦克风接收到的用户声音信号能量幅值比值；在耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值超过预设阈值时，判断用户是在做捂嘴手势的状态下发声。
可选地，所述耳机可操作来与智能电子设备无线连接，其中当耳机识别出用户是在做捂嘴手势的状态下发声时，将指示识别结果的信号传递给智能电子设备，用于控制智能电子设备上的程序执行，包括触发相应的控制指令。
可选地，还包括处理所述耳内麦克风和耳外麦克风信号以检测用户是否去除捂嘴手势；响应于检测到用户去除捂嘴手势，发送信号给智能电子设备结束所述交互过程。
根据本发明的另一方面，提供了一种电子设备，特征在于：可操作来与下面的单个耳机无线连接，或者集成有所述单个耳机，所述单个耳机具有两个麦克风，耳内麦克风和耳外麦克风，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：接收所述耳内麦克风和耳外麦克风采集的声音信号，分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声。
可选地，电子设备还具备用于检测佩戴耳机的用户说话的说话检测模块，其中在分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声之前，所述耳机上的耳内麦克风和耳外麦克风处于关闭状态，所述说话检测模块检测佩戴耳机的用户是否在说话，以及在识别到用户开始说话之后，打开耳机上的耳内麦克风和耳外麦克风，进行声音信号采集并识别。
可选地，所述“分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势”，包括：对从耳内麦克风和耳外麦克风采集到的两路声音信号做人声信号增强；分别计算两路增强后信号的能量幅值，计算所述两路信号的能量幅值比值，识别耳外麦克风采集的用户声音信号在从用户口腔发出通过空气传到耳外麦克风之间的路径上有没有被遮挡，并基于此判断用户是否在做捂嘴手势的状态下发声。
可选地，所述耳外的麦克风是空气传导麦克风。
可选地，所述耳内的麦克风为空气传导麦克风或骨传导麦克风。
可选地，所述分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声包括：计算耳机上耳内麦克风和耳外接收到的用户声音信号能量幅值比值；在耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值超过预设阈值时，判断用户是在做捂嘴手势的状态下发声。
可选地，计算机可执行指令被中央处理器执行时能够执行的操作还包括：响应于识别出用户是在做出捂嘴手势的状态下，将指示识别结果的信号作为用户交互输入控制的指示，控制智能电子设备上的程序执行，包括触发相应的控制指令。
可选地，执行的控制指令为触发除捂嘴手势外的其它输入方式，即处理其它输入方式输入的信息。
可选地，所述其他输入方式包括语音输入、非捂嘴手势输入、视线输入、眨眼输入、头动输入之一或者其组合。
可选地，执行的控制指令还包括：处理所述信号以检测用户是否去除捂嘴手势；响应于检测到用户去除捂嘴手势，智能电子设备结束所述交互过程。
可选地，执行的控制指令还包括：提供包括视觉、听觉任一项反馈，提示用户智能电子设备已经触发其他输入方式。
可选地，执行的控制指令还包括：智能电子设备对用户在保持捂嘴手势同时进行的语音输入进行处理。
可选地，所述智能电子设备为手机、手表、智能戒指、腕表中的一种智能穿戴设备。
可选地，所述智能电子设备为头戴式智能显示设备，装备有所述耳内麦克风和耳外麦克风。
根据本发明的另一方面，提供了一种如上所述的智能电子设备的语音交互唤醒方法，所述智能电子设备执行的语音交互唤醒方法包括：接收所述耳内麦克风和耳外麦克风采集的声音信号；分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声；响应于识别到用户在做捂嘴手势的状态下发声，智能设备触发语音输入处理，分析及做出相应的内容输出；响应用户捂嘴手势后，在用户与智能设备交互情况下，处理所述耳内麦克风和耳外麦克风采集的声音信号，以确定用户去除捂嘴手势；响应于确定用户去除捂嘴手势，结束所述交互过程。
可选地，所述内容输出形式包括语音、图像中一种或其组合。
根据本发明另一方面，提供了一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令被计算机执行时能够执行如上所述的语音交互唤醒方法。
本发明的技术方案具有至少下述优势中的一个或多个：
1.本发明利用同一个耳机内部的两个麦克风——耳内麦克风和耳外麦克风——来识别用户是否在做捂嘴手势的状态下发声，进而触发语音输入，这样能够准确地识别出捂嘴手势下的语音输入，能够非常便利准确地触发语音输入。
2.在由耳机自身电路板对耳机上的耳内麦克风和耳外麦克风的两路信号进行接受和处理的情况下，不需要额外解决数据传输和信号的时间同步问题，会节省电能，且保证高识别精度，
3.使用效率更高。单手即可使用。无需在不同的用户界面/应用之间切换，也不需按住某个按键，直接抬起手到嘴边就能使用。
4.收音质量高。耳机的耳内麦克风和耳外麦克风收取的语音输入信号清晰，受环境音的影响较小。
5.高隐私性与社会性。基于同一耳机配置的耳内麦克风和耳外麦克风捕捉的声音内在特征，来确定是否触发语音输入应用，其中无需传统的物理按键触发、界面元素触发、唤醒词检测，交互更加自然。
6.做出捂嘴手势，用户进行语音输入对他人的干扰较小，同时具有较好的隐私保护，降低用户语音输入时的心理负担。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的上述和/或其它目的、特征和优势将变得更加清楚并更容易理解。其中：
图1示意性地示出了如下情境，用户佩戴单耳耳机，单耳耳机上同时配置有耳内麦克风和耳外麦克风，以及用户做出捂嘴手势并同时低声说话。这种情况可能发生在例如一种会议室中，用户不想影响他人但仍需要低声或无声说话的时候。
图2示意了示出了捂嘴动作对于用户发出的声音在空气中传播时能量的改变，让进入到耳机外麦克风的声音变小；相比而言，耳机内部的麦克风接收到通过耳道和头部传播的声音，不受捂嘴动作的影响。
图3示意性地示出了耳内麦克风所接收的用户说话声音的不同来源，其中耳内麦克风所接收到的用户说话声音是喉咙或口腔发出、通过耳道传出的声音或者通过头部的肌肉、骨骼传导的声音。
图4示出了根据本发明实施例的利用配备有耳内麦克风和耳外麦克风的单耳耳机来识别用户是否在做捂嘴手势的状态下发声的总体流程图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
为便于理解，在详细介绍之前，首先介绍下本发明的发明构思。在用户佩戴单耳耳机的情况下，当用户做捂嘴动作时，主要改变的是用户声音达到耳外麦克风的路径，对耳内麦克风接受人声的传播路径影响相对较小，耳内麦克风和耳外麦克风接受用户说话声音的传导路径不同，因此，可以通过耳机上耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值来判断用户是否在做捂嘴动作的状态下发声。进而，可以在识别到用户在做捂嘴动作的状态下发声的初始时刻，触发语音输入。
图1示意性地示出了如下情境，用户佩戴单耳耳机，单耳耳机上同时配置有耳内麦克风和耳外麦克风，以及用户做出捂嘴手势并同时低声说话。这种情况可能发生在例如一种会议室中，用户不想影响他人但仍需要低声说话的时候。如图1所示，用户佩戴该耳机时，耳内麦克风的收音方向朝着耳朵内，收集耳朵内的声音；耳外麦克风的收音方向向外，采集环境中的声音，也包括通过外部空气传导的用户说话声音。
图2示意了示出了捂嘴动作对于用户发出的声音在空气中传播时能量的改变，让进入到耳机外麦克风的声音变小；相比而言，耳机内部的麦克风接收到通过耳道和头部传播的声音，不受捂嘴动作的影响。
图3示意性地示出了耳内麦克风所接收的用户说话声音的不同来源，其中耳内麦克风所接收到的用户说话声音是喉咙或口腔发出，通过耳道传出的声音或者通过头部的肌肉、骨骼传导的声音。
图4示出了根据本发明实施例的利用配备有耳内麦克风和耳外麦克风的单耳耳机来识别用户是否在做捂嘴手势的状态下发声的总体流程图。
所述方法优选是在单耳耳机上执行的，此时单耳耳机具有一块电路板，电路板上具有存储器和处理器，存储器上存储有计算机可执行指令，计算机可执行指令被处理器执行时能够执行所述方法。
不过所述方法也可以在与单耳耳机协作的智能电子设备上执行，例如在智能手机上执行，此时在方法执行之前，需要将所述单耳耳机的所述耳内麦克风和耳外麦克风采集的这两路信号发送到智能电子设备上。
如图4所示，在步骤S401中，接收所述耳内麦克风和耳外麦克风采集的信号。
在步骤S402中，分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声。
在一个示例中，耳外的麦克风可以是空气传导麦克风，耳内的麦克风为空气传导麦克风或骨传导麦克风。
在一个示例中，分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声包括：计算耳机上耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值；在耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值超过预设阈值时，判断用户是在做捂嘴手势的状态下发声。
在一个示例中，分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声可以包括：对从耳内麦克风和耳外麦克风采集到的两路声音信号做人声信号增强；分别计算两路增强后信号的能量幅值，计算所述两路信号的能量幅值比值，识别耳外麦克风采集的用户声音信号在从用户口腔发出通过空气传到耳外麦克风之间的路径上有没有被遮挡，并基于此判断用户是否在做捂嘴手势的状态下发声。
在一个示例中，耳机还具备用于检测佩戴耳机的用户说话的说话检测模块，其中在分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声动作之前，所述耳机上的耳内麦克风和耳外麦克风处于关闭状态，所述说话检测模块检测佩戴耳机的用户是否在说话，以及在识别到用户开始说话之后，打开耳机上的耳内麦克风和耳外麦克风，进行声音信号采集并识别。
在一个示例中，所述耳机可操作来与智能电子设备无线连接，其中当耳机识别出用户是在做捂嘴手势的状态下发声时，将指示识别结果的信号传递给智能电子设备，用于控制智能电子设备上的程序执行，包括触发相应的控制指令。
在一个示例中，耳机执行操作还包括处理所述耳内麦克风和耳外麦克风信号以检测用户是否去除捂嘴手势；响应于检测到用户去除捂嘴手势，发送信号给智能电子设备结束所述交互过程。
根据本发明另一实施例，提供了一种电子设备，可操作来与下面的单个耳机无线连接，或者集成有所述单个耳机，所述单个耳机具有两个麦克风，耳内麦克风和耳外麦克风，电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：接收所述耳内麦克风和耳外麦克风采集的声音信号，分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势。
电子设备还可以具备用于检测佩戴耳机的用户说话的说话检测模块，其中在分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声之前，所述耳机上的耳内麦克风和耳外麦克风处于关闭状态，所述说话检测模块检测佩戴耳机的用户是否在说话，以及在识别到用户开始说话之后，打开耳机上的耳内麦克风和耳外麦克风，进行声音信号采集并识别。
在一个示例中，所述“分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势”，包括：对从耳内麦克风和耳外麦克风采集到的两路声音信号做人声信号增强；分别计算两路增强后信号的能量幅值，计算所述两路信号的能量幅值比值，识别耳外麦克风采集的用户声音信号在从用户口腔发出通过空气传到耳外麦克风之间的路径上有没有被遮挡，并基于此判断用户是否在做捂嘴手势的状态下发声。
例如，所述耳外的麦克风是空气传导麦克风，所述耳内的麦克风为空气传导麦克风或骨传导麦克风。
作为示例，所述分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声包括：
计算耳机上耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值；
在耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值超过预设阈值时，判断用户是在做捂嘴手势的状态下发声。
作为示例，计算机可执行指令被中央处理器执行时能够执行的操作还包括：响应于识别出用户是在做出捂嘴手势的状态下，将指示识别结果的信号作为用户交互输入控制的指示，控制智能电子设备上的程序执行，包括触发相应的控制指令或者触发其他输入方式。
作为示例，执行的控制指令为触发除捂嘴手势外的其它输入方式，即处理其它输入方式输入的信息。
作为示例，所述其他输入方式包括语音输入、非捂嘴手势输入、视线输入、眨眼输入、头动输入之一或者其组合。
智能电子设备还处理所述耳内麦克风信号和耳外麦克风信号以检测用户是否去除捂嘴手势；响应于检测到用户去除捂嘴手势，智能电子设备结束所述交互过程。
作为示例，提供包括视觉、听觉任一项反馈，提示用户智能电子设备已经触发其他输入方式。
所述智能电子设备例如为手机、手表、智能戒指、腕表中的一种智能穿戴设备。
例如，所述智能电子设备为头戴式智能显示设备，装备有所述耳内麦克风和耳外麦克风。
根据本发明另一实施例，提供了一种智能电子设备的语音交互唤醒方法，所述智能电子设备执行的语音交互唤醒方法包括：接收所述耳内麦克风和耳外麦克风采集的声音信号，分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声；响应于确定用户将手放在嘴边持续保持捂嘴手势，根据所做捂嘴手势类别、智能设备当前应用的交互内容，对于用户的交互意图进行解析；根据解析得到的交互意图，智能设备将对于用户的输入信息进行接收，分析及做出相应的内容输出；响应用户捂嘴手势后，在用户与智能设备交互情况下，处理所述耳内麦克风和耳外麦克风采集的声音信号，信号以确定用户去除捂嘴手势；响应于确定用户去除捂嘴手势，结束所述交互过程。
作为示例，内容输出形式包括语音、图像中一种或其组合。
根据本发明的另一方面，提供了一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令被计算机执行时能够执行上述语音交互唤醒方法。
本发明各个实施例的方案可以提供下述一种或几种优势：
1.本发明利用同一个耳机内部的两个麦克风——耳内麦克风和耳外麦克风——来识别用户是否在做捂嘴手势的状态下发声，进而触发语音输入，这样能够准确地识别出捂嘴手势下的语音输入，能够非常便利准确地触发语音输入。
2.在由耳机自身电路板对耳机上的耳内麦克风和耳外麦克风的两路信号进行接受和处理的情况下，不需要额外解决数据传输和信号的时间同步问题，会节省电能，且保证高识别精度，
3.使用效率更高。单手即可使用。无需在不同的用户界面/应用之间切换，也不需按住某个按键，直接抬起手到嘴边就能使用。
4.收音质量高。耳机的耳内麦克风和耳外麦克风收取的语音输入信号清晰，受环境音的影响较小。
5.高隐私性与社会性。基于同一耳机配置的耳内麦克风和耳外麦克风捕捉的声音内在特征，来确定是否触发语音输入应用，其中无需传统的物理按键触发、界面元素触发、唤醒词检测，交互更加自然。
6.做出捂嘴手势，用户进行语音输入对他人的干扰较小，同时具有较好的隐私保护，降低用户语音输入时的心理负担。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (23)

1.一种单耳耳机，具有耳内麦克风和耳外麦克风，以及具有一块电路板，电路板上具有存储器和处理器，存储器上存储有计算机可执行指令，计算机可执行指令被处理器执行时能够执行如下操作：
接收所述耳内麦克风和耳外麦克风采集的信号；
分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声，其中，捂嘴动作对于用户发出的声音在空气中传播时能量的改变，让进入到耳外麦克风的声音变小；耳内麦克风所接收到的用户说话声音是喉咙或口腔发出，通过耳道传出的声音或者通过头部的肌肉、骨骼传导的声音，不受捂嘴动作影响；
其中所述“分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声”，包括：
对从耳内麦克风和耳外麦克风采集到的两路声音信号做人声信号增强，分别计算两路增强后信号的能量幅值，计算所述两路信号的能量幅值比值，识别耳外麦克风采集的用户声音信号在从用户口腔发出通过空气传到耳外麦克风之间的路径上有没有被遮挡，并基于此判断用户是否在做捂嘴手势的状态下发声。
2.根据权利要求1的耳机，还具备用于检测佩戴耳机的用户说话的说话检测模块，其中在分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声动作之前，所述耳机上的耳内麦克风和耳外麦克风处于关闭状态，所述说话检测模块检测佩戴耳机的用户是否在说话，以及在识别到用户开始说话之后，打开耳机上的耳内麦克风和耳外麦克风，进行声音信号采集并识别。
3.根据权利要求1的耳机，所述耳外的麦克风是空气传导麦克风。
4.根据权利要求1的耳机，所述耳内的麦克风为空气传导麦克风或骨传导麦克风。
5.根据权利要求1的耳机，所述耳机可操作来与智能电子设备无线连接，其中当耳机识别出用户是在做捂嘴手势的状态下发声时，将指示识别结果的信号传递给智能电子设备，用于控制智能电子设备上的程序执行，包括触发相应的控制指令。
6.根据权利要求5的耳机，还包括处理所述耳内麦克风和耳外麦克风信号以检测用户是否去除捂嘴手势；响应于检测到用户去除捂嘴手势，发送信号给智能电子设备结束所述交互过程。
7.一种单耳耳机，具有耳内麦克风和耳外麦克风，以及具有一块电路板，电路板上具有存储器和处理器，存储器上存储有计算机可执行指令，计算机可执行指令被处理器执行时能够执行如下操作：
接收所述耳内麦克风和耳外麦克风采集的信号；
分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势的状态下发声，其中，捂嘴动作对于用户发出的声音在空气中传播时能量的改变，让进入到耳外麦克风的声音变小；耳内麦克风所接收到的用户说话声音是喉咙或口腔发出，通过耳道传出的声音或者通过头部的肌肉、骨骼传导的声音，不受捂嘴动作影响；
所述分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声包括：
计算耳机上的耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值；
在耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值超过预设阈值时，判断用户是在做捂嘴手势的状态下发声。
8.一种智能电子设备，特征在于：可操作来与下面的单个耳机无线连接，或者集成有所述单个耳机，所述单个耳机具有两个麦克风，耳内麦克风和耳外麦克风，智能电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：接收所述耳内麦克风和耳外麦克风采集的声音信号，分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声，其中，捂嘴动作对于用户发出的声音在空气中传播时能量的改变，让进入到耳外麦克风的声音变小；耳内麦克风所接收到的用户说话声音是喉咙或口腔发出，通过耳道传出的声音或者通过头部的肌肉、骨骼传导的声音，不受捂嘴动作影响；
所述“分析耳内麦克风和耳外麦克风采集的信号，识别用户是否在做捂嘴手势”，包括：
对从耳内麦克风和耳外麦克风采集到的两路声音信号做人声信号增强分别计算两路增强后信号的能量幅值，计算所述两路信号的能量幅值比值，识别耳外麦克风采集的用户声音信号在从用户口腔发出通过空气传到耳外麦克风之间的路径上有没有被遮挡，并基于此判断用户是否在做捂嘴手势的状态下发声。
9.根据权利要求8的智能电子设备，还具备用于检测佩戴耳机的用户说话的说话检测模块，其中在分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声之前，所述耳机上的耳内麦克风和耳外麦克风处于关闭状态，所述说话检测模块检测佩戴耳机的用户是否在说话，以及在识别到用户开始说话之后，打开耳机上的耳内麦克风和耳外麦克风，进行声音信号采集并识别。
10.根据权利要求8的智能电子设备，所述耳外的麦克风是空气传导麦克风。
11.根据权利要求8的智能电子设备，所述耳内的麦克风为空气传导麦克风或骨传导麦克风。
12.根据权利要求8的智能电子设备，计算机可执行指令被中央处理器执行时能够执行的操作还包括：
响应于识别出用户是在做出捂嘴手势的状态下，将指示识别结果的信号作为用户交互输入控制的指示，控制智能电子设备上的程序执行，包括触发相应的控制指令。
13.根据权利要求12的智能电子设备，执行的控制指令为触发除捂嘴手势外的其它输入方式，即处理其它输入方式输入的信息。
14.根据权利要求13的智能电子设备，所述其它输入方式包括语音输入、非捂嘴手势输入、视线输入、眨眼输入、头动输入之一或者其组合。
15.根据权利要求12的智能电子设备，处理所述信号以检测用户是否去除捂嘴手势；
响应于检测到用户去除捂嘴手势，智能电子设备结束所述交互过程。
16.根据权利要求12所述的智能电子设备，提供包括视觉、听觉任一项反馈，提示用户智能电子设备已经触发其他输入方式。
17.根据权利要求12的智能电子设备，智能电子设备对用户在保持捂嘴手势同时进行的语音输入进行处理。
18.根据权利要求8的智能电子设备，所述智能电子设备为手机、手表、智能戒指、腕表中的一种智能穿戴设备。
19.根据权利要求8的智能电子设备，所述智能电子设备为头戴式智能显示设备，装备有所述耳内麦克风和耳外麦克风。
20.一种智能电子设备，特征在于：可操作来与下面的单个耳机无线连接，或者集成有所述单个耳机，所述单个耳机具有两个麦克风，耳内麦克风和耳外麦克风，智能电子设备具有存储器和中央处理器，存储器上存储有计算机可执行指令，计算机可执行指令被中央处理器执行时能够执行如下操作：接收所述耳内麦克风和耳外麦克风采集的声音信号，分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声，其中，捂嘴动作对于用户发出的声音在空气中传播时能量的改变，让进入到耳外麦克风的声音变小；耳内麦克风所接收到的用户说话声音是喉咙或口腔发出，通过耳道传出的声音或者通过头部的肌肉、骨骼传导的声音，不受捂嘴动作影响；
所述分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声包括：
计算耳机上耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值；
在耳内麦克风和耳外麦克风接收到的用户声音信号能量幅值比值超过预设阈值时，判断用户是在做捂嘴手势的状态下发声。
21.一种如权利要求8到20任一项所述的智能电子设备的语音交互唤醒方法，所述智能电子设备执行的语音交互唤醒方法包括：
接收所述耳内麦克风和耳外麦克风采集的声音信号，分析耳内麦克风和耳外麦克风采集的声音信号，识别用户是否在做捂嘴手势的状态下发声；
响应于识别到用户在做捂嘴手势的状态下发声，智能设备触发语音输入处理，分析及做出相应的内容输出；
响应用户捂嘴手势后，在用户与智能设备交互情况下，处理所述耳内麦克风和耳外麦克风采集的声音信号，以确定用户去除捂嘴手势；
响应于确定用户去除捂嘴手势，结束所述交互过程。
22.根据权利要求21的语音交互唤醒方法，所述内容输出形式包括语音、图像中一种或其组合。
23.一种计算机可读介质，其上存储有计算机可执行指令，计算机可执行指令被计算机执行时能够执行权利要求21-22任一项所述的语音交互唤醒方法。
CN202010198596.6A 2020-03-19 2020-03-19 单耳耳机、智能电子设备、方法和计算机可读介质 Active CN111432303B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010198596.6A CN111432303B (zh) 2020-03-19 2020-03-19 单耳耳机、智能电子设备、方法和计算机可读介质
PCT/CN2020/093161 WO2021184549A1 (zh) 2020-03-19 2020-05-29 单耳耳机、智能电子设备、方法和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010198596.6A CN111432303B (zh) 2020-03-19 2020-03-19 单耳耳机、智能电子设备、方法和计算机可读介质

Publications (2)

Publication Number Publication Date
CN111432303A CN111432303A (zh) 2020-07-17
CN111432303B true CN111432303B (zh) 2023-01-10

Family

ID=71555389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198596.6A Active CN111432303B (zh) 2020-03-19 2020-03-19 单耳耳机、智能电子设备、方法和计算机可读介质

Country Status (2)

Country Link
CN (1) CN111432303B (zh)
WO (1) WO2021184549A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN112055278B (zh) * 2020-08-17 2022-03-08 大象声科（深圳）科技有限公司 融合入耳麦克风和耳外麦克风的深度学习降噪设备
CN112259124B (zh) * 2020-10-21 2021-06-15 交互未来(北京)科技有限公司 基于音频频域特征的对话过程捂嘴手势识别方法
CN112133313A (zh) * 2020-10-21 2020-12-25 交互未来(北京)科技有限公司 基于单耳机语音对话过程捂嘴手势的识别方法
CN115132212A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 一种语音控制方法和装置
CN113825063B (zh) * 2021-11-24 2022-03-15 珠海深圳清华大学研究院创新中心 耳机的语音识别启动方法及耳机的语音识别方法
CN114120603B (zh) * 2021-11-26 2023-08-08 歌尔科技有限公司 语音控制方法、耳机和存储介质
CN114143651A (zh) * 2021-11-26 2022-03-04 思必驰科技股份有限公司 用于骨传导耳机的语音唤醒方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305637A (zh) * 2018-01-23 2018-07-20 广东欧珀移动通信有限公司 耳机语音处理方法、终端设备及存储介质
CN108882087A (zh) * 2018-06-12 2018-11-23 歌尔科技有限公司 一种智能语音检测方法、无线耳机、tws耳机及终端
CN109949810A (zh) * 2019-03-28 2019-06-28 华为技术有限公司 一种语音唤醒方法、装置、设备及介质
CN110164440A (zh) * 2019-06-03 2019-08-23 清华大学 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN110265036A (zh) * 2019-06-06 2019-09-20 湖南国声声学科技股份有限公司 语音唤醒方法、系统、电子设备及计算机可读存储介质
CN110445931A (zh) * 2019-08-01 2019-11-12 花豹科技有限公司 语音识别开启方法及电子设备
CN110837353A (zh) * 2018-08-17 2020-02-25 宏达国际电子股份有限公司 补偿耳内音频信号的方法、电子装置及记录介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102339297B1 (ko) * 2008-11-10 2021-12-14 구글 엘엘씨 멀티센서 음성 검출
CN205283527U (zh) * 2015-12-22 2016-06-01 深圳市中安瑞科通信有限公司 半双工无线机搭配蓝牙的送受话系统
US20170186446A1 (en) * 2015-12-24 2017-06-29 Michal Wosk Mouth proximity detection
US10477328B2 (en) * 2016-08-01 2019-11-12 Qualcomm Incorporated Audio-based device control
EP3611612A1 (en) * 2018-08-14 2020-02-19 Nokia Technologies Oy Determining a user input
CN110121129B (zh) * 2019-06-20 2021-04-20 歌尔股份有限公司 耳机的麦克风阵列降噪方法、装置、耳机及tws耳机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305637A (zh) * 2018-01-23 2018-07-20 广东欧珀移动通信有限公司 耳机语音处理方法、终端设备及存储介质
CN108882087A (zh) * 2018-06-12 2018-11-23 歌尔科技有限公司 一种智能语音检测方法、无线耳机、tws耳机及终端
CN110837353A (zh) * 2018-08-17 2020-02-25 宏达国际电子股份有限公司 补偿耳内音频信号的方法、电子装置及记录介质
CN109949810A (zh) * 2019-03-28 2019-06-28 华为技术有限公司 一种语音唤醒方法、装置、设备及介质
CN110164440A (zh) * 2019-06-03 2019-08-23 清华大学 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN110265036A (zh) * 2019-06-06 2019-09-20 湖南国声声学科技股份有限公司 语音唤醒方法、系统、电子设备及计算机可读存储介质
CN110445931A (zh) * 2019-08-01 2019-11-12 花豹科技有限公司 语音识别开启方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
低信噪比环境下的麦克风阵列语音识别算法研究;王群等;《科学技术与工程》;20171130;第17卷(第31期);101-106 *

Also Published As

Publication number Publication date
WO2021184549A1 (zh) 2021-09-23
CN111432303A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111432303B (zh) 单耳耳机、智能电子设备、方法和计算机可读介质
CN108710615B (zh) 翻译方法及相关设备
CN110785808B (zh) 具有唤醒字检测的音频设备
CN108735219B (zh) 一种声音识别控制方法及装置
US20220319520A1 (en) Voice interaction wakeup electronic device, method and medium based on mouth-covering action recognition
CN106686494A (zh) 一种可穿戴设备的语音输入控制方法及可穿戴设备
CN105988768B (zh) 智能设备控制方法、信号获取方法及相关设备
CN110097875B (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110428806B (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN110223711B (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
WO2020244411A1 (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN111491236A (zh) 一种主动降噪耳机及其唤醒方法、装置及可读存储介质
JP2009178783A (ja) コミュニケーションロボット及びその制御方法
JP2004199053A (ja) 絶対音量を使用して音声信号を処理する方法
CN112399297A (zh) 一种耳机及其语音唤醒方法、计算机存储介质
CN108696813A (zh) 用于运行听力设备的方法和听力设备
WO2022199405A1 (zh) 一种语音控制方法和装置
US11589173B2 (en) Hearing aid comprising a record and replay function
CN112259124B (zh) 基于音频频域特征的对话过程捂嘴手势识别方法
JP5862318B2 (ja) 音解析装置、音解析システムおよびプログラム
CN111415442A (zh) 一种门禁控制方法、电子设备及存储介质
JP3233390U (ja) 通知装置及びウェアラブル装置
CN106843469B (zh) 一种控制穿戴设备报时的方法及穿戴设备
KR102223653B1 (ko) 음성 신호 처리 장치 및 방법, 그리고 단말
CN105997084B (zh) 一种人体口气的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211025

Address after: Room 410, 4th floor, building 9, No. 5 (Xiyuan), Jiuxianqiao South Road, Chaoyang District, Beijing 100016

Applicant after: Interactive future (Beijing) Technology Co.,Ltd.

Address before: 100084 Tsinghua University, Beijing, Haidian District

Applicant before: TSINGHUA University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant