CN111294719A - 耳戴式设备入耳状态检测方法、设备和移动终端 - Google Patents
耳戴式设备入耳状态检测方法、设备和移动终端 Download PDFInfo
- Publication number
- CN111294719A CN111294719A CN202010067605.8A CN202010067605A CN111294719A CN 111294719 A CN111294719 A CN 111294719A CN 202010067605 A CN202010067605 A CN 202010067605A CN 111294719 A CN111294719 A CN 111294719A
- Authority
- CN
- China
- Prior art keywords
- ear
- sound signal
- sound
- difference
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000005236 sound signal Effects 0.000 claims abstract description 188
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000009467 reduction Effects 0.000 claims description 27
- 230000001427 coherent effect Effects 0.000 claims description 20
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000009413 insulation Methods 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001012 protector Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Headphones And Earphones (AREA)
Abstract
本申请提供一种耳戴式设备入耳状态检测方法、设备和移动终端，属于耳戴式设备技术领域。本申请通过耳内拾音单元采集第一声音信号，通过耳外拾音单元采集第二声音信号，耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；计算第一声音信号与第二声音信号的特征差值，特征差值用于量化表示第一声音信号与第二声音信号之间的差异；根据特征差值，判断耳戴式设备是否为入耳状态。本申请提供的上述方案能够有效检测耳机等耳戴式设备的入耳状态。
Description
技术领域
本申请涉及耳戴式设备技术领域，尤其涉及一种耳戴式设备入耳状态检测方法、设备和移动终端。
背景技术
耳戴式设备作为可穿戴电子设备之一，近年来得到迅速发展。常见的耳戴式设备包括：耳机、被动隔声护耳器、有源降噪护耳器等等，其中耳机是最常见使用也最为广泛的耳戴式设备，例如有线耳机、无线蓝牙耳机、音乐耳机等。耳机按照佩戴方式可以分为耳塞式、入耳式和头戴式。
随着芯片的微型化、传感器的微型化以及电池技术的进步，耳机变得越来越轻便、智能化程度越来越高。用户对于耳机的要求不再满足于听音乐、打电话，而是希望开发更多便捷功能，例如通过语音控制实现各种指令控制和信息查询。由于耳机等耳戴式设备大多为便携式电子设备，无线传输以及智能化功能的实施往往都需要电池供电才能工作，为了方便用户使用，对耳机的低功耗特性提出了更高的要求，而造成耳机功耗较大的因素包括音频播放、音频信号处理以及有源降噪等。而在一些应用场景中，耳机虽然出于未使用状态，但仍然在继续运行消耗电量，例如，比较常见的是，用户摘下耳机后并未停止音频播放，耳机会继续播放音频，直至被停止或者电量耗尽。一般而言，对于耳塞式以及入耳式耳机来说，当前是否处于入耳状态，可以作为判断耳机是否正在被用户使用的一个充分条件，多数情况下耳机处于非入耳状态时即为未被使用的状态，未使用状态下关闭相应的视频播放以及有源降噪等功能，无疑将减少电能的不必要消耗。
由此可见，对于耳戴式设备的入耳状态进行检测，成为本领域技术人员亟待解决的技术问题之一。
发明内容
本申请实施例提供了一种耳戴式设备入耳状态检测方法、设备和移动终端，用以解决现有技术中耳戴式设备入耳状态检测的技术问题。
第一方面，本申请提供一种耳戴式设备入耳状态检测方法，包括：
通过耳内拾音单元采集第一声音信号，通过耳外拾音单元采集第二声音信号，耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；
计算第一声音信号与第二声音信号的特征差值，特征差值用于量化表示第一声音信号与第二声音信号之间的差异；
根据特征差值，判断耳戴式设备是否为入耳状态。
可选的，计算第一声音信号与第二声音信号的特征差值，具体包括：
计算第一声音信号与第二声音信号之间的对数功率差和/或相干值。
可选的，计算第一声音信号与第二声音信号之间的对数功率差和/或相干值，具体包括：
确定耳戴式设备不具备有源降噪模块时，从第一声音信号和第二声音信号中，选择高频段计算对数功率差和/或相干值，高频段为频率值高于高频阈值的频段；
确定耳戴式设备具备有源降噪模块时，从第一声音信号和第二声音信号中，选择低频段和高频段计算对数功率差和/或相干值，低频段为频率值低于低频阈值的频段。
可选的，计算第一声音信号与第二声音信号的特征差值之前，进一步包括：
根据第二声音信号计算耳外绝对声压级；
计算第一声音信号与第二声音信号的特征差值，具体包括：
确定耳外绝对声压级超过高分贝阈值或者低于低分贝阈值时，从第一声音信号和第二声音信号中，选择高频段计算对数功率差和/或相干值。
可选的，计算第一声音信号与第二声音信号的特征差值，具体包括：
针对第一声音信号以及第二声音信号中的每一帧，分别执行以下操作：
根据第一声音信号中的第l帧对应的耳内声音功率，以及第二声音信号中第l帧信号对应的耳外声音功率，计算耳内声音功率与耳外声音功率的差值，对差值进行时间平均处理，将处理后的平均差值作为第l帧对应的一个特征差值；
和/或，
计算第一声音信号和第二声音信号中第l帧之间的相干值，对相干值进行频带平均处理，将处理后相干值均值作为第l帧对应的一个特征差值。
可选的，根据特征差值，判断耳戴式设备是否为入耳状态，具体包括：
将特征差值与预设门限值进行比较，特征差值大于或等于预设门限值时，则判定耳戴式设备为入耳状态；
或者，
将特征差值输入预先训练得到的神经网络模型，通过神经网络模型输出是否为入耳状态；神经网络模型，为预先采用样本特征差值为输入、以与样本特征差值分别对应的入耳状态作为标签，训练而得。
第二方面，本申请还提供一种耳戴式设备，包括至少一耳内拾音单元、至少一耳外拾音单元和检测单元；
耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；
耳内拾音单元用于采集第一声音信号，耳外拾音单元用于采集第二声音信号，
检测单元，用于计算第一声音信号与第二声音信号的特征差值，以及根据特征差值，判断耳戴式设备是否为入耳状态，特征差值用于量化表示第一声音信号与第二声音信号之间的差异。
第三方面，本申请还提供一种耳戴式设备，与移动终端通信连接，包括至少一耳内拾音单元、至少一耳外拾音单元和收发组件；
耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；
耳内拾音单元用于采集第一声音信号，耳外拾音单元用于采集第二声音信号，
收发组件，用于将采集到的第一声音信号和第二声音信号发送至移动终端，以及接收移动终端发送的入耳状态判别结果。
第四方面，本申请还提供一种移动终端，与耳戴式设备通信连接，包括收发组件和检测单元；
收发组件，用于接收耳戴式设备发送的第一声音信号和第二声音信号；
检测单元，用于计算第一声音信号与第二声音信号的特征差值，以及根据特征差值，判断耳戴式设备是否为入耳状态，以及将入耳状态判别结果发送至耳戴式设备，其中，特征差值用于量化表示第一声音信号与第二声音信号之间的差异。
在本申请实施例中，通过耳内拾音单元采集第一声音信号，通过耳外拾音单元采集第二声音信号，其中，耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，所述耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件，基于第一声音信号与第二声音信号，计算二者的特征差值，特征差值为表示第一声音信号与第二声音信号之间的差异特性的量化值，该差值反应了耳内外声音信号的差异，当耳戴式设备出于未佩戴状态时，一般耳内外声音信号的差异较小，即第一声音信号和第二声音信号的差异较小，而耳戴式设备被正常佩戴时，耳内外声音信号差异较大，因此，根据耳内外声音信号的差异特征，能够判断所述耳戴式设备是否为入耳状态，本申请能够有效检测出非入耳状态，进而为及时减少电池消耗提供技术支持。
附图说明
图1为本申请实施例中耳戴式设备入耳状态检测方法的流程示意图；
图2为本申请实施例耳机单侧的声音拾取单元的布放示意图；
图3为本申请实施例提供的入耳状态检测方法的整体流程架构图；
图4a-图4c示出了采用本申请实施例提供的入耳状态检测方法进行检测的一个测试结果。
具体实施方式
下面将结合附图详细描述本申请实施例的技术方案。
本申请实施例提供了一种耳戴式设备入耳状态检测方法、设备和移动终端，适用于双耳耳机应用场景，也适用于单耳耳机应用场景，主要针对入耳式或者耳塞式等使用时需要入耳的耳戴式设备中。耳戴式设备包括各种可配戴于耳部的入耳式电子设备，为便于描述，以下以耳机为例对本申请实施例加以说明，同样适用于其他耳戴式设备。
参阅图1所示，本申请实施例提供的耳戴式设备入耳状态检测方法，包括以下流程：
S101：通过耳内拾音单元采集第一声音信号，通过耳外拾音单元采集第二声音信号。
其中，耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件。
参阅图2所示，图2示出了耳机单侧的声音拾取单元的布放示意图。其中M1和M2均为耳外拾音单元，M3为耳内拾音单元。本申请实施例中，要求至少具备一个耳内拾音单元和至少一个耳外拾音单元。例如，至少要包含M1和M3，或者至少包含M2和M3。
作为一种可实施方式，可以设置多个耳外拾音单元和一个耳内拾音单元，也可以设置多个耳内拾音单元和一个耳外拾音单元，或者设置多个耳内拾音单元和多个耳外拾音单元，本领域技术人员可根据实际需求具体设置拾音单元的数目，本申请实施例不逐一列举。
其中，需要说明的是，内外拾音单元为任意一种具有声音信号采集功能的器件，包括各种直接或者间接、主动或者被动进行拾音的功能单元，例如可以是传声器，也可以是其他类型的传感器。
其中，S101中的耳内拾音单元与耳外拾音单元，可以采用如下两种方式安装：
方式一，装设于同一只耳机，例如，对于单耳耳机，则需要同时装设耳内拾音单元和耳外拾音单元；对于双耳耳机，耳内拾音单元和耳外拾音单元都装设于一侧，例如都装设于左耳侧或者右耳侧。
方式二，装设于一副耳机的不同侧，即，将耳内拾音单元置于一侧，耳外拾音单元置于异侧，例如耳外拾音单元装设于左耳侧，耳内拾音单元装设于右耳侧，或者耳内拾音单元装设有左耳侧，耳外拾音单元装设于右耳侧。
其中，考虑到用户仅使用单侧耳机的实际应用场景，优选的，在一副耳机的两侧均具备至少一个耳内拾音单元和至少一个耳外拾音单元。
S102：计算第一声音信号与第二声音信号的特征差值。
其中，特征差值用于量化表示第一声音信号与第二声音信号之间的差异。
耳机入耳与否，对耳内拾音单元的影响相对较大，对耳外拾音单元的影响相对较小，但是由于环境复杂多变，直接用耳内拾音单元直接进行耳机入耳状态检测往往准确度不高。因此，本申请实施例中，将耳内外声音信号的差异作为判别标准。
为便于理解本申请，首先介绍本申请方案采用的信号模型。
假设存在耳内拾音单元及耳外拾音单元，第i个耳外拾音单元接收到的信号xi(n)为：
xi(n)＝si(n)+ds,i(n)+dt,i(n) (1)
其中，si(n)、ds,i(n)和dt,i(n)分别为第i个耳外拾音单元接收到的用户语音信号、平稳态噪声和瞬态噪声；i＝1,2,…M，其中M≥1为耳外拾音单元个数。
第i个耳内拾音单元接收到的信号
为：
其中，
和
分别为第i个耳内拾音单元接收到的目标语音信号、平稳态噪声和瞬态噪声；i＝1,2,..,N，N≥1为耳内拾音单元个数，
为耳内拾音单元拾取的耳机扬声器信号。
其中，耳内拾音单元拾取的耳机扬声器信号
可通过自适应回声消除或者回声抑制方法将其消除或者抑制，因此假设其幅度较小可忽略，即
当耳机中仅具备一个耳内拾音单元和一个耳外拾音单元时，则M＝N＝1，此时耳外耳内的声音信号分别为：
其中，x(n)表示第二声音信号(时域)，xin(n)表示第一声音信号(时域)，s(n)和sin(n)分别表示耳外拾音单元采集到的纯净声音信号和耳内拾音单元采集到的纯净声音信号；v(n)包括了耳外拾音单元采集到的第二声音信号的平稳态噪声和瞬态噪声，同样vin(n)包含了耳内拾音单元采集到的第一声音信号的平稳态噪声和瞬态噪声。
通过快速傅里叶变换，公式(3)在频率域可以写成：
其中，X(k,l)和Xin(k,l)分别是x(n)和xin(n)经变换后得到的第k个频带第l帧的频谱，S(k,l)和Sin(k,l)分别表示s(n)和sin(n)经变换后得到的第k个频带第l帧的频谱，和V(k,l)和Vin(k,l)分别表示v(n)和vin(n)经变换后得到的第k个频带第l帧的频谱。
作为一种可实施方式，本申请中，基于第一声音信号和第二声音信号所计算的特征差值，包括第一声音信号和第二声音信号之间的对数功率差和/或相干值，即用于表示第一声音信号和第二声音信号之间的差异特性的特征包括对数功率差和/或相干值。
具体地，计算特征差值时，还根据耳机是否具备有源降噪功能，分别选择不同频段信号进行计算：
确定耳戴式设备不具备有源降噪模块时，从第一声音信号和第二声音信号中，选择高频段计算对数功率差和/或相干值，高频段为频率值高于高频阈值的频段；确定耳戴式设备具备有源降噪模块时，从第一声音信号和第二声音信号中，选择低频段和高频段计算对数功率差和/或相干值，低频段为频率值低于低频阈值的频段。
其中高频阈值为1800-2000Hz，例如2000Hz；低频阈值为1000-1200Hz，例如1000Hz。
作为一种可实施方式，计算特征差值时，还应参考耳外绝对声压级这一因素，选择不同的信号频段进行计算，具体包括：
根据第二声音信号计算耳外绝对声压级，确定耳外绝对声压级超过高分贝阈值或者低于低分贝阈值时，从第一声音信号和第二声音信号中，选择高频段计算对数功率差和/或相干值。
其中，高分贝阈值为100-120dB，例如120dB；低分贝阈值为20dB。
计算得到的对数功率差随着时间的抖动较大，为了减少抖动，计算对数功率差时，以帧为单位，分别计算第一声音信号和第二声音信号中各个帧的功率，然后针对每一帧，分别执行以下操作：
根据第一声音信号中的第l帧对应的耳内声音功率，以及第二声音信号中第l帧信号对应的耳外声音功率，计算耳内声音功率与耳外声音功率的差值，一帧信号对应得到一个差值，对差值进行时间平均处理，将处理后的平均差值作为第l帧对应的一个特征差值。其中，l＝1,2,3……L，L表示第一声音信号或者第二声音信号所包括的帧数目，耳内声音功率和耳外声音功率可以分别是第一声音信号和第二声音信号的对数总功率。
对应地，当采用相干值作为表示耳内外信号差异的特征时，采用单个频点检测，由于相干函数的相干值方差较大，会造成入耳检测性能不可靠，因此，为了降低相干值方差，采用频带平均的方法，计算第一声音信号和第二声音信号中第l帧之间的相干值，对相干值进行频带平均处理，将处理后相干值均值作为第l帧对应的一个特征差值。
S103：根据特征差值，判断耳戴式设备是否为入耳状态。
在本申请实施例中，可以采用如下几种方式判断是否为入耳状态：
方式一，单一特征单一门限比较。
将对数功率差与预设的对数功率差门限值进行比较，大于或等于预设的对数功率差门限值时，则判定耳戴式设备为入耳状态。
或者，将相干值与预设的相干值门限值进行比较，大于或者等于预设的相干值门限值时，则判定耳戴式设备为入耳状态。
方式二，多特征，多门限比较。
该方法中，可以结合耳机是否具备有源降噪功能，将高频对数功率差、低频对数功率差、高频相干值以及低频相干值均作为参考特征，并设置各个特征分别对应的门限值，将各个特征与各个门限值综合对比来判断是否为入耳状态。
方式三，基于神经网络的多特征联合。
将特征差值输入预先训练得到的神经网络模型，通过神经网络模型输出是否为入耳状态。
其中，该方式需要预先采集多个第一声音信号和第二声音信号，计算其特征差值(样本特征差值)以及耳外绝对声压级等特征，作为训练样本，将采集样本信号时的真实状态(入耳状态或者非入耳状态)作为标签，对神经网络模型进行训练。
基于训练后的神经网络，将实时计算得到的特征差值以及耳外绝对声压级等特征输入神经网络，可直接输出是否入耳状态的判别结果。
请参阅图3，图3示出了本申请实施例提供的入耳状态检测方法的整体流程架构图，其中耳外信号即为第二声音信号，耳内信号即为第一声音信号，输出为入耳状态标记T(l)，用于表示入耳状态检测结果。
为进一步阐述本申请，下面列举两个具体实施例：
实施例1
耳内拾音单元采集第一声音信号，耳外拾音单元采集第二声音信号。
计算耳外拾音单元拾取的第二声音信号的对数总功率：
其中，Px(l)表示第二声音信号的对数总功率，k表示声音信号中第k个频带，l表示声音信号中第l帧，k1和k2分别是求和的下限和上限。
计算耳内拾音单元拾取的第一声音信号的对数总功率：
其中，
表示第二声音信号的对数总功率。
耳内外信号对数功率差为：
采用公式(8)进行计算，Δ(l)随着时间的抖动较大，为了减少抖动，进行时间平均处理，即：
Δaver(l)＝βΔaver(l-1)+(1-β)Δ(l-1) (8)
其中，Δaver(l)即平均处理后的对数功率差均值；β是介于0到1的数，越接近与1平滑越大，例如典型取值为0.9。
作为一种可实施方式，也可以先对Px(l)和
进行时间求平均，同样可起到降低Δ(l)抖动的作用。
接下来计算耳外绝对声压级：
为了得到耳外绝对声压级，采用特定声压级Pref的声源作为激励信号(例如可以选择94dB)，设声压级为Pref的激励信号被耳外拾音单元拾取的信号的频谱为Xstd(k)，则相应的对数总功率为：
由于特定声源的声压级不随时间改变，因此耳外拾音单元的对数总功率也不随时间变化，据此可得耳外绝对声压级Pabs(l)为：
采用单帧进行绝对声压级估计，可能估计偏差较大，而实际应用场景中，噪声声压级往往相对稳定，因此可进一步采用多帧平均或者递归平滑对式(4)得到的耳外绝对声压级做进一步处理，即：
其中，
即平均处理后的耳外绝对声压级均值；α是介于0到1的数，越接近与1平滑越大，典型取值为0.9，α可以和β取相同值，也可取不同值。
采用
替代Pabs(l)，可显著降低耳外绝对声压级估计受瞬态信号的影响，从而得到较为准确的绝对声压级估计。
在本实施例中，耳内以及耳外拾音单元均采用传声器。耳内外拾音单元用的都是传声器时，当耳机非正常佩戴时，耳内拾音单元拾取的信号幅度较高，此时耳内外Δaver(l)较小；当耳机正常佩戴时，耳内拾音单元拾取的信号幅度较小，此时耳内外Δaver(l)较大。
根据Δaver(l)是否大于预设的门限值ΔTH，可判断当前耳机是否正常佩戴：当Δaver(l)大于或者等于ΔTH时，初步判断当前帧为入耳状态；否则判断为非入耳状态。其中，作为一种可实施方式，门限值ΔTH的典型取值范围为10到20dB。
本申请该实施例适用于有源降噪耳机和非有源降噪耳机。
对于非有源降噪耳机，由于不具备有源降噪功能，耳内外声音信号差异主要依靠被动隔声，此时应尽可能选用高频信号计算
在本实施例中，高频信号为高于2000Hz的信号。
对于有源降噪耳机，由于具备有源降噪功能，耳内外声音信号差异的低频部分主要靠主动隔声，高频部分则靠被动隔声，此时可同时计算低频信号的对数功率差的
和高频信号的对数功率差
在本实施例中，低频信号为频率低于1000Hz的信号。
此外，在一些特殊应用情景下，例如环境噪声过高或者环境较为安静时，有源降噪可能无法实现低频降噪的功能，需要选择适当的特征作为判别入耳状态依据，特征选择不当可能影响判别结果准确度。
因此，上述计算耳外绝对声压级的目的还在于，需要结合耳外绝对声压级来选择适当的特征进行入耳状态判断。在本实施例中，当耳外绝对声压级过大，例如超过120dB时，或者声压级过小，例如小于10dB时，此时，只能依赖被动隔声性能，即只能采用
进行入耳状态检测。
实施例2
耳内拾音单元采集第一声音信号，耳外拾音单元采集第二声音信号。
根据第一声音信号和第二声音信号，按照以下相干函数计算耳内外声音信号的相干值：
其中，eps为小值，取值范围为10-12～10-8，例如eps取值为10-10，避免除零运算，X*(k，l)表示X(k,l)的共轭，E{·}为求期望运算。
采用单个频点进行检测时，由于相干函数的相干值方差较大，会造成入耳状态检测性能不可靠。为了降低相干值方差，采用频带平均的方法，即：
当耳机处于正常佩戴场景，耳内外的信号会有较大的差异，此时在某些频带会有相干值降低的情况；而当耳机处于非正常佩戴，耳内外信号差异较小，整体相干值较高。通过判断某个频带C(l)是否大于预设的门限值CTH，可判断入耳检测状态。
同样地，由于特征选择受到是否具备有源降噪功能的影响，本实施例同样需要针对有源降噪耳机和非有源降噪耳机两种情况分别采取不同方案：
如果该耳机不具备有源降噪功能，则耳内外信号差异主要依靠被动隔声，此时应尽可能选用高频(例如高于2000Hz)信号计算相干值Chigh(l)；
如果该耳机具备有源降噪功能，则耳内外信号差异的低频部分主要靠主动隔声，高频部分则靠被动隔声，此时可同时计算低频信号(例如低于1000Hz)的Clow(l)和高频信号(例如高于2000Hz)的Chigh(l)。
在本实施例中，同样需要结合耳外绝对声压级来判断是否处于特殊应用场景。当耳外绝对声压级过大(如超过120dB)或者声压级过小(绝对安静场景，例如低于10dB)，有源降噪可能无法实现低频降噪的功能，此时，只能依赖被动隔声性能产生耳内外相干值差异，即只能采用Chigh(l)进行入耳状态检测。
实施例3
本实施例中，采用多特征联合方式，基于训练好的神经网络模型，直接输出入耳状态检测结果。
在模型训练阶段，采集多种第一声音信号和第二声音信号，作为样本信号，计算得到相应的Δaver(l)、
C(l)、Clow(l)、Chigh(l)和
将这七维特征组成特征向量，作为神经网络模型的输入，将采集样本信号时耳机是否入耳的真实状态作为标签，对神经网络模型进行训练，不断优化网络参数。
在模型应用阶段，根据实时采集的第一声音信号和第二声音信号，计算对应的实时上述七维特征，构成特征向量，输入训练后的神经网络，通过神经网络输出入耳状态检测结果。
基于神经网络的检测方式，输入特征不多，即便采用深度神经网络，网络中间的节点也较少，需要占用的运算资源和存储资源都较低。
基于本申请技术构思，还可以采用支持向量机或者其他浅层神经网络，利用耳内外信号差异的特征实现入耳状态检测的方法，本申请实施例不逐一列举。
参阅图4a至图4c所示，图4a至图4c示出了采用本申请实施例的方法进行入耳状态检测的一个测试结果。测试人员不定时摘掉耳机，在入耳状态以及摘掉耳机状态之间随机切换，采用本申请实施例提供的入耳状态检测方法进行检测，设置耳内外声音信号(即第一/二声音信号)的特征差值超过相应的门限值，则将Flag标记为1，判定为非入耳状态，当耳内外声音信号的特征差值不超过相应的门限值时，则将Flag标记为0，判定为入耳状态。系统随机截取一段时间内耳内外声音信号对应的Δ(l)以及C(l)的波形分别如图4a和图4b所示，得到的结果标记Flag(l)参阅图4c所示，在检测时间段内大部分时刻的标记Flag为0，可判定当时状态为入耳状态，经核对，与测试人员当时的状态保持一致。
可见，采用本申请实施例提供的耳戴式设备入耳状态检测方法，能够正确检测到相应的状态。当Flag标记为0时，无需关闭音频播放和其余功能。
需要注意的是，为了增加检测的准确度和稳定性，可以通过设定Flag为1一定时长，例如达到10s以上，才判定为非正常佩戴状态。
基于同一发明构思，本申请实施例还提供一种耳戴式设备，包括至少一耳内拾音单元、至少一耳外拾音单元和检测单元。
耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；耳内拾音单元用于采集第一声音信号，耳外拾音单元用于采集第二声音信号，检测单元，用于计算第一声音信号与第二声音信号的特征差值，以及根据特征差值，判断耳戴式设备是否为入耳状态，特征差值用于量化表示第一声音信号与第二声音信号之间的差异。
基于同一发明构思，本申请实施例还提供一种耳戴式设备，与移动终端通信连接，包括至少一耳内拾音单元、至少一耳外拾音单元和收发组件。
耳内拾音单元为耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，耳外拾音单元为耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；耳内拾音单元用于采集第一声音信号，耳外拾音单元用于采集第二声音信号，收发组件，用于将采集到的第一声音信号和第二声音信号发送至移动终端，以及接收移动终端发送的入耳状态判别结果。
基于同一发明构思，本申请实施例还提供一种移动终端，与耳戴式设备通信连接，包括收发组件和检测单元。
其中，收发组件，用于接收耳戴式设备发送的第一声音信号和第二声音信号。检测单元，用于计算第一声音信号与第二声音信号的特征差值，以及根据特征差值，判断耳戴式设备是否为入耳状态，以及将入耳状态判别结果发送至耳戴式设备，其中，特征差值用于量化表示第一声音信号与第二声音信号之间的差异。
基于同一发明构思，本申请实施例还提供一种耳戴式设备，包括至少一耳内拾音单元、至少一耳外拾音单元和存储器、处理器，其中：
存储器存储有可执行指令；
处理器，用于读取并执行存储器中存储的可执行指令，以实现上述任一项的方法。
综上，本申请实施例中，可以仅采用耳机现有的拾音单元，无需外加传感器即可实现高性能的入耳检测，从而大大节省硬件成本和功耗，并且该方案具有占用运算和存储资源少、检测反应快以及准确度高的优点，在极高声压级情况下，也可做出判断，从而为开启或者关闭有源降噪等功能提供重要依据。
需要理解，本文中的“第一”，“第二”等描述，仅仅为了描述的简单而对相似概念进行区分，并不具有其他限定作用。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，的程序可以存储于计算机可读存储介质中，存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：opticaldisc)及其任意组合。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
本申请上述实施例侧重于技术方案相比于现有技术改进之处的描述，为进一步理解本申请技术方案，相关现有技术可参考下列文献。
参考文献
[1]耳机入耳的检测的方法及装置，申请号CN201810981571.6；
[2]一种入耳式装置佩戴检测方法，申请号CN201810308426.1；
[3]一种脖戴入耳式蓝牙耳机及其入耳检测方法，申请号CN201611113509.2；
[4]Chen Na,Acoustic in ear detection for a hearable device,AppleInc.,Patent Number:10,491,981；
[5]K.S.Riedel,and A.Sidorenko,Minimum bias multiple taper spectralestimation,IEEE Trans.Signal Processing,vol.43,pp.188-195,1995；
[6]C.Zheng,M.Zhou,and X.Li,On the relationship of non-parametricmethods for coherence function estimation,Signal Processing,vol.88,pp.2863-2867,2008。
Claims (9)
1.一种耳戴式设备入耳状态检测方法，其特征在于，包括：
通过耳内拾音单元采集第一声音信号，通过耳外拾音单元采集第二声音信号，所述耳内拾音单元为所述耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，所述耳外拾音单元为所述耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；
计算所述第一声音信号与所述第二声音信号的特征差值，所述特征差值用于量化表示所述第一声音信号与所述第二声音信号之间的差异；
根据所述特征差值，判断所述耳戴式设备是否为入耳状态。
2.如权利要求1所述的方法，其特征在于，计算所述第一声音信号与所述第二声音信号的特征差值，具体包括：
计算所述第一声音信号与所述第二声音信号之间的对数功率差和/或相干值。
3.如权利要求2所述的方法，其特征在于，计算所述第一声音信号与所述第二声音信号之间的对数功率差和/或相干值，具体包括：
确定所述耳戴式设备不具备有源降噪模块时，从所述第一声音信号和第二声音信号中，选择高频段计算对数功率差和/或相干值，所述高频段为频率值高于高频阈值的频段；
确定所述耳戴式设备具备有源降噪模块时，从所述第一声音信号和第二声音信号中，选择低频段和高频段计算对数功率差和/或相干值，所述低频段为频率值低于低频阈值的频段。
4.如权利要求2所述的方法，其特征在于，计算所述第一声音信号与所述第二声音信号的特征差值之前，进一步包括：
根据所述第二声音信号计算耳外绝对声压级；
计算所述第一声音信号与所述第二声音信号的特征差值，具体包括：
确定所述耳外绝对声压级超过高分贝阈值或者低于低分贝阈值时，从所述第一声音信号和第二声音信号中，选择高频段计算对数功率差和/或相干值。
5.如权利要求2-4任一项所述的方法，其特征在于，计算所述第一声音信号与所述第二声音信号的特征差值，具体包括：
针对所述第一声音信号以及所述第二声音信号中的每一帧，分别执行以下操作：
根据所述第一声音信号中的第l帧对应的耳内声音功率，以及所述第二声音信号中第l帧信号对应的耳外声音功率，计算所述耳内声音功率与所述耳外声音功率的差值，对所述差值进行时间平均处理，将处理后的平均差值作为第l帧对应的一个特征差值；
和/或，
计算所述第一声音信号和所述第二声音信号中第l帧之间的相干值，对所述相干值进行频带平均处理，将处理后相干值均值作为第l帧对应的一个特征差值。
6.如权利要求1-4任一项所述的方法，其特征在于，根据所述特征差值，判断所述耳戴式设备是否为入耳状态，具体包括：
将所述特征差值与预设门限值进行比较，所述特征差值大于或等于所述预设门限值时，则判定所述耳戴式设备为入耳状态；
或者，
将所述特征差值输入预先训练得到的神经网络模型，通过所述神经网络模型输出是否为入耳状态；所述神经网络模型，为预先采用样本特征差值为输入、以与所述样本特征差值分别对应的入耳状态作为标签，训练而得。
7.一种耳戴式设备，其特征在于，包括至少一耳内拾音单元、至少一耳外拾音单元和检测单元；
所述耳内拾音单元为所述耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，所述耳外拾音单元为所述耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；
所述耳内拾音单元用于采集第一声音信号，所述耳外拾音单元用于采集第二声音信号，
所述检测单元，用于计算所述第一声音信号与所述第二声音信号的特征差值，以及根据所述特征差值，判断所述耳戴式设备是否为入耳状态，所述特征差值用于量化表示所述第一声音信号与所述第二声音信号之间的差异。
8.一种耳戴式设备，其特征在于，与移动终端通信连接，包括至少一耳内拾音单元、至少一耳外拾音单元和收发组件；
所述耳内拾音单元为所述耳戴式设备被佩戴于耳部时位于耳内位置的拾音组件，所述耳外拾音单元为所述耳戴式设备被佩戴于耳部时位于耳外位置的拾音组件；
所述耳内拾音单元用于采集第一声音信号，所述耳外拾音单元用于采集第二声音信号，
所述收发组件，用于将采集到的所述第一声音信号和所述第二声音信号发送至所述移动终端，以及接收所述移动终端发送的入耳状态判别结果。
9.一种移动终端，其特征在于，与耳戴式设备通信连接，包括收发组件和检测单元；
所述收发组件，用于接收所述耳戴式设备发送的第一声音信号和第二声音信号；
所述检测单元，用于计算所述第一声音信号与所述第二声音信号的特征差值，以及根据所述特征差值，判断所述耳戴式设备是否为入耳状态，以及将入耳状态判别结果发送至耳戴式设备，其中，所述特征差值用于量化表示所述第一声音信号与所述第二声音信号之间的差异。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067605.8A CN111294719B (zh) | 2020-01-20 | 2020-01-20 | 耳戴式设备入耳状态检测方法、设备和移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010067605.8A CN111294719B (zh) | 2020-01-20 | 2020-01-20 | 耳戴式设备入耳状态检测方法、设备和移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111294719A true CN111294719A (zh) | 2020-06-16 |
| CN111294719B CN111294719B (zh) | 2021-10-22 |
Family
ID=71023431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010067605.8A Active CN111294719B (zh) | 2020-01-20 | 2020-01-20 | 耳戴式设备入耳状态检测方法、设备和移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111294719B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112752186A (zh) * | 2021-01-26 | 2021-05-04 | 歌尔科技有限公司 | 耳机佩戴状态的检测方法、装置及耳机 |
| CN113473286A (zh) * | 2021-06-23 | 2021-10-01 | 芯海科技（深圳）股份有限公司 | 一种状态检测方法、耳机及计算机可读存储介质 |
| CN114157975A (zh) * | 2021-12-01 | 2022-03-08 | 思必驰科技股份有限公司 | 耳机佩戴检测方法和装置 |
| CN114268892A (zh) * | 2021-12-17 | 2022-04-01 | 上海联影微电子科技有限公司 | 听力设备 |
| CN114554382A (zh) * | 2022-02-28 | 2022-05-27 | 恒玄科技(上海)股份有限公司 | 一种入耳检测方法及装置、无线耳机、存储介质 |
| CN117319870A (zh) * | 2023-11-09 | 2023-12-29 | 深圳市通力科技开发有限公司 | 一种耳机佩戴状态检测方法、装置、耳机和存储介质 |
| CN117528333A (zh) * | 2024-01-05 | 2024-02-06 | 九音科技(南京)有限公司 | 耳戴式音频设备的状态检测方法、装置、音频设备及介质 |
| CN117714939A (zh) * | 2024-02-05 | 2024-03-15 | 九音科技(南京)有限公司 | 基于频谱分析的入耳检测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101410900A (zh) * | 2006-03-24 | 2009-04-15 | 皇家飞利浦电子股份有限公司 | 用于可佩戴装置的数据处理 |
| CN101794574A (zh) * | 2008-12-29 | 2010-08-04 | Nxp股份有限公司 | 用于处理音频数据的装置和方法 |
| CN105491483A (zh) * | 2015-11-30 | 2016-04-13 | 歌尔声学股份有限公司 | 用于耳机的佩戴状态检测方法、系统及耳机 |
| CN109195045A (zh) * | 2018-08-16 | 2019-01-11 | 歌尔科技有限公司 | 检测耳机佩戴状态的方法、装置及耳机 |
| CN110089129A (zh) * | 2016-11-03 | 2019-08-02 | 伯斯有限公司 | 使用听筒麦克风的个人声音设备的头上/头外检测 |
| CN110278509A (zh) * | 2019-07-26 | 2019-09-24 | 歌尔股份有限公司 | 一种无线耳机控制方法、装置及无线耳机和存储介质 |
| US20200014996A1 (en) * | 2018-07-09 | 2020-01-09 | Avnera Corporation | Headphone off-ear detection |
-
2020
- 2020-01-20 CN CN202010067605.8A patent/CN111294719B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101410900A (zh) * | 2006-03-24 | 2009-04-15 | 皇家飞利浦电子股份有限公司 | 用于可佩戴装置的数据处理 |
| CN101794574A (zh) * | 2008-12-29 | 2010-08-04 | Nxp股份有限公司 | 用于处理音频数据的装置和方法 |
| CN105491483A (zh) * | 2015-11-30 | 2016-04-13 | 歌尔声学股份有限公司 | 用于耳机的佩戴状态检测方法、系统及耳机 |
| CN110089129A (zh) * | 2016-11-03 | 2019-08-02 | 伯斯有限公司 | 使用听筒麦克风的个人声音设备的头上/头外检测 |
| US20200014996A1 (en) * | 2018-07-09 | 2020-01-09 | Avnera Corporation | Headphone off-ear detection |
| CN109195045A (zh) * | 2018-08-16 | 2019-01-11 | 歌尔科技有限公司 | 检测耳机佩戴状态的方法、装置及耳机 |
| CN110278509A (zh) * | 2019-07-26 | 2019-09-24 | 歌尔股份有限公司 | 一种无线耳机控制方法、装置及无线耳机和存储介质 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112752186A (zh) * | 2021-01-26 | 2021-05-04 | 歌尔科技有限公司 | 耳机佩戴状态的检测方法、装置及耳机 |
| CN113473286A (zh) * | 2021-06-23 | 2021-10-01 | 芯海科技（深圳）股份有限公司 | 一种状态检测方法、耳机及计算机可读存储介质 |
| CN114157975B (zh) * | 2021-12-01 | 2024-10-15 | 思必驰科技股份有限公司 | 耳机佩戴检测方法和装置 |
| CN114157975A (zh) * | 2021-12-01 | 2022-03-08 | 思必驰科技股份有限公司 | 耳机佩戴检测方法和装置 |
| CN114268892A (zh) * | 2021-12-17 | 2022-04-01 | 上海联影微电子科技有限公司 | 听力设备 |
| CN114554382A (zh) * | 2022-02-28 | 2022-05-27 | 恒玄科技(上海)股份有限公司 | 一种入耳检测方法及装置、无线耳机、存储介质 |
| CN114554382B (zh) * | 2022-02-28 | 2023-09-22 | 恒玄科技(上海)股份有限公司 | 一种入耳检测方法及装置、无线耳机、存储介质 |
| CN117319870A (zh) * | 2023-11-09 | 2023-12-29 | 深圳市通力科技开发有限公司 | 一种耳机佩戴状态检测方法、装置、耳机和存储介质 |
| CN117319870B (zh) * | 2023-11-09 | 2024-05-17 | 深圳市通力科技开发有限公司 | 一种耳机佩戴状态检测方法、装置、耳机和存储介质 |
| CN117528333B (zh) * | 2024-01-05 | 2024-04-12 | 九音科技(南京)有限公司 | 耳戴式音频设备的状态检测方法、装置、音频设备及介质 |
| CN117528333A (zh) * | 2024-01-05 | 2024-02-06 | 九音科技(南京)有限公司 | 耳戴式音频设备的状态检测方法、装置、音频设备及介质 |
| CN117714939A (zh) * | 2024-02-05 | 2024-03-15 | 九音科技(南京)有限公司 | 基于频谱分析的入耳检测方法及系统 |
| CN117714939B (zh) * | 2024-02-05 | 2024-05-24 | 九音科技(南京)有限公司 | 基于频谱分析的入耳检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111294719B (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111294719B (zh) | 耳戴式设备入耳状态检测方法、设备和移动终端 | |
| US11244666B2 (en) | Method and device for acute sound detection and reproduction | |
| CN113676803B (zh) | 一种主动降噪方法及装置 | |
| US8675884B2 (en) | Method and a system for processing signals | |
| US8315400B2 (en) | Method and device for acoustic management control of multiple microphones | |
| US20180225082A1 (en) | User Voice Activity Detection Methods, Devices, Assemblies, and Components | |
| US11330358B2 (en) | Wearable audio device with inner microphone adaptive noise reduction | |
| CN112954115B (zh) | 一种音量调节方法、装置、电子设备及存储介质 | |
| KR102578147B1 (ko) | 통신 어셈블리에서의 사용자 음성 액티비티 검출을 위한 방법, 그것의 통신 어셈블리 | |
| CN112334972A (zh) | 反馈不稳定性的实时检测 | |
| CN113286214B (zh) | 耳机信号处理方法、装置和耳机 | |
| US11373665B2 (en) | Voice isolation system | |
| US11875771B2 (en) | Audio system and signal processing method for an ear mountable playback device | |
| JP2008160506A (ja) | 音声出力装置、音声出力方法、音声出力システムおよび音声出力処理用プログラム | |
| CN115914971A (zh) | 风噪检测方法、装置、耳机及存储介质 | |
| CN116419111A (zh) | 耳机的控制方法、参数生成方法、装置、存储介质及耳机 | |
| CN117202003A (zh) | 无线耳机的降噪校准方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |