CN116456237A - 耳机的声音泄漏检测方法、装置、设备及存储介质 - Google Patents

耳机的声音泄漏检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116456237A
CN116456237A CN202310239843.6A CN202310239843A CN116456237A CN 116456237 A CN116456237 A CN 116456237A CN 202310239843 A CN202310239843 A CN 202310239843A CN 116456237 A CN116456237 A CN 116456237A
Authority
CN
China
Prior art keywords
earphone
cross
correlation coefficient
audio signal
frequency band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310239843.6A
Other languages
English (en)
Inventor
陈曦
段爽
周岭松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Technology Wuhan Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202310239843.6A priority Critical patent/CN116456237A/zh
Publication of CN116456237A publication Critical patent/CN116456237A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/105—Manufacture of mono- or stereophonic headphone components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/05—Detection of connection of loudspeakers or headphones to amplifiers

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本公开提出了一种耳机的声音泄漏检测方法、装置、设备及存储介质，涉及音频数据处理技术领域，包括：在耳机的扬声器播放音频的情况下，根据扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定耳机的声音泄露状态；在耳机的扬声器未播放音频的情况下，根据耳机的前馈麦克风采集的第三音频信号，与对应时刻耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定耳机的声音泄露状态。由此，便于之后耳机根据当前的声音泄漏状态确定对应的计算策略来对用户的听觉体验进行改善，可以适用于低功耗硬件资源，并且保证复杂场景下泄漏检测的稳定性。

Description

耳机的声音泄漏检测方法、装置、设备及存储介质
技术领域
本公开涉及音频数据处理技术领域，尤其涉及一种耳机的声音泄漏检测方法、装置、设备及存储介质。
背景技术
降噪耳机是采用主动降噪，或者被动降噪的方式达到降低噪音的一种耳机。其中，主动式降噪耳机带有与外界噪声抗衡的降噪电路它们大部分采用体积较大的头戴式设计，可利用耳塞棉和耳机外壳等构造阻挡外界噪声，进行第一轮隔音，同时也为了有充足的空间安装主动降噪电路以及电源。
随着耳机技术和智能化的发展，主动降噪以其能在诸多场景带来安静舒适的听音体验方式成为厂家首选。主动降噪耳机需要首先检测当前声音泄漏状况，然后根据相应的计算策略进行降噪。因而，对耳机声音泄漏状态的准确检测是对耳机进行降噪的重要前提。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出了一种耳机的声音泄漏检测方法，包括：
在耳机的扬声器播放音频的情况下，根据所述扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定所述耳机的声音泄露状态；
在所述耳机的扬声器未播放音频的情况下，根据所述耳机的前馈麦克风采集的第三音频信号，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定所述耳机的声音泄露状态；
其中，所述第一频带范围与所述第二频带范围存在差异。
本公开第二方面实施例提出了一种耳机的声音泄漏检测装置，包括：
第一处理模块，用于在耳机的扬声器播放音频的情况下，根据所述扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定所述耳机的声音泄露状态；
第二处理模块，用于在所述耳机的扬声器未播放音频的情况下，根据所述耳机的前馈麦克风采集的第三音频信号，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定所述耳机的声音泄露状态；
其中，所述第一频带范围与所述第二频带范围存在差异。
本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的耳机的声音泄漏检测方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本公开第一方面实施例提出的耳机的声音泄漏检测方法。
本公开提供的耳机的声音泄漏检测方法、装置、设备及存储介质，存在如下有益效果：
本公开实施例中，在耳机的扬声器播放音频的情况下，根据扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定耳机的声音泄露状态；在耳机的扬声器未播放音频的情况下，根据耳机的前馈麦克风采集的第三音频信号，与对应时刻耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定耳机的声音泄露状态。由此，从而便于之后耳机根据当前的声音泄漏状态确定对应的计算策略来对用户的听觉体验进行改善，可以适用于低功耗硬件资源，并且保证复杂场景下泄漏检测的稳定性。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本公开实施例所提供的一种耳机的工作示意图；
图2为本公开实施例所提供的一种耳机的声音泄漏检测方法的流程示意图；
图3为本公开实施例所提供的另一种耳机的声音泄漏检测方法的流程示意图；
图4为本公开实施例所提供的一种泄漏等级的阈值调整示意图；
图5为本公开实施例所提供的一种耳机的声音泄漏检测装置的结构框图；
图6示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
下面参考附图描述本公开实施例的耳机的声音泄漏检测方法、装置、计算机设备和存储介质。
需要说明的是，本公开实施例中的耳机的声音泄漏检测方法的执行主体为耳机的声音泄漏检测装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在任意电子设备中。在本公开提出的场景中，可以以耳机作为执行主体，下面将以“耳机”作为执行主体对本公开实施例中提出的耳机的声音泄漏检测方法进行说明，在此不进行限定。
更为具体的，本公开实施例所提供的耳机的声音泄漏检测方法可以应用于TWS耳机(主动降噪耳机)的使用过程中。为了清楚说明本实施例中的TWS耳机结构，如图1为本公开实施例所提供的一种耳机的工作示意图。在图1中，耳机中包含有芯片(也即处理器)、扬声器、前馈麦克风、反馈麦克风。其中，前馈麦克风可以检测到环境噪声，而反馈麦克风通常接收到的是扬声器附近的声音，芯片可以通过当前声音的泄漏情况，产生对应的反相位噪声，来抵消噪声，以使人耳接收的是抵消噪声后的声音。
图2为本公开一实施例所提供的耳机的声音泄漏检测方法的流程示意图。
如图2所示，该耳机的声音泄漏检测方法可以包括以下步骤：
步骤201，在耳机的扬声器播放音频的情况下，根据所述扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定所述耳机的声音泄露状态。
其中，第一音频信号和第二音频信号的采集时间的时间长度可以为2s、1s、1.5s。
其中，第一音频信号和第二音频信号预设采样频率可以为预先确定的对音频信号的采样频率，比如可以为48kHz、44.1kHz、24kHz、16kHz、8kHz，在此不做限定。可选的，本公开中，可以选择16kHz作为预设采样频率，在此不做限定。
其中，第一音频信号可以是对扬声器所发出的声音进行采集所到的音频信号，第二音频信号是耳机的反馈麦克风进行音频采集所得到的音频信号。且第一音频信号与第二音频信号是同步采集的，即第一音频信号对应的采集时间与第二音频信号对应的采集时间相同。
举例来说，若当前耳机的扬声器播放了10s的音频，播放的初始时间为T1，播放的结束时间为T2，也即T1和T2的时间长度为10s，若反馈麦克风是从T1到T3采集的第二音频信号，第二音频信号时长为2s，则可以扬声器从T1到T2的音频信号中提取T1到T3时间段，时长为2s的音频作为第一音频信号，因而，此时第一音频信号和第二音频信号的开始和接收时间相同，且时间长度均为2s。
其中，当前场景可以为耳机目前所在的场景，比如教室、车内、办公室、公园、游乐场，等等，在此不做限定。
其中，第一互相关系数是第一音频信号与第二音频信号在第一频带范围内的互相关系数。互相关系数，是采用互相关函数表示的是两个序列之间的相关程度，即描述第一音频信号与第二音频信号的取值之间的相关程度。
其中，第一频带范围是根据扬声器播放音频的音频频域范围确定的。作为一种可能的实现方式，第一频带范围可以是100Hz至600Hz。
可选地，第一音频信号和第二音频信号是同步采集的时域信号。基于时域的第一音频信号进行分帧重叠加窗以及进行时频域变换FFT，得到第一音频信号的各帧时域信号对应的频域信号，以及对时域的第二音频信号进行分帧、加窗以及进行时频域变换FFT，得到第二音频信号的各帧时域信号对应的频域信号。
举例来说，记时域的第一音频信号为s(n)，记时域的第二音频信号为f(n)。在得到s(n)和f(n)之后，可以根据预设的分帧参数对s(n)和f(n)分别进行分帧。其中，n是时域的采样数据的序号索引。
其中，预设的分帧参数可以包含帧长和帧移，其中，帧长可以为64ms、32ms、16ms等等。可选的，本公开中，可以选择32ms作为帧长，在此不做限定。作为一种示例，帧移可以为帧长的一半，也即16ms，或者，也可以为帧长的四分之一，比如8ms，在此不做限定。
进一步的，在对分帧后的时域信号进行加窗时，需要对每帧时域信号进行加窗。具体的，可以通过以下公式进行加窗：
s(k,n)＝s((k-1)×inc+n)*w(n) (1)
f(k,n)＝f((k-1)×inc+n)*w(n) (2)
其中，公式(1)中的s(k,n)为对第k帧的时域的第一音频信号进行加窗后的序号索引为n的采样数据，公式(2)中的f(k,n)为对第k帧的时域的第二音频信号进行加窗后的序号索引为n的采样数据，inc为帧移，n(1≤n≤L)为帧内采样数据的序号索引，L为每帧时域信号中的采样总数。
其中，w(n)为窗函数，比如可以为汉宁窗、汉明窗，在此不做限定。本公开中，可以示例性的选择汉宁窗。
进一步的，在分帧重叠加窗之后，可以对每帧数据进行傅里叶变换(FFT)操作，从而可以得到每帧的第一音频信号对应的第一频域信号S(k,m)，和每帧第二音频信号对应的第二频域信号F(k,m)。其中，k表示第k帧，m是频点的序号索引。
作为一种可能的实现方式，在第一频域信号S(k,m)与第二频域信号F(k,m)分别进行频点的筛选，仅选择处于第一频带范围内的频点m’，在频域进行互相关系数的计算，从而得到第一互相关系数。
作为另一种可能的实现方式，在第一频域信号S(k,m)与第二频域信号F(k,m)分别进行频点的筛选，仅选择处于第一频带范围内的频点m’之后，傅里叶逆变换至时域，进行互相关系数的计算，从而得到第一互相关系数。
需要说明的是，上述示例仅为一种示意性说明，在此不做限定。
其中，第一互相关系数与耳机的声音泄露状态之间存在映射关系。基于第一互相关系数可以确定耳机的声音泄露状态，这是由于在扬声器播放音频的情况下，期望扬声器播放的音频更多的进入耳道内，更少的音频泄露至耳道外，同时，更少的环境噪声较少的进入耳道内。如图1所示，耳道内麦克风为反馈麦克风，也就是说，期望反馈麦克风采集到更多扬声器播放的音频，而较少的其他噪声。体现到信号处理过程中，即反馈麦克风的第二音频信号与扬声器的第一音频信号之间具有较高的互相关程度，即第一互相关系数较大，则说明耳机的声音泄露较少。
反之，在扬声器播放的音频泄露至耳道外较多时，进入到耳道内的音频较少。耳道内的反馈麦克风则会采集到较少的扬声器播放的音频，而较多的其他噪声。体现到信号处理过程中，即反馈麦克风的第二音频信号与扬声器的第一音频信号之间具有较低的互相关程度，即第一互相关系数较小，则说明耳机的声音泄露较多。
本公开实施例中，为了使得耳机的不同声音泄露状态区分度较高，在计算第一互相关系数时，具体限定了在100Hz至600Hz的第一频域范围内计算第一互相关系数，而非在整个频域范围。这是由于扬声器播放的音频主要集中在语音、音乐内容，这类内容主要集中在100Hz至600Hz，在扬声器播放音频的场景下，反馈麦克风采集的音频以扬声器播放的音频为主，通过对100Hz至600Hz范围内计算的第一互相关系数即可反应出反馈麦克风采集到音频中扬声器播放的音频所占分量的大小，基于100Hz至600Hz的第二互相关系数确定声音泄露状态具有更高的灵敏度和准确性。
步骤202，在所述耳机的扬声器未播放音频的情况下，根据所述耳机的前馈麦克风采集的第三音频信号，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定所述耳机的声音泄露状态。
其中，第二互相关系数是第三音频信号与第二音频信号在第二频带范围内的互相关系数。互相关系数，是采用互相关函数表示的是两个序列之间的相关程度，即描述第三音频信号与第二音频信号的取值之间的相关程度。
其中，第一频带范围与第二频带范围是存在差异的，这是由于在耳机扬声器播放音频，以及未播放音频，这两种场景下，反馈麦克风所采集的音频的主要来源是存在差异的。这两种场景下的音频来源对应的频带范围也是不同的。例如：在耳机扬声器播放音频的场景下，主要来源是扬声器；而在耳机扬声器未播放音频的场景下，主要来源是环境噪声。本公开实施例中考虑了这种差异性对于确定耳机的声音泄露状态区分度的影响，针对这两种场景设置了不同的频带范围，有利于耳机的声音泄露状态的确定准确性。同时，由于仅需要针对部分频段进行计算，也在一定程度上减少了计算量。
其中，第二频带范围是根据环境噪声的噪声音频频域范围确定的。作为一种可能的实现方式，第二频带范围可以是1000Hz至2000Hz。
第三音频信号和第二音频信号采集的过程，以及计算第二互相关系数的过程可参见前述步骤中的相关描述，本实施例中对此不再赘述。
其中，第二互相关系数与耳机的声音泄露状态之间存在映射关系。基于第二互相关系数可以确定耳机的声音泄露状态，这是由于在扬声器未播放音频的情况下，期望更少的环境噪声进入耳道内。如图1所示，耳道内麦克风为反馈麦克风，也就是说，期望反馈麦克风采集到较少的环境噪声。体现到信号处理过程中，即反馈麦克风的第二音频信号与耳道外的前置麦克风的第三音频信号之间具有较低的互相关程度，即第二互相关系数较小，则说明耳机的声音泄露较少。
反之，在环境噪声较多的进入耳道内，耳道内的反馈麦克风则会采集到较多的环境噪声。体现到信号处理过程中，即反馈麦克风的第二音频信号与前置麦克风的第三音频信号之间具有较高的互相关程度，即第二互相关系数较大，则说明耳机的声音泄露较多。
本公开实施例中，为了使得耳机的不同声音泄露状态区分度较高，在计算第二互相关系数时，具体限定了在1000Hz至2000Hz的第二频域范围内计算第二互相关系数，而非在整个频域范围。这是由于环境噪声主要集中在1000Hz至2000Hz，在扬声器未播放音频的场景下，反馈麦克风采集的音频以环境噪声为主，通过对1000Hz至2000Hz范围内计算的第二互相关系数即可反应出反馈麦克风采集到音频中环境噪声所占分量的大小，基于1000Hz至2000Hz的第二互相关系数确定声音泄露状态具有更高的灵敏度和准确性。
本公开实施例中，在耳机的扬声器播放音频的情况下，根据扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定耳机的声音泄露状态；在耳机的扬声器未播放音频的情况下，根据耳机的前馈麦克风采集的第三音频信号，与对应时刻耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定耳机的声音泄露状态。由此，便于之后耳机根据当前的声音泄漏状态确定对应的计算策略来对用户的听觉体验进行改善，可以适用于低功耗硬件资源，并且保证复杂场景下泄漏检测的稳定性。
图3为本公开实施例所提供的另一种耳机的声音泄漏检测方法的流程示意图。
如图3所示，该耳机的声音泄漏检测方法可以包括以下步骤：
步骤301，判断扬声器是否播放音频。
步骤302，在扬声器播放音频的情况下，根据扬声器播放的第一音频信号的幅度谱，与耳机的反馈麦克风同步时刻采集的第二音频信号的幅度谱，确定在第一频带范围内的第一互相关系数。
其中，幅度谱，是参考前述实施例提供的方法，对每一帧时域信号进行傅里叶变换得到频谱之后，可以基于频谱中各频点的实部(指示幅值)和虚部(指示相位)求几何平均值，得到幅度谱，也可以直接取各频点的实部作为幅度谱。即幅度谱的横坐标与频谱类似，是各频点的频率，纵坐标是幅值。
可选地，参考前述实施例中对时域的第一音频信号进行分帧重叠加窗、时频域变换FFT以及筛选处于第一频带范围内的频点，所得到的任一帧频域信号对应的幅度谱记为A1(k,m’)，相类似地，对时域的第二音频信号进行分帧重叠加窗、时频域变换FFT以及筛选处于第一频带范围内的频点，所得到的任一帧频域信号对应的幅度谱记为A2(k,m’)。对A1(k,m’)和A2(k,m’)进行互相关计算得到第一互相关系数。
步骤303，根据所述第一频带范围内的第一互相关系数，查询第一映射关系表，以确定所述第一互相关系数对应的泄露等级。
其中，第一互相关系数与所述泄露等级之间为反向关系，所述泄露等级用于指示所述耳机的声音泄露状态。
其中，第一映射关系表用于指示各泄露等级对应的所述第一互相关系数的界限阈值。可选地，每个泄露等级对应一个第一互相关系数区间，每个区间包括两个界限阈值，分别为上限的界限阈值，以及下限的界限阈值。
作为一种可能的实现方式，可以直接根据当前计算得到的第一互相关系数，计算当前耳机对应的泄漏等级。
举例来说，若对第一互相关系数按照从小到大进行划分得到了3个区间，分别为D1、D2、D3，对应的泄漏等级按照泄露从多到少分别为3级、2级、1级，若第一互相关系数位于D2区间，则说明当前耳机的泄漏等级为2级。
作为另外一种可能实现的方式，为了避免测量误差使得泄露等级突变，可以对第一映射表中第一互相关系数各区间的界限阈值进行动态调整。
在一些场景下，在当前的泄漏等级为N，并基于所述第一映射表确定所述第一互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将泄漏等级N和泄漏等级N+1之间的界限阈值减少预设的调整量，其中，N为正数。
在另一些场景下，在当前的泄漏等级为N+1，并基于所述第一映射表确定所述第一互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将泄漏等级N和泄漏等级N+1之间的界限阈值增加所述预设的调整量。
其中，预设的调整量(marginn)为预设的阈值调整量。从而基于调整后的界限阈值，确定对应的泄露等级。
步骤304，在扬声器未播放音频的情况下，根据所述耳机的前馈麦克风采集的第三音频信号的幅度谱，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号的幅度谱，确定在第二频带范围内的第二互相关系数。
可参考前述步骤和实施例中幅度谱以及第二互相关系数的相关说明，本实施例中对此不再赘述。
步骤305，根据所述第二频带范围内的第二互相关系数，查询第二映射关系表，以确定所述第二互相关系数对应的泄露等级。
其中，所述第二互相关系数与所述泄露等级之间为正向关系，所述泄露等级用于指示所述耳机的声音泄露状态。
其中，第二映射关系表是预先存储的各泄露等级对应的所述第二互相关系数的界限阈值。可选地，每个泄露等级对应一个第二互相关系数区间，每个区间包括两个界限阈值，分别为上限的界限阈值，以及下限的界限阈值。
作为一种可能实现的方式，可以直接根据当前计算得到的第二互相关系数，计算当前耳机对应的泄漏等级。
举例来说，若对第二互相关系数按照从小到大进行划分得到了3个区间，分别为D1、D2、D3，对应的泄漏等级按照泄露从少到多分别为1级、2级、3级，若第二互相关系数位于D2区间，则说明当前耳机的泄漏等级为2级。
作为另外一种可能实现的方式，为了避免测量误差使得泄露等级突变，可以对第二映射表中第二互相关系数各区间的界限阈值进行动态调整。
在一些场景下，在当前的泄漏等级为N，并基于所述第二映射表确定所述第二互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将泄漏等级N和泄漏等级N+1之间的界限阈值增加预设的调整量，其中，N为正数。
在另一些场景下，在当前的泄漏等级为N+1，并基于所述第二映射表确定所述第二互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将泄漏等级N和泄漏等级N+1之间的界限阈值减少所述预设的调整量。
其中，预设的调整量(marginn)为预设的阈值调整量。从而基于调整后的界限阈值，确定对应的泄露等级。
如图4所示，图4中包含了3个泄漏等级分别为n，n-1和n+1，其中，设n与n+1区间边界为THn，在实际检测场景下，若泄漏等级为n，且泄漏特征值逐渐接近THn时，此时可以将区间边界(也即泄漏等级N和泄漏等级N+1之间的界限阈值)调整为THn+marginn。反之，若泄漏等级为n+1，且第二互相关系数逐渐接近THn时，此时可以将界限阈值THn调整为THn-marginn，其中，marginn也即上述的预设的调整量。由此，可以显著增加算法的稳定性与鲁棒性，从而提升用户听感，有效保证复杂场景下泄漏检测的稳定性。
进一步地，在确定泄露等级之后，可执行与该泄漏等级对应的降噪策略。
其中，降噪策略是与泄漏等级对应的，不同的泄漏等级对应有不同的降噪策略。耳机可以根据泄漏等级对应的降噪策略自适应的产生当前待生成的反相位噪声，从而对泄漏进行补偿，保障用户在各场景下的一致听觉体验。
本公开实施例中，在耳机的扬声器播放音频的情况下，根据扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定耳机的声音泄露状态；在耳机的扬声器未播放音频的情况下，根据耳机的前馈麦克风采集的第三音频信号，与对应时刻耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定耳机的声音泄露状态。由此，便于之后耳机根据当前的声音泄漏状态确定对应的计算策略来对用户的听觉体验进行改善，可以适用于低功耗硬件资源，并且保证复杂场景下泄漏检测的稳定性。
为了实现上述实施例，本公开还提出一种耳机的声音泄漏检测装置。
图5为本公开第四实施例所提供的耳机的声音泄漏检测装置的结构框图。
如图5所示，该耳机的声音泄漏检测装置500可以包括：
第一处理模块501，用于在耳机的扬声器播放音频的情况下，根据所述扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定所述耳机的声音泄露状态。
第二处理模块502，用于在所述耳机的扬声器未播放音频的情况下，根据所述耳机的前馈麦克风采集的第三音频信号，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定所述耳机的声音泄露状态。
其中，所述第一频带范围与所述第二频带范围存在差异。
在本公开实施例一些可能的实现方式中，第一频带范围的频率上限小于所述第二频带范围的频率下限。
在本公开实施例一些可能的实现方式中，所述第一频带范围是根据所述扬声器播放音频的音频频域范围确定；和/或，所述第二频带范围是根据噪声音频范围确定。
在本公开实施例一些可能的实现方式中，第一处理模块501用于：根据所述扬声器播放的第一音频信号的幅度谱，与所述耳机的反馈麦克风同步时刻采集的第二音频信号的幅度谱，确定在第一频带范围内的第一互相关系数；根据所述第一频带范围内的第一互相关系数，查询第一映射关系表，以确定所述第一互相关系数对应的泄露等级；其中，所述第一互相关系数与所述泄露等级之间为反向关系，所述泄露等级用于指示所述耳机的声音泄露状态。
进一步地，第一处理模块501还用于：在当前的泄漏等级为N，并基于所述第一映射表确定所述第一互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值减少预设的调整量，其中，N为正数；或者，在当前的泄漏等级为N+1，并基于所述第一映射表确定所述第一互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值增加所述预设的调整量。
在本公开实施例一些可能的实现方式中，第二处理模块502用于：根据所述耳机的前馈麦克风采集的第三音频信号的幅度谱，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号的幅度谱，确定在第二频带范围内的第二互相关系数；根据所述第二频带范围内的第二互相关系数，查询第二映射关系表，以确定所述第二互相关系数对应的泄露等级；其中，所述第二互相关系数与所述泄露等级之间为正向关系，所述泄露等级用于指示所述耳机的声音泄露状态。
进一步地，第二处理模块502还用于：在当前的泄漏等级为N，并基于所述第二映射表确定所述第二互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值增加预设的调整量，其中，N为正数；或者，在当前的泄漏等级为N+1，并基于所述第二映射表确定所述第二互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值减少所述预设的调整量。
为了实现上述实施例，本公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的耳机的声音泄漏检测方法。
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如本公开前述实施例提出的耳机的声音泄漏检测方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的耳机的声音泄漏检测方法。
图6示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图6显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种耳机的声音泄漏检测方法，其特征在于，包括：
在耳机的扬声器播放音频的情况下，根据所述扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定所述耳机的声音泄露状态；
在所述耳机的扬声器未播放音频的情况下，根据所述耳机的前馈麦克风采集的第三音频信号，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定所述耳机的声音泄露状态；
其中，所述第一频带范围与所述第二频带范围存在差异。
2.根据权利要求1所述的方法，其特征在于，所述第一频带范围的频率上限小于所述第二频带范围的频率下限。
3.根据权利要求1所述的方法，其特征在于，
所述第一频带范围是根据所述扬声器播放音频的音频频域范围确定；和/或，
所述第二频带范围是根据噪声音频范围确定。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定所述耳机的声音泄露状态，包括：
根据所述扬声器播放的第一音频信号的幅度谱，与所述耳机的反馈麦克风同步时刻采集的第二音频信号的幅度谱，确定在第一频带范围内的第一互相关系数；
根据所述第一频带范围内的第一互相关系数，查询第一映射关系表，以确定所述第一互相关系数对应的泄露等级；其中，所述第一互相关系数与所述泄露等级之间为反向关系，所述泄露等级用于指示所述耳机的声音泄露状态。
5.根据权利要求4所述的方法，其特征在于，所示第一映射关系表用于指示各泄露等级对应的所述第一互相关系数的界限阈值；所述方法还包括：
在当前的泄漏等级为N，并基于所述第一映射表确定所述第一互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值减少预设的调整量，其中，N为正数；
或者，
在当前的泄漏等级为N+1，并基于所述第一映射表确定所述第一互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值增加所述预设的调整量。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述耳机的前馈麦克风采集的第三音频信号，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定所述耳机的声音泄露状态，包括：
根据所述耳机的前馈麦克风采集的第三音频信号的幅度谱，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号的幅度谱，确定在第二频带范围内的第二互相关系数；
根据所述第二频带范围内的第二互相关系数，查询第二映射关系表，以确定所述第二互相关系数对应的泄露等级；其中，所述第二互相关系数与所述泄露等级之间为正向关系，所述泄露等级用于指示所述耳机的声音泄露状态。
7.根据权利要求6所述的方法，其特征在于，所示第二映射关系表用于指示各泄露等级对应的所述第二互相关系数的界限阈值；所述方法还包括：
在当前的泄漏等级为N，并基于所述第二映射表确定所述第二互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值增加预设的调整量，其中，N为正数；
或者，
在当前的泄漏等级为N+1，并基于所述第二映射表确定所述第二互相关系数逐渐接近所述泄漏等级N和所述泄漏等级N+1之间的界限阈值的情况下，将所述界限阈值减少所述预设的调整量。
8.一种耳机的声音泄漏检测装置，其特征在于，包括：
第一处理模块，用于在耳机的扬声器播放音频的情况下，根据所述扬声器播放的第一音频信号，与所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第一频带范围内的第一互相关系数，确定所述耳机的声音泄露状态；
第二处理模块，用于在所述耳机的扬声器未播放音频的情况下，根据所述耳机的前馈麦克风采集的第三音频信号，与对应时刻所述耳机的反馈麦克风同步时刻采集的第二音频信号，在第二频带范围内的第二互相关系数，确定所述耳机的声音泄露状态；
其中，所述第一频带范围与所述第二频带范围存在差异。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-7中任一所述的耳机的声音泄漏检测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的耳机的声音泄漏检测方法。
CN202310239843.6A 2023-03-13 2023-03-13 耳机的声音泄漏检测方法、装置、设备及存储介质 Pending CN116456237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310239843.6A CN116456237A (zh) 2023-03-13 2023-03-13 耳机的声音泄漏检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310239843.6A CN116456237A (zh) 2023-03-13 2023-03-13 耳机的声音泄漏检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116456237A true CN116456237A (zh) 2023-07-18

Family

ID=87132814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310239843.6A Pending CN116456237A (zh) 2023-03-13 2023-03-13 耳机的声音泄漏检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116456237A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761128A (zh) * 2023-08-23 2023-09-15 深圳市中翔达润电子有限公司 一种运动蓝牙耳机声音泄漏检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761128A (zh) * 2023-08-23 2023-09-15 深圳市中翔达润电子有限公司 一种运动蓝牙耳机声音泄漏检测方法
CN116761128B (zh) * 2023-08-23 2023-11-24 深圳市中翔达润电子有限公司 一种运动蓝牙耳机声音泄漏检测方法

Similar Documents

Publication Publication Date Title
CN113676803B (zh) 一种主动降噪方法及装置
CN111988690B (zh) 一种耳机佩戴状态检测方法、装置和耳机
JP6580990B2 (ja) オーディオ干渉推定のための方法及び装置
US11534100B2 (en) On-ear detection
CN102413403B (zh) 降噪电路、降噪方法及耳机设备
US8965757B2 (en) System and method for multi-channel noise suppression based on closed-form solutions and estimation of time-varying complex statistics
JP5396685B2 (ja) 音声出力装置、音声出力方法、音声出力システムおよび音声出力処理用プログラム
EP3163902A1 (en) Information-processing device, information processing method, and program
US20140337021A1 (en) Systems and methods for noise characteristic dependent speech enhancement
CN111294719B (zh) 耳戴式设备入耳状态检测方法、设备和移动终端
JP2014232331A (ja) アダプティブ・インテリジェント・ノイズ抑制システム及び方法
CN111629297B (zh) 一种耳机佩戴状态检测方法、装置、耳机及存储介质
CN113630708B (zh) 耳机麦克风异常检测的方法、装置、耳机套件及存储介质
CN108882115B (zh) 响度调节方法、装置及终端
CN116456237A (zh) 耳机的声音泄漏检测方法、装置、设备及存储介质
CN110475181B (zh) 设备配置方法、装置、设备和存储介质
CN116347286A (zh) 耳机的声音泄漏检测方法、装置、设备及存储介质
CN111785298A (zh) 声学性能测试方法及装置、电子设备、计算机可读介质
CN112037810A (zh) 一种回音处理方法、装置、介质和计算设备
CN116158092B (zh) 使用外部刺激评估耳封的系统和方法
US11206502B1 (en) System and method for evaluating an ear seal using normalization
CN112511963B (zh) 耳机边缘音检测方法、装置及气流模拟装置
US11579840B2 (en) Method for adjusting sound playback and portable device thereof
CN113507668B (zh) 变频宽的智能控制方法、音频设备及可读存储介质
CN115499744A (zh) 耳机降噪方法及装置、计算机可读存储介质及耳机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination