CN115314804A - 佩戴检测方法、可穿戴设备及存储介质 - Google Patents

佩戴检测方法、可穿戴设备及存储介质 Download PDF

Info

Publication number
CN115314804A
CN115314804A CN202110496911.8A CN202110496911A CN115314804A CN 115314804 A CN115314804 A CN 115314804A CN 202110496911 A CN202110496911 A CN 202110496911A CN 115314804 A CN115314804 A CN 115314804A
Authority
CN
China
Prior art keywords
audio signal
signal
wearable device
determining
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110496911.8A
Other languages
English (en)
Inventor
戴娜
吴融融
吉成霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110496911.8A priority Critical patent/CN115314804A/zh
Priority to EP22798648.6A priority patent/EP4294037A1/en
Priority to US18/559,321 priority patent/US20240152313A1/en
Priority to PCT/CN2022/091059 priority patent/WO2022233308A1/zh
Publication of CN115314804A publication Critical patent/CN115314804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

本申请提供一种佩戴检测方法、可穿戴设备及存储介质。可穿戴设备包括麦克风和扬声器。当可穿戴设备未播放音频且获取到麦克风采集的第一音频信号时,通过扬声器输出第二音频信号并获取麦克风采集的第三音频信号,然后获取第三音频信号的信号特征,根据第三音频信号的信号特征,确定可穿戴设备的佩戴状态。这样,通过输出第二音频信号并对对应输入的第三音频信号进行特征分析,就可以判断可穿戴设备的佩戴状态,无需依赖额外的传感器,减少了传感器的堆叠,同时,在检测到第一音频信号的情况下才触发佩戴检测,可以避免持续检测造成的功耗浪费。

Description

佩戴检测方法、可穿戴设备及存储介质
技术领域
本申请涉及终端控制领域,尤其涉及佩戴检测方法及相关设备。
背景技术
随着手机、电脑等终端设备的功能日趋完善,人们对连接终端设备的外围可穿戴设备的功能和体验也有了更高的要求。例如,对于耳机来说,用户多次佩戴时,可能存在忘记关闭耳机或忘记停止音频播放的情况,因此会造成耳机和终端设备一直处于音频播放状态,导致电量消耗快,需要频繁充电,用户体验感差。除此之外,用户还需要自己对音频的播放状态进行手动控制,便捷度很低。
为了解决上述问题,出现了具有佩戴检测功能的可穿戴设备。佩戴检测功能可以自动识别可穿戴设备的佩戴状态,以便于可穿戴设备根据佩戴状态进行相适配的操作。仍以耳机为例,在判断耳机入耳之后,耳机开启音频输出和音频接收的功能,在判断耳机出耳之后,耳机关闭音频输出和音频接收的功能。这样就可以减少耳机和终端设备的功耗,节约电量,并也提升了用户和耳机之间智能的交互感。因此,佩戴检测功能逐渐成为耳机产品的必备功能之一。现有的佩戴检测功能大多是通过在耳机内设置传感器(例如超声波传感器、接近传感器等),然后直接根据传感器的传感数据来判断耳机是入耳还是出耳。然而,这样的检测方式在很多情况下会面临检测精准度不够的问题,例如,在用户对耳机进行触摸调整或者其他控制操作时,容易被误识别,从而造成进一步的错误操作,导致用户体验差。
基于此,如何提升佩戴检测的精准度、避免误识别,成为目前亟待解决的问题。
发明内容
本申请实施例提供了一种应用于可穿戴设备上的佩戴检测方法,利用可穿戴设备中扬声器输出的音频信号和麦克风接收的音频信号进行佩戴检测,确定可穿戴设备的佩戴状态,实现了更精准的佩戴检测,有效地降低了佩戴检测的误识别率,从而能根据佩戴状态确定进一步的动作(例如播放音频等),提升了用户体验。
以下从多个方面介绍本申请,容易理解的是,该以下多个方面的实现方式可互相参考。
第一方面,本申请提供了一种佩戴检测方法,应用于可穿戴设备,可穿戴设备包括麦克风和扬声器。当可穿戴设备未播放音频且获取到麦克风采集的第一音频信号时,通过扬声器输出第二音频信号并获取麦克风采集的第三音频信号,然后获取第三音频信号的信号特征,根据第三音频信号的信号特征,确定可穿戴设备的佩戴状态。也就是说,当用户对可穿戴设备有佩戴或拿下等触碰动作时,麦克风会采集到声响(即第一音频信号),从而触发可穿戴设备进一步通过扬声器来输出预先设定好的第二音频信号,这里的第二音频信号可以是次声信号也可以是可听域信号。由于扬声器的发声,可穿戴设备的麦克风也相应的会采集到第三音频信号。由于可穿戴设备在正在佩戴状态下和非佩戴状态下,麦克风采集到的音频信号的信号特征会有不同,因此根据每次采集到的第三音频信号的信号特征,就可以确定出可穿戴设备的佩戴状态。
在上述技术方案中,可以利用可穿戴设备中已有的麦克风130和扬声器140,通过输出第二音频信号并对对应输入的第三音频信号进行特征分析,判断可穿戴设备的佩戴状态,无需依赖额外的传感器,也就是说,可穿戴设备中无需为了进行佩戴检测而额外设置专门的传感器,这样可以减少传感器的堆叠,降低产品成本,也可以使产品设计更为小巧、轻便和灵活。同时,在检测到第一音频信号的情况下才触发佩戴检测,可以避免持续检测,从而减少扬声器不断输出第二音频信号以及处理器不断进行信号处理和分析所造成的功耗浪费。
在一种可能的实现方式中,当可穿戴设备未播放音频且获取到麦克风采集的第一音频信号时,可以先确定第一音频信号的信号特征满足佩戴检测入口条件。其中,佩戴检测入口条件是基于用户在佩戴可穿戴设备时以及脱下可穿戴设备时,接触可穿戴设备所产生的音频信号的规律性特点而设置的。
在上述技术方案中,通过将第一音频信号与佩戴检测入口条件的匹配,可以判断第一音频信号是否符合用户在佩戴可穿戴设备时或者脱下可穿戴设备时的特点。只有在符合佩戴检测入口条件时,才说明可穿戴设备可能正在进行穿戴或脱下的动作,此时可穿戴设备的佩戴状态才有可能改变,那么再进一步执行上述实现方式中提到的佩戴检测方法进行二次复检,这样可以使得检测结果更加精确。相反的,如果不符合佩戴检测入口条件,说明可穿戴设备可能只是由于用户误触等其他情况采集到了一些噪声,并不是对佩戴状态的改变,那么就无需再调动资源执行输出第二音频信号等步骤,从而节省了功耗。
在一种可能的实现方式中,确定第一音频信号的信号特征是否满足佩戴检测入口条件,可以通过先获取第一音频信号在第一频率区间的频谱特征,然后确定第一音频信号在第一频率区间的频谱特征与第一频谱特征的第一互相关系数,当第一互相关系数达到第一相关性阈值,确定第一音频信号的信号特征满足佩戴检测入口条件。其中,第一频率区间可以是根据可穿戴设备在穿戴和脱下的动作时产生的音频信号中特征明显、区分度好的频段预先设置的,第一频谱特征则是根据大量的穿戴和脱下时产生的音频信号所呈现出的一致性规律预先设置的。
在上述技术方案中,根据可穿戴设备在穿戴或脱下的动作时产生的音频信号的特点,通过频域维度的分析,将第一音频信号在第一频率区间的频谱特征与预设的第一频谱特征的匹配,可以确定第一音频信号的信号特征是否满足佩戴检测入口条件。
在一种可能的实现方式中,第一频率区间包括20~300Hz或20~300Hz中的任意子区间。也可以是比20~300Hz更大范围的区间或其中的子区间。
在一种可能的实现方式中,确定第一音频信号的信号特征是否满足佩戴检测入口条件,可以通过先提取第一音频信号的时域包络,然后确定第一音频信号的时域包络与第一时域包络的第二互相关系数,当第二互相关系数达到第二相关性阈值,确定第一音频信号的信号特征满足佩戴检测入口条件。
在上述技术方案中,根据可穿戴设备在穿戴或脱下的动作时产生的音频信号的特点,通过时域维度的分析,将第一音频信号在时域包络与预设的第一时域包络的匹配,可以确定第一音频信号的信号特征是否满足佩戴检测入口条件。
在一种可能的实现方式中,确定第一音频信号的信号特征是否满足佩戴检测入口条件,可以同时在上述时域维度和频域维度分析,任一维度得到的结果满足条件,则确定第一音频信号的信号特征满足佩戴检测入口条件。
在一种可能的实现方式中,通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号之前,或者说通过所述扬声器输出第二音频信号并获取通过所述麦克风采集到的第三音频信号之前,还可以先确定第一音频信号的信号幅值达到第一信号幅度阈值。
在上述技术方案中,在进行佩戴检测之前先确定第一音频信号的信号幅度,可以避免由于用户的晃动或者轻微调整导致微弱的声响而启动佩戴检测,进一步提高佩戴检测效率,节省功耗。
在一种可能的实现方式中,具体可以通过以下几种方式确定第一音频信号的信号幅值达到第一信号幅度阈值:确定第一音频信号的有效值达到第一幅度阈值;或,确定第一音频信号的平均幅值达到第二幅度阈值;或,确定第一音频信号的最大幅值达到第三幅度阈值。
在一种可能的实现方式中,获取第三音频信号后,可以对第三音频信号进行频域变换,获取第三音频信号在第二频率区间的频域特征,然后根据第三音频信号在第二频率区间的频域特征与第一频域特征,确定可穿戴设备的佩戴状态。其中,第二频率区间是根据第二音频信号是次声信号还是可听域信号来预先设置的,是能够表征正在佩戴和未佩戴状态下采集到的音频信号的明显特点的频段。第一频域特征则是根据大量的正在佩戴和未佩戴状态下采集的音频信号所呈现出的规律预先设置的。
在一种可能的实现方式中,第一频域特征包括第三信号幅度阈值,可以根据第三音频信号在第二频率区间的频率响应的最大幅值与第三信号幅度阈值的比较,确定可穿戴设备的佩戴状态。
在一种可能的实现方式中,第一频域特征包括第一频率响应,可以确定第三音频信号在第二频率区间的频率响应与第一频率响应的第三互相关系数,根据第三互相关系数与第三相关性阈值的比较,确定可穿戴设备的佩戴状态。
在一种可能的实现方式中,第二音频信号为频率范围小于20Hz的次声信号,第二频率区间包括0~20Hz或0~20Hz中的任意子区间;或,第二音频信号为频率范围在20~20KHz的可听域信号,第二频率区间包括20~300Hz或20~300Hz中的任意子区间。
在上述技术方案中,第二音频信号可以是次声信号也可以是可听域信号。次声信号能让用户无感知的情况下进行佩戴检测,可听域信号能提升用户的智能交互感。
在一种可能的实现方式中,当确定可穿戴设备正在播放音频时,获取麦克风采集的第五音频信号,根据正在播放的第四音频信号和第五音频信号,确定麦克风和扬声器之间的传递函数,获取传递函数的信号特征,根据传递函数的信号特征,确定可穿戴设备的佩戴状态。由于第四音频信号是随机的未知信号,因此需要根据第四音频信号和第五音频信号确定出传递函数。由于可穿戴设备在正在佩戴状态下和非佩戴状态下,传递函数的信号特征会有不同,因此根据每次采集到的传递函数的信号特征,就可以确定出可穿戴设备的佩戴状态。
在上述技术方案中,在播放音频的情况下,直接利用正在播放的音频来计算传递函数,不需要依赖传感器,设计更灵活。也不需要再输出第二音频信号,减少了不必要的功率消耗。
在一种可能的实现方式中,获取传递函数后,通过对传递函数进行频域变换,获取传递函数在第三频率区间的频域特征,根据传递函数在第三频率区间的频域特征与第二频域特征,确定可穿戴设备的佩戴状态。其中,第三频率区间是根据第二音频信号是次声信号还是可听域信号来预先设置的,是能够表征正在佩戴和未佩戴状态下获取到的传递函数的明显特点的频段。第二频域特征则是根据大量的正在佩戴和未佩戴状态下获取的传递函数所呈现出的规律预先设置的。
在一种可能的实现方式中,第二频域特征包括传递函数幅度阈值,可以根据传递函数在第三频率区间的频率响应的最大幅值与传递函数幅度阈值的比较,确定可穿戴设备的佩戴状态。
在一种可能的实现方式中,第二频域特征包括第二频率响应,可以确定传递函数在第三频率区间的频率响应与第二频率响应的第四互相关系数,根据第四互相关系数与第四相关性阈值的比较,确定可穿戴设备的佩戴状态。
第二方面,本申请提供了一种佩戴检测方法,应用于可穿戴设备,可穿戴设备包括麦克风和扬声器。当可穿戴设备未播放音频且获取到麦克风采集的第一音频信号时,通过扬声器输出第二音频信号并获取麦克风采集的第三音频信号,根据第二音频信号和第三音频信号,确定麦克风和扬声器之间的传递函数,获取传递函数的信号特征,根据传递函数的信号特征,确定可穿戴设备的佩戴状态。
在上述技术方案中,可以利用可穿戴设备中已有的麦克风130和扬声器140,通过对输出的第二音频信号和输入的第三音频信号计算传递函数并进行特征分析,判断可穿戴设备的佩戴状态,无需依赖额外的传感器,也就是说,可穿戴设备中无需为了进行佩戴检测而额外设置专门的传感器,这样可以减少传感器的堆叠,降低产品成本,也可以使产品设计更为小巧、轻便和灵活。同时,在检测到第一音频信号的情况下才触发佩戴检测,可以避免持续检测造成的功耗浪费。
第三方面,本申请提供了一种佩戴检测方法,应用于可穿戴设备,可穿戴设备包括麦克风、扬声器和传感器。当所述可穿戴设备未播放音频且确定所述传感器采集到的传感数据满足佩戴检测入口条件时,通过扬声器输出第一音频信号并获取麦克风采集到的第二音频信号,然后获取第二音频信号的信号特征,根据第二音频信号的信号特征,确定可穿戴设备的佩戴状态。其中,佩戴检测入口条件是基于用户在佩戴可穿戴设备时以及脱下可穿戴设备时,传感器采集的传感数据的规律性特点而设置的。
在上述技术方案中,当用户对可穿戴设备有佩戴或拿下等动作时,传感器会采集到传感数据,通过将传感数据与佩戴检测入口条件的匹配,可以判断传感数据是否符合用户在佩戴可穿戴设备时或者脱下可穿戴设备时的特点。只有在符合佩戴检测入口条件时,才说明可穿戴设备可能正在进行穿戴或脱下的动作,此时可穿戴设备的佩戴状态才有可能改变,那么再进一步通过输出第一音频信号并对对应输入的第二音频信号进行特征分析,判断可穿戴设备的佩戴状态进行二次复检,这样可以使得检测结果更加精确。相反的,如果不符合佩戴检测入口条件,说明可穿戴设备可能只是其他动作导致的采集到了一些传感数据,并不是对佩戴状态的改变,那么就无需再调动资源执行输出第二音频信号等步骤,从而节省了功耗。
在一些可能的实现方式中,传感器包括接近传感器,根据接近传感器采集到的传感数据,确定有物体接近或远离可穿戴设备,则确定传感器采集到的传感数据满足佩戴检测入口条件。
第四方面,本申请提供了一种佩戴检测方法,应用于可穿戴设备,可穿戴设备包括麦克风、扬声器和传感器。当所述可穿戴设备未播放音频且确定所述传感器采集到的传感数据满足佩戴检测入口条件时,通过扬声器输出第一音频信号并获取麦克风采集到的第二音频信号,根据第一音频信号和第二音频信号,确定麦克风和扬声器之间的传递函数,获取传递函数的信号特征,根据传递函数的信号特征,确定可穿戴设备的佩戴状态。
第五方面,本申请提供了一种可穿戴设备,包括麦克风、扬声器、存储器和处理器,其中,麦克风用于接收声音信号并转换为音频信号,扬声器用于将音频信号转换为声音信号输出,存储器用于存储计算机可读指令(或者称之为计算机程序),当该计算机可读指令被处理器执行时实现上述第一方面和第二方面中任意实现方式提供的方法。
在一些可能的实现方式中,麦克风包括反馈式麦克风。
第六方面,本申请提供了一种可穿戴设备,包括麦克风、扬声器、传感器、存储器和处理器,其中,麦克风用于接收声音信号并转换为音频信号,扬声器用于将音频信号转换为声音信号输出,传感器用于采集传感数据,存储器用于存储计算机可读指令(或者称之为计算机程序),当该计算机可读指令被处理器执行时实现上述第三方面和第四方面中任意实现方式提供的方法。
在一些可能的实现方式中,麦克风包括反馈式麦克风。
第七方面,本申请提供了一种计算机存储介质,该计算机存储介质可以是非易失性的。该计算机存储介质中存储有计算机可读指令,当该计算机可读指令被处理器执行时实现上述第一方面至第四方面的任意实现方式提供的方法。
第八方面,本申请提供一种计算机程序产品,该计算机程序产品中包含计算机可读指令,当该计算机可读指令被处理器执行时实现上述第一方面至第四方面的任意实现方式提供的方法。
附图说明
图1为本申请实施例提供的一种佩戴检测方法的应用场景示意图;
图2A为本申请实施例提供的一种无线耳机的结构示意图;
图2B为本申请实施例提供的另一种无线耳机的结构示意图;
图2C为本申请实施例提供的一种成对的无线耳机的示意图;
图3为本申请实施例提供的一种佩戴检测方法的流程示意图;
图4为本申请实施例提供的另一种佩戴检测方法的流程示意图;
图5为本申请实施例提供的一种音频信号的时间窗截取示意图;
图6为本申请实施例提供的一种入耳状态和出耳状态下传递函数的频率响应的示例图;
图7为本申请实施例提供的一种入耳状态和出耳状态下第三音频信号的频率响应的示例图;
图8为本申请实施例提供的另一种佩戴检测方法的流程示意图;
图9为本申请实施例提供的一种在各种使用环境下耳机入耳时麦克风采集到的音频信号的频谱示例图;
图10为本申请实施例提供的一种麦克风接收到的各种类型的音频信号的频谱示例图;
图11为本申请实施例提供的一种时域包络示例图;
图12为本申请实施例提供的一种不同场景下麦克风采集到的音频信号示例图;
图13为本申请实施例提供的另一种佩戴检测方法的流程示意图。
具体实施方式
为了方便理解本申请实施例的技术方案,首先介绍本申请相关技术所适用的应用场景。
目前,在使用智能手机、平板电脑、智能电视、笔记本电脑、车载设备等终端设备的过程中,人们通常会配置一个或多个可穿戴设备来配合终端设备使用,以实现更便捷的操作和更强大的功能。如图1所示,可穿戴设备10(图中示例了无线耳机)与终端设备20(图1中示出了智能手机201、笔记本电脑202、平板电脑203)之间可以建立连接以进行通信。具体可以是有线或无线连接等连接方式,例如,可以通过蓝牙连接实现可穿戴设备和终端设备之间的配对,以实现两者的通信。这样终端设备可以对可穿戴设备进行控制,同时可穿戴设备的佩戴状态也可以影响终端设备的一些操作行为。例如,可穿戴设备是无线耳机,终端设备可以控制无线耳机播放音频以及播放什么音频;同时,无线耳机的佩戴状态,也可以影响终端设备触发音频播放的操作的时间,具体可以是确定无线耳机佩戴在人耳时,触发音频播放。
其中,本申请实施例中的佩戴状态可以包括正在佩戴和未佩戴两种状态,正在佩戴状态可以指示可穿戴设备当前佩戴于用户身上,未佩戴状态可以指示可穿戴设备当前脱离用户身上。更进一步的,针对不同特性和功能的可穿戴设备,正在佩戴状态也可以指示可穿戴设备当前佩戴于用户身上的某个具体部位,未佩戴状态可以指示可穿戴设备当前脱离用户身上的某个部位。例如,可穿戴设备是耳机时,正在佩戴状态指示耳机处于入耳状态(也称on-ear),未佩戴状态指示耳机处于离耳状态(也称off-ear)。其中,入耳状态具体可以指耳机处于接近人体的耳朵或鼓膜等在佩戴耳机时所需处于的位置;离耳状态具体可以指耳机不处于接近人体的耳朵或鼓膜等在佩戴耳机时所需处于的位置,或者说远离在佩戴耳机时所需处于的位置。又例如,可穿戴设备是手表时,正在佩戴状态指示手表处于人体手腕或胳膊等附近位置,未佩戴状态指示手表脱离人体手腕或胳膊等附近位置。
基于上述类似的场景,需要对可穿戴设备的佩戴状态进行检测,以便于可穿戴设备本身以或/和与其连接的终端设备进行与佩戴状态相适配的操作。因此,本申请实施例提供一种应用于可穿戴设备的佩戴检测方法,旨在通过该方法对可穿戴设备的佩戴状态进行更精准的识别,从而也使终端设备能够更好的对可穿戴设备进行控制。
应理解的,本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请实施例的可穿戴设备可以包括眼镜、太阳镜、耳机、手表、手环等,它们包括用于检测可穿戴设备的佩戴状态的处理器、麦克风、扬声器以及用于向连接的终端设备传输指令或信息的通信模块。其中,每种可穿戴设备的佩戴检测方法是类似的,因此在后文中,本申请实施例将以耳机为例,介绍本申请的佩戴检测方法,其中耳机可以是有线耳机或无线耳机,也可以是头戴式耳机或入耳式耳机,本申请实施例主要以无线入耳式耳机为例进行介绍。但应理解的,本申请实施例提供的佩戴检测方案可应用于且不限于上述提到的各种可穿戴设备中。
下面介绍本申请实施例提供的一种示例性的可穿戴设备。
图2A和图2B示出了本申请实施例的一种无线耳机的结构示意图,以下统称为无线耳机100。
应该理解的是,无线耳机100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
无线耳机100可以包括:处理器110、存储器120、麦克风130、扬声器140、音频模块150、通信模块160、传感器170和电池180等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括控制器和数字信号处理器(digital signal processor,DSP)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是无线耳机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。DSP用于对音频数字信号进行各种数字信号的处理。
存储器120可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在存储器120的指令,从而执行无线耳机100的各种功能应用以及数据处理。
麦克风130,也称“话筒”,“传声器”,用于将声音信号转换为音频信号(电信号)。麦克风130可以包括反馈式麦克风131(feedback microphone,Fb-mic)、前馈式麦克风132(feedforwad microphone,FF-mic)以及通话麦克风133。其中,反馈式麦克风131用于接收耳内的噪声信号,前馈式麦克风132用于接收耳外的噪声信号,通话麦克风133用于在通话时接收用户的声音信号。
扬声器140,也称“喇叭”,用于将音频电信号转换为声音信号。
音频模块150与麦克风130、扬声器140以及处理器110连接,用于将处理器110处理后的数字音频信号转换成模拟音频信号输出给扬声器140,也用于将麦克风130输入的模拟音频信号转换为数字音频信号输出给处理器110。
通信模块160用于为无线耳机100提供与外部设备通信的能力,可以包括支持各种无线连接方式的射频收发电路和天线等。具体可以是蓝牙模块,用于和终端设备进行配对。
传感器170可以包括加速度传感器171。进一步在一些场景中,传感器170还可以包括接近光传感器172或电容式接近传感器173,用于检测是否有特定物质靠近。
电池180用于连接处理器110、存储器120、麦克风130、扬声器140、音频模块150、通信模块160以及传感器170等,并为上述部件供电。
在一些实施场景中,如图2C所示,无线耳机100也可以以成对的方式出现,其中,两个无线耳机100可以均设置有上述图2A和图2B所示无线耳机100的模块并实现上述模块对应的功能。
基于图1所示的应用场景以及图2A-2C所示的无线耳机100,下面对本申请实施例提供的佩戴检测方法进行详细介绍。需要说明的是,在图2C所示的成对出现的无线耳机100的实施场景中,处理器110可以对两个无线耳机100都进行佩戴检测,具体的检测方式是一致的,因此后续除了特定场景外,不特别对单个或成对的无线耳机100进行特别区分。
请参见图3和图4,图3和图4是本申请实施例提供的两种佩戴检测方法的流程示意图。在图3和图4所示的实施例中,处理器110利用无线耳机100中已有的麦克风130和扬声器140,通过对输入和输出的音频信号的特征分析,判断耳机是入耳或出耳状态,无需依赖额外的传感器,也就是说,无线耳机100中无需为了进行佩戴检测而额外设置专门的传感器,这样可以减少传感器的堆叠,降低产品成本,也可以使产品设计更为小巧、轻便和灵活。
其中,图3和图4的实施例的大部分步骤是相似的,区别主要在于,图3的实施例中,处理器确定可穿戴设备未播放音频时执行S101、S1021和S1022;图4的实施例中,处理器确定可穿戴设备未播放音频时执行S101和S1023。下面对图3和图4所示的佩戴检测方法进行详细介绍。
S100,处理器110确定可穿戴设备是否播放音频,若正在播放音频,则执行S103-S105;若未播放音频,则如图3所示执行S101、S1021和S1022,或者如图4所示执行S101和S1023。
在本申请实施例中,处理器110对正在播放音频和未播放音频两种状态下的无线耳机100可以采用两种不同的处理方式,因此,处理器110可以先确定无线耳机100是否播放音频,根据具体的状态确定对应的处理步骤。由于处理器110是无线耳机100的控制中心,无线耳机100当前的各种状态,包括是否播放音频、播放什么音频等,处理器110是可以直接确定的,并在无线耳机100未播放音频时,执行S101、S1022和S1023的步骤,在无线耳机100正在播放音频时,执行S103-S105的步骤。
S101,当处理器110获取到麦克风130采集的第一音频信号时,处理器110通过扬声器140输出第二音频信号并获取麦克风130采集的第三音频信号。
在例如图2A的无线耳机100中,本申请实施例涉及的麦克风130可以是在入耳状态下比较接近人耳的反馈式麦克风131(Fb-mic),下面以Fb-mic131为例具体说明。
具体来说,用户将耳机戴入或取出耳朵时,由于耳机与人耳的接触,将会在瞬间产生声音,此时Fb-mic131将会接收到由于接触所产生的声音信号,并将其转换为第一音频信号发送至处理器110,处理器110在获取到第一音频信号后,则通过扬声器140输出第二音频信号,即驱动扬声器140将第二音频信号转化为声音信号进行播放。
第二音频信号可以是预先设置在处理器110中的一段音频信号,在处理器110获取到第一音频信号后就调取该第二音频信进行播放。在具体实施过程中,第二音频信号可以设置为次声信号,即频率范围小于20Hz的音频信号,由于次声信号的频率是人耳无法感知的范围,因此使用次声引号可以在用户无感知的情况下进行佩戴检测。当然,第二音频信号也可以设置为人耳可以感知的可听域信号,即频率范围在20~20KHz的音频信号,这样可以提高用户和耳机的交互感。进一步的,无论第二音频信号是次声信号还是可听域信号,第二音频信号都可以是一个单频信号(例如5Hz、100Hz),也可以是一个频率范围的信号(例如5-10Hz,100-1000Hz),可以根据实际情况设置,本申请不作限具体制。
在处理器110驱动扬声器140输出第二音频信号时,由于声音信号的产生,Fb-mic131将会立即采集到第三音频信号。简单来说,就是扬声器140发出声音信号的瞬间,Fb-mic131也就会采集到声音信号,并将该声音信号转换为第三音频信号发送给处理器110。
需要说明的是,如图5所示,麦克风130采集的第一音频信号可能是一段包括了多帧的信号,在本申请实施例中,处理器110可以通过滑动时间窗对第一音频信号进行截取,得到每个时间窗中的一帧信号并进行处理(图5中示出了4个时间窗截取出的信号),对于任意音频来说的处理步骤均相同,因此本申请实施例不进行详细说明和区分,后文中的第二音频信号、第三音频信号、第四音频信号和第五音频信号也可以通过滑动时间窗截取后处理,后文不再赘述。
进一步的,可以理解的,无线耳机100在入耳状态时,可能由于用户的晃动或者轻微调整导致微弱的声响,同样,在出耳状态时也可能由于轻微碰触造成微弱声响。在这种情况中,也会使麦克风130接收到第一音频信号,从而触发处理器110通过扬声器140输出第二音频信号并获取麦克风130采集的第三音频信号。但是根据无线耳机100在入耳和出耳时的音频信号的特点,一般不会产生这样强度微弱的音频信号。
基于此,处理器110获取到第一音频信号时,可以先判断第一音频信号的信号幅值是否达到第一信号幅度阈值,在满足第一信号幅度阈值的情况下,进一步执行后续步骤,否则不执行后续步骤。这样可以进一步提高佩戴检测效率,节省功耗。
具体来说,对于第一音频信号的信号幅值是否满足第一信号幅度阈值的判断方法可以有很多种。例如,可以获取第一音频信号的有效值,即幅值到的均方根,如果第一音频信号的有效值达到预设的第一幅度阈值,则进行后续步骤,否则不进行后续步骤。除此之外,还可以通过第一音频信号的平均幅值或者最大幅值来判断是否达到第一信号幅度阈值,本申请实施例不作具体限制。在具体实施过程中,信号幅值可以通过信号电压来衡量。
参考图3,在一种可能的实施方式中,在S101之后,处理器110可以执行S1021-S1022,下面先对这一技术方案进行说明。
S1021,处理器110根据第二音频信号和第三音频信号,确定麦克风130和扬声器140之间的第一传递函数。
传递函数是用来表示一个对象的输入与输出间的关系的函数,具体可以是输出与输入之比得到的函数。在本申请实施例中,输出相当于第三音频信号(Fb-mic131采集的音频信号),输入相当于第二音频信号(扬声器140输出的音频信号),因此,可以将第三音频信号和第二音频信号的比作为第一传递函数。在具体实施中,可以直接根据第三音频信号和第二音频信号的时域信号计算两者的比,也可以对第三音频信号和第二音频信号先进行一些频域变换,计算两者的比。例如,可以通过第三音频信号的拉普拉斯变换与第二音频信号的拉普拉斯变换之比来计算第一传递函数,也可以根据通过第三音频信号的傅里叶变换与第二音频信号的傅里叶变换之比来计算第一传递函数。实际上,第二音频信号和第三音频信号的比可以作为第一传递函数,计算第一传递函数的方式有多种,本申请不对此进行限定,只要能表征第三音频信号和第二音频信号之间的关系的函数,都可以是本申请实施例所指的第一传递函数。
S1022,处理器110获取第一传递函数的信号特征,根据第一传递函数的信号特征,确定可穿戴设备的佩戴状态。
可以理解的,耳机在入耳状态下处于较密闭的空间,在出耳状态下处于开放性的空间,因此,扬声器140输出同样的第二音频信号的情况下,无线耳机100处于入耳状态下Fb-mic131采集到的第三音频信号,与无线耳机100处于出耳状态下Fb-mic131采集到的第三音频信号是会不同的。因此,无线耳机100处于入耳状态下与出耳状态下的第一传递函数也会是不同的。本申请图3所示的实施例就是通过分析S1021中得到的第一传递函数的特征来确定可穿戴设备的佩戴状态的。
本申请实施例中,信号特征可以包括表征信号特点的各种参数、函数或图谱等,具体包括时域和频域分析得到的各种时域特征、频域特征。具体来说,处理器110可以提取第一传递函数的频域特征,这里的频域特征可以包括频率响应、能量谱和功率谱等频域变换后的特性曲线,也可以包括从这些特性曲线中进一步提取的幅值、能量值、功率值等特征。
处理器110将提取到的频域特征与预先设置在处理器110中的频域特征进行对比,就可以判断出无线耳机100是处于入耳状态还是出耳状态。其中,预先设置在处理器110中的频域特征是基于无线耳机100在入耳状态和出耳状态下的频域特征的特点设置的,因此,将第一传递函数的频域特征与预设的频域特征对比后,即可确定无线耳机100的佩戴状态。
在一种可能的实施场景中,第一传递函数的频域特征包括第一传递函数在第三频率区间的频率响应。处理器110可以对第一传递函数进行频域变换(例如傅里叶变换),得到第一传递函数对应的频率响应,然后提取频率响应中第三频率区间对应的频域特征,进而根据第一传递函数在第三频率区间的频域特征与第二频域特征,确定可穿戴设备的佩戴状态。
其中,第三频率区间是对应于第二音频信号的频率区间设置的。具体来说,第一音频信号是次声信号情况下,第一传递函数的频谱特征在其本身对应的频率会有较为稳定和明显的呈现,因此,第二音频信号是次声信号时,第三频率区间则可以是以第二音频信号对应的单频或频率区间为中心的一段频率区间。例如,第二音频信号的频率为5Hz,为了避免频偏,第三频率区间可以为4-6Hz、3-6Hz或2-10Hz等5Hz附近的频率范围;第二音频信号的频率为5-10Hz,则第三频率区间可以为4-11Hz、3-12Hz、2-15Hz等。与次声信号不同的是,可听域信号的频率范围很广,不同的频率范围中呈现的特点也不相同,根据分析发现,第二音频信号是可听域信号情况下,第一传递函数的频谱特征在低频段会有较为稳定和明显的呈现,因此,第二音频信号是可听域信号时,第三频率区间则可以是可听域范围中较低频段对应的区间,具体可以是20~300Hz或其中的子区间,也可以是比20~300Hz更大的区间或其中的子区间。
第二频域特征是预先设置在处理器110中的,是根据无线耳机100在入耳状态和出耳状态下传递函数的频率响应呈现的规律和特点设置的用于判断佩戴状态的频域特征。具体来说,第二频域特征也是基于第二音频信号所在频率呈现的规律和特点设置的。图6示出了一种第二音频信号为可听域信号时,入耳状态和出耳状态下传递函数的频率响应。可以看出,在低频段,两者的区分程度比较明显。利用这种特点,第二频域特征可以根据入耳状态和出耳状态下传递函数的频域特征来设置。例如,第二频域特征可以是位于入耳状态和出耳状态的传递函数的频率响应曲线之间模拟出的一条类似的频率响应曲线;第二频域特征也可以是基于两条频率响应曲线的最大幅值之间设置的一个第一传递函数幅度阈值;第二频域特征还可以是根据模拟出的频率响应曲线采样后得到的多个采样幅值。当然第二频域特征也可以参考入耳状态和出耳状态下传递函数的频率响应,进行其他方式的设置,本申请不作具体限定。
总体来说,如果处理器110预先设置的第二音频信号是次声信号,则第三频率区间也会适应次声信号的频率特点设置,第二频域特征也会基于次声信号发射后在入耳状态和出耳状态下传递函数呈现的特点而设置;同样的,如果处理器110预先设置的第二音频信号是可听域信号,则第三频率区间也会适应可听域信号的频率特点设置在低频段,第二频域特征也会基于可听域信号发射后在入耳状态和出耳状态下传递函数在低频段呈现的特点而设置。
进一步的,由于我们关注的频域特征主要是在可听域的低频段或次声信号频段,则在对第一传递函数进行频域变换后可以进一步通过低通滤波器滤除高频分量,减少后续分析的干扰。
进一步的,第一传递函数在第三频率区间的频域特征与第二频域特征也是对应的,这里的频域特征可以是频率响应曲线本身,也可以是频率响应曲线中的最大幅值,还可以是频率响应曲线对应的多个采样频点的幅值等。对于不同的频域特征,可以采用不同的方法确定佩戴状态。
在一种可能的实现方式中,第一传递函数在第三频率区间的频域特征可以是第一传递函数在第三频率区间的频率响应的最大幅值,第二频域特征可以是第一传递函数幅度阈值。处理器110可以将第一传递函数在第三频率区间的频率响应的最大幅值与第一传递函数幅度阈值对比,确定无线耳机100的佩戴状态。具体来说,如果第一传递函数在第三频率区间的频率响应的最大幅值大于或等于第一传递函数幅度阈值,则处理器110可以确定无线耳机100处于入耳状态;如果第一传递函数在第三频率区间的频率响应的最大幅值小于第一传递函数幅度阈值,则处理器110可以确定无线耳机100处于出耳状态。
在另一种可能的实现方式中,第一传递函数在第三频率区间的频域特征可以是第三频率区间内的频率响应曲线,第二频域特征也是根据入耳状态和出耳状态对应的特点预设的一段频率响应曲线,记为第二频率响应。处理器110可以确定第一传递函数在第三频率区间的频率响应与第二频率响应的第四互相关系数,然后根据第四互相关系数与第四相关性阈值,确定无线耳机100的佩戴状态。具体来说,互相关系数可以是两个信号经过互相关函数计算得到的结果,用于表示两个信号之间的相似性的程度。对于互相关系数的计算方式有多种,本申请不作具体限定。在本申请实施例中,可以计算第一传递函数在第三频率区间内的频率响应的曲线与预设的第二频率响应的曲线之间的第四互相关系数,即确定两者的相似程度,再将第四互相关系数与预设的第四相关性阈值比较,如果第四互相关系数大于或等于第四相关性阈值,则处理器110可以确定无线耳机100处于入耳状态;如果第四互相关系数小于第四相关性阈值,则处理器110可以确定无线耳机100处于出耳状态。其中,第四相关性阈值可以根据具体情况具体设定,例如90%,本申请不作具体限定。
在又一种可能的实现方式中,第一传递函数在第三频率区间的频域特征可以是第一传递函数的频率响应在第三频率区间内的多个采样频点对应的幅值,第二频域特征也是根据入耳状态和出耳状态对应的特点预设的第二频率响应的多个采样频点对应的幅值。处理器110可以将第一传递函数的频率响应的多个采样频点对应的幅值与预设的多个采样频点对应的幅值一一对应的对比,当第一传递函数的采样幅值中超过特定比例的幅值都大于或等于对应的预设幅值时,则处理器110可以确定无线耳机100处于入耳状态;否则,则处理器110可以确定无线耳机100处于出耳状态。
参考图4,在另一种可能的实施方式中,在S101之后,处理器110可以执行S1023,下面再对这一技术方案进行说明。
S1023,处理器110获取第三音频信号的信号特征,根据第三音频信号的信号特征,确定可穿戴设备的佩戴状态。
可以理解的,耳机在入耳状态下处于较密闭的空间,在出耳状态下处于开放性的空间,因此,扬声器140输出同样的第二音频信号的情况下,无线耳机100处于入耳状态下Fb-mic131采集到的第三音频信号,与无线耳机100处于出耳状态下Fb-mic131采集到的第三音频信号是会不同的。因此,本申请图4所示的实施例就是通过直接分析S101中得到的第三音频信号的特征来确定可穿戴设备的佩戴状态的。
具体来说,S1023与S1021-S1022的实现方式有相似之处,区别主要在于,S1021-S1022中,需要提取的是第一传递函数的信号特征,与之比较的是根据无线耳机100在入耳状态和出耳状态下第一传递函数呈现的规律和特点而预设的信号特征。而S1023需要提取的是第三音频信号的信号特征,与之比较的是根据无线耳机100在入耳状态和出耳状态下第三音频信号呈现的规律和特点预设的信号特征。之所以能够采用S1023的方式是因为在本申请实施中的第二音频信号是预设好的已知信号,因此可以直接基于无线耳机100在第二音频信号激励的情况下,麦克风采集到的音频信号在入耳和出耳状态下的规律性特点作为判断标准,无需进一步获取传递函数,算法更加简单,检测更加快捷。
下面主要针对S1023与S1022的区别进行说明,其他部分可以参考S1022的对应部分。
本申请实施例中,信号特征可以包括表征信号特点的各种参数、函数或图谱等,具体包括时域和频域分析得到的各种时域特征、频域特征。具体来说,处理器110可以提取第三音频信号的频域特征,这里的频域特征可以包括频率响应、频谱、能量谱和功率谱等频域变换后的特性曲线,也可以包括从这些特性曲线中进一步提取的幅值、能量值、功率值等特征。处理器110将提取到的频域特征与预先设置在处理器110中的频域特征进行对比,就可以判断出无线耳机100是处于入耳状态还是出耳状态。
在一种可能的实施场景中,第三音频信号的频域特征包括第三音频信号在第二频率区间的频率响应。处理器110可以对第三音频信号进行频域变换(例如傅里叶变换),得到第三音频信号对应的频率响应,然后提取频率响应中第二频率区间对应的频域特征,进而根据第三音频信号在第二频率区间的频域特征与第一频域特征,确定可穿戴设备的佩戴状态。
其中,第二频率区间也是对应于第二音频信号的频率区间设置的。具体的设置方式可以参考S1022中第二频率区间的设置方式,这里不再做赘述。第一频域特征是预先设置在处理器110中的,是根据无线耳机100在入耳状态和出耳状态下第三音频信号的频率响应呈现的规律和特点设置的用于判断佩戴状态的频域特征。具体来说,第一频域特征也是基于第二音频信号所在频率呈现的规律和特点设置的。
图7示出了一种第二音频信号为接近20Hz的次声信号时,入耳状态和出耳状态下第三音频信号的频率响应。可以看出,在20Hz附近,两者的区分程度比较明显。利用这种特点,第一频域特征可以根据入耳状态和出耳状态下第三音频信号的频域特征来设置。例如,第一频域特征可以是位于入耳状态和出耳状态的第三音频信号在20Hz附近的频率响应曲线之间模拟出的一条类似的频率响应曲线;第一频域特征也可以是基于两条频率响应曲线的最大幅值之间设置的一个第三信号幅度阈值;第一频域特征还可以是根据模拟出的频率响应曲线采样后得到的多个采样幅值。当然,第一频域特征也可以参考入耳状态和出耳状态下第三音频信号的频率响应,进行其他方式的设置,本申请不作具体限定。
总体来说,如果处理器110预先设置的第二音频信号是次声信号,则第二频率区间也会适应次声信号的频率特点设置,第一频域特征也会基于次声信号发射后在入耳状态和出耳状态下第三音频信号呈现的特点而设置;同样的,如果处理器110预先设置的第二音频信号是可听域信号,则第二频率区间也会适应可听域信号的频率特点设置在低频段,第一频域特征也会基于可听域信号发射后在入耳状态和出耳状态下第三音频信号在低频段呈现的特点而设置。
进一步的,由于我们关注的频域特征主要是在可听域的低频段或次声信号频段,则在对第三音频信号进行频域变换后可以进一步通过低通滤波器滤除高频分量,减少后续分析的干扰。
进一步的,第三音频信号在第二频率区间的频域特征与第一频域特征也是对应的,这里的频域特征可以是频率响应曲线本身,也可以是频率响应曲线中的最大幅值,还可以是频率响应曲线对应的多个采样频点的幅值等。对于不同的频域特征,可以采用不同的方法确定佩戴状态。
在一种可能的实现方式中,第三音频信号在第二频率区间的频域特征可以是第三音频信号在第二频率区间的响应频率的最大幅值,第一频域特征可以是第三信号幅度阈值。处理器110可以将第三音频信号在第二频率区间的响应频率的最大幅值与第三信号幅度阈值对比,确定无线耳机100的佩戴状态。具体来说,如果第三音频信号在第二频率区间的响应频率的最大幅值大于或等于第三信号幅度阈值,则处理器110可以确定无线耳机100处于入耳状态;如果第三音频信号在第二频率区间的响应频率的最大幅值小于第三信号幅度阈值,则处理器110可以确定无线耳机100处于出耳状态。
在另一种可能的实现方式中,第三音频信号在第二频率区间的频域特征可以是第二频率区间内的响应频率曲线,第一频域特征也是根据入耳状态和出耳状态对应的特点预设的一段响应频率曲线,记为第一频率响应。处理器110可以确定第三音频信号在第二频率区间的频率响应与第一频率响应的第三互相关系数,然后根据第三互相关系数与第三相关性阈值,确定无线耳机100的佩戴状态。将第三互相关系数与预设的第三相关性阈值比较,如果第三互相关系数大于或等于第三相关性阈值,则处理器110可以确定无线耳机100处于入耳状态;如果第三互相关系数小于第三相关性阈值,则处理器110可以确定无线耳机100处于出耳状态。其中,第三相关性阈值可以根据具体情况具体设定,例如90%,本申请不作具体限定。
在又一种可能的实现方式中,第三音频信号在第二频率区间的频域特征可以是第三音频信号的频率响应在第二频率区间内的多个采样频点对应的幅值,第一频域特征也是根据入耳状态和出耳状态对应的特点预设的第二频率响应的多个采样频点对应的幅值。处理器110可以将第三音频信号的频率响应的多个采样频点对应的幅值与预设的多个采样频点对应的幅值一一对应的对比,当第三音频信号的采样幅值中超过特定比例的幅值都大于或等于对应的预设幅值时,则处理器110可以确定无线耳机100处于入耳状态;否则,则处理器110可以确定无线耳机100处于出耳状态。
在无线耳机110未播放音频的情况下,进一步的,在一种可能的实施方式中,当处理器110确定无线耳机100处于入耳状态时,可以通过通信模块160向与无线耳机100连接的终端设备发送音频播放指令,终端设备在接收到音频播放指令之后,可以根据上一次的播放记录,播放相应的音频。当然,终端设备也可以随机播放音频等操作,本申请实施例不作具体限定。在另一种可能的实施方式中,处理器110也可以通过通信模块160向与无线耳机100连接的终端设备发送第一佩戴指示信息,第一佩戴指示信息用于指示无线耳机100处于入耳状态。终端设备接收到第一佩戴指示信息后,可以进行多种操作行为。例如终端设备可以播放音频,也可以输出提示消息提示用户是否要播放音频,还可以在存储器中记录当前无线耳机100的佩戴状态为入耳状态,并改变显示屏中的可穿戴设备接入状态图标等。进一步的,如果终端设备此时正在通过自身的扬声器播放音频或/和自身的麦克风采集声音信号的情况下,终端设备还可以在接收到第一佩戴指示信息后,将原本发送给自身扬声器的音频信号发送给无线耳机100的扬声器140进行播放,并通过无线耳机100的麦克风130采集声音信号。在具体实现中,只要基于入耳状态的相关操作均可以实施,本申请实施例不作具体限定。
在无线耳机110未播放音频的情况下,当处理器110确定无线耳机100处于出耳状态时,处理器110可以不做任何操作,也可以通过通信模块160向与无线耳机100连接的终端设备发送第二佩戴指示信息,第二佩戴指示信息用于指示无线耳机100处于出耳状态。进一步的,处理器110还可以从确定无线耳机100为出耳状态的时间开始计时,如果计时时长超过一定阈值且计时过程中未接收到无线耳机100的佩戴状态改变为入耳状态的指示信息,则可以关闭无线耳机110的麦克风130和扬声器140等功能部件,使无线耳机110处于待机状态,节省无线耳机110的电量消耗,待收到唤醒指示或者传感器检测到无线耳机100被抬起等情况时,可以进一步开启被关闭的功能部件,然后根据具体场景进行具体操作。
需要说明的是,在图2C所示的成对出现的无线耳机100的实施场景中,处理器110可以根据两个无线耳机100的佩戴状态进行后续操作。例如,可以只要任一无线耳机100是入耳状态,则可以执行上述在入耳状态下无线耳机100或终端设备需要执行的操作;也可以在一对无线耳机100都是入耳状态,才可以执行上述在入耳状态下无线耳机100或终端设备需要执行的操作。类似的,可以只要任一无线耳机100是出耳状态,则可以执行上述在出耳状态下无线耳机100或终端设备需要执行的操作;也可以在一对无线耳机100都是入耳状态,才可以执行上述在出耳状态下无线耳机100或终端设备需要执行的操作。
进一步的,在图2C所示的实施场景中,两个无线耳机100中还可以有一个作为主要耳机,另一个作为辅助耳机。辅助耳机可以将自身的佩戴状态发送给主要耳机,由主要耳机将两个耳机的佩戴状态(第一/第二佩戴指示信息)一起发给终端设备。
进一步参考图3和图4,如果处理器110确定可穿戴设备当前正在播放音频,可以执行S103-S105,下面进行具体说明。
S103,处理器110获取麦克风140采集的第五音频信号。
具体来说,无线耳机100正在播放音频,由于处理器110是可穿戴设备的控制中心,对于无线耳机100正在播放的第四音频信号,处理器110可能在之前已经通过通信模块160获取到了终端设备发送的第四音频信号,或者可能处理器110内部已经存储有第一音频信号,因此处理器110实际上已经获取到了第四音频信号。此时扬声器140输出第四音频信号,由于扬声器140播放第四音频信号产生声音信号,Fb-mic131将会立即采集到第五音频信号。简单来说,就是扬声器140将第四音频信号转换为声音信号输出的瞬间,Fb-mic131也就会采集到声音信号,并将该声音信号转换为第五音频信号发送给处理器110。
S104,处理器110根据正在播放的第四音频信号和第五音频信号,确定麦克风130和扬声器140之间的第二传递函数。
在本申请实施例中,输出相当于第五音频信号(Fb-mic131采集的音频信号),输入相当于第四音频信号(扬声器140输出的音频信号),因此,可以将第五音频信号和第四音频信号的比作为第一传递函数。在具体实施中,可以直接根据第三音频信号和第二音频信号的时域信号计算两者的比,也可以对第五音频信号和第四音频信号先进行一些变换,计算两者的比。例如,可以通过第五音频信号的拉普拉斯变换与第四音频信号的拉普拉斯变换之比来计算第一传递函数,也可以根据通过第五音频信号的傅里叶变换与第四音频信号的傅里叶变换之比来计算第二传递函数。实际上,第四音频信号和第五音频信号的比也可以作为第二传递函数,计算第二传递函数的方式有多种,本申请不对此进行限定,只要能表征第五音频信号和第四音频信号之间的关系的函数,都可以是本申请实施例所指的第二传递函数。
需要说明的是,本申请实施例的第四音频信号可以是音乐、视频等音频播放场景下的音频信号,并不是预设的音频信号,因此其频率范围为人耳可以感知的可听域信号,即频率范围在20~20KHz的音频信号。另外,由于是非预设的音频信号,一般是一个频率范围的信号(例如100-1000Hz)。
S105,处理器110获取第二传递函数的频域信息,根据第二传递函数的频域信息,确定可穿戴设备的佩戴状态。
具体来说,处理器110可以提取第二传递函数的频域信息,这里的频域信息可以包括频率响应、频谱、能量谱和功率谱等频域变换后的特性曲线,也可以包括从这些特性曲线中进一步提取的幅值、能量值、功率值等频域特征。处理器110将提取到的频域信息与预先设置在处理器110中的频域信息进行对比,就可以判断出无线耳机100是处于入耳状态还是出耳状态。其中,预先设置在处理器110中的频域信息是基于无线耳机100在入耳状态和出耳状态下的频域信息的特点设置的,因此,将第二传递函数的频域信息与预设的频域信息对比后,即可确定无线耳机100的佩戴状态。
在一种可能的实施场景中,第二传递函数的频域特征包括第二传递函数在第四频率区间的频率响应。处理器110可以对第二传递函数进行频域变换(例如傅里叶变换),得到第二传递函数对应的频率响应,然后提取频率响应中第四频率区间对应的频域特征,进而根据第二传递函数在第四频率区间的频域特征与第四频域特征,确定可穿戴设备的佩戴状态。
其中,由于第四音频信号是可听域信号,第二传递函数的频域特征在低频段会有较为稳定和明显的呈现,因此,第四频率区间则可以是可听域范围中较低频段对应的区间,具体可以是20~300Hz或其中的子区间,也可以是比20~300Hz更大范围的区间或其中的子区间。
第四频域特征是预先设置在处理器110中的,是根据无线耳机100在入耳状态和出耳状态下传递函数的频率响应呈现的规律和特点设置的用于判断佩戴状态的频域特征。具体来说,第四频域特征也是基于第四音频信号对应的低频段呈现的规律和特点设置的。
对于处理器110根据第二传递函数在第四频率区间的频域特征与第四频域特征,确定可穿戴设备的佩戴状态的几种方法,可以参考步骤S1022,这里不作赘述。
进一步的,在无线耳机110播放音频的情况下,当处理器110确定无线耳机100处于入耳状态时,处理器110可以不做任何操作,即无线耳机100会继续播放音频;处理器110也可以通过通信模块160向与无线耳机100连接的终端设备发送第一佩戴指示信息,第一佩戴指示信息用于指示无线耳机100处于入耳状态,终端设备接收到第一佩戴指示信息后,可以进行多种操作行为,例如可以在存储器中记录当前无线耳机100的佩戴状态为入耳状态。
在无线耳机110播放音频的情况下,在一种可能的实施方式中,当处理器110确定无线耳机100处于出耳状态时,可以通过通信模块160向与无线耳机100连接的终端设备发送音频停止播放指令,终端设备在接收到音频停止播放指令之后,可以暂停或停止当前正在播放的音频。在另一种可能的实施方式中,处理器110也可以通过通信模块160向与无线耳机100连接的终端设备发送第二佩戴指示信息,第二佩戴指示信息用于指示无线耳机100处于出耳状态。终端设备接收到第二佩戴指示信息后,可以进行多种操作行为。例如终端设备可以停止播放音频,也可以输出提示消息提示用户是否要停止播放音频,还可以在存储器中记录当前无线耳机100的佩戴状态为出耳状态,并改变显示屏中的可穿戴设备接入状态图标等。进一步的,如果终端设备此时正在通过无线耳机100进行通信(例如语音通话、视频通话等),那么终端设备收到第二佩戴指示信息后,可以将原本发送给无线耳机100的扬声器140的音频信号发送给自身的扬声器进行播放,并通过自身的麦克风采集声音信号。在具体实现中,只要基于出耳状态的相关操作均可以实施,本申请实施例不作具体限定。
进一步的,处理器110还可以从确定无线耳机100为出耳状态的时间开始计时,如果计时时长超过一定阈值且计时过程中未接收到无线耳机100的佩戴状态改变为入耳状态的指示信息,则可以关闭无线耳机110的麦克风130和扬声器140等功能部件,使无线耳机110处于待机状态,节省无线耳机110的电量消耗,待收到唤醒指示或者传感器检测到无线耳机100被抬起等情况时,可以进一步开启被关闭的功能部件,然后根据具体场景进行具体操作。
可以看出,在本申请图3和图4所示的实施例中,处理器110没有采用多种传感器数据进行佩戴检测,而是复用了可穿戴设备中的麦克风130和扬声器140,根据麦扬声器140输出的音频信号和麦克风130采集的音频信号之间的关系,以及入耳和出耳状态下可穿戴设备拾取的音频信号的特点,确定可穿戴设备的佩戴状态并进一步与连接的终端设备配合进行后续操作,减少了传感器堆叠,增加了可穿戴设备的设计灵活度。另外,本申请实施例将可穿戴设备未播放音频和播放音频的情况区分开来,在未播放音频的情况下,只有在接收到第一音频信号时,处理器110才触发第二音频信号的输出以及后续的佩戴检测步骤,避免了持续检测时需要开启扬声器140且不断输出第二音频信号所带来的功率消耗;在播放音频的情况下,处理器110直接利用正在播放的音频来计算传递函数,不需要再输出第二音频信号,也减少了不必要的功率消耗和信号处理过程。
在一些使用情况中,用户误触等情况也可能会触发无线耳机100的麦克风130拾取到声音信号,并触发处理器110进一步执行佩戴检测。如果用户误触等情况时产生的周围环境与人耳环境类似时,此时也有可能被检测为入耳状态;或者用户误触等情况时产生的周围环境与开放环境类似时,此时也有可能被检测为出耳状态。在这样的情况下,就可能会造成对可穿戴设备的佩戴状态的误识别。因此,为了进一步提升佩戴检测的识别准确度,避免用户误触等情况造成的误识别,在图3或图4所示的实施例的基础上,当处理器110获取到麦克风130采集的第一音频信号时,可以先对第一音频信号进行分析,判断第一音频信号的信号特征是否满足第一佩戴检测入口条件。当满足入口条件的情况下,再进一步执行后续的佩戴检测步骤,这样通过二次检测更进一步的提升了检测精确度。当不满足入口条件的情况下,不执行后续的佩戴检测步骤,这样也可以节约后续佩戴检测扬声器的输出和处理器的信号处理和分析所需消耗的功率,节省能耗。
请参考图8,图8是本申请实施例提供的另一种佩戴检测方法的流程示意图,下面结合图8对另一种佩戴检测方法进行详细说明。
S200,处理器110确定可穿戴设备是否播放音频,若未播放音频,则执行S201;若正在播放音频,则执行S204-S206。
S201,当处理器110获取到麦克风130采集的第一音频信号时,判断第一音频信号的信号特征是否满足第一佩戴检测入口条件,若第一音频信号的信号特征满足第一佩戴检测入口条件,则执行S202-S203。
由于耳机入耳时与人耳的接触或者用户误触等其他情况下的碰触,将会在瞬间产生声音,此时Fb-mic131将会接收到由于接触所产生的声音信号,并将其转换为第一音频信号发送至处理器110,处理器110在获取到第一音频信号后,则判断第一音频信号的信号特征是否满足第一佩戴检测入口条件。本申请实施例中,信号特征可以包括表征信号特点的各种参数、函数或图谱等,具体包括时域和频域分析得到的各种时域特征、频域特征。其中,第一佩戴检测入口条件是基于用户在无线耳机100入耳时以及出耳时,接触无线耳机100所产生的音频信号的规律性特点而设置的。
下面继续对第一音频信号的信号特征是否满足第一佩戴检测入口条件的判断方法进行详细说明。
本申请实施例可以从时域和频域两种维度中的一种或两种结合,判断第一音频信号的信号特征是否满足第一佩戴检测入口条件。
在一种可能的实施方式中,可以从频域维度判断第一音频信号的信号特征是否满足第一佩戴检测入口条件,信号特征可以为频谱特征,S201具体可以包括:
S2011,处理器110获取第一音频信号在第一频率区间的频谱特征。
S2012,处理器110确定第一音频信号在第一频率区间的频谱特征与第一频谱特征的第一互相关系数。
S2013,当第一互相关系数达到第一相关性阈值,则处理器110确定第一音频信号的信号特征满足第一佩戴检测入口条件,进而执行S202-S203;否则,则确定第一音频信号的信号特征不满足第一佩戴检测入口条件,则不执行S202-S203。
下面对上述频域维度的判断方法进行详细说明。
具体来说,处理器110可以对第一音频信号进行频域变换(例如傅里叶变换),得到第一音频信号对应的频谱,然后提取频谱中第一频率区间对应的频谱特征。图9示出了在各种使用环境的场景(例如安静、噪声、日常等)中,耳机入耳时Fb-mic131接收到的音频信号的频谱。可以看出,耳机入耳时人耳与Fb-mic131接触产生的音频信号的频谱在低频段具有良好的一致性,即各个场景下的音频信号频谱在低频段的频谱趋同(趋势线内的频谱曲线相似),呈现出了规律性。图10示出了Fb-mic131接收到的各种类型的音频信号(例如人手捏耳机的声音、海浪的声音、森林中的声音以及耳机入耳时的声音)的频谱。可以看出,耳机入耳时的音频信号与其他声音的音频信号的频谱在低频段具有明显的区分度。耳机出耳时的音频信号也有类似的特点,本申请仅以耳机入耳时的一些场景举例。因此,根据耳机入耳和出耳时人耳与Fb-mic131接触产生的音频信号的特点,不同的场景下,入耳与出耳的音频信号在低频段的频谱特征与其他噪音均具有明显的区分度且具有良好的一致性。因此,这里的第一频率区间可以是根据该特点设置的一个低频段的频率区间,具体可以是20~300Hz或20~300Hz中的任意子区间,也可以是比20~300Hz更大范围的区间以及其中的子区间,本申请不作具体限制。
第一频谱特征是预先设置在处理器110中的,是根据无线耳机100在入耳和出耳时接触人耳后触发的音频信号所呈现的规律和特点设置的频率特征。相应的,第一频谱特征的频率区间也是与第一频率区间类似的。
在本申请实施例中,第一音频信号在第一频率区间的频谱特征可以是第一频率区间内的频谱曲线,第一频谱特征也是根据入耳和出耳时发出的音频信号的特点预设的一段频谱曲线。与上文提到的第三互相关系数类似的,处理器110也可以通过互相关函数计算第一音频信号在第一频率区间的频谱特征与第一频谱特征的第一互相关系数,即确定两者的相似程度。如果第一互相关系数达到第一相关性阈值,则确定第一音频信号的信号特征满足第一佩戴检测入口条件;否则,则确定第一音频信号的信号特征不满足第一佩戴检测入口条件。其中,第一相关性阈值可以根据具体情况具体设定,本申请不作具体限定。
需要说明的是,为了得到更准确的结果,在对第一音频信号进行频域变换之前,还可以先对第一音频信号进行降噪处理。在对第一音频信号进行频域变换之后,还可以从线性坐标转换到对数坐标,减少数据冗余,并对获取到的频谱曲线进行曲线平滑,即多点去均值,得到更平滑的曲线。进一步的,在计算第一互相关系数之前,还可以对第一音频信号在第一频率区间的频谱特征进行归一化处理,使得第一音频信号在第一频率区间的频谱特征与第一频谱特征能够在相同的状态下进行对比。对于上述降噪、线性坐标转换、曲线平滑以及归一化的处理,可以采用信号处理领域常用的处理算法,本申请不在此赘述。
在另一种可能的实施方式中,可以从时域维度判断第一音频信号的信号特征是否满足第一佩戴检测入口条件,信号特征可以为时域包络,S201具体可以包括:
S2014,处理器110提取第一音频信号的时域包络。
S2015,处理器110确定第一音频信号的时域包络与第一时域包络的第二互相关系数。
S2016,当第二互相关系数达到第二相关性阈值,则处理器110确定第一音频信号的信号特征满足第一佩戴检测入口条件,进而执行S202-S203;否则,则确定第一音频信号的信号特征不满足第一佩戴检测入口条件,则不执行S202-S203。
具体来说,图11示出了所示了图3所示的第一音频信号所对应的时域包络,处理器110可以将第一音频信号分成多段,提取每段信号的幅度最大值,然后将多段信号对应的幅度最大值连接起来,在时域上形成一条包络曲线。图12示出了不同场景下Fb-mic131接收到的音频信号,其中横坐标为采样点数,采样点数/48000=时间。可以看出,耳机入耳时的音频信号与其他声音的音频信号具有明显的区分度,在图12的第四个场景中,即使在噪声非常大的环境下,耳机入耳时的音频信号依然具有较高的区分度。并且,四个场景中的第一音频信号也是非常类似的,具有一致性。耳机出耳时的音频信号也有类似的特点,本申请仅以耳机入耳时的一些场景举例。因此,根据耳机入耳和出耳时人耳与Fb-mic131接触产生的音频信号的特点,不同的场景下,入耳与出耳时的音频信号的时域包络与其他噪音包络均具有明显的区分度且具有良好的一致性,因此可以用于作为判断第一音频信号的信号特征是否满足第一佩戴检测入口条件的特征。需要说明的是,为了得到更准确的结果,在对第一音频信号进行时域包络提取之前,还可以先对第一音频信号进行降噪处理。
第一时域包络是预先设置在处理器110中的,是根据无线耳机100在入耳和出耳时接触人耳后触发的音频信号所呈现的规律和特点设置的时域包络曲线。
与上文提到的第一互相关系数类似的,处理器110也可以通过互相关函数计算第一音频信号的时域包络与第一时域包络的第二互相关系数,即确定两者的相似程度。如果第二互相关系数达到第二相关性阈值,则确定第一音频信号的信号特征满足第一佩戴检测入口条件;否则,则确定第一音频信号的信号特征不满足第一佩戴检测入口条件。其中,第二相关性阈值可以根据具体情况具体设定,本申请不作具体限定。
在又一种可能的实施场景中,处理器110可以将上述两种方式结合,对频域和时域的信号特征都进行判断,只要频域维度和时域维度的任一维度满足对应的条件,处理器110就确定第一音频信号的信号特征满足第一佩戴检测入口条件;只有当频域维度和时域维度均不满足对应的条件时,处理器110确定第一音频信号的信号特征不满足第一佩戴检测入口条件。也就是说,处理器110可以既执行S2011-S2013,也执行S2014-S2016的步骤,只要两者的执行结果中任一个确定为满足第一佩戴检测入口条件,就确定第一音频信号的信号特征满足第一佩戴检测入口条件。这样的好处在于,能够避免频域或时域某一维度出现误检测而导致没有正确识别到佩戴状态的改变。
可以理解的,除了上文提到的两种具体确定第一音频信号的信号特征是否满足第一佩戴检测入口条件的方法外,本申请实施例还可以采用其他方式以及多种方式的结合,只要能够基于上述类似的时频域信息判断是否匹配预设的具有入耳或出耳特点的音频信号的时频域信息即可。例如,在频域维度上,信号特征还可以是第一频率区间对应的频谱中的最大幅值,相应的第一频谱特征也是预设的一个幅值阈值,根据两者的比较结果确定是否满足第一佩戴检测入口条件。
进一步的,为了提高检测效率,节省功耗,在处理器110判断第一音频信号的信号特征是否满足第一佩戴检测入口条件之前,可以先判断第一音频信号的信号幅值是否达到第一信号幅度阈值,在满足第一信号幅度阈值的情况下,进一步执行后续步骤,否则不执行后续步骤。
S202,处理器110通过扬声器140输出第二音频信号并获取麦克风130采集的第三音频信号。
S203,处理器110获取第三音频信号的信号特征,根据第三音频信号的信号特征,确定可穿戴设备的佩戴状态。
S202-S203与上述实施例中S101和S1023的实现方式类似,因此,具体实施方式可以参考S101和S1023的对应位置,此处不再赘述。需要说明的是,这里S203仅为一种示例性的实现方式,本申请实施例的S203也可以采用图3中S1021-S1022的方式实现。
S204,处理器110获取麦克风140采集的第五音频信号。
S205,处理器110根据正在播放的第四音频信号和第五音频信号,确定麦克风130和扬声器140之间的第二传递函数。
S206,处理器110获取第二传递函数的频域信息,根据第二传递函数的频域信息,确定可穿戴设备的佩戴状态。
S204-S206与图4所示的实施例中S103-S105的实现方式类似,因此,具体实施方式可以参考S103-S105的对应位置,此处不再赘述。
可以看出,在本申请图8所示的实施例中,在图3和图4所示的实施例的基础上,新增了第一佩戴检测入口条件,根据麦克风130采集的触发信号(第一音频信号)以及入耳和出耳状态下可穿戴设备拾取的触发信号的特点,确定触发信号是否满足第一佩戴检测入口条件,只有在满足第一佩戴检测入口条件的情况下,说明无线耳机100可能正在进行入耳或出耳的动作,才进一步确定可穿戴设备的佩戴状态。也就是说,一方面,满足第一佩戴检测入口条件的情况下,本申请实施例对第一音频信号和第三音频信号这样两种不同场景产生的音频信号进行了不同方式的检测,通过对两种音频信号的双重检测,能更大程度的提升佩戴检测的准确度,降低了误检测率。另一方面,不满足第一佩戴检测入口条件的情况下,说明无线耳机100可能受到了误触等,此时则可以不进行后续的佩戴检测步骤,不会开启扬声器输出音频信号,能够节省功率消耗。
请参见图13,图13是本申请实施例提供的另一种佩戴检测方法的流程示意图。在图13的实施例中,无线耳机100中可以包括多种传感器170,因此,处理器110可以利用无线耳机110中的传感器170采集的传感数据,通过分析传感数据,判断是否需要进一步进行佩戴检测,如果需要再进行后续的佩戴检测步骤,这样也相当于通过对传感数据和音频信号的两种检测提升了佩戴检测的精确度,同时也节约了功耗。本申请实施例可以适用于已经布局有各种传感器170的无线耳机100,也就是说如果无线耳机100本身必须设置一些传感器170实现其他功能的情况下,可以复用传感数据进行佩戴入口条件的判断。下面结合图13对另一种佩戴检测方法进行详细说明。
S300,处理器110确定可穿戴设备是否播放音频,若未播放音频,则执行S301;若正在播放音频,则执行S304-S306。
S301,处理器110判断传感器采集到的传感数据是否满足第二佩戴检测入口条件,若传感数据满足第二佩戴检测入口条件,则执行S302-S303。
无线耳机100中的传感器170可以实时采集传感数据,当无线耳机100的状态有所改变时,传感器170检测到的传感数据也会有所变化。可以理解的,用户将耳机戴入或取出耳朵时,无线耳机100的传感器170采集到的传感数据将会发生变化,本申请实施例就是利用无线耳机100在入耳和出耳时传感数据的这种特点,判断传感数据是否满足第二佩戴检测入口条件。
具体来说,传感器170可以包括接近传感器,处理器110根据接近传感器采集到的传感数据,可以确定是否有物体接近或远离可穿戴设备。例如,接近传感器可以为电容式接近传感器173,电容式接近传感器173通过检测电容变化可以检测出特定物质是否有靠近或远离;接近传感器也可以是接近光传感器172,接近光传感器172通过检测反射的光信号,而确定是否有靠近或远离。
可以理解的,在无线耳机100开始入耳时,会逐渐靠近人耳、人脸等部位,因此,如果接近传感器判断出当前可穿戴设备接近特定物体,那么可以确定传感数据满足第二佩戴检测入口条件。在无线耳机100开始出耳时,会逐渐远离人耳、人脸等部位,因此,如果接近传感器判断出当前可穿戴设备远离特定物体,那么也可以确定传感数据满足第二佩戴检测入口条件。
需要说明的是,除了上述接近传感器的示例,在具体实施过程中,也可以结合无线耳机100中的其他传感器一同检测,例如可以结合加速度传感器171,如果根据加速度传感器的传感数据发现无线耳机100处于抬起状态,且正在接近特定物体,那么可以确定传感数据满足第二佩戴检测入口条件;或者或落下的如果根据加速度传感器的传感数据发现无线耳机100处于下落状态,且正在远离特定物体,那么也可以确定传感数据满足第二佩戴检测入口条件。
也就是说,如果传感数据满足第二佩戴检测入口条件,那么大概率用户正在进行入耳或出耳操作,此时处理器110再通过后续的佩戴检测方法进行二次检测,可以更精确的确定无线耳机100的佩戴状态,同时也避免了持续检测时需要不断输出第二音频信号所带来的功率消耗。
S302,处理器110通过扬声器140输出第二音频信号并获取麦克风130采集的第三音频信号。
S303,处理器110获取第三音频信号的信号特征,根据第三音频信号的信号特征,确定可穿戴设备的佩戴状态。
S302-S303与上述实施例中S101和S1023的实现方式类似,因此,具体实施方式可以参考S101和S1023的对应位置,此处不再赘述。需要说明的是,这里S303仅为一种示例性的实现方式,本申请实施例的S303也可以采用图3中S1021-S1022的方式实现。
S304,处理器110获取麦克风140采集的第五音频信号。
S305,处理器110根据正在播放的第四音频信号和第五音频信号,确定麦克风130和扬声器140之间的第二传递函数。
S306,处理器110获取第二传递函数的频域信息,根据第二传递函数的频域信息,确定可穿戴设备的佩戴状态。
S304-S306与图4所示的实施例中S103-S105的实现方式类似,因此,具体实施方式可以参考S103-S105的对应位置,此处不再赘述。
可以看出,在本申请图13所示的实施例中,复用了已有的传感器采集到的传感数据来进行佩戴入口条件的判断,无需通过麦克风130一直监测外界信号并进行信号的分析和处理,也能够达到二次检测以提升佩戴检测精确度的效果。也就是说,一方面,满足第二佩戴检测入口条件的情况下,本申请实施例对传感器数据和第三音频信号这样两种不同场景产生的数据进行了检测,通过对两种数据的双重检测,能更大程度的提升佩戴检测的准确度,降低了误检测率。另一方面,不满足第二佩戴检测入口条件的情况下,说明无线耳机100可能受到了误触或晃动等,此时则可以不进行后续的佩戴检测步骤,不会开启扬声器输出音频信号,能够节省功率消耗。
需要说明的是,本申请上述实施例涉及的佩戴检测方法均是在可穿戴设备处于开机状态或者非待机状态情况下执行的。也就是说,麦克风130和扬声器140等器件处于工作状态时,可以执行本申请的实施方案。在可穿戴设备处于关机状态或待机状态(也称休眠状态)等麦克风130和扬声器140不工作的状态时,首先需要其他操作(例如抬起唤醒、耳机出盒、可穿戴设备开机等)先唤醒或开启可穿戴设备,使得麦克风130和扬声器140等模块工作,从而进一步执行本申请实施例的佩戴检测方案。
本领域普通技术人员可以理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (36)

1.一种佩戴检测方法,其特征在于,应用于可穿戴设备,所述可穿戴设备包括麦克风和扬声器;所述方法包括:
当所述可穿戴设备未播放音频且获取到所述麦克风采集的第一音频信号时,通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号;
获取所述第三音频信号的信号特征,根据所述第三音频信号的信号特征,确定所述可穿戴设备的佩戴状态。
2.根据权利要求1所述的方法,其特征在于,所述通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号之前,还包括:
确定所述第一音频信号的信号特征满足佩戴检测入口条件。
3.根据权利要求2所述的方法,其特征在于,所述确定所述第一音频信号的信号特征满足佩戴检测入口条件包括:
获取所述第一音频信号在第一频率区间的频谱特征;
确定所述第一音频信号在第一频率区间的频谱特征与第一频谱特征的第一互相关系数;
当所述第一互相关系数达到第一相关性阈值,确定所述第一音频信号的信号特征满足所述佩戴检测入口条件。
4.根据权利要求3所述的方法,其特征在于,所述第一频率区间包括20~300Hz或20~300Hz中的任意子区间。
5.根据权利要求2-4任一项所述的方法,其特征在于,所述确定所述第一音频信号的信号特征满足佩戴检测入口条件包括:
提取所述第一音频信号的时域包络;
确定所述第一音频信号的时域包络与第一时域包络的第二互相关系数;
当所述第二互相关系数达到第二相关性阈值,确定所述第一音频信号的信号特征满足所述佩戴检测入口条件。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号之前,还包括:
确定所述第一音频信号的信号幅值达到第一信号幅度阈值。
7.根据权利要求6所述的方法,其特征在于,所述确定所述第一音频信号的信号幅值达到第一信号幅度阈值包括:
确定所述第一音频信号的有效值达到第一幅度阈值;或,确定所述第一音频信号的平均幅值达到第二幅度阈值;或确定所述第一音频信号的最大幅值达到第三幅度阈值。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述获取所述第三音频信号的信号特征,根据所述第三音频信号的信号特征,确定所述可穿戴设备的佩戴状态包括:
对所述第三音频信号进行频域变换,获取所述第三音频信号在第二频率区间的频域特征;
根据所述第三音频信号在第二频率区间的频域特征与第一频域特征,确定所述可穿戴设备的佩戴状态。
9.根据权利要求8所述的方法,其特征在于,所述第一频域特征包括第三信号幅度阈值;所述根据所述第三音频信号在第二频率区间的频域特征与第一频域特征,确定所述可穿戴设备的佩戴状态,包括:
根据所述第三音频信号在第二频率区间的频率响应的最大幅值与第三信号幅度阈值,确定所述可穿戴设备的佩戴状态。
10.根据权利要求8所述的方法,其特征在于,所述第一频域特征包括第一频率响应;所述根据所述第三音频信号在第二频率区间的频域特征与第一频域特征,确定所述可穿戴设备的佩戴状态,包括:
确定第三音频信号在第二频率区间的频率响应与第一频率响应的第三互相关系数;
根据所述第三互相关系数与第三相关性阈值,确定所述可穿戴设备的佩戴状态。
11.根据权利要求8-10任一项所述的方法,其特征在于,所述第二音频信号为频率范围小于20Hz的次声信号,所述第二频率区间包括0~20Hz或0~20Hz中的任意子区间;或,所述第二音频信号为频率范围在20~20KHz的可听域信号,所述第二频率区间包括20~300Hz或20~300Hz中的任意子区间。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述方法还包括:
当确定所述可穿戴设备正在播放音频时,获取所述麦克风采集的第五音频信号;
根据正在播放的第四音频信号和所述第五音频信号,确定所述麦克风和所述扬声器之间的传递函数;
获取所述传递函数的信号特征,根据所述传递函数的信号特征,确定所述可穿戴设备的佩戴状态。
13.根据权利要求12所述的方法,其特征在于,所述获取所述传递函数的信号特征,根据所述传递函数的信号特征,确定所述可穿戴设备的佩戴状态,包括:
对所述传递函数进行频域变换,获取所述传递函数在第三频率区间的频域特征;
根据所述传递函数在第三频率区间的频域特征与第二频域特征,确定所述可穿戴设备的佩戴状态。
14.一种佩戴检测方法,其特征在于,应用于可穿戴设备,所述可穿戴设备包括麦克风和扬声器;所述方法包括:
当所述可穿戴设备未播放音频且获取到所述麦克风采集的第一音频信号时,通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号;
根据所述第二音频信号和所述第三音频信号,确定所述麦克风和所述扬声器之间的传递函数;
获取所述传递函数的信号特征,根据所述传递函数的信号特征,确定所述可穿戴设备的佩戴状态。
15.一种佩戴检测方法,其特征在于,应用于可穿戴设备,所述可穿戴设备包括麦克风、扬声器和传感器;所述方法包括:
当所述可穿戴设备未播放音频且确定所述传感器采集到的传感数据满足佩戴检测入口条件时,通过所述扬声器输出第一音频信号并获取所述麦克风采集到的第二音频信号;
获取所述第二音频信号的信号特征,根据所述第二音频信号的信号特征,确定所述可穿戴设备的佩戴状态。
16.根据权利要求15所述的方法,其特征在于,所述传感器包括接近传感器,所述确定所述传感器采集到的传感数据满足佩戴检测入口条件,包括:
根据所述接近传感器采集到的传感数据,确定有物体接近或远离所述可穿戴设备,则确定所述传感器采集到的传感数据满足佩戴检测入口条件。
17.一种佩戴检测方法,其特征在于,应用于可穿戴设备,所述可穿戴设备包括麦克风、扬声器和传感器;所述方法包括:
当所述可穿戴设备未播放音频且确定所述传感器采集到的传感数据满足佩戴检测入口条件时,通过所述扬声器输出第一音频信号并获取所述麦克风采集到的第二音频信号;
根据所述第一音频信号和所述第二音频信号,确定所述麦克风和所述扬声器之间的传递函数;
获取所述传递函数的信号特征,根据所述传递函数的信号特征,确定所述可穿戴设备的佩戴状态。
18.一种可穿戴设备,其特征在于,包括麦克风、扬声器、存储器和处理器,其中,
所述麦克风用于接收声音信号并转换为音频信号;
所述扬声器用于将音频信号转换为声音信号输出;
所述存储器用于存储计算机可读指令;所述处理器用于读取所述计算机可读指令并行以下步骤:
当所述可穿戴设备未播放音频且获取到所述麦克风采集的第一音频信号时,通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号;
获取所述第三音频信号的信号特征,根据所述第三音频信号的信号特征,确定所述可穿戴设备的佩戴状态。
19.根据权利要求18所述的可穿戴设备,其特征在于,所述通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号之前,所述处理器还用于:
确定所述第一音频信号的信号特征满足佩戴检测入口条件。
20.根据权利要求19所述的可穿戴设备,其特征在于,所述处理器具体用于:
获取所述第一音频信号在第一频率区间的频谱特征;
确定所述第一音频信号在第一频率区间的频谱特征与第一频谱特征的第一互相关系数;
当所述第一互相关系数达到第一相关性阈值,确定所述第一音频信号的信号特征满足所述佩戴检测入口条件。
21.根据权利要求20所述的可穿戴设备,其特征在于,述第一频率区间包括20~300Hz或20~300Hz中的任意子区间。
22.根据权利要求19-21任一项所述的可穿戴设备,其特征在于,所述处理器具体用于:
提取所述第一音频信号的时域包络;
确定所述第一音频信号的时域包络与第一时域包络的第二互相关系数;
当所述第二互相关系数达到第二相关性阈值,确定所述第一音频信号的信号特征满足所述佩戴检测入口条件。
23.根据权利要求18-22任一项所述的可穿戴设备,其特征在于,所述通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号之前,所述处理器还用于:
确定所述第一音频信号的信号幅值达到第一信号幅度阈值。
24.根据权利要求23所述的可穿戴设备,其特征在于,所述处理器具体用于:
确定所述第一音频信号的有效值达到第一幅度阈值;或,确定所述第一音频信号的平均幅值达到第二幅度阈值;或确定所述第一音频信号的最大幅值达到第三幅度阈值。
25.根据权利要求18-24任一项所述的可穿戴设备,其特征在于,所述处理器具体用于:
对所述第三音频信号进行频域变换,获取所述第三音频信号在第二频率区间的频域特征;
根据所述第三音频信号在第二频率区间的频域特征与第一频域特征,确定所述可穿戴设备的佩戴状态。
26.根据权利要求25所述的可穿戴设备,其特征在于,所述第一频域特征包括第三信号幅度阈值;所述处理器具体用于:
根据所述第三音频信号在第二频率区间的频率响应的最大幅值与第三信号幅度阈值,确定所述可穿戴设备的佩戴状态。
27.根据权利要求25所述的可穿戴设备,其特征在于,所述第一频域特征包括第一频率响应;所述处理器具体用于:
确定第三音频信号在第二频率区间的频率响应与第一频率响应的第三互相关系数;
根据所述第三互相关系数与第三相关性阈值,确定所述可穿戴设备的佩戴状态。
28.根据权利要求25-27任一项所述的可穿戴设备,其特征在于,所述第二音频信号为频率范围小于20Hz的次声信号,所述第二频率区间包括0~20Hz或0~20Hz中的任意子区间;或,所述第二音频信号为频率范围在20~20KHz的可听域信号,所述第二频率区间包括20~300Hz或20~300Hz中的任意子区间。
29.根据权利要求18-28任一项所述的可穿戴设备,其特征在于,所述处理器还用于:
当确定所述可穿戴设备正在播放音频时,获取所述麦克风采集的第五音频信号;
根据正在播放的第四音频信号和所述第五音频信号,确定所述麦克风和所述扬声器之间的传递函数;
获取所述传递函数的信号特征,根据所述传递函数的信号特征,确定所述可穿戴设备的佩戴状态。
30.根据权利要求28所述的可穿戴设备,其特征在于,所述处理器具体用于:
对所述传递函数进行频域变换,获取所述传递函数在第三频率区间的频域特征;
根据所述传递函数在第三频率区间的频域特征与第二频域特征,确定所述可穿戴设备的佩戴状态。
31.一种可穿戴设备,其特征在于,包括麦克风、扬声器、存储器和处理器,其中,
所述麦克风用于接收声音信号并转换为音频信号;
所述扬声器用于将音频信号转换为声音信号输出;
所述存储器用于存储计算机可读指令;所述处理器用于读取所述计算机可读指令并行以下步骤:
当所述可穿戴设备未播放音频且获取到所述麦克风采集的第一音频信号时,通过所述扬声器输出第二音频信号并获取所述麦克风采集的第三音频信号;
根据所述第二音频信号和所述第三音频信号,确定所述麦克风和所述扬声器之间的传递函数;
获取所述传递函数的信号特征,根据所述传递函数的信号特征,确定所述可穿戴设备的佩戴状态。
32.一种可穿戴设备,其特征在于,包括麦克风、扬声器、传感器、存储器和处理器,其中,
所述麦克风用于接收声音信号并转换为音频信号;
所述扬声器用于将音频信号转换为声音信号输出;
所述传感器用于采集传感数据;
所述存储器用于存储计算机可读指令;所述处理器用于读取所述计算机可读指令以执行以下步骤:
当所述可穿戴设备未播放音频且确定所述传感器采集到的传感数据满足佩戴检测入口条件时,通过所述扬声器输出第一音频信号并获取所述麦克风采集到的第二音频信号;
获取所述第二音频信号的信号特征,根据所述第二音频信号的信号特征,确定所述可穿戴设备的佩戴状态。
33.根据权利要求32所述的可穿戴设备,其特征在于,所述传感器包括接近传感器,所述处理器具体用于:
根据所述接近传感器采集到的传感数据,确定有物体接近或远离所述可穿戴设备,则确定所述传感器采集到的传感数据满足佩戴检测入口条件。
34.一种可穿戴设备,其特征在于,包括麦克风、扬声器、传感器、存储器和处理器,其中,
所述麦克风用于接收声音信号并转换为音频信号;
所述扬声器用于将音频信号转换为声音信号输出;
所述传感器用于采集传感数据;
所述存储器用于存储计算机可读指令;所述处理器用于读取所述计算机可读指令以执行以下步骤:
当所述可穿戴设备未播放音频且确定所述传感器采集到的传感数据满足佩戴检测入口条件时,通过所述扬声器输出第一音频信号并获取所述麦克风采集到的第二音频信号;
根据所述第一音频信号和所述第二音频信号,确定所述麦克风和所述扬声器之间的传递函数;
获取所述传递函数的信号特征,根据所述传递函数的信号特征,确定所述可穿戴设备的佩戴状态。
35.根据权利要求18-34任一项所述的可穿戴设备,其特征在于,所述麦克风包括反馈式麦克风。
36.一种计算机存储介质,其特征在于,存储有计算机可读指令,且所述计算机可读指令在被处理器执行时实现如权利要求1-17任一项所述的方法。
CN202110496911.8A 2021-05-07 2021-05-07 佩戴检测方法、可穿戴设备及存储介质 Pending CN115314804A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110496911.8A CN115314804A (zh) 2021-05-07 2021-05-07 佩戴检测方法、可穿戴设备及存储介质
EP22798648.6A EP4294037A1 (en) 2021-05-07 2022-05-06 Wearing detection method, wearable device and storage medium
US18/559,321 US20240152313A1 (en) 2021-05-07 2022-05-06 Wearing detection method, wearable device, and storage medium
PCT/CN2022/091059 WO2022233308A1 (zh) 2021-05-07 2022-05-06 佩戴检测方法、可穿戴设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110496911.8A CN115314804A (zh) 2021-05-07 2021-05-07 佩戴检测方法、可穿戴设备及存储介质

Publications (1)

Publication Number Publication Date
CN115314804A true CN115314804A (zh) 2022-11-08

Family

ID=83853489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110496911.8A Pending CN115314804A (zh) 2021-05-07 2021-05-07 佩戴检测方法、可穿戴设备及存储介质

Country Status (4)

Country Link
US (1) US20240152313A1 (zh)
EP (1) EP4294037A1 (zh)
CN (1) CN115314804A (zh)
WO (1) WO2022233308A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319870A (zh) * 2023-11-09 2023-12-29 深圳市通力科技开发有限公司 一种耳机佩戴状态检测方法、装置、耳机和存储介质
CN117528333A (zh) * 2024-01-05 2024-02-06 九音科技(南京)有限公司 耳戴式音频设备的状态检测方法、装置、音频设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9967647B2 (en) * 2015-07-10 2018-05-08 Avnera Corporation Off-ear and on-ear headphone detection
CN111988690B (zh) * 2019-05-23 2023-06-27 小鸟创新(北京)科技有限公司 一种耳机佩戴状态检测方法、装置和耳机
CN110677768A (zh) * 2019-10-31 2020-01-10 歌尔科技有限公司 一种无线耳机控制方法、装置及无线耳机和存储介质
CN112013949A (zh) * 2020-08-06 2020-12-01 歌尔科技有限公司 耳机佩戴状态的确定方法、装置及耳机
CN111988692B (zh) * 2020-08-07 2022-11-15 歌尔科技有限公司 耳机佩戴状态检测方法、装置、耳机及存储介质
CN112272346B (zh) * 2020-11-27 2023-01-24 歌尔科技有限公司 入耳检测方法、耳机及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319870A (zh) * 2023-11-09 2023-12-29 深圳市通力科技开发有限公司 一种耳机佩戴状态检测方法、装置、耳机和存储介质
CN117319870B (zh) * 2023-11-09 2024-05-17 深圳市通力科技开发有限公司 一种耳机佩戴状态检测方法、装置、耳机和存储介质
CN117528333A (zh) * 2024-01-05 2024-02-06 九音科技(南京)有限公司 耳戴式音频设备的状态检测方法、装置、音频设备及介质
CN117528333B (zh) * 2024-01-05 2024-04-12 九音科技(南京)有限公司 耳戴式音频设备的状态检测方法、装置、音频设备及介质

Also Published As

Publication number Publication date
EP4294037A1 (en) 2023-12-20
US20240152313A1 (en) 2024-05-09
WO2022233308A9 (zh) 2023-01-19
WO2022233308A8 (zh) 2023-11-02
WO2022233308A1 (zh) 2022-11-10

Similar Documents

Publication Publication Date Title
US10381021B2 (en) Robust feature extraction using differential zero-crossing counts
US9721560B2 (en) Cloud based adaptive learning for distributed sensors
US9412373B2 (en) Adaptive environmental context sample and update for comparing speech recognition
WO2021114953A1 (zh) 语音信号的采集方法、装置、电子设备以及存储介质
CN108763901B (zh) 耳纹信息获取方法和装置、终端、耳机及可读存储介质
CN111432303B (zh) 单耳耳机、智能电子设备、方法和计算机可读介质
WO2022233308A9 (zh) 佩戴检测方法、可穿戴设备及存储介质
CN113630708B (zh) 耳机麦克风异常检测的方法、装置、耳机套件及存储介质
CN112911487B (zh) 用于无线耳机的入耳检测方法、无线耳机及存储介质
CN112995881B (zh) 一种耳机及其耳机的出入耳检测方法、存储介质
CN113949955B (zh) 降噪处理方法、装置、电子设备、耳机及存储介质
US11842725B2 (en) Detection of speech
KR102652553B1 (ko) 전자 장치 및 전자 장치의 마이크로폰 블록 검출 방법
CN112259124B (zh) 基于音频频域特征的对话过程捂嘴手势识别方法
GB2526980A (en) Sensor input recognition
CN113808566B (zh) 振动噪音处理方法、装置、电子设备及存储介质
JP3233390U (ja) 通知装置及びウェアラブル装置
CN113132885B (zh) 基于双麦克风能量差异判别耳机佩戴状态的方法
CN110806850B (zh) 一种耳机及其自动音量调节控制模块与方法及存储介质
CN110166863B (zh) 一种入耳式语音装置
WO2023109893A1 (zh) 耳机控制方法及相关系统、存储介质
WO2019238061A1 (zh) 通过人体振动识别用户语音的方法和设备
EP4351165A1 (en) Signal processing device, signal processing method, and program
CN117793592A (zh) 一种佩戴检测方法和无线耳机
CN117499830A (zh) 一种耳机佩戴状态检测方法、装置、耳机和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination