CN113573226A - 一种耳机及其耳机的出入耳检测方法、存储介质 - Google Patents
一种耳机及其耳机的出入耳检测方法、存储介质 Download PDFInfo
- Publication number
- CN113573226A CN113573226A CN202110843142.4A CN202110843142A CN113573226A CN 113573226 A CN113573226 A CN 113573226A CN 202110843142 A CN202110843142 A CN 202110843142A CN 113573226 A CN113573226 A CN 113573226A
- Authority
- CN
- China
- Prior art keywords
- earphone
- domain
- parameters
- ultrasonic
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 239000013598 vector Substances 0.000 claims description 32
- 238000002604 ultrasonography Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000032683 aging Effects 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 33
- 230000005236 sound signal Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Headphones And Earphones (AREA)
Abstract
本公开涉及一种耳机及其耳机的出入耳检测方法、存储介质。所述耳机包括扬声器、麦克风以及处理器；其中，所述扬声器，被配置为播放超声波信号；所述麦克风，被配置为对所播放的超声波信号进行采集；所述处理器被配置为：基于采集到的超声波信号来确定耳机的状态是否发生变化；以及，在所述耳机的状态发生变化的情况下，执行所述耳机的出入耳检测。通过利用超声波检测耳机的状态是否发生变化，在耳机的状态发生变化的情况下，再利用次声波进行耳机的出入耳检测，减少了耳机的出入耳检测的出错率，降低了耳机的电量消耗，兼顾功耗、准确度和时效性，提升用户的使用体验。
Description
技术领域
本公开涉及耳机领域，更具体地，涉及一种耳机及其耳机的出入耳检测方法、存储介质。
背景技术
随着社会进步和人民生活水平的提高，耳机已成为人们必不可少的生活用品。传统的有线耳机通过导线连接各类电子设备(例如智能手机、平板电脑、笔记本电脑等)，但是传统的有线耳机会限制佩戴者的行动，在运动场合使用十分不便，同时，耳机线的缠绕、拉扯以及听诊器效应都会影响用户实际的使用体验。普通蓝牙耳机虽然取消了耳机与电子设备之间的连线，但是在左右耳之间仍然存在连线，对佩戴者的使用仍然存在一定限制，因此，真无线耳机应运而生。
真无线耳机通常在用户进行使用时会根据当前的佩戴情况自动实现开关机或者音乐播放等，因此无线耳机需要对用户当前的佩戴情况进行准确的检测。现有技术中，常通过耳机自带的扬声器播放特定音频信号，再基于特定音频信号从扬声器到耳内麦克风的传输路径的传递函数或耳内麦克风所接收到的音频信号的参数进行耳机是否佩戴在用户耳内的判定，因此需要持续进行特定音频信号的播放、采集和出入耳检测，进而增大了耳机出入耳检测的出错率和耳机的电量消耗。
发明内容
本公开实施例的目的在于提供一种耳机及其耳机的出入耳检测方法、存储介质，用以解决现有技术中需要持续进行特定音频信号的播放、采集和出入耳检测而造成的耳机出入耳检测的出错率和耳机的电量消耗较大的问题。
根据本公开的第一方案，提供一种耳机，所述耳机包括扬声器、麦克风以及处理器；其中，所述扬声器，被配置为播放超声波信号；所述麦克风，被配置为对所播放的超声波信号进行采集；所述处理器被配置为：基于采集到的超声波信号来确定耳机的状态是否发生变化；以及，在所述耳机的状态发生变化的情况下，利用超声波以外的信号执行所述耳机的出入耳检测。
根据本公开的第二方案，提供一种耳机的出入耳检测方法，所述出入耳检测方法包括：由扬声器播放超声波信号；由麦克风对所播放的超声波信号进行采集；基于采集到的超声波信号来确定耳机的状态是否发生变化；以及，在所述耳机的状态发生变化的情况下，利用超声波以外的信号执行所述耳机的出入耳检测。
本公开的实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行上述的耳机的出入耳检测方法的步骤。
本公开实施例的有益效果在于：通过麦克风采集到的超声波信号来确定耳机的状态是否发生变化，在耳机的状态发生变化的情况下，再由扬声器播放次声波信号的方式进行耳机的出入耳检测，使得耳机的出入耳检测只需要偶尔被使用，减少了耳机的出入耳检测的出错率，使用超声波信号来检测耳机状态变化，不易受到环境的低频干扰，可以间歇性地反复工作，播放、采集及检测的时间更短，进而降低耳机的电量消耗，兼顾功耗、准确度和时效性，提升用户的使用体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出根据本公开实施例的耳机的结构示意图；
图2(a)示出根据本公开实施例的利用超声波信号检测的耳机的状态变化的示例；
图2(b)示出根据本公开实施例的利用超声波信号检测的耳机的状态变化的示例；
图2(c)示出根据本公开实施例的利用超声波信号检测的耳机的状态变化的示例；以及
图3示出根据本公开实施例的耳机的周围声学环境的示意图；
图4(a)示出根据本公开实施例的耳机的出入耳检测方法的流程示意图；以及
图4(b)示出根据本公开实施例的耳机的出入耳检测方法的流程示意图。
具体实施方式
为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
对于相关领域普通技术人员已知的技术、方法和设备可能不做详细讨论，但在适当的情况下，所述技术、方法和设备应当被视为说明书的一部分。
本公开的第一方面提供了一种耳机。图1示出了本公开实施例中耳机的结构示意图。如图1所示，耳机至少包括扬声器101、麦克风102以及处理器103；其中，扬声器101被配置为播放超声波信号；麦克风102被配置为对所播放的超声波信号进行采集；处理器被配置为：基于采集到的超声波信号来确定耳机的状态是否发生变化；以及，在耳机的状态发生变化的情况下，利用超声波以外的信号执行耳机的出入耳检测。具体来说，出入耳检测的方法多种多样，包括利用电容传感器、红外传感器、光线距离传感器、加速度传感器等进行出入耳检测，本实施例中主要采用次声波信号进行耳机的出入耳检测。
在一些实施例中，所述处理器103可以包括通用处理器或专用于特定处理的专用处理器、一个或多个可编程电路、一个或多个专用电路或其组合。例如，处理器103可以是微型处理单元(MPU)、SOC(片上系统)、DSP(数字处理)中的任何一种或组合。可编程电路是例如现场可编程门阵列(FPGA)，但是不限于此。专用电路是例如专用集成电路(ASIC)，但是不限于此。
耳机受各种低频信号的干扰比较严重，比如用户说话时的声带振动、嘴巴张合时产生的噪声，用户走动、跑动或做其他动作时产生的噪声，再比如各种低频的环境噪声，使用超声波信号来检测耳机状态变化，相较采用次声波信号和人耳听觉范围的声波信号来检测耳机状态变化，更不易受到环境的低频干扰，可以间歇性地反复工作，播放、采集及检测的时间可以更短，功耗可以更低。同时，相较采用人耳听觉范围的声波信号来检测耳机状态变化，超声信号不会对用户产生干扰，提高用户体验。
本实施例中利用超声波信号检测耳机的状态是否发生变化，在耳机的状态发生变化的情况下，再利用次声波信号进行耳机的出入耳检测，使得只在耳机的状态发生变化的情况下才进行耳机的出入耳检测，减少了耳机的出入耳检测的出错率，也降低了对次声波的播放持续时间的要求，进一步降低了功耗；在利用超声波确定耳机的状态未发生变化的情况下不进行耳机的出入耳检测，若此时进行出入耳检测可能会增加出错率。进一步说来，利用超声波可以在环境中以更低功耗更灵敏地检出耳机状态的变化，在检测到耳机状态发生变化的情况下，转用次声波(而非超声波)来执行耳机的出入耳检测，使得检测结果更准确。这是由于利用耳机内扬声器播放次声波时，耳机在耳内跟不在耳内时，其耳内麦克风采集到的次声波幅度显著不同。耳机在耳内时，其耳内麦克风采集到的次声波幅度显著变大。在一些实施例中，超声波信号大于20KHz，人耳听不到20KHz以上的信号，因此超声波信号不会对用户产生听觉干扰。进一步说来，用超声波检测耳机状态变化与次声波最终检测耳机的出入耳状态的有机组合，整个过程中都不会对用户产生听觉干扰。
图2(a)示出根据本公开实施例的利用超声波信号检测的耳机的状态变化的示例，耳机状态的变化可以是耳机放置于桌子上到耳机被用户用手拿起的过程。图2(b)示出根据本公开实施例的利用超声波信号检测的耳机的状态变化的示例，耳机状态的变化可以是耳机入耳的这一状态，也可以是用户佩戴耳机的过程。图2(c)示出根据本公开实施例的利用超声波信号检测的耳机的状态变化的示例，可以是耳机被用户从耳内取下的这一过程。在一些实施例中，耳机的状态变化还可以是耳机被用户放置于某处(比如桌子上或充电盒内等)的过程。图3示出根据本公开实施例的耳机的周围声学环境的示意图，在一些情况下，耳机静止放置于桌子上，由于周围环境发生了变化，比如耳机旁边出现了一个新物体，使得超声的反射径发生了变化，这时也可以视为耳机的状态发生变化。总之，耳机的状态是耳机的位置或周边环境，耳机的状态变化是耳机的位置或周边环境的变化。具体来说，在耳机未入耳时，耳机的位置发生变化，其相对环境也会发生变化，超声波的反射路径也会发生变化，因此麦克风采集到的超声信号也会发生变化。故耳机状态的变化，并不表明耳机出入耳的变化(例如图3所示)，但耳机的出入耳的变化，必然引起耳机状态的变化；但很多情况下，耳机状态的变化会伴随耳机的出入耳状态的变化，参见图2(b)和图2(c)所示。在耳机的状态变化时，使得麦克风采集到的超声波信号发生变化，由此可以通过麦克风采集的超声波信号的变化确定耳机的状态是否发生变化，进而判断是否需要进行耳机的出入耳检测。
在一些实施例中，将采集到的超声波信号的参数与基准参数进行比较，来确定耳机的状态是否发生变化。其中，采集到的超声波信号的参数包括采集到的超声波信号的时域分布参数、频域分布参数、时域分布参数变化量、频域分布参数变化量、时域和/或频域上的能量、时域和/或频域上的能量变化量中的任一种或其组合。上述时域和/或频域上的能量是指相对于基准能量归一化后的能量。能量通过对麦克风采集到的超声波信号利用通带范围包括超声波信号的滤波器经滤波的音频信号进行检测得到。基准能量通过对经扬声器播放的超声波信号进行检测得到。这样相对于基准能量归一化后的能量可以在统一的尺度上衡量比较音频信号在不同时域/频域点上所具有的能量分布，从而避免所播放超声波信号的幅值不同所导致的干扰。在一些实施例中，基准参数可以是通过实验预先测量得到的。
在一些实施例中，扬声器进一步配置为多次播放同一段超声波信号；基于麦克风采集到的超声波信号来确定耳机的状态是否发生变化具体包括：基于当前时间段采集到的超声波信号与前一时间段采集到的超声波信号的差异，来确定耳机的状态是否发生变化。在一些实施例中，上述差异也可以是当前时间段采集到的超声波信号与前一时间段采集到的超声波信号两者对应采样点作差后的绝对值的和；上述差异也可以是当前时间段采集到的超声波信号与前一时间段采集到的超声波信号两者对应采样点作差后的平方和。在一些情况下，上述差异也可以是当前时间段采集到的超声波信号与前一时间段采集到的超声波信号两者在频域上对应频点作差后的绝对值的和；上述差异也可以是当前时间段采集到的超声波信号与前一时间段采集到的超声波信号两者在频域上对应频点作差后的平方和。在一些实施例中，扬声器多次播放同一段超声波信号，麦克风对应采集扬声器播放的超声波信号，进而对前一时间段麦克风采集到的超声波信号进行平滑或者平均处理，得到平滑或者平均后的超声波信号，最后求取当前时间段采集到的超声波信号与前一时间段平滑或者平均后的超声波信号两者之间的差异，据此差异来确定耳机的状态是否发生变化。示例性的，令s(t0)是采集的第0段超声波信号；s(ti-1)是采集的第i-1段超声波信号；s(ti)是采集的第i段超声波信号，即当前时间段采集的超声波信号，则对前一时间段麦克风采集到的超声波信号进行平滑处理的计算公式为：sa(t)＝(1-u1)*sa(t)+u1*s(ti-1)，其中，sa(t)表征前一时间段采集到的超声波信号的平滑量，u1表征时间平滑因子，实际情况中根据需要的平滑程度确定u1的取值。通过当前时间段采集到的超声波信号与前一时间段采集到的超声波信号两者之间的差异，来确定耳机的状态是否发生变化，同时，上述差异的获取方式不限，使得快速且高效地确定耳机的状态是否发生变化，有利于提高后期耳机的出入耳检测的准确度。
在一些实施例中，基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：确定采集到的超声波信号与播放的超声波信号的相关参数，并基于相关参数来确定耳机的状态是否发生变化。其中，采集到的超声波信号与播放的超声波信号的相关参数包括采集到的超声波信号与播放的超声波信号的时域相关参数、频域相关参数、时域相关参数的变化量、频域相关参数的变化量、时域相关参数的能量和/或幅值、频域相关参数的能量和/或幅值、时域相关参数的能量和/或幅值的变化量、频域相关参数的能量和/或幅值的变化量中的任一种或其组合。具体可以设置第一阈值，将采集到的超声波信号与播放的超声波信号的相关参数与第一阈值进行比较，来确定耳机的状态是否发生变化。上述的第一阈值可以是通过实验预先测量获得的。设置上述第一阈值的目的在于，通过相关参数与第一阈值两者之间的比较，识别耳机的状态是否发生变化，在耳机的状态未发生变化的情况下，排除了后续耳机的出入耳检测，避免了不必要的功率消耗。通过采集到的超声波信号与播放的超声波信号的相关参数来确定耳机的状态是否发生变化，简单易行，易于实施，提高了判断耳机的状态是否发生变化的快速性和高效性，有利于提高后期耳机的出入耳检测的准确度。
在一些实施例中，扬声器进一步配置为多次播放超声波信号；基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：基于当前时间段采集到超声波信号与扬声器播放超声波信号的相关向量和前一时间段采集到超声波信号与扬声器播放超声波信号的相关向量的差异，来确定耳机的状态是否发生变化。具体来说，扬声器多次播放超声波信号，麦克风对应采集扬声器播放的超声波信号，进而对麦克风当前时间段采集到的超声波信号与当前时间段播放的超声波信号做时域相关或者频域相关，得到当前时间段采集到的超声波信号的相关向量。并且对麦克风前一时间段采集到的超声波信号与前一时间段播放的超声波信号做时域相关或者频域相关，得到前一时间段采集到的超声波信号的相关向量。示例性的，令扬声器播放的超声波信号为spk(n)，麦克风对应采集到的超声波信号为mic(n)，n＝1，2，...，N。其中，基于公式
得到相关向量的第k个值。相关向量除了由上述公式得到外，还可以由频域FFT变换或/及IFFT变换得到。在一些实施例中，上述差异可以是当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的相关向量两者对应采样点作差后的绝对值的和；上述差异还可以是当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的相关向量两者对应采样点作差后的平方和。在一些情况下，上述差异也可以是当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的相关向量两者在频域上对应频点作差后的绝对值的和；上述差异也可以是当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的相关向量两者在频域上对应频点作差后的平方和。在一些实施例中，扬声器多次播放超声波信号，麦克风采集扬声器播放的超声波信号，进而对当前时间段采集到的超声波信号与前一时间段采集到的超声波信号做时域相关或者频域相关，得到当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的相关向量，接着对前一时间段采集到的超声波信号的相关向量做平滑或者平均处理后，得到前一时间段采集到的超声波信号的平滑或者平均后的相关向量，最后根据当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的平滑或者平均后的相关向量两者之间的差异，来确定耳机的状态是否发生变化。具体来说，令corr(t0)是第t0时间段采集到的超声波信号对应的相关向量，corr(ti-1)是第ti-1时间段采集到的超声波信号对应的相关向量，corr(ti)是第ti时间段采集到的超声波信号对应的相关向量，即当前时间段采集到的超声波信号的相关向量。corr a(t)＝(1-u2)*corr a(t)+u2*corr(ti-1)，其中，corr a(t)表征前一时间段采集到的超声波信号的相关向量的平滑量，u2表征时间平滑因子，实际情况中根据需要的平滑程度确定u2的取值。通过当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的相关向量的差异来确定耳机的状态是否发生变化，其中，相关向量的差异的获取方式不限，使得快速且高效地确定耳机的状态是否发生变化，有利于提高后期耳机的出入耳检测的准确度。
在一些实施例中，耳机的出入耳检测包括：控制扬声器播放次声波信号；响应于次声波信号的播放，确定麦克风采集到的次声波信号的参数和/或扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数；基于麦克风采集到的次声波信号的参数和/或扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数，确定耳机是否在耳内。具体来说，将采集到的次声波信号的参数与第二阈值比较，以确定耳机是否在耳内，或者，将扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数与第三阈值比较，以确定耳机是否在耳内，其中，第二阈值或者第三阈值均可由实验预先测量得到。在耳机的状态发生变化的情况下，再根据麦克风采集的超声波信号判断耳机是否在耳内，减少了耳机的出入耳检测的出错率。
在一些实施例中，上述采集到的次声波信号的参数包括采集到的次声波信号的时域分布参数、频域分布参数、时域分布参数变化量、频域分布参数变化量、时域和/或频域上的能量、时域和/或频域上的能量变化量中的任一种或其组合，可以基于时域分布参数、频域分布参数、时域和/或频域上的能量的相似度来选取具有最高相似度的预设音频信号的参数。上述时域和/或频域上的能量是指相对于基准能量归一化后的能量。基准能量通过对经扬声器播放的次声波信号进行检测得到。能量通过对麦克风采集到的次声波信号利用通带范围包括次声波信号的滤波器经滤波的音频信号进行检测得到。这样相对于基准能量归一化后的能量可以在统一的尺度上衡量比较音频信号在不同时域/频域点上所具有的能量分布，从而避免所播放的次声波信号的幅值不同所导致的干扰。
在一些实施例中，上述扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数包括扬声器播放的次声波信号与麦克风采集到的次声波信号的时域相关参数、频域相关参数、时域相关参数的变化量、频域相关参数的变化量、时域相关参数的能量和/或幅值、频域相关参数的能量和/或幅值、时域相关参数的能量和/或幅值的变化量、频域相关参数的能量和/或幅值的变化量中的任一种或其组合。
在一些实施例中，也可以由其它出入耳检测传感器进行耳机的出入耳检测。在一些实施例中，出入耳检测传感器可以是电容检测传感器。因为人耳是人体的一部分，经由传感器检测到的当前电容实际上是将包含该人耳的人体作为一个整体电容测量得到的，而非将人耳孤立测量得到的孤立电容，通过在耳机中设置传感器并且在佩戴耳机时让传感器的输入端子与人耳形成各种接触状况，就可以检测出当前电容。具体来说，当耳机佩戴在耳内时，电容检测传感器接触到耳朵的某部位，此时检测到的电容大于耳机不在耳内时的电容值。因此，通过电容检测传感器能够快速且准确地检测到耳机是否在耳内。在另一些实施例中，出入耳检测传感器还可以是红外传感器。当出入耳检测传感器是红外传感器时，耳机与红外传感器的距离较近，红外传感器能够检测到耳朵的体温，因此可以判断耳机在耳内。
在一些实施例中，在硬件上同时获取扬声器播放的超声波信号和麦克风采集到的超声波信号。这样做可以使得扬声器播放的超声波信号和麦克风采集到的超声波信号之间的时延、相位不会因两者获取时刻的不同而变化，从而使得两者的相关向量表征耳机当前的状态，而不会受到采样时两者的时延不确定的影响。上述对耳机的硬件角度的改进，能够进一步地保障耳机出入耳检测的准确性。
在一些实施例中，扬声器以预设的间隔时间播放超声波信号。具体来说，超声波信号的播放、采集和耳机状态变化的检测可以在较短时间内实现，这里的较短时间可以为1ms、2ms、4ms、8ms等。经过较短时间内超声波信号的播放、采集和耳机状态变化的检测后，用于播放超声波的扬声器、用于采集超声波的麦克风和用于确定耳机状态是否发生变换的处理器可以关闭50ms、100ms或者200ms的较长一段时间。这里所述的关闭，可以是耳机或耳机中的处理芯片处于低功耗模式或睡眠模式。因此，当超声波的播放、采集和检测耳机的状态是否发生变化在间歇式的工作模式下实现时，能够减少耳机电量的损失，有效的降低耳机的功耗。
在一些实施例中，耳机为主动降噪耳机，或者，耳机为真无线对耳耳机中的一个耳机。具体来说，如果耳机是真无线对耳耳机中的一个耳机，该耳机与另一个耳机或与智能设备的无线连接方式可以是WIFI通信方式、经典蓝牙通信方式、BLE通信方式、LE音频、ANT通信方式、RF4CE通信方式、Zigbee通信方式、NFC通信方式、UWB通信方式中的至少一种通信方式。在一些实施例中，麦克风可以为前馈麦克风、耳内麦克风、通话麦克风中的任意一种。在一些实施例中，耳机是入耳式耳机或者半入耳式耳机。
本公开的第二方面提供了一种耳机的出入耳检测方法。图4(a)示出根据本公开实施例的耳机的出入耳检测方法的流程示意图，如图4所示，流程始于步骤201，在步骤201中，由扬声器播放超声波信号。
在步骤202中，由麦克风对所播放的超声波信号进行采集。麦克风用于对扬声器播放的超声波信号进行实时采集。
在步骤203中，基于采集到的超声波信号来确定耳机的状态是否发生变化。具体来说，基于采集到的超声波信号来确定耳机的状态是否发生变化的方式较多，可以根据采集到的超声波信号的参数或者采集到的超声波信号与播放的超声波信号的相关参数来确定耳机的状态是否发生变化。还可以在扬声器多次播放同一段超声波信号的情况下，根据当前时间段采集到的超声波信号与前一时间段采集到的超声波信号的差异，来确定耳机的状态是否发生变化；还可以是在扬声器多次播放超声波信号的情况下，根据当前时间段采集到的超声波信号的相关向量与前一时间段采集到的超声波信号的相关向量的差异，来确定耳机的状态是否发生变化。
在一些实施例中，基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：将采集到的超声波信号的参数与基准参数进行比较，来确定耳机的状态是否发生变化。其中，上述采集到的超声波信号的参数包括采集到的超声波信号的时域分布参数、频域分布参数、时域分布参数变化量、频域分布参数变化量、时域和/或频域上的能量、时域和/或频域上的能量变化量中的任一种或其组合。
在一些实施例中，基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：确定采集到的超声波信号与播放的超声波信号的相关参数，并基于相关参数来确定耳机的状态是否发生变化。其中，上述采集到的超声波信号与播放的超声波信号的相关参数包括采集到的超声波信号与播放的超声波信号的时域相关参数、频域相关参数、时域相关参数的变化量、频域相关参数的变化量、时域相关参数的能量和/或幅值、频域相关参数的能量和/或幅值、时域相关参数的能量和/或幅值的变化量、频域相关参数的能量和/或幅值的变化量中的任一种或其组合。
在步骤204中，判断耳机的状态是否发生变化，在耳机的状态不发生变化的情况下，控制扬声器不播放次声波信号；在耳机的状态发生变化的情况下，执行耳机的出入耳检测。具体来说，图4(b)示出根据本公开实施例的耳机的出入耳检测方法的流程示意图，耳机的出入耳检测基于下述步骤实现。
在步骤2041中，控制扬声器播放次声波信号。
在步骤2042中，响应于次声波信号的播放，确定麦克风采集到的次声波信号的参数和/或扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数。
在步骤2043中，基于麦克风采集到的次声波信号的参数和/或扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数，确定耳机是否在耳内。当确定耳机在耳内的情况下，结束流程；当确定耳机不在耳内且耳机正在播放音频的情况下，停止耳机播放的内容。在一些实施例中，该耳机是真无线对耳耳机中的一个耳机，当耳机被检测到出耳时，通话麦克风又在出耳的耳机上，则要把通话麦克风切换到另一个耳机上，使得通话不受该耳机的出耳影响。
本公开的第三方面提出了一种存储有指令的非暂时性计算机可读介质，当指令由处理器执行时，执行根据本公开第二方案的方法。通过麦克风采集到的超声波信号来确定耳机的状态是否发生变化，在耳机的状态发生变化的情况下，再由扬声器播放次声波信号的方式进行耳机的出入耳检测，使得耳机的出入耳检测只需要偶尔被使用，减少了耳机的出入耳检测的出错率，使用超声波信号来检测耳机状态变化，不易受到环境的低频干扰，可以间歇性地反复工作，播放、采集及检测的时间更短，进而降低耳机的电量消耗，兼顾功耗、准确度和时效性，提升用户的使用体验。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本公开的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
Claims (23)
1.一种耳机，其特征在于，所述耳机包括扬声器、麦克风以及处理器；其中，
所述扬声器，被配置为播放超声波信号；
所述麦克风，被配置为对所播放的超声波信号进行采集；
所述处理器被配置为：
基于采集到的超声波信号来确定耳机的状态是否发生变化；以及，
在所述耳机的状态发生变化的情况下，利用超声波以外的信号执行所述耳机的出入耳检测。
2.根据权利要求1所述的耳机，其特征在于，基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：
将采集到的超声波信号的参数与基准参数进行比较，来确定耳机的状态是否发生变化。
3.根据权利要求2所述的耳机，其特征在于，所述采集到的超声波信号的参数包括采集到的超声波信号的时域分布参数、频域分布参数、时域分布参数变化量、频域分布参数变化量、时域和/或频域上的能量、时域和/或频域上的能量变化量中的任一种或其组合。
4.根据权利要求1所述的耳机，其特征在于，所述扬声器进一步配置为多次播放超声波信号；
基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：基于当前时间段采集到的超声波信号与前一时间段采集到的超声波信号的差异，来确定耳机的状态是否发生变化。
5.根据权利要求1所述的耳机，其特征在于，所述扬声器进一步配置为多次播放同一段超声波信号；
基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：麦克风对应采集扬声器播放的超声波信号，进而对前一时间段麦克风采集到的超声波信号进行平滑或者平均处理，得到平滑或者平均后的超声波信号，最后求取当前时间段采集到的超声波信号与前一时间段平滑或者平均后的超声波信号两者之间的差异，据此差异来确定耳机的状态是否发生变化。
6.根据权利要求1所述的耳机，其特征在于，基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：确定采集到的超声波信号与播放的超声波信号的相关参数，并基于所述相关参数来确定耳机的状态是否发生变化。
7.根据所述权利要求6所述的耳机，其特征在于，所述采集到的超声波信号与播放的超声波信号的相关参数包括采集到的超声波信号与播放的超声波信号的时域相关参数、频域相关参数、时域相关参数的变化量、频域相关参数的变化量、时域相关参数的能量和/或幅值、频域相关参数的能量和/或幅值、时域相关参数的能量和/或幅值的变化量、频域相关参数的能量和/或幅值的变化量中的任一种或其组合。
8.根据所述权利要求1所述的耳机，其特征在于，所述扬声器进一步配置为多次播放超声波信号；
基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：基于当前时间段采集到的超声波信号与播放的超声波信号的相关向量和前一时间段采集到的超声波信号与播放的超声波信号的相关向量的差异，来确定耳机的状态是否发生变化。
9.根据权利要求1所述的耳机，其特征在于，所述出入耳检测包括：
控制所述扬声器播放次声波信号；
响应于所述次声波信号的播放，确定所述麦克风采集到的次声波信号的参数和/或所述扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数；
基于所述麦克风采集到的次声波信号的参数和/或所述扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数，确定耳机是否在耳内。
10.根据权利要求9所述的耳机，其特征在于，所述采集到的次声波信号的参数包括采集到的次声波信号的时域分布参数、频域分布参数、时域分布参数变化量、频域分布参数变化量、时域和/或频域上的能量、时域和/或频域上的能量变化量中的任一种或其组合。
11.根据权利要求10所述的耳机，其特征在于，所述扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数包括扬声器播放的次声波信号与麦克风采集到的次声波信号的时域相关参数、频域相关参数、时域相关参数的变化量、频域相关参数的变化量、时域相关参数的能量和/或幅值、频域相关参数的能量和/或幅值、时域相关参数的能量和/或幅值的变化量、频域相关参数的能量和/或幅值的变化量中的任一种或其组合。
12.根据权利要求9所述的耳机，其特征在于，基于所述麦克风采集到的次声波信号的参数和/或所述扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数，确定耳机是否在耳内，具体包括：
将采集到的次声波信号的参数与第二阈值比较，以确定耳机是否在耳内，或者，将扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数与第三阈值比较，以确定耳机是否在耳内，其中，第二阈值或者第三阈值均可由实验预先测量得到。
13.根据权利要求1所述的耳机，其特征在于，硬件上同时获取所述扬声器播放的超声波信号和麦克风采集到的超声波信号。
14.根据权利要求1所述的耳机，其特征在于，所述扬声器以预设的间隔时间播放超声波信号。
15.根据权利要求1所述的耳机，其特征在于，所述耳机为主动降噪耳机；或者，
所述耳机为真无线对耳耳机中的一个耳机。
16.根据权利要求1所述的耳机，其特征在于，所述麦克风为前馈麦克风、耳内麦克风或者通话麦克风。
17.一种耳机的出入耳检测方法，其特征在于，所述耳机包括扬声器、麦克风以及处理器，所述出入耳检测方法包括：
由所述扬声器播放超声波信号；
由所述麦克风对所播放的超声波信号进行采集；
由所述处理器，基于采集到的超声波信号来确定耳机的状态是否发生变化；以及，
由所述处理器，在所述耳机的状态发生变化的情况下，利用超声波以外的信号执行所述耳机的出入耳检测。
18.根据权利要求17所述的出入耳检测方法，其特征在于，基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：
将采集到的超声波信号的参数与基准参数进行比较，来确定耳机的状态是否发生变化。
19.根据权利要求18所述的出入耳检测方法，其特征在于，所述采集到的超声波信号的参数包括采集到的超声波信号的时域分布参数、频域分布参数、时域分布参数变化量、频域分布参数变化量、时域和/或频域上的能量、时域和/或频域上的能量变化量中的任一种或其组合。
20.根据权利要求17所述的出入耳检测方法，其特征在于，基于采集到的超声波信号来确定耳机的状态是否发生变化具体包括：确定采集到的超声波信号与播放的超声波信号的相关参数，并基于所述相关参数来确定耳机的状态是否发生变化。
21.根据所述权利要求20所述的出入耳检测方法，其特征在于，所述采集到的超声波信号与播放的超声波信号的相关参数包括采集到的超声波信号与播放的超声波信号的时域相关参数、频域相关参数、时域相关参数的变化量、频域相关参数的变化量、时域相关参数的能量和/或幅值、频域相关参数的能量和/或幅值、时域相关参数的能量和/或幅值的变化量、频域相关参数的能量和/或幅值的变化量中的任一种或其组合。
22.根据所述权利要求17所述的出入耳检测方法，其特征在于，所述执行所述耳机的出入耳检测包括：
控制所述扬声器播放次声波信号；
响应于所述次声波信号的播放，确定所述麦克风采集到的次声波信号的参数和/或所述扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数；
基于所述麦克风采集到的次声波信号的参数和/或所述扬声器播放的次声波信号与麦克风采集到的次声波信号的相关参数，确定耳机是否在耳内。
23.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求17至权利要求22中任一项所述的耳机的出入耳检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110843142.4A CN113573226B (zh) | 2021-05-08 | 2021-05-08 | 一种耳机及其耳机的出入耳检测方法、存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110843142.4A CN113573226B (zh) | 2021-05-08 | 2021-05-08 | 一种耳机及其耳机的出入耳检测方法、存储介质 |
| CN202110497803.2A CN112995881B (zh) | 2021-05-08 | 2021-05-08 | 一种耳机及其耳机的出入耳检测方法、存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110497803.2A Division CN112995881B (zh) | 2021-05-08 | 2021-05-08 | 一种耳机及其耳机的出入耳检测方法、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113573226A true CN113573226A (zh) | 2021-10-29 |
| CN113573226B CN113573226B (zh) | 2023-06-02 |
Family
ID=76337282
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110497803.2A Active CN112995881B (zh) | 2021-05-08 | 2021-05-08 | 一种耳机及其耳机的出入耳检测方法、存储介质 |
| CN202110843142.4A Active CN113573226B (zh) | 2021-05-08 | 2021-05-08 | 一种耳机及其耳机的出入耳检测方法、存储介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110497803.2A Active CN112995881B (zh) | 2021-05-08 | 2021-05-08 | 一种耳机及其耳机的出入耳检测方法、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN112995881B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114157952A (zh) * | 2021-11-26 | 2022-03-08 | 歌尔科技有限公司 | 耳机防丢预警方法、装置、耳机及计算机可读存储介质 |
| CN114745626A (zh) * | 2022-03-31 | 2022-07-12 | 恒玄科技(上海)股份有限公司 | 一种用于无线耳机的出入耳检测方法、无线耳机及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113438583A (zh) * | 2021-07-09 | 2021-09-24 | 昆山睿翔讯通通信技术有限公司 | 基于超声波的tws耳机的入耳检测方法及tws耳机 |
| CN113542961A (zh) * | 2021-07-15 | 2021-10-22 | 成都纤声科技有限公司 | 耳机、电子设备和入耳检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102293013A (zh) * | 2009-01-23 | 2011-12-21 | 索尼爱立信移动通讯有限公司 | 耳机的耳内声检测 |
| CN108174316A (zh) * | 2016-12-07 | 2018-06-15 | 中兴通讯股份有限公司 | 一种耳机设备控制方法和装置 |
| CN110291581A (zh) * | 2016-10-24 | 2019-09-27 | 爱浮诺亚股份有限公司 | 头戴耳机离耳检测 |
| CN110381407A (zh) * | 2019-07-29 | 2019-10-25 | 歌尔科技有限公司 | 一种无线耳机及其佩戴检测系统及方法 |
| US20200007977A1 (en) * | 2018-07-02 | 2020-01-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for Controlling Earphone Switching, Earphone, and Earphone System |
| CN110996215A (zh) * | 2020-02-26 | 2020-04-10 | 恒玄科技(北京)有限公司 | 确定耳机降噪参数的方法、装置以及计算机可读介质 |
| CN111988690A (zh) * | 2019-05-23 | 2020-11-24 | 北京小鸟听听科技有限公司 | 一种耳机佩戴状态检测方法、装置和耳机 |
| CN112218196A (zh) * | 2019-07-10 | 2021-01-12 | Oppo广东移动通信有限公司 | 耳机及耳机控制方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10216474B2 (en) * | 2016-07-06 | 2019-02-26 | Bragi GmbH | Variable computing engine for interactive media based upon user biometrics |
| US10932062B2 (en) * | 2018-02-17 | 2021-02-23 | Apple Inc. | Ultrasonic proximity sensors, and related systems and methods |
-
2021
- 2021-05-08 CN CN202110497803.2A patent/CN112995881B/zh active Active
- 2021-05-08 CN CN202110843142.4A patent/CN113573226B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102293013A (zh) * | 2009-01-23 | 2011-12-21 | 索尼爱立信移动通讯有限公司 | 耳机的耳内声检测 |
| CN110291581A (zh) * | 2016-10-24 | 2019-09-27 | 爱浮诺亚股份有限公司 | 头戴耳机离耳检测 |
| CN108174316A (zh) * | 2016-12-07 | 2018-06-15 | 中兴通讯股份有限公司 | 一种耳机设备控制方法和装置 |
| US20200007977A1 (en) * | 2018-07-02 | 2020-01-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for Controlling Earphone Switching, Earphone, and Earphone System |
| CN111988690A (zh) * | 2019-05-23 | 2020-11-24 | 北京小鸟听听科技有限公司 | 一种耳机佩戴状态检测方法、装置和耳机 |
| US20200374617A1 (en) * | 2019-05-23 | 2020-11-26 | Beijing Xiaoniao Tingting Technology Co., Ltd | Method and device for detecting wearing state of earphone and earphone |
| CN112218196A (zh) * | 2019-07-10 | 2021-01-12 | Oppo广东移动通信有限公司 | 耳机及耳机控制方法 |
| CN110381407A (zh) * | 2019-07-29 | 2019-10-25 | 歌尔科技有限公司 | 一种无线耳机及其佩戴检测系统及方法 |
| CN110996215A (zh) * | 2020-02-26 | 2020-04-10 | 恒玄科技(北京)有限公司 | 确定耳机降噪参数的方法、装置以及计算机可读介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114157952A (zh) * | 2021-11-26 | 2022-03-08 | 歌尔科技有限公司 | 耳机防丢预警方法、装置、耳机及计算机可读存储介质 |
| CN114745626A (zh) * | 2022-03-31 | 2022-07-12 | 恒玄科技(上海)股份有限公司 | 一种用于无线耳机的出入耳检测方法、无线耳机及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113573226B (zh) | 2023-06-02 |
| CN112995881B (zh) | 2021-08-20 |
| CN112995881A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112995881B (zh) | 一种耳机及其耳机的出入耳检测方法、存储介质 | |
| US20210303669A1 (en) | Methods, apparatus and systems for biometric processes | |
| US8199956B2 (en) | Acoustic in-ear detection for earpiece | |
| CN112911487B (zh) | 用于无线耳机的入耳检测方法、无线耳机及存储介质 | |
| RU2606171C2 (ru) | Оценка изолирующих качеств обтуратора для ушного канала | |
| DK3010249T3 (en) | METHOD OF DETECTING HEART RATE IN HEADPHONE AND HEADPHONE THAT CAN DETECT HEART RATE | |
| EP2983063A2 (en) | Low-power environment monitoring and activation triggering for mobile devices through ultrasound echo analysis | |
| DK3009070T3 (en) | METHOD OF DETECTING HEART RATE IN HEADPHONE AND HEADPHONE THAT CAN DETECT HEART RATE | |
| CN114762360A (zh) | 入耳检测 | |
| CN108763901B (zh) | 耳纹信息获取方法和装置、终端、耳机及可读存储介质 | |
| CN109195042A (zh) | 低功耗的高效降噪耳机及降噪系统 | |
| CN109920451A (zh) | 语音活动检测方法、噪声抑制方法和噪声抑制系统 | |
| CN113949955B (zh) | 降噪处理方法、装置、电子设备、耳机及存储介质 | |
| WO2022233308A1 (zh) | 佩戴检测方法、可穿戴设备及存储介质 | |
| CN116076088A (zh) | 智能耳机系统及方法 | |
| CN204652616U (zh) | 一种降噪模块耳机 | |
| US11297429B2 (en) | Proximity detection for wireless in-ear listening devices | |
| CN117319870B (zh) | 一种耳机佩戴状态检测方法、装置、耳机和存储介质 | |
| CN113767431A (zh) | 语音检测 | |
| WO2017045512A1 (zh) | 一种语音识别的方法、装置、终端及语音识别设备 | |
| CN205232299U (zh) | 一种基于光学传感器和声学麦克风录音的智能终端 | |
| CN112911486B (zh) | 一种无线耳机及其入耳状态的检测方法、存储介质 | |
| CN109511070A (zh) | 一种助听器声音处理方法 | |
| CN117499830B (zh) | 一种耳机佩戴状态检测方法、装置、耳机和存储介质 | |
| CN109077726A (zh) | 一种肌电检测装置与肌电识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |