CN109196877A - 个人声音设备的头上/头外检测 - Google Patents
个人声音设备的头上/头外检测 Download PDFInfo
- Publication number
- CN109196877A CN109196877A CN201780030704.5A CN201780030704A CN109196877A CN 109196877 A CN109196877 A CN 109196877A CN 201780030704 A CN201780030704 A CN 201780030704A CN 109196877 A CN109196877 A CN 109196877A
- Authority
- CN
- China
- Prior art keywords
- personal voice
- voice equipment
- analysis
- mode
- earpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 14
- 230000005534 acoustic noise Effects 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 9
- 238000010224 classification analysis Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000003012 network analysis Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 36
- 210000000613 ear canal Anatomy 0.000 description 5
- 235000021170 buffet Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Headphones And Earphones (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种控制个人声音设备的方法,该方法包括对内麦克风输出的内信号和由设置在该个人声音设备上的外麦克风输出的外信号中的一者或多者执行第一分析,以确定是否发生了抖振事件。对内信号和外信号执行第二分析,以确定是否发生了使用者的语音事件。如果确定发生了抖振事件并且确定未发生语音事件,则对内信号和外信号执行第三分析以确定该个人声音设备的操作状态。如果确定操作状态改变,则可以发起该个人声音设备的操作,诸如改变该设备的功率状态、ANR状态或音频输出状态。
Description
技术领域
本公开涉及确定个人声音设备的至少一个听筒相对于使用者耳朵的定位。此外,本公开涉及响应于定位的确定来控制个人声音设备的操作。
发明内容
在一个方面,控制个人声音设备的方法包括:对设置在个人声音设备的听筒壳体的腔内的内麦克风输出的内信号和设置在个人声音设备上以便声学耦合到听筒壳体外部的环境的外麦克风输出的外信号中的至少一者执行第一分析,以确定是否发生了抖振事件。对所述内信号和外信号中的至少一者执行第二分析,以确定是否发生了该个人声音设备的使用者的语音事件。响应于确定发生了抖振事件并且未发生该个人声音设备的使用者的语音事件,对所述内信号和外信号执行第三分析。该个人声音设备的操作状态基于对所述内信号和外信号的第三分析来确定。操作状态包括第一状态和第二状态,在第一状态下,听筒定位在耳朵附近,并且在第二状态下,听筒不在耳朵附近。
示例可以包括以下特征中的一个或多个:
该方法可以包括:当确定个人声音设备的操作状态指示操作状态改变时,在个人声音设备或与个人声音设备通信的设备处发起操作。发起操作可以包括以下中的至少一种:改变功率状态,改变主动降噪状态,以及改变个人声音设备或与个人声音设备通信的设备的音频输出状态。
执行所述第三分析可包括执行分类分析以确定听筒的操作状态。该分类分析可以包括降维分析。降维分析可以包括主成分分析、线性判别分析、神经网络分析、Fisher判别分析和二次判别分析中的一种。
执行第三分析可以包括计算外信号与内信号在多个频率范围上的频率响应之比。每个频率响应之比可以乘以预定权重以产生多个加权比率,这些加权比率被求和以产生指示个人声音设备的操作状态的状态值。可将该状态值与第一预定阈值进行比较,以确定个人声音设备是处于第一状态还是第二状态。可以将该状态值与第二预定阈值进行比较,以确定个人声音设备是否处于第三状态,在该状态下,个人声音设备由使用者佩戴并且听筒不在耳朵附近。
操作状态可以包括第三状态,在该状态下,个人声音设备由使用者佩戴并且听筒不在耳朵附近。
第一分析可以包括将内信号在第一频率范围中的功率谱密度以及外信号在第一频率范围中的功率谱密度中的至少一者与预定阈值进行比较。第一频率范围可包括低于约10Hz的频率。
第二分析可以包括将内信号在第一频率范围中的能量水平以及外信号在第一频率范围中的能量水平中的至少一者与预定阈值进行比较。第一频率范围可包括范围在约150Hz至约1.5KHz的频率。
根据另一方面,个人声音设备包括听筒、内麦克风、外麦克风和控制电路。听筒具有壳体。内麦克风设置在壳体的腔内,并且输出表示由内麦克风检测到的声音的内信号。外麦克风设置在壳体上,以便声学耦合到壳体外部的环境。外麦克风输出表示由外麦克风检测到的声音的外信号。控制电路与内麦克风通信以接收内信号,并且与外麦克风通信以接收外信号。控制电路被配置为对内信号和外信号中的至少一者执行第一分析以确定是否已经发生抖振事件,并且对内信号和外信号中的至少一者执行第二分析以确定是否发生了个人声音设备的使用者的语音事件。控制电路还被配置为响应于确定发生了抖振事件并且未发生个人声音设备的使用者的语音事件,对内信号和外信号执行第三分析。执行第三分析是为了确定个人声音设备的操作状态。操作状态包括第一状态和第二状态,在第一状态下,听筒定位在耳朵附近,在第二状态下,听筒不在耳朵附近。
示例可以包括以下特征中的一个或多个:
控制电路可以包括数字信号处理器。
个人声音设备可以包括与控制电路通信的电源,控制电路还可以被配置为当确定听筒的操作状态指示听筒的操作状态改变时改变个人声音设备的功率状态。控制电路可以被配置为响应于确定个人声音设备的操作状态是第二状态而减小由电源供应的功率。控制电路可以被配置为响应于确定个人声音设备的操作状态已经从第二状态改变到第一状态而增大由电源供应的功率。
内麦克风可以是声学降噪电路中的反馈麦克风。外麦克风可以是声学降噪电路中的前馈麦克风。
控制电路可设置在听筒的壳体中。个人声音设备可以包括与听筒分开的外壳,其中控制电路设置在外壳中。
控制电路可以被配置为响应于确定个人声音设备的操作状态已经在第一和第二操作状态之间改变而改变声学降噪操作。
个人声音设备还可以包括与控制电路通信的设备,并且其中控制电路被配置为响应于确定个人声音设备的操作状态已经在第一和第二操作状态之间改变而控制所述设备的操作。
附图说明
通过参考以下结合附图的描述,可以更好地理解本发明构思的示例的上述和其他优点,在附图中,相同的数字在各图中表示相同结构的元件和特征。附图不一定按比例绘制,而是将重点放在说明特征的原理和具体实施上。
图1是可以根据至少一个听筒的定位确定头上或头外操作状态的个人声音设备的一个示例的框图。
图2是描绘如何确定听筒的操作状态的一个示例的功能框图。
图3是控制个人声音设备的方法的一个示例的流程图表示。
具体实施方式
日益普遍的是,收听以电子方式提供的音频(例如,来自诸如移动电话、平板电脑、计算机、CD播放器、收音机或MP3播放器之类的音频源的音频)的人,简单寻求在声学上与特定环境中不需要的或可能有害的声音隔离的人,以及进行双向通信的人采用个人声音设备(即,被构造成定位在使用者的至少一只耳朵里、耳朵上方或耳朵周围的设备)来执行这些功能。对于那些使用听筒或头戴式耳机形式的个人声音设备来收听以电子方式提供的音频的人来说,常见的是该音频具有至少两个音频通道(例如,具有左声道和右声道的立体声音频),从而通过独立的听筒在声学上分别地输出到每只耳朵。此外,数字信号处理(DSP)技术的发展使得能够提供各种形式的包括多个音频通道的环绕声的音频。对于那些简单寻求在声学上与不需要的或可能有害的声音隔离的人来说,常见的是使用基于抗噪声声音输出的主动降噪(ANR)技术加上基于声音吸收和/或反射材料的被动降噪(PNR)技术来实现声学隔离。此外,在头戴式受话器、头戴式耳机、听筒、耳塞和无线听筒(也称为“挂耳式耳机”)中将ANR与其他音频功能相结合是很常见的。
尽管取得了这些进步,但许多个人声音设备的使用者安全性和易用性问题仍未得到解决。更具体地讲,安装在个人声音设备上或以其他方式连接到个人声音设备的控件(例如,电源开关)通常由使用者在将个人声音设备定位在一只或两只耳朵里、耳朵上方或耳朵周围或将个人声音设备从耳朵取下时由使用者操作,因此其使用总是比较麻烦。控件的麻烦性质通常是因为需要通过使控件的物理尺寸最小化来使这种设备的尺寸和重量最小化。而且,个人声音设备与之交互的其他设备的控件常常相对于个人声音设备和/或使用者不方便地定位。此外,无论此类控件是以某种方式由个人声音设备承载还是由个人声音设备与之交互的另一设备承载,普遍存在的现象是,当使用者将声音设备定位在一只或两只耳朵里、上方、周围或从耳朵上取下声音设备时,使用者会忘记操作这些控件。
通过提供确定个人声音设备的听筒相对于使用者耳朵的定位的自动化能力,可以实现安全性和/或易用性的各种增强。听筒在使用者耳朵里、上方或周围,或在使用者耳朵附近的定位在下文中可以称为“头上”操作状态。相反,听筒的使其不在使用者的耳朵上或者不在使用者的耳朵附近的定位在下文中可以称为“头外”操作状态。
已经开发了各种方法来确定听筒的操作状态是在头上还是头外。对操作状态的从头上到头外或者从头外到头上的改变的了解可以适用于不同的目的。例如,在确定个人声音设备的至少一个听筒已经从使用者的耳朵取下以变为在头外时,可以减少或终止提供给设备的功率。以这种方式执行的功率控制可导致用于为设备供电的一个或多个电池的充电之间的持续时间更长并且可延长电池寿命。可选地,确定一个或多个听筒已经返回到使用者的耳朵可以用于恢复或增加提供给设备的功率。
图1是个人声音设备10的一个示例的框图,其具有两个听筒12A和12B,每个听筒被配置为将声音引向使用者的一只耳朵。附有“A”或“B”的附图标记表示所标识的特征与听筒12中的特定一个(例如,左听筒12A和右听筒12B)的对应关系。每个听筒12包括壳体14,该壳体限定腔16,至少一个内麦克风18设置在该腔中。附接到壳体16的耳耦合件20(例如,耳塞胶套或耳垫)围绕通向腔16的开口。通道22通过耳耦合件20形成,并且与通向腔16的开口连通。在一些具体实施中,在通道22中或附近提供基本上声学透明的筛或格栅(未示出),以遮挡内麦克风18或防止对内麦克风18的损坏。外麦克风24以允许声学耦合到壳体外部的环境的方式设置在壳体上。在一些具体实施中,内麦克风18是反馈麦克风,并且外麦克风24是前馈麦克风。
每个听筒12包括与内麦克风18和外麦克风24通信的ANR电路26。ANR电路26接收由内麦克风18生成的内信号和由外麦克风24生成的外信号,并且对对应的听筒12执行ANR过程。该过程包括向设置在腔16中的电声换能器(例如扬声器)28提供信号,以产生抗噪声声学信号,该声学信号减少或基本上防止来自听筒12外部的一个或多个声学噪声源的声音被使用者听到。
控制电路30与每个听筒12的内麦克风18和外麦克风24通信,并且接收内信号和外信号。在某些示例中,控制电路30包括具有数字信号处理器(DSP)的微控制器或处理器,并且来自麦克风18和24的内信号和外信号通过模数转换器转换为数字格式。响应于所接收的内信号和外信号,控制电路30生成一个或多个信号,这些信号可用于多种目的,包括控制个人声音设备10的各种特征。如图所示,控制电路30生成用于控制设备10的电源32的信号。控制电路30和电源32可以位于听筒12中的一个或两个中,或者可以位于与听筒12连通的单独外壳中。
当听筒12定位在头上时,耳耦合件20接合耳朵的部分和/或使用者头部的与耳朵相邻的部分,并且通道22定位成面向耳朵的耳道的入口。因此,腔16和通道22声学耦合到耳道。至少一定程度的声学密封形成在耳耦合件20与耳耦合件20所接合的耳朵部分和/或使用者头部之间。这种声学密封将现在声学耦合的腔16、通道22和耳道与在壳体14和使用者的头部外部的环境至少部分地声学隔离。这使得壳体14、耳耦合件20以及所述耳朵部分和/或使用者头部能够协作以提供一定程度的PNR。因此,从外部声学噪声源发出的声音在到达腔16、通道22和耳道之前被衰减到至少一定程度。
当听筒12从使用者的耳朵取下以使变为在头外,并且耳耦合件20不再被该耳朵的部分和/或使用者头部接合时,腔16和通道22两者都声学耦合到壳体14外部的环境。这降低了听筒12提供PNR的能力,因此允许从外部声学噪声源发出的声音以较小的衰减到达腔16和通道22。腔16的凹陷性质可以继续为来自声学噪声源的声音提供至少一定程度的衰减(在一个或多个频率范围内)来阻止其进入腔16,但衰减程度仍然小于听筒12被适当地定位在头部上时的衰减程度。
当听筒12在头上和头外之间改变操作状态时,来自腔16内的内麦克风18的内信号指示当内麦克风18检测到从声学噪声源传播的声音时所得的衰减差异。此外,外麦克风24可以在没有内麦克风18所经历的衰减变化的情况下检测来自声学噪声源的相同声音。因此,外麦克风24能够提供表示相同声音的参考信号,该参考信号基本上不随操作状态的变化而变化。
控制电路30接收内信号和外信号,并采用一种或多种技术来检查至少这些信号之间的差异,以确定听筒12是处于头上还是头外操作状态。确定听筒12的操作状态使得控制电路30能够进一步确定操作状态是否发生了改变。控制电路30可以响应于确定听筒12的操作状态发生了改变而采取各种动作。例如,在确定一个听筒12(或两个听筒12)在头外时,可以减小提供给个人声音设备10的功率。在另一个示例中,响应于确定至少一个听筒12变为在头上,可以将全部功率返回给设备10。可以响应于确定听筒12的操作状态发生了改变而修改或控制个人声音设备10的其他方面。举例来说并且非限制地,可以启用或禁用ANR功能,可以暂停或播放音频,可以改变对佩戴者的通知,并且可以控制与个人声音设备通信的设备。可以由系统响应于检测到位置改变而执行的操作模式的其他示例在美国专利15/088,020中有所描述,其公开内容全文以引用方式并入本文。
通过分析内信号和/或外信号来确定具有ANR能力的个人声音设备的操作状态的某些方法在例如美国专利8,238,567,“Personal Acoustic Device PositionDetermination”和美国专利8,699,719,“Personal Acoustic Device PositionDetermination”中有所描述,这两个专利的公开内容全文以引用方式并入本文。该方法适用于具有单个听筒的个人声音设备或如图1所示的具有两个听筒的个人声音设备。内麦克风18通常用在ANR反馈电路中,而暴露于外部声学环境的外麦克风24通常用在ANR前馈电路中。这些方法将操作状态确定为处于第一状态和第二状态中的至少一个,在第一状态下,腔16声学耦合到使用者的耳道(在头上),在第二状态下,腔16没有声学耦合到耳道(在头外)。
在确定操作状态时可能出错。例如,通过分析由内麦克风18和外麦克风24产生的信号,可能错误地确定听筒已从使用者的耳朵取下或返回到使用者的耳朵。错误的确定可能是因为振动的骨导所引起的声学干扰,振动的骨导是由使用者的话语引起的。类似地,巨大的外部噪声可能导致错误的确定。这些错误的确定可能导致个人声音设备的功率状态的不希望的改变和/或设备的操作模式的改变。举例来说,操作模式可以包括音频回放模式、通信模式和ANR模式,并且模式不一定是彼此排斥的。功率状态和/或操作模式的改变可能导致使用者的烦恼和不便。
在下文描述的各种示例中,仅在确定已经发生抖振事件并且未发生使用者的语音事件(例如,话语)时才进行关于个人声音设备的听筒是在头上还是在头外的确定。因此,确定听筒的操作状态的过程不是连续地执行的。这样,基本上减少了关于听筒的操作状态的错误确定的机会,并且相应地减少了设备的功率状态和/或操作模式的不希望的改变。
如本文所用,抖振事件是指引起听筒的物理振动的事件,其导致当听筒在耳朵里、耳朵上方或耳朵周围时听筒内部的低频声脉冲(即,压力尖峰)。声脉冲通常具有主要在约10Hz以下的频率处的能量,并且可以由内麦克风而不是外麦克风检测。检测该声脉冲对于确定听筒的操作状态是有用的,因为抖振事件通常发生在穿/脱事件期间(即,当使用者佩戴或取下个人声音设备时);然而,声脉冲也可以由诸如爆炸或门猛击之类的大声外部噪声产生。另外,由使用者的语音引起的振动可以通过身体进行(例如,骨导),使得听筒可以振动并经历抖振事件。因此,抖振事件并不总是听筒操作状态改变的结果。
如本文所用,语音事件意味着已经检测到使用者的话语。在一个示例中,语音事件的确定可以基于在约150Hz至约1.5KHz的频率范围内的频谱能量密度。在其他示例中,频率范围可以扩展到可超过几KHz的更大频率。语音事件可以由内麦克风、外麦克风或其组合来检测。
图2是描绘如何确定(即,决定)听筒的操作状态的功能框图。例如,听筒可以是图1所示的个人声音设备10中的听筒12中的一个。反馈(内)麦克风40和前馈(外)麦克风42分别产生内信号和外信号,这两个信号被提供给执行分类分析的决策分类模块44。内信号还被提供给抖振模块46和语音活动检测(VAD)模块48。在一些示例(未示出)中,外信号也可以被提供给VAD模块48。如果抖振模块46确定发生了抖振事件,则断言抖振标志50。如果VAD模块48确定发生了语音事件,则禁用VAD标志52,否则VAD模块48断言VAD标志52。尽管抖振模块46和VAD模块48各自能够调制决策分类分析,但是只有当抖振标志50和VAD标志52同时被断言时,决策分类模块44才开始执行分类分析,这两个标识被同时断言指示已经确定抖振事件并且没有确定任何话语事件。分类分析然后仅在在抖振标志50和VAD标志52第一次同时被断言之后的预定时间(例如,5秒)内检查内部和外部信号以确定听筒的操作状态。分类分析可以利用频域中可用的窄带采样(例如,4KHz分辨率)。保持分类分析的结果,直到抖振标志50和VAD标志52下一次同时被断言。用于分析的有限持续时间窗口防止了在允许分类分析以更长时间运行或以连续模式运行时可能发生的对状态变化的错误确定。该窗口还可以降低电池电量和计算能力。
决策分类模块44、抖振模块46和VAD模块48可以例如在图1的控制电路30中实现。控制电路30可以包括实现模块44、46和48的功能的一个或多个处理器和/或微控制器。
图3是控制个人声音设备的方法100的一个示例的流程图表示。根据方法100,对内麦克风输出的内信号和由设置在个人声音设备上的外麦克风输出的外信号中的至少一者执行第一分析(110),以确定是否发生了抖振事件。例如,第一分析可以包括将内信号在某个频率范围(例如,低于约10Hz的频率)的能量水平和/或功率谱密度以及外信号在该频率范围的能量水平和/或功率谱密度中的至少一者与预定阈值进行比较。对内信号和外信号中的至少一者执行第二分析(120),以确定是否发生了该设备的使用者的语音事件。例如,第二分析可以包括将内信号在某个频率范围(例如,在约150Hz和1.5KHz之间的频率)的能量水平和/或功率谱密度以及外信号在该频率范围的能量水平和/或功率谱密度中的至少一者与预定阈值进行比较。
如果确定发生了抖振事件并且确定未发生语音事件,则对内信号和外信号执行第三分析(130)以确定个人声音设备的操作状态。操作状态可以是听筒位于耳朵里、耳朵上方或耳朵周围的第一状态(头上)和听筒不在耳朵上的第二状态(头外)中的一种。如果对该设备的操作状态的确定指示操作状态改变,则可以发起个人声音设备的操作(140)。举例来说,发起该设备的操作包括改变功率状态,改变ANR状态,以及改变该设备或与该个人音频设备通信的不同设备的音频输出状态。在一个具体实施中,该设备有两种有效功率模式。第一种功率模式允许音乐回放和/或ANR,在该模式下,设备消耗大量功率,并且第二种功率模式是低功率模式(例如,第一功率模式的10%),在该模式下,保持确定抖振事件和语音事件的能力。在此具体实施中,操作状态的改变可用于在第一功率状态和第二功率状态之间改变。
在上述各种示例中,已经描述了单个听筒的操作状态的确定;然而,应当理解,可以确定个人音频设备中的两个听筒中的每一个的操作状态,并且所做出的两个确定的结果用于控制个人声音设备。例如,如果确定只有一个听筒发生了操作状态的改变,则可以发起设备的一项操作,该操作不同于可以在确定两个听筒的操作状态都发生改变时发起的操作。
关于听筒处于哪种操作状态的确定,即,个人声音设备的听筒是在头上还是在头外,可以基于可在图1所示的控制电路30中执行的多种确定方案中的任何一种。可以执行降维算法来帮助确定。如本领域中所公知的,监督学习算法可以用标记数据集训练,并且可以根据内信号和外信号在多个频点的功率密度和/或频率响应的比率来利用来自内信号和外信号的数据。可以学习每个频点的加权因子以改善或最大化状态之间的分离,并且可以计算加权比的总和以产生指示设备的操作状态的状态值。可以将状态值与预定阈值进行比较,以确定(即,做出决定)操作状态是在头上还是在头外。
例如,可以执行主成分分析(PCA)以进行分类。另选地,可以使用线性判别分析(LDA)。可以使用本领域已知的其他分类算法,诸如Fisher判别分析、二次判别分析(QDA)或神经网络。
在一些示例中,使用了使用真实数据集的监督学习,使得可以确定多于两个的操作状态。例如,操作状态可以包括个人声音设备的听筒在头上的第一状态,听筒在头外并且没有被使用者佩戴的第二状态,以及听筒在头外并且被佩戴(停留)在使用者身上或周围的第三状态。
已描述了多个具体实施。然而,应当理解,前面的描述旨在说明而非限制发明构思的范围,该范围是由权利要求的范围限定。其他示例在以下权利要求的范围内。
Claims (26)
1.一种控制个人声音设备的方法,包括:
对设置在个人声音设备的听筒壳体的腔内的内麦克风输出的内信号和设置在所述个人声音设备上以便声学耦合到所述听筒壳体外部的环境的外麦克风输出的外信号中的至少一者执行第一分析,以确定是否发生了抖振事件;
对所述内信号和所述外信号中的至少一者执行第二分析,以确定是否发生了所述个人声音设备的使用者的语音事件;
响应于确定发生了抖振事件并且未发生所述个人声音设备的使用者的语音事件,对所述内信号和所述外信号执行第三分析;以及
基于对所述内信号和所述外信号的所述第三分析确定所述个人声音设备的操作状态,所述操作状态包括第一状态和第二状态,在所述第一状态下,所述听筒定位在耳朵附近,在所述第二状态下,所述听筒不在所述耳朵附近。
2.根据权利要求1所述的方法,还包括当确定所述个人声音设备的所述操作状态指示所述操作状态改变时,在个人声音设备或与所述个人声音设备通信的设备处发起操作。
3.根据权利要求2所述的方法,其中发起所述操作包括以下中的至少一种:改变功率状态,改变主动降噪状态,以及改变所述个人声音设备或与所述个人声音设备通信的设备的音频输出状态。
4.根据权利要求1所述的方法,其中执行所述第三分析包括执行分类分析以确定所述听筒的所述操作状态。
5.根据权利要求4所述的方法,其中所述分类分析包括降维分析。
6.根据权利要求5所述的方法,其中所述降维分析包括主成分分析、线性判别分析、神经网络分析、Fisher判别分析和二次判别分析中的一种。
7.根据权利要求1所述的方法,其中执行所述第三分析包括计算所述外信号与所述内信号在多个频率范围上的频率响应之比。
8.根据权利要求7所述的方法,其中执行所述第三分析还包括将每个频率响应之比乘以预定权重以产生多个加权比率,并将所述加权比率求和以产生指示所述个人声音设备的所述操作状态的状态值。
9.根据权利要求8所述的方法,其中执行所述第三分析还包括将所述状态值与第一预定阈值进行比较,以确定所述个人声音设备是处于所述第一状态还是所述第二状态。
10.根据权利要求9所述的方法,其中执行所述第三分析还包括将所述状态值与第二预定阈值进行比较,以确定所述个人声音设备是否处于第三状态,在所述第三状态下,所述个人声音设备由所述使用者佩戴并且所述听筒不在所述耳朵附近。
11.根据权利要求1所述的方法,其中所述操作状态还包括第三状态,在所述第三状态下,所述个人声音设备由所述使用者佩戴并且所述听筒不在所述耳朵附近。
12.根据权利要求1所述的方法,其中所述第一分析包括将所述内信号在第一频率范围中的功率谱密度以及所述外信号在所述第一频率范围中的功率谱密度中的至少一者与预定阈值进行比较。
13.根据权利要求12所述的方法,其中所述第一频率范围包括低于约10Hz的频率。
14.根据权利要求1所述的方法,其中所述第二分析包括将所述内信号在第一频率范围中的能量水平以及所述外信号在所述第一频率范围中的能量水平中的至少一者与预定阈值进行比较。
15.根据权利要求14所述的方法,其中所述第一频率范围包括范围在约150Hz至约1.5KHz的频率。
16.一种个人声音设备,包括:
听筒,所述听筒具有壳体;
内麦克风,所述内麦克风设置在所述壳体的腔内并且输出表示由所述内麦克风检测到的声音的内信号;
外麦克风,所述外麦克风设置在所述壳体上以声学耦合到所述壳体外部的环境并且输出表示由所述外麦克风检测到的声音的外信号;和
控制电路,所述控制电路与所述内麦克风通信以接收所述内信号,并且与所述外麦克风通信以接收所述外信号,所述控制电路被配置为:
对所述内信号和所述外信号中的至少一者执行第一分析,以确定是否发生了抖振事件;
对所述内信号和所述外信号中的至少一者执行第二分析,以确定是否发生了所述个人声音设备的使用者的语音事件;以及
响应于确定发生了抖振事件并且未发生所述个人声音设备的使用者的语音事件,对所述内信号和所述外信号执行第三分析以确定所述个人声音设备的操作状态,所述操作状态包括所述听筒位于耳朵附近的第一状态和所述听筒不在所述耳朵附近的第二状态。
17.根据权利要求16所述的个人声音设备,其中所述控制电路包括数字信号处理器。
18.根据权利要求16所述的个人声音设备,还包括与所述控制电路通信的电源,并且其中所述控制电路还能够被配置为当确定所述听筒的所述操作状态指示所述听筒的所述操作状态改变时改变所述个人声音设备的功率状态。
19.根据权利要求18所述的个人声音设备,其中所述控制电路被配置为响应于确定所述个人声音设备的所述操作状态是所述第二状态而减小由所述电源供应的功率。
20.根据权利要求18所述的个人声音设备,其中所述控制电路被配置为响应于确定所述个人声音设备的所述操作状态已经从所述第二状态改变到所述第一状态而增大由所述电源供应的功率。
21.根据权利要求16所述的个人声音设备,其中所述内麦克风是声学降噪电路中的反馈麦克风。
22.根据权利要求16所述的个人声音设备,其中所述外麦克风是声学降噪电路中的前馈麦克风。
23.根据权利要求16所述的个人声音设备,其中所述控制电路设置在所述听筒的所述壳体中。
24.根据权利要求16所述的个人声音设备,还包括与所述听筒分开的外壳,并且其中所述控制电路设置在所述外壳中。
25.根据权利要求16所述的个人声音设备,其中所述控制电路被配置为响应于确定所述个人声音设备的所述操作状态已经在所述第一操作状态和所述第二操作状态之间改变而改变声学降噪操作。
26.根据权利要求16所述的个人声音设备,还包括与所述控制电路通信的设备,并且其中所述控制电路被配置为响应于确定所述个人声音设备的所述操作状态已经在所述第一操作状态和所述第二操作状态之间改变而控制所述设备的操作。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/157,807 | 2016-05-18 | ||
US15/157,807 US9860626B2 (en) | 2016-05-18 | 2016-05-18 | On/off head detection of personal acoustic device |
PCT/US2017/028077 WO2017200679A1 (en) | 2016-05-18 | 2017-04-18 | On/off head detection of personal acoustic device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109196877A true CN109196877A (zh) | 2019-01-11 |
CN109196877B CN109196877B (zh) | 2020-07-17 |
Family
ID=59227846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780030704.5A Expired - Fee Related CN109196877B (zh) | 2016-05-18 | 2017-04-18 | 个人声音设备的头上/头外检测 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9860626B2 (zh) |
EP (1) | EP3459266B1 (zh) |
JP (1) | JP6666471B2 (zh) |
CN (1) | CN109196877B (zh) |
WO (1) | WO2017200679A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10042595B2 (en) | 2016-09-06 | 2018-08-07 | Apple Inc. | Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices |
EP3529800B1 (en) * | 2016-10-24 | 2023-04-19 | Avnera Corporation | Headphone off-ear detection |
US10311889B2 (en) | 2017-03-20 | 2019-06-04 | Bose Corporation | Audio signal processing for noise reduction |
GB201719041D0 (en) | 2017-10-10 | 2018-01-03 | Cirrus Logic Int Semiconductor Ltd | Dynamic on ear headset detection |
US10810291B2 (en) * | 2018-03-21 | 2020-10-20 | Cirrus Logic, Inc. | Ear proximity detection |
WO2020014151A1 (en) | 2018-07-09 | 2020-01-16 | Avnera Corporation | Headphone off-ear detection |
US10462551B1 (en) | 2018-12-06 | 2019-10-29 | Bose Corporation | Wearable audio device with head on/off state detection |
US10638214B1 (en) | 2018-12-21 | 2020-04-28 | Bose Corporation | Automatic user interface switching |
US10764406B1 (en) | 2019-03-01 | 2020-09-01 | Bose Corporation | Methods and systems for sending sensor data |
US10863277B2 (en) | 2019-03-07 | 2020-12-08 | Bose Corporation | Systems and methods for controlling electronic devices |
US10638229B1 (en) | 2019-03-29 | 2020-04-28 | Bose Corporation | Methods and systems for establishing user controls |
US11172298B2 (en) * | 2019-07-08 | 2021-11-09 | Apple Inc. | Systems, methods, and user interfaces for headphone fit adjustment and audio output control |
US10959019B1 (en) | 2019-09-09 | 2021-03-23 | Bose Corporation | Active noise reduction audio devices and systems |
US11043201B2 (en) | 2019-09-13 | 2021-06-22 | Bose Corporation | Synchronization of instability mitigation in audio devices |
CN113497988B (zh) * | 2020-04-03 | 2023-05-16 | 华为技术有限公司 | 一种无线耳机的佩戴状态确定方法及相关装置 |
US11722178B2 (en) | 2020-06-01 | 2023-08-08 | Apple Inc. | Systems, methods, and graphical user interfaces for automatic audio routing |
US11941319B2 (en) | 2020-07-20 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices |
US11089429B1 (en) * | 2020-09-18 | 2021-08-10 | Plantronics, Inc. | Indication for correct audio device orientation |
US11523243B2 (en) | 2020-09-25 | 2022-12-06 | Apple Inc. | Systems, methods, and graphical user interfaces for using spatialized audio during communication sessions |
CN117499830B (zh) * | 2023-11-09 | 2024-07-19 | 深圳市通力科技开发有限公司 | 一种耳机佩戴状态检测方法、装置、耳机和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102365875A (zh) * | 2009-03-30 | 2012-02-29 | 伯斯有限公司 | 个人声学设备位置确定 |
US8238567B2 (en) * | 2009-03-30 | 2012-08-07 | Bose Corporation | Personal acoustic device position determination |
CN104871557A (zh) * | 2012-11-02 | 2015-08-26 | 伯斯有限公司 | 在anr耳机中同时提供音频和环境声音 |
Family Cites Families (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4955729A (en) | 1987-03-31 | 1990-09-11 | Marx Guenter | Hearing aid which cuts on/off during removal and attachment to the user |
JP2609542B2 (ja) | 1988-10-04 | 1997-05-14 | パイオニア株式会社 | ディスクプレーヤ |
US5144678A (en) | 1991-02-04 | 1992-09-01 | Golden West Communications Inc. | Automatically switched headset |
JPH05316587A (ja) | 1992-05-08 | 1993-11-26 | Sony Corp | マイクロホン装置 |
DE69424419T2 (de) | 1993-06-23 | 2001-01-04 | Noise Cancellation Technologies, Inc. | Aktive lärmunterdrückungsanordnung mit variabler verstärkung und verbesserter restlärmmessung |
JPH07298383A (ja) | 1994-04-28 | 1995-11-10 | Sony Corp | ヘッドホン装置 |
US5577511A (en) | 1995-03-29 | 1996-11-26 | Etymotic Research, Inc. | Occlusion meter and associated method for measuring the occlusion of an occluding object in the ear canal of a subject |
JP3045051B2 (ja) | 1995-08-17 | 2000-05-22 | ソニー株式会社 | ヘッドホン装置 |
US6532294B1 (en) | 1996-04-01 | 2003-03-11 | Elliot A. Rudell | Automatic-on hearing aids |
US6163610A (en) | 1998-04-06 | 2000-12-19 | Lucent Technologies Inc. | Telephonic handset apparatus having an earpiece monitor and reduced inter-user variability |
US6704428B1 (en) | 1999-03-05 | 2004-03-09 | Michael Wurtz | Automatic turn-on and turn-off control for battery-powered headsets |
JP3873523B2 (ja) | 1999-05-21 | 2007-01-24 | ソニー株式会社 | 再生装置 |
US6542436B1 (en) | 2000-06-30 | 2003-04-01 | Nokia Corporation | Acoustical proximity detection for mobile terminals and other devices |
NO312570B1 (no) | 2000-09-01 | 2002-05-27 | Sintef | Stöybeskyttelse med verifiseringsanordning |
US7039195B1 (en) | 2000-09-01 | 2006-05-02 | Nacre As | Ear terminal |
US6687377B2 (en) | 2000-12-20 | 2004-02-03 | Sonomax Hearing Healthcare Inc. | Method and apparatus for determining in situ the acoustic seal provided by an in-ear device |
US6937738B2 (en) | 2001-04-12 | 2005-08-30 | Gennum Corporation | Digital hearing aid system |
US7668317B2 (en) | 2001-05-30 | 2010-02-23 | Sony Corporation | Audio post processing in DVD, DTV and other audio visual products |
US6996241B2 (en) | 2001-06-22 | 2006-02-07 | Trustees Of Dartmouth College | Tuned feedforward LMS filter with feedback control |
EP1298959A3 (de) | 2001-09-24 | 2006-04-19 | Siemens Audiologische Technik GmbH | Hörgerät mit Störsignalsteuerung |
US6639987B2 (en) | 2001-12-11 | 2003-10-28 | Motorola, Inc. | Communication device with active equalization and method therefor |
US6714654B2 (en) | 2002-02-06 | 2004-03-30 | George Jay Lichtblau | Hearing aid operative to cancel sounds propagating through the hearing aid case |
US7406179B2 (en) | 2003-04-01 | 2008-07-29 | Sound Design Technologies, Ltd. | System and method for detecting the insertion or removal of a hearing instrument from the ear canal |
EP1618759A1 (en) | 2003-04-18 | 2006-01-25 | Koninklijke Philips Electronics N.V. | Personal audio system with earpiece remote controller |
US7639827B2 (en) | 2003-10-01 | 2009-12-29 | Phonak Ag | Hearing system which is responsive to acoustical feedback |
EP1736028A1 (en) | 2004-04-05 | 2006-12-27 | Koninklijke Philips Electronics N.V. | Audio entertainment system, device, method, and computer program |
US20050226446A1 (en) | 2004-04-08 | 2005-10-13 | Unitron Hearing Ltd. | Intelligent hearing aid |
DE102004023049B4 (de) | 2004-05-11 | 2006-05-04 | Siemens Audiologische Technik Gmbh | Hörgerätevorrichtung mit einer Schalteinrichtung zum An- und Abschalten sowie entsprechendes Verfahren |
JP4737496B2 (ja) | 2004-07-06 | 2011-08-03 | ソニー株式会社 | 再生システム、再生装置および方法、記録媒体、並びにプログラム |
EP1615465A3 (en) | 2004-07-08 | 2016-07-27 | LG Electronics, Inc. | Music play control apparatus with an earphone comprising at least one earphone function key, and method thereof |
US7418103B2 (en) | 2004-08-06 | 2008-08-26 | Sony Computer Entertainment Inc. | System and method for controlling states of a device |
US20060045304A1 (en) | 2004-09-02 | 2006-03-02 | Maxtor Corporation | Smart earphone systems devices and methods |
US7450730B2 (en) | 2004-12-23 | 2008-11-11 | Phonak Ag | Personal monitoring system for a user and method for monitoring a user |
US7945297B2 (en) | 2005-09-30 | 2011-05-17 | Atmel Corporation | Headsets and headset power management |
CN101297585A (zh) | 2005-10-28 | 2008-10-29 | 皇家飞利浦电子股份有限公司 | 使用位置和触摸来控制一种装置的系统和方法 |
US20070154049A1 (en) | 2006-01-05 | 2007-07-05 | Igor Levitsky | Transducer, headphone and method for reducing noise |
US20070160255A1 (en) | 2006-01-10 | 2007-07-12 | Inventec Corporation | Earphone apparatus capable of reducing power consumption |
EP2002438A2 (en) | 2006-03-24 | 2008-12-17 | Koninklijke Philips Electronics N.V. | Device for and method of processing data for a wearable apparatus |
JP2009540654A (ja) | 2006-06-09 | 2009-11-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 多機能ヘッドセット及び多機能ヘッドセットの機能選択 |
US20070297618A1 (en) | 2006-06-26 | 2007-12-27 | Nokia Corporation | System and method for controlling headphones |
US20070297634A1 (en) | 2006-06-27 | 2007-12-27 | Sony Ericsson Mobile Communications Ab | Earphone system with usage detection |
US8335312B2 (en) | 2006-10-02 | 2012-12-18 | Plantronics, Inc. | Donned and doffed headset state detection |
US8027481B2 (en) | 2006-11-06 | 2011-09-27 | Terry Beard | Personal hearing control system and method |
GB2441835B (en) | 2007-02-07 | 2008-08-20 | Sonaptic Ltd | Ambient noise reduction system |
US7983427B2 (en) | 2007-02-12 | 2011-07-19 | Bose Corporation | Method and apparatus for conserving battery power |
DE102007013719B4 (de) | 2007-03-19 | 2015-10-29 | Sennheiser Electronic Gmbh & Co. Kg | Hörer |
KR100872845B1 (ko) | 2007-07-20 | 2008-12-09 | 한국전자통신연구원 | 사용자 맞춤형 오디오 서비스가 가능한 헤드셋 및 이를이용한 사용자 맞춤형 오디오 서비스 방법 |
JP2009152666A (ja) | 2007-12-18 | 2009-07-09 | Toshiba Corp | 音響出力制御装置、音響再生装置および音響出力制御方法 |
US8270658B2 (en) | 2008-04-28 | 2012-09-18 | Hearing Enhancement Group | Position sensing apparatus and method for active headworn device |
US20100054518A1 (en) | 2008-09-04 | 2010-03-04 | Alexander Goldin | Head mounted voice communication device with motion control |
US8098838B2 (en) | 2008-11-24 | 2012-01-17 | Apple Inc. | Detecting the repositioning of an earphone using a microphone and associated action |
DE102008055180A1 (de) | 2008-12-30 | 2010-07-01 | Sennheiser Electronic Gmbh & Co. Kg | Steuersystem, Hörer und Steuerungsverfahren |
US8705784B2 (en) | 2009-01-23 | 2014-04-22 | Sony Corporation | Acoustic in-ear detection for earpiece |
TR201908933T4 (tr) | 2009-02-13 | 2019-07-22 | Koninklijke Philips Nv | Mobil uygulamalar için baş hareketi izleme. |
US8243946B2 (en) | 2009-03-30 | 2012-08-14 | Bose Corporation | Personal acoustic device position determination |
US8238570B2 (en) | 2009-03-30 | 2012-08-07 | Bose Corporation | Personal acoustic device position determination |
US8699719B2 (en) | 2009-03-30 | 2014-04-15 | Bose Corporation | Personal acoustic device position determination |
US20100278355A1 (en) | 2009-04-29 | 2010-11-04 | Yamkovoy Paul G | Feedforward-Based ANR Adjustment Responsive to Environmental Noise Levels |
US8416960B2 (en) | 2009-08-18 | 2013-04-09 | Bose Corporation | Feedforward ANR device cover |
JP5938682B2 (ja) * | 2011-04-11 | 2016-06-22 | パナソニックIpマネジメント株式会社 | 補聴器および振動検出方法 |
JP5880340B2 (ja) * | 2012-08-02 | 2016-03-09 | ソニー株式会社 | ヘッドホン装置、装着状態検出装置、装着状態検出方法 |
JP2015100096A (ja) * | 2013-11-20 | 2015-05-28 | 株式会社ジーデバイス | イヤホン |
WO2015142630A1 (en) | 2014-03-17 | 2015-09-24 | Bose Corporation | Headset porting |
-
2016
- 2016-05-18 US US15/157,807 patent/US9860626B2/en active Active
-
2017
- 2017-04-18 JP JP2018560484A patent/JP6666471B2/ja active Active
- 2017-04-18 CN CN201780030704.5A patent/CN109196877B/zh not_active Expired - Fee Related
- 2017-04-18 WO PCT/US2017/028077 patent/WO2017200679A1/en unknown
- 2017-04-18 EP EP17733607.0A patent/EP3459266B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102365875A (zh) * | 2009-03-30 | 2012-02-29 | 伯斯有限公司 | 个人声学设备位置确定 |
US8238567B2 (en) * | 2009-03-30 | 2012-08-07 | Bose Corporation | Personal acoustic device position determination |
CN104871557A (zh) * | 2012-11-02 | 2015-08-26 | 伯斯有限公司 | 在anr耳机中同时提供音频和环境声音 |
Also Published As
Publication number | Publication date |
---|---|
US20170339483A1 (en) | 2017-11-23 |
JP2019519152A (ja) | 2019-07-04 |
EP3459266A1 (en) | 2019-03-27 |
JP6666471B2 (ja) | 2020-03-13 |
EP3459266B1 (en) | 2020-06-03 |
WO2017200679A1 (en) | 2017-11-23 |
US9860626B2 (en) | 2018-01-02 |
CN109196877B (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109196877A (zh) | 个人声音设备的头上/头外检测 | |
CN110785808B (zh) | 具有唤醒字检测的音频设备 | |
CN110089129B (zh) | 使用听筒麦克风的个人声音设备的头上/头外检测 | |
EP3688998B1 (en) | On/off head detection using capacitive sensing | |
US8194865B2 (en) | Method and device for sound detection and audio control | |
CN102293013B (zh) | 用于耳机的耳内声检测的设备和方法 | |
CN113826157B (zh) | 用于耳戴式播放设备的音频系统和信号处理方法 | |
JP7123951B2 (ja) | 通信アセンブリにおけるユーザ音声アクティビティ検出のための方法、その通信アセンブリ | |
US20190110120A1 (en) | Dynamic on ear headset detection | |
US11918345B2 (en) | Cough detection | |
US11533574B2 (en) | Wear detection | |
WO2023093412A1 (zh) | 主动降噪的方法及电子设备 | |
US11942107B2 (en) | Voice activity detection with low-power accelerometer | |
CN113132885B (zh) | 基于双麦克风能量差异判别耳机佩戴状态的方法 | |
US20240257828A1 (en) | Signal processing apparatus, signal processing method, and program | |
US11418878B1 (en) | Secondary path identification for active noise cancelling systems and methods | |
CN112866892A (zh) | 一种使用佩戴检测的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200717 |
|
CF01 | Termination of patent right due to non-payment of annual fee |