CN109196879A - 确定在用户的耳朵处的耳机存在 - Google Patents
确定在用户的耳朵处的耳机存在 Download PDFInfo
- Publication number
- CN109196879A CN109196879A CN201780032800.3A CN201780032800A CN109196879A CN 109196879 A CN109196879 A CN 109196879A CN 201780032800 A CN201780032800 A CN 201780032800A CN 109196879 A CN109196879 A CN 109196879A
- Authority
- CN
- China
- Prior art keywords
- user
- earphone
- ear
- audio signal
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 260
- 238000000034 method Methods 0.000 claims abstract description 218
- 238000012545 processing Methods 0.000 claims abstract description 183
- 230000004044 response Effects 0.000 claims description 43
- 235000013399 edible fruits Nutrition 0.000 claims description 6
- 230000008569 process Effects 0.000 description 45
- 230000007246 mechanism Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 22
- 230000007613 environmental effect Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000036760 body temperature Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 239000004020 conductor Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 239000012528 membrane Substances 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 238000009529 body temperature measurement Methods 0.000 description 7
- 230000005611 electricity Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 210000000613 ear canal Anatomy 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000001816 cooling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005316 response function Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 239000000700 radioactive tracer Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000026683 transduction Effects 0.000 description 3
- 238000010361 transduction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002463 transducing effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 240000006409 Acacia auriculiformis Species 0.000 description 1
- 206010020741 Hyperpyrexia Diseases 0.000 description 1
- 241001274660 Modulus Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002648 laminated material Substances 0.000 description 1
- 239000002650 laminated plastic Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000016087 ovulation Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/04—Systems determining presence of a target
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/05—Detection of connection of loudspeakers or headphones to amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/03—Aspects of the reduction of energy consumption in hearing devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/11—Aspects relating to vents, e.g. shape, orientation, acoustic properties in ear tips of hearing devices to prevent occlusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Otolaryngology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Headphones And Earphones (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
Abstract
本公开中描述的主题通常能够被实施在方法、系统和计算机可读设备中。音频处理设备利用用户耳机的电声换能器播放源音频信号,并记录由相同的所述电声换能器感测的听觉信号。音频处理设备确定听觉信号的一个或多个特征的值,其指示用户耳机所在的空间的特性。音频处理设备将听觉信号的一个或多个特征的被确定的值与该一个或多个特征的预定义值作比较。基于该比较的结果,音频处理设备确定用户耳机是否位于用户的耳朵处。
Description
相关申请的交叉引用
本申请要求于2016年8月24日提交的美国申请序列号62/379,160、2016年5月27日提交的美国申请序列号62/342,872、2016年5月27日提交的美国申请序列号62/342,871、以及2016年5月27日提交的美国申请序列号62/342,869的优先权的权益,其内容通过引用整体并入在本文中。
背景技术
随着近年来移动计算设备的激增,用户越来越多地转向耳塞、头戴式耳机和其它类型的耳机,以收听通过这些移动计算设备可获得的增加供应的音频内容。例如,智能手机通常包括耳机插孔,其允许用户将头戴式耳机连接到手机,用户可以通过该耳机收听来自以下部分的歌曲:媒体库或流媒体服务、播客、来自视频的音频轨迹、以及用户的偏好的各种其它内容源。用户还可以使用包括耳塞的头戴式耳机和在用户的嘴附近放置的外部麦克风来保持用于免提移动呼叫体验的电话呼叫。在通过移动设备(或其它计算设备)的头戴式耳机收听音频的同时,用户可能被需要用户的注意的各种事件中断,包括在一段时间内停止收听音频。在一些实例中,用户可以与具有受限访问的设备上的应用或其它资源进行交互。在一些情况下,用户可能试图在使用户难以听到音频内容得嘈杂的环境中收听音频内容。
发明内容
本说明书一般涉及一种音频信号处理,包括用于应用连接到音频处理设备(例如,电话)的声学头戴式耳机,作为用于收集设备能够利用以向用户提供各种服务的数据的传感器的技术。例如,本文讨论的技术可以使设备上的软件平台能够利用现成的耳机作为能够实时感测用户得特征和用户的环境的强大的外部多传感器。本文讨论的技术的一些实现方式包括:检测用户的耳朵处的耳机的存在,基于用户的耳朵的声学特性验证人的身份,使用预先记录的声音执行主动噪声消除,以及使用耳机的传感器来计算各种环境的温度。
在附图和以下描述中阐述了一个或多个实现方式的细节。根据说明书和附图以及权利要求,其它特征、目的和优点将会显而易见。
附图说明
图1描绘了用户使用一对耳塞收听通过智能手机播放的源音频信号的概念图。当播放该源音频信号时,耳塞同时用作麦克风以在播放音频信号时捕获在用户的耳朵内产生的听觉信号。
图2A是被配置为执行本文描述的各种这样的技术的示例音频处理设备的框图。
图2B是图示用于使用耳机的换能器同时播放和记录的、在编码/解码组件(通常称为“编码解码器”)与耳机之间的配置的示意图。
图2C是图示用于使用耳机的换能器同时播放和记录的、在编码/解码组件和耳机之间的另一种配置的示意图。
图2D是图示用于使用耳机的换能器同时播放和记录的、在编码/解码组件与两个耳机之间的配置的示意图。
图3是基于用户的耳朵的声学特性来认证用户的示例过程的流程图。该过程涉及:(i)登记阶段,其中为指定用户生成并向用户的账户注册声学签名,以及(ii)基于来自与用户相关联的听觉信号的特征与向用户账户注册的声学签名的比较来验证用户的身份的验证阶段。
图4是用于在认证过程的登记阶段中生成用户的声学签名的示例过程的流程图。
图5是用于在认证过程的验证阶段中验证用户的身份的示例过程的流程图。
图6是用于下述示例过程的流程图:用于确定其中耳机所位于的空间的声学回声(wa)的脉冲响应,例如,用于生成用户的声学签名,检测在用户的耳朵处是否存在耳机,或认证用户。
图7是用于基于从在播放源音频信号期间记录的听觉信号导出的特征来检测在用户的耳朵处存在耳机的示例过程的流程图。
图8是用于当用户通过头戴式耳机收听源音频信号时,使用预先记录的音频信号的存储实例来消除由在用户的环境中播放的预先记录的音频信号所导致的干扰的过程。
图9A-图9D示出使用换能器确定用户和环境的温度的过程。
图10示出了用于使用换能器确定用户和环境的温度的另一过程。
图11描绘了可以被配置为执行本文描述的计算机实现的方法和其它技术的示例计算机。在一些示例中,音频处理设备可以包括硬件和软件的组合,如关于图2A所述的那样。
在各个附图中相同的数字和指示符指示相同的元件。
具体实施方式
本说明书一般性地描述了用于处理音频信号的系统、方法、设备和其它技术。在一些实现方式中,可以使用耳机(例如,头戴式耳机或耳塞),通过使用耳机中的相同电声换能器来执行这些技术,以作为扬声器输出播放的音频信号并且作为麦克风感测能够由音频处理设备记录的听觉信号。在一些示例中,音频处理设备能够处理由耳机感测的音频信号,并且将感测到的音频信号与同时播放的音频信号作比较,以确定该耳机当前是否位于用户的耳朵处。在一些示例中,音频处理设备能够处理由耳机感测的音频信号,以执行认证过程,其中,基于用户的耳朵的声学特性来验证用户的身份。在一些示例中,音频处理设备可以通过检测在用户的环境的周围环境噪声中发生的已知音频信号并且通过使用检测到的音频信号的预先记录的实例来修改用户正在通过耳机收听的源音频信号,从而执行主动噪声消除。
参考图1,示出了用户102收听通过耳塞106播放的源音频信号s的概念图。源音频信号s由音频处理设备104播放,在该示例中,音频处理设备104是智能电话。耳塞106放入在用户的耳朵106中,以形成声学室,用户102能够通过该声学室收听源音频信号s。源音频信号s可以承载来自电影、电视节目或其它视频或媒体内容的各种音频内容中的任何一种,诸如音乐、语音、电话呼叫或音轨。
如放大区域108中所示,耳塞106能够输出源音频信号s和感测听觉音频信号r。具体地,耳塞106包括电声换能器,其将狱源音频信号s相对应的电信号转换为能够由用户102听到的声波。通过将电能转换为声能(即,声波),电声换能器用作扬声器。然而,电声换能器对其环境中的声能也是机械敏感的,这导致电声换能器振动并由此生产电信号。因此,电声换能器还能够感测听觉音频信号r,并且在一些实现方式中,甚至可以输出音频源信号s,同时感测听觉音频信号r。在一些示例中,电声换能器可以包括前后移动的振动膜,以由于施加在位于振动膜前面的空气上的压力而生产声波。电信号可以使用各种技术中的任何一种(诸如通过缠绕在电磁铁或压电晶体周围的线圈)来驱动振动膜的移动。
通常,听觉音频信号r是音频信号,其导致当通过耳塞106播放源音频信号s时耳塞106所处的空间。例如,如果麦克风被放置在耳塞106附近的同时放入用户耳朵中的耳塞106播放源音频信号s,则由该麦克风捕获的信号将与听觉音频信号r相对应。当然,听觉信号r将主要反映在空间中播放的源音频信号,但是它可以进一步反映诸如最终部分地限定了播放源音频信号s的空间的耳塞106的固有特性和用户的耳朵的独特声学特性的其它因素。应注意,为了说明的目的,图1中放大视图108示出位于用户的耳朵外部的耳塞,但是在实践中,用户102通常将会使用放入其耳朵内的耳塞106收听音频信号s。
在一些实现方式中,音频处理设备104可被配置为既播放源音频信号s又记录分别由耳塞106的相同电声换能器输出和感测的听觉音频信号r。音频处理设备104的声卡或者其它处理电路可以被配置为经由相同的电声换能器(如包括与耳机的扬声器不同的专用麦克风的耳机)输出和记录音频信号。例如,电子电阻组件可在电路的一个或多个导体之间连接,该电路的一个或多个导体与耳机换能器和音频处理设备电接口连接。电阻器的放置可以形成分压器,该分压器提供电接口中的位置,从该位置能够感测并且例如数字地采样和记录与听觉音频信号r相对应的电信号。音频处理设备104的处理电路可以驱动电信号到电声换能器以播放源音频信号s,同时记录听觉音频信号r。在一些实现方式中,处理电路可在交替模式之间切换(如以高频率)以播放源音频信号s且记录听觉音频信号r。该切换可以以足够高的频率发生,使得用户102不会察觉到在源音频信号s的播放中的任何中断。
在一些实现方式中,耳塞106可以是优质头戴式耳机的部分,该优质头戴式耳机例如包括专用麦克风。例如,因为例如专用麦克风可以进行主动噪声消除,所以专用麦克风可以用于记录听觉音频信号r或记录环境噪声。例如,专用麦克风可以是嵌入式麦克风(如210a,210b),或者可以采用外部麦克风(如麦克风212)。
参数确定
本文描述的各种技术涉及确定与音频信号、耳机、其中耳机所在的空间(例如,用户的耳道)或这些的组合相关联的参数。在以下模型(公式1)中反映了这些参数中的一些,其表示作为这些参数的函数的、由音频处理设备记录的听觉音频信号r。
r=s*(w0+T·wΔ+wa)+e+n
(公式1)
注:*运算符标示卷积
公式1的模型中的参数通常指示如下:
r | 从耳机感测的听觉音频信号记录的数字样本 |
s | 通过耳机播放的源音频信号的数字样本 |
e | 在耳机所处空间中发生的环境噪声(如背景或周围噪声) |
n | 音频处理电路产生的电噪声 |
w0 | 在基线温度T<sub>0</sub>(如用开氏温度)下耳机的电回波的模型 |
wΔ | 耳机的与温度相关的电回波的模型 |
wa | 耳机所在空间的声学回声的模型 |
T | 与T<sub>0</sub>的温差 |
(表1)
因此,公式1的模型指示所记录的听觉音频信号r根据下述三个音频信号而定:(1)由音频处理设备播放的源音频信号s,(2)环境噪声e,以及(3)音频处理设备的电噪声n。然而,源音频信号s可能由于三个因素而失真,并且该失真由s与(w0+T·wΔ+wa)的卷积表示。参数w0和wΔ是耳机的固有参数,并且特异于给定耳机的设计。因此,适合插入耳朵内的耳塞可具有不同于覆盖耳朵的耳机的参数w0和wΔ值。同样,特定制造商的特定型号的第一耳塞可具有与不同制造商的不同型号的第二耳塞不同的w0和wΔ参数。这些参数通常指示耳机的几何形状和整体配置如何在通过该耳机播放时修改(如失真)音频信号s。w0参数指示耳机如何在基线温度T0(如20摄氏度)下修改音频信号s,而wΔ参数指示耳机如何根据与T0的温度差来修改音频信号s。
通常,w0和wΔ都表示由耳机施加的音频信号s的变换特性,而与耳机所处的空间无关。在一些实现方式中,w0和wΔ各自包含多个值(例如,数十或数百个值),其共同指示耳机的相应脉冲响应特性。例如,w0能够指示耳机的电回波的脉冲响应函数,并且wΔ能够指示耳机的电回波的与温度相关的脉冲响应函数。
描述脉冲响应函数的简化方式是设想当向耳机提供脉冲音时产生的回声。例如,假设系统以1000Hz采样,则系统将每0.001秒采样耳机电压的幅值。如果在时间0处输出脉冲音,则脉冲响应可以记录耳机将听到的并且由于脉冲音的输出引起的回声,在该示例中每0.001秒记录幅度测量值。这样,脉冲响应可被认为是值的矢量或阵列,在脉冲函数的播放之后每0.001秒记录一个。能够确定该回声具有基于耳机特征的固定特性(如w0)和基于耳机温度的可变特性(如T·wΔ)。
回声还受到附加变换特性的影响,该附加变换特性表示播放音频信号的空间(如用户的耳道)的声学特性(如wa),尽管稍后将更详细地描述该变换特性并且其可以对于某些测量忽视。暂时忽略环境噪声和电噪声,能够看出使用换能器获取的录音r是如何使用多个脉冲响应卷积的、使用换能器播放的声音s的组合,该多个脉冲响应指示声音需要多长时间回声到换能器用于记录(可能由于用户的耳朵和耳机的不同表面上的不同回声而在多个不同时间处出现)以及回声在不同时间有多大。
现在回过头来讨论变换特性,可以预先定义耳机的固有参数(w0和wΔ)并将其存储在存储多个不同耳机的固有参数的数据库中。音频处理设备可以从数据库中(例如,从指示他或她的耳机的品牌和型号的用户输入或基于自动检测能力)识别这些参数。在一些实现方式中,固有参数可以在工厂或实验室处进行校准并且使得对用户群体可访问。在一些实现方式中,内部参数可以由各个用户使用其各自的音频处理设备进行校准。
在一些实现方式中,通过记录当耳机就位并且没有音频源信号s通过耳机播放时产生的音频信号来确定环境噪声信号e。在一些实现方式中,可从由不同于耳机的电声换能器的第二麦克风(如位于用户耳机的环境中的外部麦克风)感测的信号来记录环境噪声信号e。在一些实现方式中e,因为其它变量和常数可以是已知的或是已经计算的(电路板噪声N可以是已知的,或者可以组合地计算环境噪声信号e和电路板噪声N的组合),所以在系统确定温度T和声学回声参数wa之后计算环境噪声信号。
声学回声参数wa可以指示当播放音频源信号s时耳机所处的空间的声学特性。例如,wa参数指示耳机所处的物理空间如何对音频信号s施加失真,并且通常与耳机本身如何对音频信号s施加失真无关。耳机所在空间的大小、形状、配置和材料都可能影响wa参数。因此,当相同的耳机在不同空间中播放源音频信号s时,源音频信号s可基于相应空间的特定特性以略不同的方式失真。当已知各种其它值时,如音频源信号s、听觉音频信号r以及变换特性w0和T·wΔ,可以导出声学回声参数wa。
如本文中更详细描述的,声学回声参数wa可以应用在不同的上下文中,例如,基于用户耳朵的形成用于耳机的空间的配置为用户生成独特的声学签名,验证用户的身份,检测耳机是否被设置在用户的耳朵中,以及确定耳机或耳机所在的空间的温度。在一些实现方式中,声学回声参数wa能够包括多个值(例如,数十或数百个值),其共同指示耳机所处的空间的脉冲响应。因此,脉冲响应函数能够建模由耳机所处的空间的声学特性产生的音频信号s的变换或失真。
在一些实现方式中,一旦已经识别出其它相关参数,音频处理设备可以通过针对温度T和声学回声参数wa的值求解公式1来确定这些值。在图6的流程图中表示了使用上述公式1确定或对T和wa求解的示例过程600。在一些实现方式中,过程600可以由使用具有电声换能器的传统耳机(如耳塞或耳机)的音频处理设备执行以输出和感测音频信号。为了针对给定空间导出T和wa,耳机位于该空间中,同时通过耳机播放音频源信号s(阶段602),并且同时记录来自由耳机换能器生成的电信号的听觉信号r(阶段604)。例如,用户可以通过将耳机放置在用户的耳朵处并且在音频处理设备上选择启动执行过程600的控制来提示确定针对用户的耳朵中的一个的声学回声参数wa。在一些情况下,wa的值可以部分地取决于耳机在空间中的位置和取向,并且因此用户可以注意将耳机定位在空间中的期望位置处或附近以确定wa参数。在一些实现方式中,空间可以与wa参数的多组值相关联,每一组与耳机的在空间中的不同位置相对应。
在阶段606处,音频处理设备识别固有耳机参数w0和wΔ。这些可在音频处理设备上本地校准,在音频处理设备上存储,或者从远离音频处理设备的计算系统(例如,基于互联网的服务器系统)获得。音频处理设备可以识别针对特定地应用于由用户佩戴的耳机的固有参数的值。这些值可不基于耳机的位置或耳机在空间中的定位而改变。
在阶段608处,音频处理设备选择音频源信号s的第一段和听觉信号r的相对应段以在初始迭代中进行处理。所选择的听觉信号r的段与音频源信号s的第一段相对应,因为所选择的r的段指示在其中播放第一段音频信号s的相同时段期间发生的并且通过耳机的电声换能器输出到该空间中的听觉信号。例如,如果系统正以1000Hz播放和记录音频,则所选择的r和s段可以包括所播放得信号的电压和0.001秒时间的间隔或每0.001秒记录的记录信号的电压。
在阶段610处,音频处理设备确定源缩减的听觉信号rdiff。能够通过从所记录的听觉信号r的所选段中减去所选择的音频源信号s的段和w0的卷积来计算源缩减的听觉信号rdiff(即rdiff=r-s*w0)。从分析公式1可看出,rdiff表示记录声音的部分,其排除耳机对该记录的w0效应。
在阶段612处,音频处理设备将与温度相关的听觉信号rΔ确定为音频源信号s的所选段和wΔ的卷积(即,rΔ=s*wΔ)。从分析公式1也可以看出,rΔ表示记录的声音的部分,其排除了耳机的对该记录的w0效应。
在阶段614处,音频处理设备然后能够确定温度T(绝对温度T或表示相对于基线温度T0的偏移的温度)。该温度T能够通过识别使得rdiff与T和rΔ的卷积之间的差最小化的T值来确定(即,T=argminT(rdiff–T*rΔ)。在一些实现方式中,能够使用最小二乘估计技术来确定使该表达最小化的T值。T的识别值能够是耳机的确定温度。从分析公式1可以看出,T的这种识别没有考虑到对wa、e和N可能施加的记录信号的影响。这可能是因为可以假设wa是最优的并且e和N在各种系数值的初始确定期间对T的识别可以具有可忽略的影响。
在阶段616处,在确定针对T的值(阶段614)之后,音频处理设备然后确定针对听觉信号声学回声ra的值。听觉信号声学回声通常是由耳机播放的音频产生的记录的听觉信号r的分量,并且是由于该耳机的声学特性而在音频源信号s上施加的失真(如不考虑wa、e和N)。能够通过识别记录信号r并从中减去下述部分来计算听觉信号声学回声ra:(1)音频源信号的所选段s和w0的卷积,和(2)T、音频源信号的所选段s和wΔ的卷积(即ra=r-s*w0-T*s*wΔ)。
在实践中,T的值以及因此ra的值趋于快速变化。耳机可以变热,例如,它放入用户耳朵中的时间较长,或者基于在歌曲的不同段期间的源音频信号s的增加的强度或者由于用于播放源音频信号s的用户增加音量的结果。为了考虑这些快速变化的值,过程600可以在计算声学回声参数wa的值之前为音频源信号s的多个小段和记录的听觉信号r中的每一个来确定T和ra的新值。例如,可以针对r和s的小段(例如,在0.05和2秒之间)计算T和ra,然后基于从多个段确定的值经过更长时间(例如,2-10秒)之后计算wa。这些值可以在阶段622处被平均或以其它方式组合。在一些实现方式中,能够每0.2秒重新计算wa的值(即,每0.2秒的ra的间隔的大小)。在一些实现方式中,用于计算wa的这些间隔能够甚至更小,诸如每0.05或0.1秒。在每个间隔处计算的ra值能够通过级联(即,通过将rdiff分成不同的段,找到针对每个段的相应T值,计算ra并级联它们)组合。如果在确定wa之前仍然要处理源信号s和听觉信号r的附加段(阶段622),则在阶段620处,音频处理设备选择信号s和r的下一段并返回到阶段610以进行附加的迭代。过程600可以继续这些迭代,直到已经经过迭代的阈值数量或者直到满足另一个条件。
在阶段622处,音频处理设备然后确定声学回声参数wa的值。在一些实现方式中,wa的值能够被计算为使表达式||s*wa-ra||最小化的值。可以使用诸如小最小二乘估计的各种技术来确定使该表达式最小化的值。通过分析公式1可以看出,声学回声参数wa的确定可以不考虑e和N的值。
一旦计算出T和wa,就可以计算e和N。系统可以在执行这样的计算之前等待确定的时间量,以使耳机的温度平稳(例如,至少5或10秒)。此时,可以知道公式1的所有其它值,并且可以计算e和N的组合。如果系统能够确定任一信号的特征(例如,使用另一个麦克风来记录两个记录共有的e的变化),则可以能够将针对e的值与针对N的值分离开。
参考返回到图2A,示出了示例音频处理设备202的框图,该示例音频处理设备202可以被配置为执行本文描述的各种方法的操作。设备202可以是例如通常能够播放、记录和处理音频信号的便携式媒体播放器、智能电话、平板计算设备、可穿戴计算设备、笔记本或台式计算机、电视、或其它类型的计算设备。
设备202包括音频处理器220,其具有用于播放音频源信号的播放器222和用于记录由麦克风212感测的信号的记录器224。具有一对耳机206a和206b(包括相应的电声换能器208a、208b和可选的单独的麦克风210a、210b)的耳机组204可以经由端口226(例如,标准的3.5mm音频插孔)连接到音频处理设备202。耳机组204可以是传统的现成设备,其不具有内置在耳机中的专用麦克风。在一些实现方式中,耳机组204可以是专用设备,其例如包括内置麦克风210a、210b。在一些实现方式中,音频处理设备202可以包括:控制器218,其协调由设备执行的操作;认证引擎228,其执行用户的基于听觉的认证;声学建模引擎238,其为用户生成声学回声wa的值和声学签名;外部噪声检测器236,用于识别环境声音和在环境声音中预先记录的音频信号的出现;以及噪声消除引擎240,用于使用关于由外部噪声检测器236识别的预先记录的音频信号的信息来执行主动噪声消除。该设备还可以包括通过网络216的、与服务器214通信的通信接口242,例如,以识别预先记录的声音并获得声学回声wa的预先存储的模型。在一些实现方式中,音频处理设备202可以具有与全部这些组件相比更少的组件,或者可以仅包括这些组件的特定组合或子集。作为说明,在其中耳机经由蓝牙或其它无线连接件连接到音频处理设备的那些示例中,至少一些音频处理可以由耳机处的电路执行(例如,可以在耳机处执行编解码、数字-模拟输出转换、和输入模拟-数字转换)。外部麦克风212还可以通过永久硬线连接件直接连接到耳机中的音频处理电路,而不是通过永久硬线连接件(例如,不通过可释放的3.5mm音频插孔)连接到音频处理设备202。在以下部分中描述由音频处理设备202执行的操作的细节。
配置同时播放和记录
系统能够使用单个换能器来播放和记录音频。举例来说,如从考虑到下述的本文中描述的技术的预期应用的视角理解的,可以安置现成的耳机组中的换能器,使得它产生朝向耳道的声音,并且也使用该换能器作为麦克风,设定其朝向耳道的方向以接收声音,这可能是有用的。可以通过在播放和记录功能之间交替变化,或者通过同时播放和记录来实现使用耳机组换能器以播放和记录音频二者。在前者情况下,声卡输出端口和声卡输入端口都可以被连接到换能器,并且声卡可以在向换能器输出信号和记录由换能器生成的信号之间交替变化,如通过反复地播放200ms的音频且然后记录音频10ms。
关于第二选项,能够同时播放和记录音频。这样做使计算系统能够分析所播放的音频和所记录的音频之间的差异,这可能是有帮助的,因为它允许计算系统确定其中播放音频的环境的特征(如环境的温度、来自环境的声音和诸如形状的环境的音频反射特性)。然而,为了增强音频的同时播放和记录,修改耳机换能器和声卡(如声卡编码解码器)之间的典型标准连接件是有帮助的。修改能够包括在换能器和音频电路输出或输入之间插入电阻器。实际上,这种插入件可能与在音频电路输出和输入端口之间插入电阻器相同。该插入的电阻器在图2B中图示为RADDED。在讨论通过添加该电阻器提供的益处之前,本公开提供了换能器操作的简要且在一定程度上简化的概述。
现在参考图2B,该图示出了左侧的编码解码器250,其表示能够将电信号输出到换能器(例如,通过VPLAYED输出端口)并且能够输入/分析从换能器接收的电信号的电路(例如,通过VRECORDED输入端口)。编码解码器可以位于移动设备(例如,电话)中,或者可以位于头戴式耳机中(例如,在蓝牙连接的耳机的电路中)。在图的右侧是耳机260,其包括换能器。在此示例中,将VPLAYED和VRECORDED端口都连接到换能器,该换能器使用在扬声器配置和麦克风配置二者中。这与典型的操作形成对比,该典型操作根据换能器是将被用作为扬声器还是麦克风将涉及VRECORDED端口或VPLAYED端口中的一个自身地连接到换能器。
当将换能器作为扬声器连接到音频电路的VPLAYED端口时,换能器根据在VPLAYED处输出的电压移动以创建声波。关于典型音频换能器的构造和功能的一些讨论可以有助于说明如何创建和记录声音,以及本文描述的配置如何增强音频的同时播放和记录音频。典型换能器的主要组件之一是锥体。这是换能器的前后移动以创建声波的部分,并且是观看扬声器的前部时所看到的部分。它能够由诸如纸材料、纸复合材料和层压材料、或塑料材料的各种柔性材料制成。锥体在其中移动的扬声器的固定框架称为篮筐(basket),并且锥体通过围绕边缘的垫圈连接到篮筐,该垫圈也可以是纸材料、塑料材料或橡胶材料。在锥体的中心是线圈,其通常连接到锥体的后侧,并且当从扬声器前面观察扬声器时不可见。因为线圈连接的锥体的中心可以被悬挂在空间中(锥体仅在其外圆周处连接),所以线圈连接到锥体并且能够与锥体一起向前和向后移动。围绕线圈但由空气隔开的是固定在框架上的电磁铁。向电磁铁施加电压能够感应出电场,以使线圈吸引到电磁铁上。因为电磁铁可能从线圈移位,所以感应电场可能使线圈前后移动。因此,向电磁铁施加电压会影响连接到线圈的锥体的位置。另外,因为锥体可以具有由垫圈和锥体的弯曲特性施加在其上的偏置力,所以给定电压可能不一定与锥体的固定位置相对应。实际上,电压或音频信号通常是振荡的,以表示通过换能器的运动输出的各种频率,并且施加到换能器的历史电压影响其定位。在该示例中,电压将通过音频电路通过VPLAYED端口提供给换能器。
然而,换能器的位置并不完全由VPLAYED端口提供的电压来设定。实际上,设想当换能器正在播放音频或冲击波击中换能器时,用户在锥体上按压。在这两种情况下,锥体的位置都偏离了在没有任何外部影响的情况下预期的位置。此外,由于任何外部影响导致的锥体的移动影响了电磁铁上的电压。实际上,正如发电机通过相对于电磁铁移动组件以在该电磁铁上感应电压信号而工作一样,移动换能器的锥体和线圈能够跨电磁铁的端子感应出电压和电信号。实际上,这就是图2B所示电路在如果耳机/换能器仅连接到VRECORDED端口(不是VPLAYED端口)的情况下如何可以用作记录设备。在这样的示例中,击中换能器的压力波(例如,声音)将被电磁体转换为电压,该电压将被提供给VRECORDED端口以使编码解码器能够对该端口处的变化的电压值进行采样并输出表示由换能器记录的声音的数字数据流。
这样,能够看出的是,将VPLAYED或VRECORDED端口连接到换能器如何一次至少一个地能够使用该换能器使能播放音频或记录音频。然而,因为VPLAYED和VRECORDED可以短接在一起并且将被驱动到相同的电压(例如,通过与电阻小于0.1、0.5或1欧姆的导体连接),所以将两者同时连接到换能器可能不是有效的。引入在VPLAYED和VRECORDED端口之间连接的电阻(例如,电阻至少为2、5、10、50或100欧姆),并且然后将换能器直接地连接到VPLAYED和VRECORDED端口中的一个(例如,再次使用上述电阻值的导体)允许在VPLAYED和VRECORDED处的电压不同,使VRECORDED能够感测在跨换能器电压的电压与在VPLAYED处的电压如何不同。在这个示例中,电阻器的放置被图示为放置在VPLAYED端口和换能器之间,其中VRECORDED端口直接连接到换能器,尽管也可以可替选地将电阻器添加到VRECORDED线路并且可以将VPLAYED直接连接到换能器。
添加RADDED电阻使得在VRECORDED处的电压不同于在VPLAYED处存在的电压。由于VRECORDED连接在换能器和地之间,所以就像换能器一样,VRECORDED因此能够感测换能器的电压。例如,假设在VPLAYED处存在5V,并且由于RADDED和RTRANSDUCER之间的分压,所以换能器两端的电压预期为4V。如果由于受外部声音影响的换能器的运动,换能器两端的电压不同于4V,例如,电压为4.1V,则VRECORDED将测量该电压。然后,计算系统能够确定在预计电压4V和在某个时刻测量的电压存在0.1V的偏差。定期执行该确定,计算系统能够提取与VPLAYED信号不同的记录信号VRECORDED的分量的相对小但随时间变化的信号。
在一些示例中,将RADDED插入到电路中可能不会显著影响换能器的性能,但是可以降低提供给换能器的电压或者在VRECORDED处记录的电压的幅度,这取决于电阻器是否被分别放置在VPLAYED端口或VRECORDED端口。这种减小可以类似地减小由换能器输出的音量或记录的音量。这样,计算系统可以被配置为将RADDED电阻器切换进电路和切换出电路,例如,当已经指示计算系统同时播放和记录音频时,仅将电阻器切换到电路中。如上所述,当电阻器从电路中切换出来时,耳机端口可使用最小电阻的导体直接连接到适当的VPLAYED或VRECORDED端口。计算系统可以同时打开将VRECORDED连接到耳机的开关,使得VPLAYED和VRECORDED在移除RADDED的情况下不会短路在一起。
在一些示例中,VRECORDED端口可以是通常被指定用于专用麦克风(例如,旨在捕获用户语音的索线上的从头戴式耳机悬挂的麦克风)的端口。这样,计算系统可以被配置为当已经指示计算系统在单个换能器上同时播放和记录音频时,将VRECORDED端口切换为连接到与VPLAYED端口相同的换能器。这样,当头戴式耳机可能处于其典型操作时,计算系统可以使VRECORDED端口打开或连接到不同的麦克风。在这样的示例中,计算系统能够在可用或期望时使用专用麦克风,并且当专用麦克风不可用时或者当希望使用相同的换能器用于播放和记录音频两者时,能够使用相同的换能器作为扬声器或麦克风。
现在参考图2C,该图示出了到左侧的具有ADC(模数转换器)和DAC(数字-模拟转换器)以及右侧处的针对用户的头戴式耳机的表示的示意图。电阻器R被连接在两者之间。该示意图类似于图2C中所示的示意图,DAC表示VPLAYED,ADC表示VRECORDED,R表示RADDED,以及H表示RTRANSDUCER(编码解码器的接地连接未在图2C中表示)。与图2B中的示意图的主要区别在于ADC包括跨电阻器R连接的正端子和负端子,而不是仅连接到电阻器R的耳机侧的ADC。这种配置可以使用在包括具有正端子和负端子的差分ADC的编码解码器中,并且可以表示差分电路,其中,ADC能够测量电阻器R上的电压差。在一些实现方式中,与图2B中所示的配置相比,这种配置可以提供增加的动态范围。通过编码解码器或另一计算设备的处理可以类似于图2B中的示意图所执行的处理。例如,由于改变头戴式耳机耳机H的电阻的压力波,电阻器R上的电压可能与对由DAC提供的给定输出预期的电压不同。编码解码器(或另一计算设备)可能能够通过比较跨通过ADC的电阻器R的预期测量值和实际测量值,来确定这些压力波对头戴式耳机耳机的影响。
现在参考图2D,该图示出了具有两个ADC、两个DAC和两个电阻器R的示意图。该示意图类似于关于图2C呈现的示意图,但是示出了双通道实现方式(左通道和右通道)而不是单通道图示。简而言之,每个通道都有:输出音频信号到其各自的通道的其自己的DAC;在DAC和进入用户耳机的、到音频插孔的相对应的输入端(或在不包括音频插孔的无线实现方式中进入到相对应换能器的电线)之间的它自己的电阻器R;以及,用于测量电阻器R两端的差的其自己的ADC。在该示例中,还存在ADC,用于麦克风输入,例如,用于可位于音频插孔和耳机之间的索线内联的麦克风。该特定音频编码解码器可以具有额外的ADC输入,其可用于测量电阻器RR和RL两端的电压。与图2C中的ADC正和负输入相比,ADC正和负输入被反转,但是差分电路可以在电路中被配置有不同配置中的正和负ACD输入。
基于听觉的用户认证
在一些实现方式中,通过耳机的一个或多个电声换能器播放和记录的音频信号可以用于实现能够验证用户身份的认证能力。认证能够大致地被分为两个主要阶段:(i)登记和(ii)验证。这些阶段在图3的流程图中表示。在登记阶段(302)期间,用户与音频处理设备交互以生成向用户的账户注册的一个或多个声学签名。声学签名就像与用户相关联的独特指纹,例如,由用户的耳道的提供不同的声学特性的独特几何形状产生。在验证阶段(304)期间,音频处理设备确定用户的耳朵处的听觉信号的特征是否匹配与用户相关联的声学签名(例如,向用户的账户注册),并且基于是否确定验证用户的身份的匹配来触发不同的动作。
例如,当用户到达银行网站的登录页面时,用户的计算设备可以自动执行这里讨论的听觉认证过程以验证用户的身份,以代替用户在页面中键入凭证。如果用户被认证,则用户可以被允许登录与用户相关联的银行账户的门户。
然而,基于听觉的认证不限于单个的、离散的认证的实例(例如,用户的身份的一次性验证以确定是否授予用户对受限站点的访问)。在一些实现方式中,本文讨论的听觉技术能够用于例如在受限活动的过程期间随着时间连续地和重复地认证用户。例如,当用户登录他或她的个人银行账户的门户时,用户可以佩戴将一对耳机定位在用户的耳朵处的头戴式耳机。当用户与银行站点交互时,设备可以根据例如图5的过程500通过头戴式耳机播放和记录声音,以监视用户的状态并且在银行站点在设备上打开时连续地验证授权用户存在。如果用户移除头戴式耳机,则认证过程能够确定授权用户不再存在并且能够自动使设备退出站点,从而确保未授权用户不能够劫持授权用户的账户。在一些实现方式中,如果认证失败,则站点可以提示用户确认他或她的身份,或者可以立即或在限定的延迟之后自动将用户退出站点。
图4描绘了用于在音频处理设备上登记用户的示例过程400,包括为对用户生成和注册声学签名。
在阶段402处,音频处理设备接收输入以发起登记。在一些实现方式中,设备可以呈现用户界面,其提示用户登记并提供用户所需动作的逐步指令,诸如将耳塞插入到耳朵中、调整耳塞的位置、确认听到了声音等的指令。
阶段404处,音频处理设备通过耳机播放源音频信号s。音频处理设备可以例如驱动耳机中的电声换能器的振动膜以使耳机生成用于音频信号s的声波。各种类型的音频内容可以由源音频信号s表示。在一些实现方式中,源音频信号s可以是用户已经选择在给定时间收听的熟悉的歌曲、播客、或其它音频轨迹。在一些实现方式中,如果耳机位于用户的耳朵处,则源音频信号s可以是白噪声,其对用户是可听见的。在一些实现方式中,源音频信号s可以在人类听觉的正常范围之外(例如,高于20千赫兹),使得即使耳机位于用户的耳朵处,用户也不能够听到音频源信号s。例如,听不见的源信号s可以是有益的,以便使得能够在不以不想要的声音干扰用户的情况下或者在用户可能更喜欢静音或最小噪声的其它环境中执行耳机检测过程。在一些实现方式中,可以将听不见的源信号s添加到用户已经选择在设备上播放的可听信号(例如,音乐或其它音频内容)而不被用户检测到。在一些实现方式中,音频处理设备可以提供物理或虚拟接口(例如,通过在音频处理设备的电子显示器上呈现的图形用户界面),其允许用户选择要播放用于耳内检测的音频信号s的类型(例如,白噪声、听不见或预先记录的可听声音信号)。音频信号可以针对相对短的时间跨度(例如0.05-3秒)播放,或连续播放。
在阶段406处,音频处理设备记录在播放音频源信号s时耳机所在的用户的耳朵处发生的声音的听觉音频信号r。在一些实现方式中,能够由音频处理设备基于由输出音频源信号s的相同耳机换能器感测的信息来记录听觉信号r。音频处理设备可以同时播放音频源信号s并记录听觉音频信号r(例如,通过驱动换能器并同时计算换能器的电压,或者通过以时分双工方案以高频彼此交替执行播放和记录,使得用户不会感觉到播放正在通过记录中断,诸如每次交替不超过每1ms、0.1ms或0.01ms)。在一些实现方式中,音频源信号s和听觉音频信号r实际上可以同时播放和记录,而不在各级之间交替。在一些实现方式中,耳机可以包括与第一换能器分离的第二换能器,其中,第二换能器用作专用麦克风,并且第一换能器是专用扬声器。
在阶段408处,音频处理设备在设备播放音频源信号s并且记录听觉信号r的时间段期间确定与耳机的当前位置相关联的声学回声wa的值(例如,耳机的声学回声的脉冲响应)。在该阶段(408)处确定的声学回声wa指示其中耳机当前所在的空间的特性。然后,基于所确定的声学回声wa的值生成声学签名。在一些实现方式中,声学回声wa的值本身形成声学签名。在一些实现方式中,可以进一步处理、过滤和/或加密声学回声的值以生成用户的声学签名。
在一些实现方式中,音频处理设备可以在登记阶段期间为用户生成一组多个(例如,5-10个)声学签名。可以将不同属性分配给声学签名中的识别声学签名的相应上下文的不同的声学签名。例如,属性可以指示用于声学签名的特定耳机类型、品牌或型号,其与用户在登记期间提供的耳机相对应。属性还可以指示耳机侧(例如,耳机是用于用户的左耳还是右耳)以及耳机在耳朵处的位置。音频处理设备可以例如提示用户将耳塞旋转到耳朵中的不同位置,使得能够确定可能签名的集合并且其能够与用户相关联,其中的任何可以在验证阶段期间是有效的,这取决于用户稍后将耳塞放在他或她耳中的位置。在阶段412处,声学签名与用户的账户相关联地被存储。
在阶段414处,音频处理设备确定是否在额外的耳内位置处向用户提示需要签名。例如,音频处理设备可能需为用户生成并注册预定义数量n的声学签名以完成登记,并且过程400可以继续直到达到数量n的有效签名。如果需要额外的声学签名,则过程400前进到阶段418,并且设备提示用户将耳机调整到新位置。然后,过程400从阶段404重复,以针对耳机的改变位置生成用户的声学签名。一旦生成了足够的声学签名集,就完成登记(阶段416)。
转到图5,示出了用于验证用户身份(即,认证用户)的示例过程500的流程图。通常在用户已经在设备上登记并激活基于听觉的认证服务之后执行过程500。
在阶段502处,音频处理设备接收用于启动认证过程的指令。该指令可以是以向设备的用户输入的形式,或者可以是来自设备上的操作系统或应用的指令,该应用例如是调用与基于听觉的认证服务相关联的API的应用。
在阶段504处,音频处理设备通过耳机播放源音频信号s。音频处理设备可以例如驱动耳机中的电声换能器的振动膜以使耳机生成用于音频信号s的声波。各种类型的音频内容可以由源音频信号s表示。在一些实现方式中,源音频信号s可以是用户已经选择在给定时间收听的熟悉的歌曲、播客、或其它音频轨迹。在一些实现方式中,如果耳机位于用户的耳朵处,则源音频信号s可以是白噪声,其对用户是可听见的。在一些实现方式中,源音频信号s可以在人类听觉的正常范围之外(例如,高于20千赫兹),使得即使耳机位于用户的耳朵处,用户也不能够听到音频源信号s。例如,听不见的源信号s可以是有益的,以使得能够在不以不想要的声音干扰用户的情况下或者在其中用户可能更喜欢静音或最小噪声的其它环境中执行耳机检测过程。在一些实现方式中,音频处理设备可以提供物理或虚拟接口(例如,通过在音频处理设备的电子显示器上呈现的图形用户界面),其允许用户针对耳内检测选择要播放的音频信号s的类型(例如,白噪声、听不见或预先记录的可听声音信号)。音频信号可以针对相对短的时间跨度(例如0.05-3秒)播放,或连续播放。
在阶段506处,音频处理设备记录在播放音频源信号s时耳机所在的用户的耳朵处发生的声音的听觉音频信号r。在一些实现方式中,能够由音频处理设备基于由输出音频源信号s的相同耳机换能器感测的信息来记录听觉信号r。音频处理设备可以如上所述同时播放音频源信号s并记录听觉音频信号r(例如,音频源信号s和听觉音频信号r同时被播放和记录,而不在各级之间交替)。在一些实现方式中,耳机可以包括与第一换能器分离的第二换能器,其中,第二换能器用作专用麦克风,并且第一换能器是专用扬声器。
在阶段508处,在音频处理设备播放音频源信号s并且记录听觉信号r的时间段期间,该设备确定与耳机的当前位置相关联的声学回声wa的值(例如,耳机的声学回声的脉冲响应)。在该阶段(508)处确定的声学回声wa表示耳机当前所在的空间的特性。
在阶段510处,音频处理设备将针对在阶段508处确定的声学回声wa确定的值与存储的与用户相关联的声学签名作比较。如果识别出匹配(阶段512),则可以允许执行指定的活动(阶段514),诸如登录受限账户或解锁智能手机。如果未识别匹配,则可以拒绝指定的动作或由音频处理设备采取不同的动作(阶段514)。
在一些实现方式中,设备可以存储使用该设备的多个不同人的声学签名。然后能够执行认证过程500以识别具有在设备上注册的声学签名的多个不同用户中的特定用户。例如,平板计算设备可以在多人家庭中的不同家庭成员之间共享。设备可以基于其中用户将耳机所置于的听觉认证过程(例如,收听音乐、播客、视频音频轨迹)来确定谁正在与设备交互,并且设备识别用户的wa值并将wa值和与不同家庭成员相关联的声学签名作比较。该比较可以基于例如与所导出的wa值最接近匹配的声学签名来揭示哪些家庭成员当前正在使用该设备。在一些实现方式中,可以基于听觉标识将内容定向到特定用户。例如,视频流应用可以具有与设备上的多个人相关联的账户或简档。视频流应用可以使用基于听觉的验证来自动确定要打开的谁的账户或简档。在一些实现方式中,可以基于设备上的给定用户的标识向用户提供内容建议或推荐。例如,设备可以保持由不同用户播放的音乐或视频的记录,并且可以将记录与用户的相应用户账户或相应的声学签名相关联。当一个人被验证时,该设备可以访问由那个人先前播放的媒体的记录,并确定要向那个人播放或建议的其它内容。在一些实现方式中,能够对用户不可见地执行基于听觉的认证的验证阶段。例如,当用户通过头戴式耳机收听媒体文件时,设备可以连续地或在特定时间处执行用户验证过程来识别收听媒体文件的用户,以收集关于用户的内容的偏好的信息,以制作对用户的个性化内容选择和推荐,或以其它方式使设备上的体验适应用户的个人偏好。
检测用户耳朵处的耳机
在一些实现方式中,音频处理装置可被操作以检测耳机是否位于用户的耳朵处或不位于用户的耳朵。对于被配置为在耳朵内放入的耳塞,音频处理设备可以确定何时已经将耳塞插入到用户的耳朵中或何时将耳塞从用户的耳朵移除。对于耳机(例如,来自耳机设备),音频处理设备可以确定何时已经将耳机放置在用户的耳朵上或者何时已经将其从用户的耳朵移开。如以下段落中所述,检测到的耳机在用户的耳朵处的存在或不存在,或者检测到的耳机相对于用户的耳朵的位置的改变可以触发要由音频处理设备或与音频处理设备通信的另一计算设备或者系统执行的指定动作。例如,如果当用户通过他或她的音频处理设备收听音乐或另一个音频源信号s并且用户故意从他或她的耳朵移除耳机以将他或她的注意力引导到另一活动时,则音频处理设备可以检测到耳机已经从耳朵移除并自动使设备上的媒体播放器应用暂停该音乐。稍后,当用户准备再次开始收听音乐时,用户可以简单地将耳机定位在耳朵处,以使设备自动地从其中该轨道之前已经暂停的音频轨迹中的相同位置恢复音乐的回放。
参考图7,所描绘的流程图示出了用于确定耳机相对于用户的耳朵的当前位置,并且具体地,耳机是否位于用户的耳朵处或远离用户的耳朵的示例过程700。与仅仅确定任何对象存在在耳机附近的区别的是,该过程可以能够具体地确定耳机是否位于用户的耳朵中。在一些实现方式中,过程700可以由诸如音频处理设备202(图2A)的本文描述的设备和系统执行。
在阶段702处,音频处理设备通过耳机播放源音频信号s。音频处理设备可以例如驱动耳机中的电声换能器的振动膜以使耳机生成用于音频信号s的声波。各种类型的音频内容可以由源音频信号s表示。在一些实现方式中,源音频信号s可以是用户已经选择在给定时间收听的熟悉的歌曲、播客或其它音频轨迹。在一些实现方式中,如果耳机位于用户的耳朵处,则源音频信号s可以是白噪声,其对用户是可听见的。在一些实现方式中,源音频信号s可以在人类听觉的正常范围之外(例如,高于20千赫兹),使得即使耳机位于用户的耳朵处,用户也不能够听到音频源信号s。例如,听不见的源信号可以是有益的,以使得能够在不需要以不想要的声音干扰用户的情况下或者在其中用户可能更喜欢静音或最小噪声的其它环境中执行耳机检测过程。在一些实现方式中,音频处理设备可以提供物理或虚拟接口(例如,通过在音频处理设备的电子显示器上呈现的图形用户界面),其允许用户选择用于耳内检测的要播放的音频信号s的类型(例如,白噪声、听不见或预先记录的可听声音信号)。音频信号可以针对相对短的时间跨度(例如0.05-3秒)播放,或连续播放。
在阶段704处,音频处理设备在播放音频源信号s时记录耳机所处的空间产生的声音的听觉音频信号r。在一些实现方式中,可由音频处理设备基于由输出音频源信号s的相同耳机换能器感测的信息来记录听觉信号r。音频处理设备可以同时播放音频源信号s并记录听觉音频信号r,或者可以例如以时分双工方案彼此交替地执行播放和记录。在一些实现方式中,耳机可包括与第一换能器分离的第二换能器,其中,第二换能器用作专用麦克风,并且第一换能器是专用扬声器。
在阶段706处,音频处理设备在设备播放音频源信号s并记录听觉信号r的时间段期间确定与耳机的当前位置相关联的声学回声wa的值。在该阶段(706)处确定的声学回声wa指示其中耳机当前所处的空间的特性。根据耳机当前是位于用户的耳朵处还是不位于用户的耳朵,wa的值可以显著地变化,从而允许根据wa值确定耳机的位置。在一些实现方式中,如先前所描述,音频处理设备根据图6中阐述的过程600来确定wa的值。
在阶段708处,音频处理设备访问与先前确定位于用户的耳朵处的耳机相关联的声学回声wa-stored的预先存储的值。因此,wa-stored的值表示如果耳机位于用户的耳朵处将会预期的值。可以基于来自先前实例的声学回声的分析来确定wa-stored的值,在先前实例中,耳机被确定为位于(i)针对其设备在阶段706处确定wa的相同用户的耳朵,(ii)其它用户(例如,与耳内检测服务的提供者相关联的用户或测试者)的耳朵,或(iii)来自阶段706的同一用户和其它用户二者的耳朵。在一些实现方式中,可以基于从服务器系统推送到音频处理设备的更新值或者基于来自音频处理设备的用户的反馈来自动更新wa-stored的值,该反馈指示先前确定的耳机的位置是否是很准确。
在一些实现方式中,音频处理设备可以基于由用户佩戴的特定耳机或基于耳机的预测位置来访问针对wa-stored的不同值。由于声学回声参数wa的值可能对耳机设计之间的差异以及耳机在用户的耳朵处的位置差异敏感,耳机在用户的耳朵处的位置的差异会影响耳机所处的空间的声学特性,因此音频处理设备可以识别在过程700的过程中最接近地匹配用户耳机的条件的wa-stored的预先存储的值。例如,设备可以识别出连接到设备的耳机组是IPHONE耳塞,并且可以选择针对与这些类型的耳塞适当相关的wa-stored的值。在一些实现方式中,设备可以存储关于其处用户历史上将耳机定位在他或她的耳朵处的频率的信息,并且可以首先访问针对与用户最多将耳机放在他或她的耳朵处的一个或多个位置的wa-stored的预先存储的值。wa-stored的值可以不同于从仅仅放置在非耳对象附近或非耳对象内部的耳机确定的声学回声。换句话说,wa-stored的值可以特定于一个或多个用户的耳朵。在一些实现方式中,wa-stored的值可以反映从在任何对象(无论是否是耳朵对象)附近放置的耳机确定的声学回声,使得音频处理设备能够确定耳机是否是在任何对象附近。
在阶段710处,音频处理设备将wa的值(在阶段706处导出)与wa-stored的值(在阶段708处导出)作比较。在一些实现方式中,设备确定相似性分值,其指示wa的值与wa-stored的值的如何更接近地匹配。通常,这些值之间的更接近的匹配指示耳机的当前位置是在用户的耳朵处的更大的可能性。在阶段712处,音频处理设备可以相对于阈值分值评估相似性分值。如果相似性分值满足阈值(例如,大于或等于阈值分值),则过程700进至阶段714,并且设备输出耳机在用户耳中的指示。如果相似性分值不满足阈值,则过程700进至阶段718,并且设备输出耳机不位于用户的耳朵中的指示。在一些实现方式中,音频处理设备将针对wa的一个或多个值与wa-stored的或预定的函数、阈值、参数或容差的存储值作比较,以确定耳机是否是在任何对象(不一定是耳朵)附近。响应于确定耳机是在对象附近或不在对象附近,音频处理设备可以输出耳机在对象附近或不在对象附近的指示,以触发相对应的动作。
在一些实现方式中,可以基于耳机是否被确定为位于用户的耳朵中而在音频处理设备上或在另一设备上执行不同的动作。例如,可以基于识别出耳机位于用户的耳朵来执行第一动作(阶段716);可替选地,可以基于识别出位于耳机远离用户的耳朵来执行第二动作(阶段720)。在一些实现方式中,音频处理设备可以连续地监视耳机的位置,并且可以基于识别出耳机已经移动到用户的耳朵或者识别出耳机已经远离用户的耳朵而触发动作。
响应于确定耳机相对于用户的耳朵的位置,可以在音频处理设备或另一计算设备上执行的不同类型的动作包括:播放媒体文件,暂停媒体文件,停止媒体文件,恢复播放暂停的媒体文件,激活电子显示器,调整电子显示器的背光的亮度设置,将设备转换入到锁定模式中,将设备转换出锁定模式,发起电话呼叫,结束电话呼叫,启动应用、或关闭应用。例如,如果用户的耳机落在用户的耳朵之外,则媒体播放器可以暂停歌曲;电话应用可以结束呼叫,切换到设备的扬声器电话或其它内部扬声器,或者如果在用户的耳朵处不再检测到用户的耳机,则在呼叫中向各方发出警报;或者,媒体应用可以响应于确定耳机已经移动到用户的耳朵处的位置而开始播放歌曲或其它媒体文件。在一些实现方式中,例如,当设备检测到用户已经将耳机插回到他或她的耳朵中时,设备可以恢复到在移除耳机之前存在的模式,诸如在电话呼叫期间在从扬声器电话切换回耳机使用。
使用预先记录的声音进行有源噪声控制
在一些实现方式中,音频处理设备可以使用预先记录的声音来执行主动噪声消除。通常,这些技术允许设备访问预先存储的音频信号的存储实例,并使用预先记录的音频信号的所存储的实例来消除由于在用户的环境中播放该相同的预先记录的音频信号的另一个实例而引起的干扰或噪声。例如,用户可以在健身房锻炼期间佩戴耳机以收听他或她的个人播放列表上的歌曲。然而,健身房可以通过扬声器播放(或甚至轰鸣)音乐,并且健身房的扬声器音乐的存在可能使用户难以听到他或她的优选音频内容。因此,与用户的音频设备相关联的麦克风(例如,与输出播放的音频信号的换能器相同的电声换能器的麦克风、在用户的头戴式耳机上的单独的麦克风、在音频设备外部并且与用户的头戴式耳机分离的麦克风、内置在用户头戴式耳机中的麦克风或这些麦克风中的两个或更多个麦克风)可以记录识别用户周围的环境噪声的音频信号,该环境噪声包括通过健身房的扬声器播放的音乐。该设备可以处理所记录的音频信号以识别通过健身房的扬声器播放的特定音乐(例如,Lady Gaga歌曲、Rolling STones歌曲或Prince歌曲),并且然后可以访问相同音乐的副本并使用该副本来实时预测如何消除从在用户的环境中正在通过扬声器播放的歌曲所产生的噪声。
使用预先记录的声音用于主动噪声消除的一个显著益处是,与其它主动噪声消除方法相比,能够显著减少在生成经修改的噪声消除的音频信号中的等待时间。这是因为预先记录的音频信号的所存储的实例能够有效地用作音频处理设备能够在环境声音发生之前使用来预测环境声音的地图。
在图8的流程图中表示了示例过程800,例如使用预先记录的声音的噪声消除。在阶段802处,音频处理设备通过位于用户的耳朵处的耳机换能器播放源音频信号s。例如,用户可能正在收听播客,但他或她可能位于诸如餐馆、咖啡店或公共交通工具的嘈杂的环境中。在阶段804处,设备捕获由连接到设备的麦克风感测到的音频信号(例如,其中,麦克风可以是通过其播放源音频信号s的相同换能器)。所记录的音频信号包含环境噪声(即,用户周围的外部或环境噪声)。在阶段806处,设备识别在捕获的环境噪声中发生的预先记录的音频信号p。作为示例,预先记录的音频信号可以是作为商店或餐馆中的背景噪声在收音机上播放的特定歌曲。该设备可以通过访问预先记录的音频信号的数据库并将从麦克风记录的音频信号p的样本与在该数据库中存储的音频信号的部分作比较来识别特定的歌曲。在阶段808处,设备访问预先存储的音频信号p’的存储实例。然后,该设备将预先记录的音频信号p’的所存储的实例与在能够在歌曲在背景中继续播放时实时发生的外部噪声中出现的音频信号p同步。在阶段512处,设备使用预先记录的音频信号p’从音频源信号s中取消预先记录的音频信号p。例如,可以以与背景音频信号p同步的方式减去预先记录的音频信号p’(或从预先记录的音频信号p’导出的处理信号),使得预先记录的音频信号p’消除了背景音频信号p对音频信号s影响的失真。在WIPO公开版本WO2014/178054中讨论了用于执行主动噪声消除的附加技术,该专利的全部内容通过引用并入在本文中。
在一些实现方式中,能够通过使用耳机中的共同换能器以播放和捕获噪声来如下执行利用预先记录的音频信号的主动噪声消除。预先记录的音频信号被表示为p。从麦克风(例如,耳机中的公共换能器)记录的信号被表示为a。在该场景中使用的另一个参数是wroom,即,房间脉冲响应,其描述了p和a之间的关系。特别是,a是wroom和p的卷积。注意,该示例涉及“房间”和“房间脉冲响应”以指代用户的环境,其通常是其中扬声器输出音频内容的至少部分封闭的环境。
wroom参数的值可以随着用户围绕房间移动而变化,并且能够根据用户所处的房间本身的特性而变化。通常,wroom对其中用户所在的给定房间的配置、用户的在房间中的位置、扬声器的在房间中的位置、以及用户(即,用户的麦克风的)和扬声器的相对位置敏感。如果用户的位置和房间中的条件没有改变,则wroom的值通常可以保持不变,但另一方面,如果用户的位置或房间的其它条件确实改变,则wroom的值可能会因此有所不同。通常,对于非常小的时间的间隔(例如,0.01秒、0.1秒),wroom不会从一个间隔到下一个间隔显著改变。如果音频处理设备
当用户收听源音频信号s时,并且当一个或多个麦克风(例如,在用户的耳朵中放入的耳机的电声换能器)感测音频信号a,用户的音频处理设备可以连续且重复地重新校准wroom。一旦设备确定了wroom,并且设备已经从环境噪声识别出预先记录的音频信号p,则设备能够将a预测为针对下一个时间间隔(例如,0.1秒,同时wroom从预测的时间间隔开始相对恒定)p和w_room的卷积。在一些实现方式中,音频处理设备可以重新计算wroom并且对更低的等待时间(例如,每0.1-3毫秒)以甚至更高频率预测用于噪声消除的间隔。一旦设备确定a,设备就能够执行算法来“反转”信号,诸如找到当从耳机播放时输出-a的信号s,以消除背景噪声。
温度测量
使用本文中描述的技术,设备可以使用换能器(例如,位于耳机中以播放音频的换能器)测量温度。测量的温度可以是耳机的温度,但是使用本文所述的各种机构,可以推断出用户的耳朵的温度或其中耳机所处的环境的温度。使用耳机而不是专用温度计执行温度测量有各种益处。在不需要在一些实现方式中要求的对耳机进行任何修改的情况下,主要益处是已经在市场上的耳机可以转换成温度感测装置。这样,能够对耳机可以向其连接的电话和其它设备进行编程,以在不需要添加专用温度传感器的情况下感测用户或环境的温度。此外,这里描述的技术是有价值的,因为即使人们设计了耳机或移动设备以包括温度特定的传感器(例如,热敏电阻),由用户、电话、或耳机生成的热量也可能影响那个温度专用的传感器的温度。
利用耳机使移动设备能够测量的温度具有许多有益的用途。例如,诸如健身追踪器之类的健康应用可以定期记录用户的温度并随时间绘制它。这样,用户或计算系统能够将最近的用户温度与历史用户温度作比较以确定用户是否可能生病或用户的生理是否可能正在改变,并且可以向用户通知这些改变。例如,可以记录统计数据,以更好地估计运动员燃烧的卡路里,向运动员提醒在锻炼期间可能的体温过高,以及估计女性排卵的天数。这种机制还可以跟踪作为运动效果的函数的环境温度(例如,通过绘制跑步时间对比室外温度)。
至少两种示例性机制能够使用换能器测量温度。第一示例性机制是基于耳机温度对耳机的电特性的影响来估计耳机(如换能器线圈)本身的温度。该机制使用本文献中前面描述的公式1来确定在不同时间点处的T。这种机制可以用于大多数或所有耳机,只要系统具有针对该类型耳机的校准信息即可。尽管如此,耳机可能需要一段时间才能加热或冷却到其环境温度,因此本文描述的机制能够分析耳机的在温度的变化以估计未来的耳机温度。能够将未来的耳机温度与校准数据作比较,以推断当前的环境和/或用户温度。第二示例机制是分析记录的声音以确定用户的耳道中的空气的属性。因为诸如温度的空气的属性能够影响通过该空气的声音的播放,所以可通过分析所记录的声音来推断温度。本公开接下来将描述这些温度确定机制中的每一个。
第一机制:测量耳机温度
在第一机制中,如前所述,系统通过同时播放和记录音频(听觉或听不见)并检测由于耳机(例如其线圈)的温度变化引起的耳机电特性的变化来测量温度。这种情况类似于包含电阻器的电路的情况,该电阻器的电阻是与温度相关的,并且其中,电路的一部分连接到固定的输出电压(例如,声卡输出),以及电路的另一部分连接到电压表(例如,声卡输入)。利用这种配置,能够确定电路的电流脉冲响应。能够将电流脉冲响应与先前存储的、与温度相关的脉冲响应作比较,以确定电阻器的当前温度。相对于关于过程900(参见图9A-图9D)图示的过程的某些部分详细描述该过程。
在框902处,计算系统通过记录音频样本r的数量并在给定播放的音频样本s以及耳机的已知变换特性(诸如w0和wΔ)的情况下确定温度如何影响r从而确定T,耳机的已知变换特性影响所播放的音频信号。这样做涉及使用公式1。
在框904处,能够通过使用过程600的至少部分来执行框902的操作(参见图6)。具体地,计算系统能够执行过程600的步骤602-624以确定T。
在框906处,计算系统通过对T求解但是将高频噪声添加到输出音频信号s来执行过程600的变化。将该高频信号添加到s可能是有帮助的,因为在某些时间处s可能不以任何方式包括音频,并以及因为温度测量利用高频信号可能更有效。以这种方式修改s能够涉及利用对其的一些改变来执行过程600,这将在下面参考框908-914进行描述。
在框908处,计算系统可以设置s=s0+shighfreqs。示例高频信号可以是20,000Hz正弦波。
在框910处,如上所述,计算系统可以通过计算rdiff=r–s*w0,但利用已被修改为包括高频值的s值,来执行框610的操作。
在框912处,计算系统可以通过计算rΔ=shighfreqs*wΔ来执行框612的操作。在该示例中,操作替换shighfreqs代替s,因为shighfreqs可能适合于计算温度(尽管s=s0+shighfreqs可以用于其它计算,诸如wa的确定)。shighfreqs可能听不到,并且因此可能不会显著影响wa,但仍然在某些示例中,shighfreqs未被添加到s用于确定wa。
在框914处,计算系统可以通过确定最小化rdiff与T和rΔ的卷积之间的差的温度T来执行框614的操作(即,T=argminT(rdiff-T*rΔ))。然而,rdiff和rΔ的值可能受到shighfreqs的添加的影响。
在框916处,计算系统可以在确定的时间段上组合针对T的多个值。例如,系统可以连接在0.03、0.05、0.1、0.2或0.5秒长的时间段上确定的温度测量值。组合的示例类型包括平均和线性回归。
在框920处,计算系统使用在框916处确定的比例温度T来确定绝对温度。可以执行该确定,因为值T可以不提供绝对温度,但是可以简单地是基于温度的改变的电压值,并且该电压值能够通过提供偏移和缩放常数被转换为绝对温度(例如,摄氏度)。由于这里存在多个温度描述值,因此在框916处识别的绝对温度将标示为Tc,并且相对温度将标示为Tb。这些值组合成与用于标识偏移的β和用于表示缩放的α组合的公式提供了Tb=Tcα+β。
在框922处,计算系统(或另一系统)校准针对α和β的值。可以提前执行该校准(例如,在进行任何温度测量之前)。例如,可以在用户最初使用特定耳机时执行校准,或者能够由耳机的制造商或由另一第三方组织执行校准。在这些后面的示例中,校准值可以与移动设备或耳机一起装载,或者可以通过互联网数据库访问。存在至少六种机制来确定这些校准值,如下面参照框924-934进行描述。
在框924处,在第一机制中,用户佩戴耳机达确定时间量(如5或10分钟),并且假定该时间段之后的耳机温度是典型的用户身体温度。例如,可以假设或估计耳机温度是人的平均体温(例如,36.7度)。可能不存在对用户温度的测量。相反,可能只是存在耳机是人的平均温度的假设。在一些示例中,当将耳机放置在用户的耳朵中时,利用平均室温的房间中的平均体温将温度估计是为是耳机的典型温度。
在框926处,在第二机制中,用户佩戴耳机达确定的时间段,并且系统要求用户输入温度Tc,其可以是用户的温度或耳机和环境温度的平均温度。
在框928处,在第三机制中,将耳机放置在房间中,并且在确定的时间量之后,要求用户输入房间的温度。
在框930处,在第四机制中,在一天的不同时间和/或在不同的日处多次测量耳机的温度。在这样的示例中的平均或中值温度测量可以被指定为Tb,而根据天气历史数据在这样的时间处在移动设备和耳机的位置处的平均或中值温度可以被指定为Tc。
在框932处,在第五机制中,耳机可以放置在房间或其它环境中,并且系统可以连接到外部传感器,该外部传感器确定其中耳机所处环境的绝对温度Tc,而耳机被用于测量其相对温度Tb。
在框934处,在第六机制中,可基于已经校准的第一耳机来校准第二耳机。首先,可使用任何上述机制校准第一耳机。其次,系统然后可以设置wΔ=wΔ(α)(例如,通过将wΔ乘以系数并将其设置为新的wΔ)。第三,可以计算wΔ的一些特征并将其标示为C(例如,2模数(norm),C=||wΔ||或wΔ的频率响应的一些加权,或者两个频率中的耳机的响应之间的某个部分)。第四,用户可以将第二耳机连接到设备,并且设备可以计算wΔ的相同特征并且将该特征标示为D。第五,设备可以计算在给定C、D的情况下的第二耳机的wΔ,以及使用以下公式计算第一耳机的wΔ:wΔ-second_earpiece=C/D wΔ-first_earpiece。使用w0而不是wΔ的类似机制也适用。
温度的更快的预测
有时,耳机的传热系数很小,这意味着耳机线圈和振动膜有时需要一段时间以达到其环境温度。例如,在一些耳机中,时间常数约为100秒,这意味着如果将耳机从30摄氏度的口袋中取出并放置在15度环境中,则可能需要超过5分钟使得耳机达到15度,正负0.5度。
在框940处,计算系统识别耳机的稳态温度。这是耳机在环境中放置一定时间之后可以平衡的温度。换句话说,耳机可以具有与其稳定状态下的环境相同的温度。
在框942处,计算系统可以在将耳机的温度指定为稳态耳机温度之前等待确定的时间量(例如,在上述示例中为5分钟)。基本上,计算系统可以在将测量温度指定为稳态温度之前等待耳机温度升温或冷却。在一些示例中,该时间量的确定涉及计算系统确定温度何时停止变化或者温度变化率已经下降到低于确定的阈值。
在框944处,计算系统可以针对耳机使用随时间校准的温度变化的模型——以及耳机温度的最近变化——来估计未来耳机的温度(例如,在稳定状态下),即使耳机温度可能仍在变化,并且尚未达到稳定状态。使用该模型可以使得能够比等待耳机升温或冷却的时间更快地估计耳机稳定状态。下面参考框946到952描述了四个这样的模型。因为耳机可能具有带有线圈、塑料、振动膜和其它可能的特征的复杂主体,所以牛顿的冷却定律可能在某些情况下对耳机温度的估计不佳,因为牛顿的冷却定律可能最适用于简单的材料,诸如电阻温度探测器。
在框946处,作为第一示例,例如,在其中牛顿的冷却定律将提供对耳机的温度的充分估计的情况下,牛顿的冷却定律可以用于确定换能器的未来温度。
在该公式中,e是在时间t处的温度,r是取决于耳机类型的传热系数,以及Tenv是环境的温度。在以读取温度样本以估计Tenv为目标的情况下,系统能够使用以下四个步骤来预测在r未被校准时的温度:(1)使用在时间t1,t2,...tn的T1,T2,,...Tn作为输入;(2)使用近似值使用公式T′(t)=-r(Tenv-T(t))来求解MLa,b=argmina,b∑i(T′i-(a+bTi))2;并且,(4)设r=b,
如果r被校准,则可以执行以下两个步骤:(1)使用在时间t1,t2,...tn的T1,T2,,...Tn作为输入;并且(2)求解以下公式的MLSQ:
由于r已经被校准,因此第二组操作可以比第一组操作更快地执行。因此,一旦r已被校准,系统就可以执行第二组操作而无需重新校准r。
在框948处,作为第二示例,可以使用通用模型来确定将来某个时间的温度。存在减函数F+,F->0,使得(F+,F-→0),
如果T(t0)<Tenv:T(t+t0)=Tenv-F+ -1(t+F+(F+(t0)-Tenv))
如果T(t0)>Tenv:T(t+t0)=Tenv+F- -1(t+F-(F+(t0)-Tenv))
函数F+、F_取决于耳机的型号和材料。可以使用线性最小二乘算法来求解这些公式。
在框950处,作为第三示例,可以使用通用线性模型来使用函数F预测未来某个时间的温度:
T′(t)=F(Tenv-T(t))
考虑到这一点,可以使用在时间t1,t2,...tn的温度测量T1,T2,...Tn的输入和校准的e执行温度预测。然后,系统能够使用枚举、二进制搜索或某种其它方法求解以下优化问题:
在框952处,作为第四示例,可以使用指数建模的和来预测未来某个时间的温度:
在这个例子中,常数ai和ri是取决于耳机模型的系数。可以使用线性最小二乘算法来求解该公式。
在一些实现方式中,尽管图中所示的示例呈现在计算系统将相对温度转换为绝对温度之后计算稳态温度,但是系统可以在温度从相对温度转换到绝对温度之前计算稳态温度。然后可以在计算稳态温度之后进行转换。
体温测量(第一种方法)
一旦系统测量了耳机的温度(例如,通过等待确定的时间量(参见框942),或者使用上述温度模型来计算未来的耳机温度(参见框944)),可以确定用户的耳朵/身体温,诸如他们的鼓膜温度。耳机线圈可以与用户的鼓膜间隔开,并且因此可以具有基于用户的耳朵温度和环境温度的组合的温度。
本公开描述了当已知耳机的温度时确定用户温度和甚至环境温度的机制。实际上,尽管参考用作扬声器和麦克风的换能器解释了以下描述,但是该过程也适用于使用其它类型的温度感测设备(诸如,专用麦克风、温度计、电阻温度探测器、和热敏电阻)的身体和环境温度确定。这是因为下面的讨论解释了如何仅使用温度感测设备(在该示例中恰好是换能器)来确定用户或环境温度。
更具体地,并且如刚刚提到的,耳机(或另一温度感测装置)的温度取决于环境温度和用户身体的温度,诸如耳道温度。因此,体温的确定有时可能涉及随时间获得多个温度测量值。而且,对于给定的周围/环境温度,能够由多个温度测量构建的温度曲线可以是唯一的。因此,使用温度曲线的形状,系统可以能够确定用户的温度和环境温度。该过程包括依次讨论的四个基本步骤。
在框960处,计算系统能够在多个环境温度下校准温度曲线的行为。
在框962处,计算系统能够在许多不同的环境温度下校准耳朵温度对比耳机温度。例如,对于多个耳机温度中的每一个,系统可以存储多个环境温度和与该特定耳机组和环境温度相对应的用户温度。换句话说,系统可以存储三个温度的许多组,或者以任何方式使用这样的信息来使用预测公式内插中间值。
这两种校准步骤都可以提前执行,例如,在进行任何实时温度测量之前。实际上,校准可以在工厂处发生并且可以与耳机或移动设备一起预先安装,或者可以通过互联网数据库访问。
在框964处,计算系统可以记录多个耳机温度测量值。
在框966处,计算系统能够使用多个耳机温度测量值和在框960处识别的校准信息来确定环境温度。
在框968处,计算系统能够使用多个耳机温度测量值中的一个或多个和关于框962识别的校准信息来确定用户温度。例如,系统可以识别与所确定的耳机温度和所确定的环境温度匹配的用户温度。
在给定一系列温度测量值和校准值的情况下,存在能够用于计算环境温度和用户温度的至少两种模型。
第一个这样的模型是一般模型。存在减函数F+,F-,G,G+>0,使得如果T(t0)<αTear+(1-α)Tamb,(F+,F-,G-,G+→0)。
函数F+、F-取决于各种特性,诸如耳机型号、材料和设计。
·T(t+t0)=αTear(1-α)Tamb-F+(t+F+ -1(F+(t0)-Tear))-G+(t+G+ -1(G+(t0)-Tamb))
·如果T(t0)<αTear+(1-α)Tamb,T(t+t0)<αTear(1-α)Tamb+F_(t+F_ -1(F-(t0)-Tear))+G_(t+G_ -1(G_(t0)-Tamp))
为了求解一般模型,系统能够首先针对环境温度和α的各种值校准F和G。然后,系统可以使用MLSQ推断Tamb和Tear。
第二个这样的模型是牛顿模型。
·有时,P[Tamb,Tear]=αTamb+(1-α)Tear,并且因此
在该示例中,当环境温度为Tamb且鼓膜温度为Tenv时,P(Tamb,Tear)是耳机的最终温度。R[Tamb]是使用环境温度的函数。在该模型中,热系数可以取决于环境温度。为了求解牛顿的模型,系统可以执行五个步骤。首先,系统可以针对环境温度的某些值和P校准R(Tamb)。其次,系统可以内插R(Tamb)(例如,通过在至少两个点之间绘制直线以使得能够估计两点之间的点或者到两点的边)。第三,系统可以通过连续记录耳机温度来推断r。第四,系统可以找到Tamb,使得R(Tamb)=r,因为Tamb可以是已知的,并且可以测量Tinferred(通过等待一段时间,或者使用上述时间预测技术)。第五,因为P可以是已知的,Tamb可以是已知的,并且Tinferred可以是已知的(使用预测),所以使用上述公式,可以通过针对Tear求解以下方程来确定Tear:Tinferred=P(Tamb,Tamb)
体温测量(第二种方法)
在该替代方法中,计算系统如前所述计算耳机温度,但耳机温度被指定为环境温度,这是由于耳机被确定为位于用户的耳朵之外并且因此主要受环境温度影响。(关于过程700描述的耳内检测技术用于识别耳机何时在耳朵外。)一旦确定耳机在耳朵中,系统就能够确定用户温度,由于环境温度是已知的并且耳机温度是已知的,并且系统可以访问先前执行的校准,该校准对于各种环境温度将耳朵温度映射到耳机温度。关于框980-986更详细地描述该过程。
在框980处,计算系统例如使用耳内检测过程700确定耳机是否在用户的耳朵中。计算系统可以定期执行该过程,直到系统确定耳机不在用户的耳朵中,此时计算系统可以执行框982的操作以有效地开始温度测量过程。
在框982处,计算系统可以确定绝对稳态耳机温度,并将该温度指定为环境温度。绝对稳态耳机温度的确定可以涉及执行框900-940的操作以计算耳机的稳态温度。在这种情况下,由于耳机不在用户的耳朵中,因此能够假设耳机与其中耳机所处的空间的环境温度相同或至少相似。如关于框940所描述的,确定稳态温度能够涉及等待确定的时间长度直到耳机达到环境温度(框942),或者能够涉及使用模型来计算未来的稳态温度(框944)。
在框984处,计算系统例如使用耳内检测过程700确定耳机是否在用户的耳朵中。如果耳机未被确定在用户的耳朵中,则系统继续确定绝对稳态耳机温度(框982)。如果系统确定耳机现在位于用户的耳朵中,则计算系统执行框966的操作。在各种示例中,计算系统继续记录耳机温度并且不执行框982的操作以确定稳态耳机温度,直到计算系统已经确定耳机是否已经转变为是在用户的耳朵中。等待确定环境温度允许计算系统在简单地使用最后温度读数(例如,因为耳机已达到稳态环境温度)或使用温度建模(例如,因为耳机温度仍在变化)之间进行选择。
在框986处,计算系统针对多个环境温度校准耳朵温度对耳机温度(例如,针对多个耳机温度校准耳朵温度相对于环境温度),如先前关于框962所述。
在框990处,计算系统使用绝对稳态耳机温度、所确定的环境温度以及将耳朵至耳机校准到环境温度的数据来确定耳朵温度。例如,计算系统可以从校准的数据中识别与所确定的耳机温度匹配的耳机温度,然后从针对该耳机温度存储的多个环境温度中选择与所存储的环境温度匹配的环境温度,并且在已经选择这两个值的情况下,从数据集中选择相对应的耳温。在一些示例中,校准数据使用内插或类似过程,其中,记录值与校准数据不同。
第二机制:测量环境特征
随着温度变化,其中耳机所处环境的声学特性可能改变。例如,温度能够影响环境中声音的速度以及振幅和其它特性。因此,受声速和振幅影响的声学回声ra和声学响应wa可以随温度变化而改变。因此,将声学回声ra或声学响应wa与针对不同温度校准的相对应值作比较能够允许系统确定用户的耳朵内的温度。下面关于过程1000(图10)和框1002到1008描述该过程。
在框1002处,计算系统在正在播放音频的同时提取声学回声ra或声学响应wa,如先前关于过程600所描述的。
在框1004处,计算系统访问一组预先校准的声学回声或响应,其中,对于每个温度值存在至少一个预校准值。
在框1006处,计算系统将提取的声学回声ra或声学响应wa与针对估计温度校准的预校准声学回声或响应Pa作比较,估计温度在此被指定为X摄氏度。
在框1008处,计算系统使用来自所提取的声学回声ra或声学响应wa的特征,并将该特征与预先校准的声学回声或响应Pa的相同特征作比较,以识别匹配的耳道温度。作为第一示例,系统可以提取在播放和记录的信号之间的时间差,其可以是根据温度对声速的影响相关的温度。作为第二个例子,系统可以将记录信号的幅度与播放信号的幅度作比较。作为另一个例子,系统可以在播放和记录的信号之间找到整个脉冲响应,将其与X度的脉冲响应作比较,并使用由于声速引起的收缩的模型。这些机制可以用于确定耳朵的相对温度。
在框1010处,计算系统例如通过执行框920的操作将耳朵的所确定的相对温度转换为耳朵的绝对温度。
图11是计算机系统1100的示意图。根据一个实现方式,系统1100能够用于执行与先前描述的任何计算机实现的方法相关联描述的操作。系统1100旨在包括各种形式的数字计算机,诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机、和其它适当的计算机。系统1100还能够包括移动设备,诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。另外,该系统能够包括便携式存储介质,诸如通用串行总线(USB)闪存驱动器。例如,USB闪存驱动器可以存储操作系统和其它应用。USB闪存驱动器能够包括输入/输出组件,诸如可以插入到另一计算设备的USB端口的无线发送器或USB连接器。
系统1100包括处理器1110、存储器1120、存储设备1130和输入/输出设备1140。组件1110、1120、1130和1140中的每一个使用系统总线1150互连。处理器1110能够处理用于在系统1100内执行的指令。可以使用多种架构中的任何架构来设计处理器。例如,处理器1110可以是CISC(复杂指令集计算机)处理器、RISC(精简指令集计算机)处理器、或MISC(最小指令集计算机)处理器。
在一个实现方式中,处理器1110是单线程处理器。在另一实现方式中,处理器1110是多线程处理器。处理器1110能够处理在存储器1120中存储或设备1130上存储的指令,以在输入/输出设备1140上显示用于用户界面的图形信息。
存储器1120存储在系统1100内的信息。在一个实现方式中,存储器1120是计算机可读介质。在一个实现方式中,存储器1120是易失性存储器单元。在另一实现方式中,存储器1120是非易失性存储器单元。
存储设备1130能够为系统400提供大容量存储。在一个实现方式中,存储设备1130是计算机可读介质。在各种不同的实现方式中,存储设备1130可以是软盘设备、硬盘设备、光盘设备或磁带设备。
输入/输出设备1140为系统400提供输入/输出操作。在一个实现方式中,输入/输出设备1140包括键盘和/或指示设备。在另一实现方式中,输入/输出设备1140包括用于显示图形用户界面的显示单元。
所描述的特征能够在数字电子电路中实现,或者在计算机硬件、固件、软件或它们的组合中实现。该装置能够在有形地实施在信息载体中的计算机程序产品中实现,例如,在用于由可编程处理器执行的机器可读存储设备中;并且,能够由执行指令程序的可编程处理器执行方法步骤,以通过对输入数据进行操作并生成输出来执行所描述的实现的功能。所描述的特征能够有利地在可编程系统上可执行的一个或多个计算机程序中实现,该可编程系统包括至少一个可编程处理器,其耦合以从下述部分接收数据和指令,并将数据和指令传输到下述部分:数据存储系统、至少一个输入设备和至少一个输出设备。计算机程序是一组指令,其能够直接或间接地在计算机中使用以执行某种活动或产生某种结果。计算机程序能够以包括编译或解释语言的任何形式的编程语言编写,并且其能够以任何形式部署,包括作为独立程序或作为模块、组件、子程序或其它适合使用在计算环境中的单元。
作为示例,用于执行指令的程序的合适处理器包括通用和专用微处理器以及任何类型的计算机的唯一处理器或多个处理器之一。通常,处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。通常,计算机还将包括用于存储数据文件的一个或多个大容量存储设备或可操作地耦合以与其通信;这些设备包括磁盘,诸如内部硬盘和可移动磁盘;磁光盘;以及光盘。适合于有形地实施计算机程序指令和数据的存储设备包括所有形式的非易失性存储器,包括例如半导体存储器设备,诸如EPROM、EEPROM和闪速存储设备和DVD-ROM磁盘。处理器和存储器能够由ASIC(专用集成电路)补充或并入其中。
为了提供与用户的交互,能够在具有下述部分的计算机上实现这些特征:诸如CRT(阴极射线管)或LCD(液晶显示器)监视器的显示设备,用于向用户和键盘显示信息;以及诸如鼠标或轨迹球的指示设备,用户能够通过其来向计算机提供输入。另外,这些活动能够经由触摸屏平板显示器和其它适当的机制来实现。
这些特征能够被实现在计算系统中,该计算系统包括诸如数据服务器的后端组件,或者包括诸如应用服务器的中间件组件,或者包括诸如具有图形用户界面或互联网浏览器的客户端计算机的前端组件,或者包括它们的任何组合。系统的组件能够通过数字数据通信(诸如通信网络)的任何形式或介质进行连接。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)、对等网络(具有自组织或静态构件)、网格计算基础架构、和互联网。
计算系统能够包括客户端和服务器。诸如所描述的,客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
虽然本说明书包含许多具体实现方式细节,但是这些不应当被解释为对任何发明的范围或对所要求保护内容的范围的限制,而是作为可以对特定发明的特定实现方式的特定的特征的描述。在本说明书中在单独实现的上下文中描述的某些特征也能够在单个实现方式中组合实现。相反,在单个实现方式的上下文中描述的各种特征也能够在多个实现方式中单独地或以任何合适的子组合来实现。此外,虽然特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合的一个或多个特征在一些情况下能够从组合中去除,并且所要求保护的组合可以指向子组合或子组合的变体。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应当被理解为要求这些操作以所示的特定顺序或以顺序次序执行,或者所有所示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实现方式中的各种系统组件的分离不应当被理解为在所有实现方式中都需要这样的分离,并且应当理解的是,所描述的程序组件和系统通常能够一起集成在单个软件产品中,或者封装成多个软件产品中。
已经描述了主题的特定实现方式。其它实现方式在所附权利要求的范围内。在一些情况下下,权利要求中所述的动作能够以不同的顺序执行并且仍然实现期望的结果。因此,附图中描绘的过程不一定需要所示的特定顺序或顺次的次序,以实现期望的结果。在某些实现方式中,多任务和并行处理可以是有利的。
预先记录的声音
实现方式1是计算机实现的方法。该方法包括利用音频处理设备播放源音频信号,包括使源音频信号由用户耳机的电声换能器可听地输出。该方法还包括利用音频处理设备在播放源音频信号的同时记录指示用户环境中存在的声音的环境音频信号。该方法还包括基于对环境音频信号的分析来识别预先记录的音频信号发生在环境音频信号中。该方法还包括访问预先记录的音频信号的第二实例。该方法还包括利用音频处理设备并使用预先记录的音频信号的所存储的实例作为在环境音频信号中发生的预先记录的音频信号的表示来修改由用户耳机的电声换能器输出的源音频信号,以便至少部分地从源音频信号中移除预先记录的音频信号。
实现方式2是实现方式1的方法。源音频信号包括来自歌曲或口述内容中的至少一个的音频信号。
实现方式3是实现方式1的方法。预先记录的音频信号包括来自歌曲、口述内容、电影、或电视节目中的至少一个的音频信号。
实现方式4是实现方式1的方法。识别预先记录的音频信号出现在环境音频信号中包括:利用音频处理设备对环境音频信号进行滤波,以从该环境音频信号提取预先记录的音频信号;以及确定从环境音频信号中提取的预先记录的音频信号与多个不同的预先记录的音频信号中的一个匹配。
实现方式5是实现方式1的方法。识别预先记录的音频信号出现在环境音频信号中包括:从音频处理设备并通过网络向远离音频处理设备的服务器发送表征环境音频信号的至少部分的音频数据;并且在音频处理设备处,作为对发送到服务器的音频数据的响应,接收识别预先记录的音频信号的数据。
实现方式6是实现方式5的方法。访问预先记录的音频信号的所存储的实例包括在音频处理设备处,作为对发送到服务器的音频数据的响应的部分,接收预先记录的音频信号的第二实例。
实现方式7是实现方式1-6中的任何一项的方法。该方法包括:确定在环境音频信号中出现的预先记录的音频信号的当前时间位置;并且,基于所确定的当前时间位置,使预先记录的音频信号的第二实例与在环境音频信号中出现的预先记录的音频信号同步。
实现方式8是实现方式7的方法。修改源音频信号以便至少部分地从源音频信号中去除预先记录的音频信号包括利用预先记录的音频信号的同步的第二实例实时地过滤源音频信号。
实现方式9是实现方式1-8中任何一项的方法。该方法包括:识别预先记录的音频信号不再出现在环境音频信号中;并且响应于识别出预先记录的音频信号不再出现在环境音频信号中,停止修改源音频信号,以便至少部分地从源音频信号中去除预先记录的音频信号。
实现方式10是实现方式9的方法。该方法包括:在停止修改源音频信号之后:识别预先记录的音频信号已经在环境音频信号中恢复;以及响应于识别出该预先记录的音频信号已经在环境音频信号中恢复,恢复对源音频信号的修改,以便至少部分地从源音频信号中移除该预先记录的音频信号。
实现方式11是实现方式1-10中的任何一项的方法。记录环境音频信号包括利用用户耳机的电声换能器感测环境音频信号。
实现方式12是实现方式1-10中的任何一项的方法。记录环境音频信号包括利用用户耳机外部的麦克风感测环境音频信号。
实现方式13是实现方式12的方法。麦克风还在音频处理设备外部。
实现方式14是实现方式12的方法。麦克风是音频处理设备的集成组件。
实现方式15是实现方式1-14中的任何一项的方法。修改由用户耳机的电声换能器输出的源音频信号包括从源音频信号中减去预先记录的音频信号的第二实例。
实现方式16是实现方式1-15中任何一项的方法。耳机包括头戴式耳机或耳塞。
实现方式17是实现方式1-16中的任何一项的方法。音频处理设备包括便携式数字媒体播放器、智能电话、平板计算设备、笔记本计算设备、台式计算设备、或可穿戴计算设备。
实现方式18是计算系统。该计算系统包括一个或多个处理器和一个或多个计算机可读介质。所述一个或多个计算机可读介质具有在其上存储的指令,当由一个或多个处理器执行时,所述指令使得执行施行实现方式1-17的任何方法的操作。
实现方式19是一个或多个计算机可读介质,在该一个或多个计算机可读介质上存储有指令,当由一个或多个处理器执行时,所述指令使得执行施行实现方式1-17中的任何方法的操作。
耳朵存在
实现方式1是计算机实现的方法。该方法包括:利用音频处理设备播放源音频信号,包括使源音频信号由用户耳机的电声换能器可听地输出;使用用户耳机的电声换能器,利用音频处理设备记录听觉信号;确定听觉信号的一个或多个特征的值,作为播放源音频信号的结果指示用户耳机所位于的空间的特性;将听觉信号的一个或多个特征的确定值与一个或多个特征的预定义值作比较;以及,基于将该听觉信号的一个或多个特征的确定值与该一个或多个特征的预定义值作比较的结果,确定用户耳机是否位于用户的耳朵处。
实现方式2是实现方式1的方法。该方法包括基于用户耳机是否位于用户的耳朵处来确定是否执行指定动作。
实现方式3是实现方式1的方法。该方法包括:在第一时间确定用户耳机位于用户的耳朵处;在第一时间之后的第二时间确定用户耳机的位置从在用户的耳朵处变为不在用户的耳朵处;以及,响应于确定用户耳机的位置从在用户的耳朵处变为不在用户的耳朵处,执行指定动作。
实现方式4是实现方式1的方法。该方法包括:在第一时间确定用户耳机不位于用户的耳朵处;在第一时间之后的第二时间确定用户耳机的位置从不在用户的耳朵处变为在用户的耳朵处;以及,响应于确定用户耳机的位置从不在用户的耳朵处变为在用户的耳朵处,执行指定动作。
实现方式5是实现方式2-4中的任何一项的方法。指定动作包括以下部分中的至少一个:播放媒体文件,暂停媒体文件,停止媒体文件,恢复播放暂停的媒体文件,激活电子显示器,调整电子显示器的背光的亮度设置,将设备转换成锁定模式,将设备转换出锁定模式,发起电话呼叫,结束电话呼叫,启动应用,或关闭应用。
实现方式6是实现方式1-5中任何一项的方法。该方法包括:在一段时间内重复确定用户耳机是否位于用户的耳朵处以监视用户耳机的位置(i)从不在用户的耳朵处改变为在用户的耳朵处,或者(ii)从在用户的耳朵处改变为不在用户的耳朵处。
实现方式7是实现方式1-6中的任何一项的方法。该方法包括与使用音频处理设备播放源音频信号同时地,使用音频处理设备记录听觉信号。
实现方式8是实现方式1-6中任何一项的方法。用户耳机的相同的电声换能器同时用作(i)可听地输出源音频信号的扬声器和(ii)在播放源音频信号时感测听觉信号的麦克风。
实现方式9是实现方式1-8中任何一项的方法。听觉信号的一个或多个特征包括用户耳机所位于的空间的声学回声的脉冲响应。
实现方式10是实现方式1-9中任何一项的方法。一个或多个特征的预定义值包括表征在用户的耳朵中的空间的模型。
实现方式11是实现方式1-10中的任何一项的方法。至少部分地基于听觉信号的一个或多个特征的先前确定的值来确定一个或多个特征的预定义的值,听觉信号是当用户耳机被确定位于用户的耳朵处时通过播放源音频信号或另一个音频信号而产生的。
实现方式12是实现方式1-10中任何一项的方法。至少部分地基于听觉信号的一个或多个特征的值来确定一个或多个特征的预定义的值,该听觉信号是当用户耳机被确定位于不同于该用户的一个或多个用户的各自耳朵处时通过播放源音频信号或另一个音频信号而产生的。
实现方式13是实现方式1-12中任何一项的方法。耳机包括头戴式耳机或耳塞。
实现1方式4是实现方式1-13中任何一项的方法。音频处理设备包括便携式数字媒体播放器、智能电话、平板计算设备、笔记本计算设备、台式计算设备、或可穿戴计算设备。
实现方式15是实现方式1-14中的任何一项的方法。播放源音频信号包括播放白噪声。
实现方式16是实现方式1-14中的任何一项的方法。播放源音频信号包括向音频处理设备的用户播放歌曲或口语内容。
实现方式17是实现方式1-16中任何一项的方法。播放源音频信号包括播放具有大于20千赫的平均频率的声音,使得所播放的声音高于对人类听觉的正常频率限制。
实现方式18是计算系统。该计算系统包括一个或多个处理器和一种或多种计算机可读介质。该一一种或多种计算机可读介质具有在其上存储的指令,当由一个或多个处理器执行时,所述指令使得执行施行实现方式1-17的任何方法的操作。
实现方式19是一种或多种计算机可读介质,该一种或多种计算机可读介质具有其上存储的指令,当由一个或多个处理器执行时,所述指令使得执行施行实现方式1-17的任何方法的操作。
用户认证
实现方式1是计算机实现的方法。该方法包括利用音频处理设备播放源音频信号,包括使该源音频信号由用户耳机的电声换能器可听地输出。该方法还包括利用音频处理设备记录由用户耳机的电声换能器感测的听觉信号。该方法还包括确定听觉信号的一个或多个特征的值,该值作为播放源音频信号的结果指示其中用户耳机所位于的空间的特性。该方法还包括基于听觉信号的一个或多个特征的值为用户生成声学签名。该方法还包括向用户账户注册声学签名。
实现方式2是实现方式1的方法。该方法还包括在向所述用户账户注册所述声学签名之后:使用所述音频处理设备播放第二源音频信号,包括使所述第二源音频信号被用户耳机的电声换能器可听地输出;利用音频处理设备记录由用户耳机的电声换能器感测的第二听觉信号;确定第二听觉信号的一个或多个特征的值;确定第二听觉信号的一个或多个特征是否与向用户账户注册的声学签名匹配;并且基于第二听觉信号的一个或多个特征是否与向用户账户注册的声学签名匹配,确定是否执行指定的动作。
实现方式3是实现方式2的方法。确定是否执行指定动作包括基于第二听觉信号的一个或多个特征是否与向用户账户注册的声学签名匹配来认证用户耳机的用户。
实现方式4是实现方式2的方法。指定动作包括登录用户账户或另一账户。
实现方式5是实现方式2的方法。该方法包括确定第二听觉信号的一个或多个特征与向用户账户注册的声学签名匹配;并且响应于确定第二听觉信号的一个或多个特征与向用户账户注册的声学签名匹配,允许执行指定的动作。
实现方式6是实现方式2的方法。该方法包括确定第二听觉信号的一个或多个特征与向用户账户注册的声学签名不匹配;并且响应于确定第二听觉信号的一个或多个特征与向用户账户注册的声学签名不匹配,阻止执行指定动作。
实现方式7是实现方式2的方法。该方法包括在音频处理设备处于与指定动作相关联的第一模式时重复确定第二听觉信号的一个或多个特征的值;确定保持在与指定动作相关联的音频处理设备的第一模式中,只要在重复确定匹配向用户注册的声学签名的迭代中确定的第二听觉信号的一个或多个特征的值。
实现方式8是实现方式7的方法。该方法还包括:响应于确定第二听觉信号的一个或多个特征的值不再与向用户账户注册的声学签名相匹配,确定从与指定动作相关联的第一模式转换到与指定动作相关联的第二模式。
实现方式9是实现方式7的方法。与指定动作相关联的第一模式包括登录到受限用户账户。
实现方式10是实现方式8的方法。与指定动作相关联的第一模式包括登录到受限用户账户,其中,与指定动作相关联的第二模式包括从受限用户账户退出。
实现方式11是实现方式1-10中的任何一项的方法。该方法包括将声学签名与在用户的耳朵处的用户耳机的第一位置相关联。
实现方式12是实现方式1-11中的任何一项的方法。该方法包括执行播放、记录、确定、和生成步骤的多次迭代,以便为用户生成多个声学签名;对于多次迭代的每次迭代,提示用户将用户耳机移动到用户的耳朵处的不同位置;并且将针对用户的多个声学签名中的至少两个与用户的耳朵处的用户耳机的至少两个不同位置相关联。
实现方式13是实现方式1-12中任何一项的方法。该方法包括利用音频处理设备播放源音频信号同时地,利用音频处理设备记录听觉信号。
实现方式14是实现方式1-13中任何一项的方法。用户耳机的电声换能器同时用作(i)可听地输出源音频信号的扬声器和(ii)在播放源音频信号时感测听觉信号的麦克风。
实现方式15是实现方式1-14中的任何一项的方法。听觉信号的一个或多个特征包括其中用户耳机所在的空间的声学回声的脉冲响应。
实现方式16是实现方式1-15中任何一项的方法。一个或多个特征的预定义值包括表征用户的耳朵中的空间的模型。
实现方式17是实现方式1-16中任何一项的方法。用户耳机包括头戴式耳机或耳塞。
实现方式18是实现方式1-17中的任何一项的方法。播放源音频信号包括播放白噪声。
实现方式19是实现方式1-17中的任何一项的方法。播放源音频信号包括向音频处理设备的用户播放歌曲或口述内容。
实现方式20是实现方式1-17中的任何一项的方法。播放源音频信号包括播放具有大于20千赫兹的平均频率的声音,使得播放的声音高于对人类听觉的正常频率限制。
实现21方式是计算系统。该计算系统包括一个或多个处理器和一种或多种计算机可读介质。所述一种或多种计算机可读介质具有在其上存储的指令,所述指令在由所述一个或多个处理器执行时使得执行施行实现方式1-20的方法的操作。
实现方式22是具有在其上存储的指令的一个或多个计算机可读介质,当由一个或多个处理器执行时,所述指令使得执行施行实现方式1-20中任一项的方法的操作。
使用声学签名
实现方式1是计算机实现的方法。该方法包括利用音频处理设备播放源音频信号,包括使源音频信号由用户耳机的电声换能器可听地输出。该方法还包括利用音频处理设备来记录由用户耳机的电声换能器感测的听觉信号。该方法还包括确定听觉信号的一个或多个特征的值,其作为播放源音频信号的结果指示用户耳机所位于的空间的特性。该方法还包括确定听觉信号的一个或多个特征是否与向用户账户注册的一个或多个声学签名匹配。该方法还包括基于听觉信号的一个或多个特征是否与向用户账户注册的一个或多个声学签名匹配,确定是否执行指定的动作。
实现方式2是计算系统。该计算系统包括一个或多个处理器和一个或多个计算机可读介质。所述一个或多个计算机可读介质具有在其上存储的指令,所述指令在由所述一个或多个处理器执行时使得执行施行实现方式1的方法的操作行。
实现方式3是具有在其上存储的指令的一个或多个计算机可读介质,当由一个或多个处理器执行时,所述指令使得执行施行实现方式1的方法的操作。
配置同时播放和记录
实现方式1是使用相同换能器同时播放和记录音频的系统。该系统包括音频处理电路,其包括音频输出连接件、音频输入连接件和接地连接件。该系统包括换能器,该换能器包括第一电连接件和第二电连接件。该系统包括在音频处理电路的音频输出连接件和音频处理电路的音频输入连接件之间连接的电阻器。该系统包括在换能器的第一电连接件和音频处理电路的音频输出连接件或音频处理电路的音频输入连接件之间的第一电导体。该系统包括在换能器的第二电连接件和音频处理电路的接地连接件之间的第二电导体。实现方式2是实现方式1的系统,其中,第一电导体是导线,并且第二导电体是导线。
实现方式3是实现方式1的系统,其中:换能器的第一电连接件与音频处理电路的音频输出连接件之间的电阻小于1欧姆,或者换能器第一电连接件和音频处理电路的音频输入连接件之间的电阻小于1欧姆。
实现方式4是实现方式1的系统,其中,电阻器具有大于5欧姆的电阻。
实现方式5是实现方式1的系统,其中,电阻器具有大于50欧姆的电阻。
实现方式6是实现方式1的系统,还包括第一电路元件,其被配置为切换在音频输出连接件和音频输入连接件之间连接的电阻器,使得电阻器不再在音频输出连接件和音频输入连接件之间连接。
实现方式7是实现方式6的系统,包括第一电路元件或第二电路元件,其被配置为将换能器的第一电连接连接到换能器的音频输出连接件或换能器的音频输入连接件。由于电阻器被切换使得它不再在音频输出连接件和音频输入连接件之间连接。
实现方式8是实现方式1的系统,其中,第一电导体在换能器的第一电连接件和音频处理电路的音频输入连接件之间连接
实现方式9是实现1方式的系统,其中,音频输入连接件包括连接到电阻器的第一侧的第一输入连接件和连接到电阻器的第二侧的第二输入连接件,使得跨电阻将第一输入连接件和第二输入连接件连接。
温度测量机制
实现方式1是计算机实现的方法。该方法包括利用音频处理设备播放源音频信号,包括使得源音频信号由用户耳机的电声换能器可听地输出。该方法包括利用音频处理设备并且在播放源音频信号的同时使用用户耳机的电声换能器来记录所记录的音频信号。该方法包括由音频处理设备识别指示用户耳机的属性如何影响由电声换能器播放源音频信号的一个或多个参数,其中,一个或多个参数中的至少一个是温度相关的。考虑到由于应用了一个或多个参数而发生的对源音频信号的变化,该方法包括由音频处理设备确定温度值,该温度值被估计为使由该音频处理设备播放的源音频信号产生所记录的音频信号。
实现方式2是实现方式1的计算机实现的方法,其中,一个或多个参数中的至少一个是用户耳机的与温度相关的脉冲响应。
实现方式3是实现方式1的计算机实现的方法,其中,一个或多个参数中的至少一个是用户耳机的与温度相关的频率响应。
实现方式4是实现方式1的计算机实现的方法,其中,温度值表示换能器的相对温度值。该方法还包括使用偏移常数和缩放常数来修改温度值以生成用户耳机的绝对温度值,其中,偏移常数和缩放常数是针对用户耳机或用户耳机的类型校准的值。
实现方式5是实现方式1的计算机实现的方法,其中,温度值表示换能器的温度值。该方法还包括通过下述方式,使用所确定的温度值估计其中用户耳机所处的环境的环境的温度值:通过使用表示随着时间的耳机的温度变化特性识别未来时间的用户耳机的温度。
实现方式6是实现方式1的计算机实现的方法,其中,温度值表示换能器的温度值。该方法还包括:使用所确定的温度值和用户耳机所处的环境的环境温度值来估计用户耳机所邻近于的用户身体的用户身体温度值,并通过将用户身体温度值与彼此相关的先前校准的一组用户身体温度、用户耳机温度和环境温度相互关联来触摸。
实现方式7是实现方式1的计算机实现的方法。该方法还包括由音频处理设备确定用户耳机不位于用户的耳朵中,其中,当音频处理设备已经确定用户耳机不位于用户的耳朵中时,出现播放源音频信号和记录所记录的音频信号,使得所确定的温度值被指定为环境温度值。
实现方式8是计算机实现方式7的实现的方法。该方法还包括由音频处理设备并且在已经确定用户耳机未位于用户的耳朵之后确定用户耳机现在位于在用户的耳朵中,并且作为响应:(i)利用音频处理设备,使用电声换能器来播放第二源音频信号,(ii)利用音频处理设备并且在播放第二源音频信号时,记录第二记录音频信号,以及(iii)考虑到由于应用一个或多个参数而发生的对第二源音频信号的改变,由音频处理设备确定第二温度值,该第二温度值被估计为使由音频处理设备播放的第二源音频信号产生第二记录音频信号,其中,因为在将耳机放置在用户的耳朵之后耳机的温度已经改变,第二温度值不同于所确定的温度值,该所确定的温度值被指定为环境温度值。该方法还包括由音频处理设备使用被指定为环境温度值的所确定的温度值和第二温度值来估计用户身体温度值。
实现方式9是实现方式8的计算机实现的方法,其中,使用所确定的温度值和第二温度值来估计用户身体温度包括将用户身体温度与彼此相关联的用户身体温度、用户耳机温度和环境温度的先前校准组相关联。
实现方式10是一种计算系统,包括:一个或多个处理器;一种或多种计算机可读介质,在该一种或多种计算机可读介质上存储有指令,当由一个或多个处理器执行时,所述指令使得执行施行权利要求1-9中任一项的方法的操作。
实现方式11是具有在其上存储的指令的一种或多种计算机可读介质,当由一个或多个处理器执行时,所述指令使得执行施行权利要求1-9中任一项的方法的操作。
另一种温度测量机制
实现方式1是计算机实现的方法。该方法包括利用音频处理设备播放源音频信号,其包括使得源音频信号由用户耳机的电声换能器可听地输出。该方法包括利用音频处理设备并且在播放源音频信号的同时,使用用户耳机的电声换能器来记录所记录的音频信号。该方法包括由音频处理设备识别一个或多个参数,这些参数指示耳机的特性如何影响电声换能器播放源音频信号。该方法包括考虑到由于应用一个或多个参数而发生的对源音频信号的改变,由音频处理设备确定指示用户耳机所处的用户耳朵环境的属性如何影响由音频处理设备播放的源音频信号的参数,所述一个或多个参数指示耳机的特性如何影响源音频信号的播放。该方法包括由音频处理设备使用指示用户的耳朵的属性如何影响源音频信号的参数以确定温度值。
实现方式2是计算机实现的实现方式1的方法,其中,温度值表示用户的耳朵环境的相对温度值。该方法还包括使用偏移常数和缩放常数来修改温度值以生成用户的耳朵环境的绝对温度值,其中,偏移常数和缩放常数是针对用户耳机或者用户耳机的类型校准的值。
实现方式3是计算系统,该计算系统包括一个或多个处理器;以及一种或多种计算机可读介质,该一种或多种计算机可读介质在其上存储的指令,当由一个或多个处理器执行时,所述指令使得执行实施实现方式1-2的任何方法的操作。
实现方式4是具有在其上存储指令的一种或多种计算机可读介质,当由一个或多个处理器执行时,所述指令使得执行施行实现方式1-2的任何方法的操作。
在一些实现方式中,音频处理装置可以被配置为执行本文中所描述的技术的各种组合,包括耳内检测技术、具有预先记录的声音技术的主动噪声消除以及基于听觉的认证技术中的两种或更多种。
在一些实现方式中,可以使用经由无线连接(如蓝牙)与计算设备可通信地耦合的无线耳机来执行本文中所描述的技术。例如,无线耳机可以数字地采样记录的声音并且在头戴式耳机处本地地处理声音或者将所记录的信号发送到单独的音频处理设备以利用预先记录的声音执行例如基于听觉的认证、耳内检测和/或活动噪声消除。
Claims (20)
1.一种计算机实现的方法,所述方法包括:
利用音频处理设备播放源音频信号,包括使所述源音频信号由用户耳机的电声换能器可听地输出;
使用所述用户耳机的相同的所述电声换能器,利用所述音频处理设备来记录听觉信号;
确定所述听觉信号的一个或多个特征的值,所述值作为播放所述源音频信号的结果指示所述用户耳机所位于的空间的特性;
将所述听觉信号的所述一个或多个特征的确定值与定义值作比较;以及
基于将所述听觉信号的所述一个或多个特征的所述确定值与所述定义值作比较的结果,确定所述用户耳机是否位于用户的耳朵处。
2.根据权利要求1所述的计算机实现的方法,还包括基于所述用户耳机是否位于所述用户的耳朵处来确定是否执行指定动作。
3.根据权利要求1所述的计算机实现的方法,还包括:
在第一时间确定所述用户耳机位于所述用户的耳朵处;
在所述第一时间之后的第二时间确定所述用户耳机的位置从在所述用户的耳朵处变为不在所述用户的耳朵处;以及
响应于确定所述用户耳机的位置从在所述用户的耳朵处变为不在所述用户的耳朵处,执行指定动作。
4.根据权利要求3所述的计算机实现的方法,其中,所述指定动作包括下述的至少一个:播放媒体文件,暂停媒体文件,停止媒体文件,恢复播放暂停的媒体文件,激活电子显示器,调整电子显示器的背光的亮度设置,将设备转换成处于锁定模式,将设备转换成不处于锁定模式,发起电话呼叫,结束电话呼叫,启动应用或关闭应用。
5.根据权利要求1所述的计算机实现的方法,还包括:
在第一时间确定所述用户耳机不位于所述用户的耳朵处;
在所述第一时间之后的第二时间确定所述用户耳机的位置从不在所述用户的耳朵处变为在所述用户的耳朵处;以及
响应于确定所述用户耳机的位置从不在所述用户的耳朵处变为在所述用户的耳朵处,执行指定动作。
6.根据权利要求5所述的计算机实现的方法,其中,所述指定动作包括下述的至少一个:播放媒体文件,暂停媒体文件,停止媒体文件,恢复播放暂停的媒体文件,激活电子显示器,调整电子显示器的背光的亮度设置,将设备转换成处于锁定模式,将设备转换成不处于锁定模式,发起电话呼叫,结束电话呼叫,启动应用或关闭应用。
7.根据权利要求1所述的计算机实现的方法,还包括在一段时间内重复确定所述用户耳机是否位于所述用户的耳朵处以监视所述用户耳机的位置(i)从不在所述用户的耳朵处改变为在所述用户的耳朵处,或者(ii)从在所述用户的耳朵处改变为不在所述用户的耳朵处。
8.根据权利要求1所述的计算机实现的方法,还包括:与使用所述音频处理设备播放所述源音频信号同时地,使用所述音频处理设备记录所述听觉信号。
9.根据权利要求1所述的计算机实现的方法,其中,所述用户耳机的相同的所述电声换能器同时用作(i)可听地输出所述源音频信号的扬声器和(ii)在播放所述源音频信号时感测所述听觉信号的麦克风。
10.根据权利要求1所述的计算机实现的方法,其中,所述听觉信号的所述一个或多个特征包括所述用户耳机所位于的空间的声学回声的脉冲响应。
11.根据权利要求1所述的计算机实现的方法,其中,所述定义值包括表征所述用户的耳朵中的空间的模型。
12.根据权利要求1所述的计算机实现的方法,其中,至少部分地基于听觉信号的一个或多个特征的先前确定的值来确定所述定义值,该听觉信号是当所述用户耳机被确定位于所述用户的耳朵处时通过播放所述源音频信号或另一个音频信号而产生的。
13.根据权利要求1所述的计算机实现的方法,其中,至少部分地基于听觉信号的一个或多个特征的值来确定所述定义值,该听觉信号是当所述用户耳机被确定位于不同于该用户的一个或多个用户的各自的耳朵处时通过播放所述源音频信号或另一个音频信号而产生的。
14.根据权利要求1所述的计算机实现的方法,其中,所述耳机包括头戴式耳机或耳塞。
15.根据权利要求1所述的计算机实现的方法,其中,所述音频处理设备包括便携式数字媒体播放器、智能电话、平板计算设备、笔记本计算设备、台式计算设备或可穿戴计算设备。
16.根据权利要求1所述的计算机实现的方法,其中,播放所述源音频信号包括播放白噪声。
17.根据权利要求1所述的计算机实现的方法,其中,播放所述源音频信号包括向所述音频处理设备的用户播放歌曲或口语内容。
18.根据权利要求1所述的计算机实现的方法,其中,播放所述源音频信号包括播放具有大于20千赫的平均频率的声音,使得所播放的声音高于人类听觉的正常频率界限。
19.一种计算系统,所述系统包括:
一个或多个处理器;以及
一种或多种计算机可读介质,在所述计算机可读介质上存储有指令,当由所述一个或多个处理器执行时,所述指令使得执行包括如下的操作:
利用音频处理设备播放源音频信号,包括使所述源音频信号由用户耳机的电声换能器可听地输出;
使用所述用户耳机的相同的所述电声换能器,利用所述音频处理设备记录听觉信号;
确定所述听觉信号的一个或多个特征的值,所述值作为播放所述源音频信号的结果,指示所述用户耳机所位于的空间的特性;
将所述听觉信号的所述一个或多个特征的确定值与定义值作比较;以及
基于将所述听觉信号的所述一个或多个特征的所述确定值与所述定义值作比较的结果,确定所述用户耳机是否位于用户的耳朵处。
20.一种或多种计算机可读介质,在所述计算机可读介质上存储有指令,当由所述一个或多个处理器执行时,所述指令使得执行包括如下的操作:
利用音频处理设备播放源音频信号,包括使所述源音频信号由用户耳机的电声换能器可听地输出;
使用所述用户耳机的相同的所述电声换能器,利用所述音频处理设备记录听觉信号;
确定所述听觉信号的一个或多个特征的值,所述值作为播放所述源音频信号的结果指示所述用户耳机所位于的空间的特性;
将所述听觉信号的所述一个或多个特征的确定值与定义值作比较;以及
基于将所述听觉信号的所述一个或多个特征的所述确定值与所述定义值作比较的结果,确定所述用户耳机是否位于用户的耳朵处。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662342872P | 2016-05-27 | 2016-05-27 | |
US201662342869P | 2016-05-27 | 2016-05-27 | |
US201662342871P | 2016-05-27 | 2016-05-27 | |
US62/342,872 | 2016-05-27 | ||
US62/342,869 | 2016-05-27 | ||
US62/342,871 | 2016-05-27 | ||
US201662379160P | 2016-08-24 | 2016-08-24 | |
US62/379,160 | 2016-08-24 | ||
PCT/IB2017/053123 WO2017203484A1 (en) | 2016-05-27 | 2017-05-26 | Determining earpiece presence at a user ear |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109196879A true CN109196879A (zh) | 2019-01-11 |
Family
ID=59067715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780032800.3A Pending CN109196879A (zh) | 2016-05-27 | 2017-05-26 | 确定在用户的耳朵处的耳机存在 |
Country Status (8)
Country | Link |
---|---|
US (3) | US10097914B2 (zh) |
EP (1) | EP3466106A1 (zh) |
JP (1) | JP2019523581A (zh) |
KR (1) | KR20190013880A (zh) |
CN (1) | CN109196879A (zh) |
AU (1) | AU2017268930A1 (zh) |
CA (1) | CA3025726A1 (zh) |
WO (1) | WO2017203484A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110278509A (zh) * | 2019-07-26 | 2019-09-24 | 歌尔股份有限公司 | 一种无线耳机控制方法、装置及无线耳机和存储介质 |
CN110740396A (zh) * | 2018-07-18 | 2020-01-31 | 安克创新科技股份有限公司 | 一种降噪耳机 |
CN110769354A (zh) * | 2019-10-25 | 2020-02-07 | 歌尔股份有限公司 | 一种用户语音检测装置、方法及耳机 |
CN111491234A (zh) * | 2020-04-16 | 2020-08-04 | 广东思派康电子科技有限公司 | 一种头戴式降噪耳机 |
CN111903112A (zh) * | 2018-03-21 | 2020-11-06 | 思睿逻辑国际半导体有限公司 | 耳朵接近度检测 |
CN114270879A (zh) * | 2019-09-04 | 2022-04-01 | 脸谱科技有限责任公司 | 使用用户耳朵的3d重建对音频输出进行个性化均衡 |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US11178478B2 (en) | 2014-05-20 | 2021-11-16 | Mobile Physics Ltd. | Determining a temperature value by analyzing audio |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
CN109196879A (zh) | 2016-05-27 | 2019-01-11 | 布佳通有限公司 | 确定在用户的耳朵处的耳机存在 |
US20190213313A1 (en) * | 2016-09-16 | 2019-07-11 | Nec Corporation | Personal authentication device, personal authentication method, and recording medium |
EP3513724B1 (en) * | 2016-09-16 | 2022-04-06 | Nec Corporation | Personal authentication device, personal authentication method, and recording medium |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
GB2578386B (en) | 2017-06-27 | 2021-12-01 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
GB201713697D0 (en) | 2017-06-28 | 2017-10-11 | Cirrus Logic Int Semiconductor Ltd | Magnetic detection of replay attack |
GB2563953A (en) | 2017-06-28 | 2019-01-02 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
GB201801528D0 (en) * | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Method, apparatus and systems for biometric processes |
GB201801532D0 (en) * | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for audio playback |
GB201801527D0 (en) * | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Method, apparatus and systems for biometric processes |
GB201801530D0 (en) * | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for authentication |
GB201801526D0 (en) | 2017-07-07 | 2018-03-14 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for authentication |
GB2567503A (en) | 2017-10-13 | 2019-04-17 | Cirrus Logic Int Semiconductor Ltd | Analysing speech signals |
GB201801664D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of liveness |
GB201801663D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of liveness |
GB201801874D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Improving robustness of speech processing system against ultrasound and dolphin attacks |
GB201803570D0 (en) | 2017-10-13 | 2018-04-18 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
GB201801661D0 (en) | 2017-10-13 | 2018-03-21 | Cirrus Logic International Uk Ltd | Detection of liveness |
GB201804843D0 (en) | 2017-11-14 | 2018-05-09 | Cirrus Logic Int Semiconductor Ltd | Detection of replay attack |
CN109754821B (zh) * | 2017-11-07 | 2023-05-02 | 北京京东尚科信息技术有限公司 | 信息处理方法及其系统、计算机系统和计算机可读介质 |
GB201801659D0 (en) | 2017-11-14 | 2018-03-21 | Cirrus Logic Int Semiconductor Ltd | Detection of loudspeaker playback |
KR102488001B1 (ko) * | 2018-01-22 | 2023-01-13 | 삼성전자주식회사 | 오디오 신호를 이용하여 사용자를 인증하는 전자 장치 및 그 방법 |
US11264037B2 (en) | 2018-01-23 | 2022-03-01 | Cirrus Logic, Inc. | Speaker identification |
US11475899B2 (en) | 2018-01-23 | 2022-10-18 | Cirrus Logic, Inc. | Speaker identification |
US11735189B2 (en) | 2018-01-23 | 2023-08-22 | Cirrus Logic, Inc. | Speaker identification |
JP6610693B2 (ja) * | 2018-03-20 | 2019-11-27 | 株式会社Jvcケンウッド | 車両用撮像記録装置、車両用撮像制御方法及びプログラム |
CN108391205B (zh) * | 2018-03-30 | 2021-01-22 | Oppo广东移动通信有限公司 | 左右声道切换方法和装置、可读存储介质、终端 |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
CN108810787B (zh) * | 2018-05-28 | 2021-08-31 | Oppo广东移动通信有限公司 | 基于音频设备的异物检测方法和装置、终端 |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US10956546B2 (en) * | 2018-06-05 | 2021-03-23 | Cirrus Logic, Inc. | Methods, apparatus and computer-readable mediums related to biometric authentication |
CN109076279A (zh) * | 2018-07-17 | 2018-12-21 | 万魔声学科技有限公司 | 耳机、耳机入耳检测的方法及系统 |
US10692490B2 (en) | 2018-07-31 | 2020-06-23 | Cirrus Logic, Inc. | Detection of replay attack |
US10915614B2 (en) | 2018-08-31 | 2021-02-09 | Cirrus Logic, Inc. | Biometric authentication |
JP7120313B2 (ja) * | 2018-08-31 | 2022-08-17 | 日本電気株式会社 | 生体認証装置、生体認証方法およびプログラム |
US11037574B2 (en) | 2018-09-05 | 2021-06-15 | Cirrus Logic, Inc. | Speaker recognition and speaker change detection |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10878796B2 (en) * | 2018-10-10 | 2020-12-29 | Samsung Electronics Co., Ltd. | Mobile platform based active noise cancellation (ANC) |
EP3873340A4 (en) * | 2018-10-29 | 2021-10-27 | NEC Corporation | RECOGNITION APPARATUS, RECOGNITION PROCESS AND COMPUTER READABLE RECORDING MEDIA |
US10491981B1 (en) | 2018-12-14 | 2019-11-26 | Apple Inc. | Acoustic in ear detection for a hearable device |
JP7317448B2 (ja) * | 2018-12-18 | 2023-07-31 | 三星電子株式会社 | 生体情報検出装置 |
JP7300091B2 (ja) * | 2018-12-19 | 2023-06-29 | 日本電気株式会社 | 情報処理装置、装着型機器、情報処理方法及び記憶媒体 |
WO2020129198A1 (ja) * | 2018-12-19 | 2020-06-25 | 日本電気株式会社 | 情報処理装置、装着型機器、情報処理方法及び記憶媒体 |
WO2020174681A1 (ja) * | 2019-02-28 | 2020-09-03 | 日本電気株式会社 | 状態推定装置、状態推定方法、及びコンピュータ読み取り可能な記録媒体 |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
JP2020161949A (ja) | 2019-03-26 | 2020-10-01 | 日本電気株式会社 | 聴覚ウェアラブルデバイス管理システム、聴覚ウェアラブルデバイス管理方法およびそのプログラム |
CN110087161B (zh) * | 2019-04-23 | 2020-07-07 | 青岛恒茂电子有限公司 | 一种蓝牙耳机的佩戴状态切换方法、耳机及存储介质 |
GB2584495B (en) * | 2019-04-29 | 2021-09-01 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for authentication |
GB2594839B (en) | 2019-04-29 | 2022-05-04 | Cirrus Logic Int Semiconductor Ltd | Methods, apparatus and systems for biometric processes |
US11483664B2 (en) | 2019-04-29 | 2022-10-25 | Cirrus Logic, Inc. | Methods, apparatus and systems for biometric processes |
US11531738B2 (en) * | 2019-04-29 | 2022-12-20 | Cirrus Logic, Inc. | Methods, apparatus and systems for biometric processes |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11172298B2 (en) * | 2019-07-08 | 2021-11-09 | Apple Inc. | Systems, methods, and user interfaces for headphone fit adjustment and audio output control |
CN110677768A (zh) * | 2019-10-31 | 2020-01-10 | 歌尔科技有限公司 | 一种无线耳机控制方法、装置及无线耳机和存储介质 |
WO2021087121A1 (en) * | 2019-11-01 | 2021-05-06 | Starkey Laboratories, Inc. | Ear-based biometric identification |
WO2021089980A1 (en) * | 2019-11-04 | 2021-05-14 | Cirrus Logic International Semiconductor Limited | Methods, apparatus and systems for personal audio device diagnostics |
US11900730B2 (en) * | 2019-12-18 | 2024-02-13 | Cirrus Logic Inc. | Biometric identification |
CN111200769B (zh) * | 2020-01-08 | 2022-01-28 | 昆山泰芯微电子有限公司 | 一种用于蓝牙耳机设备的通信方法以及蓝牙耳机设备 |
CN111343534A (zh) * | 2020-03-02 | 2020-06-26 | 昆山众赢昌盛贸易有限公司 | 无线耳机入耳检测方法及无线耳机 |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US20210393168A1 (en) * | 2020-06-22 | 2021-12-23 | Bose Corporation | User authentication via in-ear acoustic measurements |
US11183205B1 (en) * | 2020-07-08 | 2021-11-23 | Cirrus Logic, Inc. | Methods and apparatus for biometric processes |
US11941319B2 (en) | 2020-07-20 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11122350B1 (en) * | 2020-08-18 | 2021-09-14 | Cirrus Logic, Inc. | Method and apparatus for on ear detect |
JP2022056790A (ja) * | 2020-09-30 | 2022-04-11 | フォスター電機株式会社 | ヘッドセット |
JP2022089615A (ja) * | 2020-12-04 | 2022-06-16 | パナソニックIpマネジメント株式会社 | イヤホンおよび装着感調整方法 |
US12003954B2 (en) | 2021-03-31 | 2024-06-04 | Apple Inc. | Audio system and method of determining audio filter based on device position |
US20230370760A1 (en) * | 2022-05-16 | 2023-11-16 | Microsoft Technology Licensing, Llc | Earbud location detection based on acoustical signature with user-specific customization |
US20240196125A1 (en) * | 2022-12-13 | 2024-06-13 | Microsoft Technology Licensing, Llc | Earbud for authenticated sessions in computing devices |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008000304A1 (en) * | 2006-06-27 | 2008-01-03 | Sony Ericsson Mobile Communications Ab | Earphone system with usage detection |
US20110116643A1 (en) * | 2009-11-19 | 2011-05-19 | Victor Tiscareno | Electronic device and headset with speaker seal evaluation capabilities |
CN102293012A (zh) * | 2009-01-23 | 2011-12-21 | 索尼爱立信移动通讯有限公司 | 耳机的耳内声检测 |
CN102365875A (zh) * | 2009-03-30 | 2012-02-29 | 伯斯有限公司 | 个人声学设备位置确定 |
WO2012167234A1 (en) * | 2011-06-02 | 2012-12-06 | Cedars-Sinai Medical Center | Earphones and hearing aids |
CN102957986A (zh) * | 2011-08-16 | 2013-03-06 | 美商富迪科技股份有限公司 | 声音装置与其声音控制器 |
US20140270208A1 (en) * | 2013-03-15 | 2014-09-18 | Cirrus Logic, Inc. | Monitoring of speaker impedance to detect pressure applied between mobile device and ear |
WO2015067981A1 (en) * | 2013-11-06 | 2015-05-14 | Sony Corporation | Method in an electronic mobile device, and such a device |
US20150208166A1 (en) * | 2014-01-18 | 2015-07-23 | Microsoft Corporation | Enhanced spatial impression for home audio |
CN105097000A (zh) * | 2014-05-05 | 2015-11-25 | 昆山研达电脑科技有限公司 | 智能控制离开人耳的耳机及智能控制耳机离开人耳的方法 |
CN105451111A (zh) * | 2015-12-10 | 2016-03-30 | 小米科技有限责任公司 | 耳机播放控制方法、装置及终端 |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6017052Y2 (ja) | 1979-06-21 | 1985-05-27 | ソニー株式会社 | テ−プレコ−ダ |
CN2162063Y (zh) | 1993-05-07 | 1994-04-13 | 王建军 | 录放音耳机 |
US5787187A (en) | 1996-04-01 | 1998-07-28 | Sandia Corporation | Systems and methods for biometric identification using the acoustic properties of the ear canal |
US5990784A (en) | 1996-12-17 | 1999-11-23 | Yosemite Investment, Inc. | Schmitt trigger loud alarm with feedback |
JPH11205166A (ja) | 1998-01-19 | 1999-07-30 | Mitsubishi Electric Corp | ノイズ検出装置 |
JP2000059876A (ja) | 1998-08-13 | 2000-02-25 | Sony Corp | 音響装置およびヘッドホン |
GB2375205A (en) | 2001-05-03 | 2002-11-06 | Orange Personal Comm Serv Ltd | Determining identity of a user |
US7359504B1 (en) | 2002-12-03 | 2008-04-15 | Plantronics, Inc. | Method and apparatus for reducing echo and noise |
GB2434708B (en) | 2006-01-26 | 2008-02-27 | Sonaptic Ltd | Ambient noise reduction arrangements |
US7706821B2 (en) | 2006-06-20 | 2010-04-27 | Alon Konchitsky | Noise reduction system and method suitable for hands free communication devices |
US7773759B2 (en) | 2006-08-10 | 2010-08-10 | Cambridge Silicon Radio, Ltd. | Dual microphone noise reduction for headset application |
US8249265B2 (en) | 2006-09-15 | 2012-08-21 | Shumard Eric L | Method and apparatus for achieving active noise reduction |
US8652040B2 (en) | 2006-12-19 | 2014-02-18 | Valencell, Inc. | Telemetric apparatus for health and environmental monitoring |
JP5007561B2 (ja) | 2006-12-27 | 2012-08-22 | ソニー株式会社 | ノイズ低減装置、ノイズ低減方法、ノイズ低減処理用プログラム、ノイズ低減音声出力装置およびノイズ低減音声出力方法 |
GB2441835B (en) | 2007-02-07 | 2008-08-20 | Sonaptic Ltd | Ambient noise reduction system |
US20090003617A1 (en) | 2007-06-28 | 2009-01-01 | Goldman Stuart O | Noise cancellation for buildings and/or structures |
US8229145B2 (en) * | 2007-09-05 | 2012-07-24 | Avaya Inc. | Method and apparatus for configuring a handheld audio device using ear biometrics |
ES2380881T3 (es) | 2007-11-27 | 2012-05-21 | Koninklijke Philips Electronics N.V. | Aparato y método pde monitorización auditiva del corazón |
JP4572945B2 (ja) | 2008-03-28 | 2010-11-04 | ソニー株式会社 | ヘッドフォン装置、信号処理装置、信号処理方法 |
EP2182510B2 (en) | 2008-10-31 | 2016-09-28 | Austriamicrosystems AG | Active noise control arrangement, active noise control headphone and calibration method |
KR100986527B1 (ko) | 2008-12-04 | 2010-10-07 | 한국기술교육대학교 산학협력단 | 음악선곡시스템 및 그 방법 |
JP4521461B2 (ja) * | 2008-12-25 | 2010-08-11 | 株式会社東芝 | 音響処理装置、音響再生装置、及び音響処理方法 |
EP2202998B1 (en) | 2008-12-29 | 2014-02-26 | Nxp B.V. | A device for and a method of processing audio data |
US20100174390A1 (en) | 2009-01-02 | 2010-07-08 | Peter Garrett | Solid-State Music Player And Host Docking System |
US8699719B2 (en) * | 2009-03-30 | 2014-04-15 | Bose Corporation | Personal acoustic device position determination |
US8184822B2 (en) | 2009-04-28 | 2012-05-22 | Bose Corporation | ANR signal processing topology |
US20100296666A1 (en) | 2009-05-25 | 2010-11-25 | National Chin-Yi University Of Technology | Apparatus and method for noise cancellation in voice communication |
US8737636B2 (en) | 2009-07-10 | 2014-05-27 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for adaptive active noise cancellation |
US8509882B2 (en) | 2010-06-08 | 2013-08-13 | Alivecor, Inc. | Heart monitoring system usable with a smartphone or computer |
US8774875B1 (en) | 2010-10-20 | 2014-07-08 | Sprint Communications Company L.P. | Spatial separation-enabled noise reduction |
US8693700B2 (en) | 2011-03-31 | 2014-04-08 | Bose Corporation | Adaptive feed-forward noise reduction |
US20130196721A1 (en) | 2011-07-26 | 2013-08-01 | Aloft Technologies, Inc. | Wireless headset |
TW201330645A (zh) | 2012-01-05 | 2013-07-16 | Richtek Technology Corp | 降低雜訊的錄音裝置及其方法 |
US9344815B2 (en) * | 2013-02-11 | 2016-05-17 | Symphonic Audio Technologies Corp. | Method for augmenting hearing |
CN110351623A (zh) | 2013-05-02 | 2019-10-18 | 布佳通有限公司 | 耳机有源噪声控制 |
TWI551153B (zh) * | 2013-11-01 | 2016-09-21 | 瑞昱半導體股份有限公司 | 驅動揚聲器的電路及方法 |
US20150168996A1 (en) * | 2013-12-17 | 2015-06-18 | United Sciences, Llc | In-ear wearable computer |
US9648436B2 (en) | 2014-04-08 | 2017-05-09 | Doppler Labs, Inc. | Augmented reality sound system |
US9557960B2 (en) | 2014-04-08 | 2017-01-31 | Doppler Labs, Inc. | Active acoustic filter with automatic selection of filter parameters based on ambient sound |
US9825598B2 (en) | 2014-04-08 | 2017-11-21 | Doppler Labs, Inc. | Real-time combination of ambient audio and a secondary audio source |
US9524731B2 (en) | 2014-04-08 | 2016-12-20 | Doppler Labs, Inc. | Active acoustic filter with location-based filter characteristics |
WO2015166482A1 (en) | 2014-05-01 | 2015-11-05 | Bugatone Ltd. | Methods and devices for operating an audio processing integrated circuit to record an audio signal via a headphone port |
US9674633B2 (en) * | 2014-05-13 | 2017-06-06 | Crutchfield Corporation | Virtual simulation of spatial audio characteristics |
FR3021180B1 (fr) | 2014-05-16 | 2016-06-03 | Parrot | Casque audio a controle actif de bruit anc avec prevention des effets d'une saturation du signal microphonique "feedback" |
AU2015262864B2 (en) | 2014-05-20 | 2019-03-07 | Bugatone Ltd. | Aural measurements from earphone output speakers |
WO2016067942A1 (ja) | 2014-10-28 | 2016-05-06 | 株式会社三菱ケミカルホールディングス | 検体情報処理装置、情報処理方法、情報処理プログラム、及び同プログラムを記録したコンピュータ読み取り可能な記録媒体 |
DK3062532T3 (en) * | 2015-02-27 | 2018-10-22 | Bernafon Ag | PROCEDURE FOR ADAPTING A HEARING DEVICE TO A USER'S EAR AND A HEARING DEVICE |
CN109196879A (zh) | 2016-05-27 | 2019-01-11 | 布佳通有限公司 | 确定在用户的耳朵处的耳机存在 |
US20180357470A1 (en) * | 2017-06-08 | 2018-12-13 | Stmicroelectronics, Inc. | Biometric ear identification |
-
2017
- 2017-05-26 CN CN201780032800.3A patent/CN109196879A/zh active Pending
- 2017-05-26 WO PCT/IB2017/053123 patent/WO2017203484A1/en unknown
- 2017-05-26 JP JP2018562063A patent/JP2019523581A/ja active Pending
- 2017-05-26 US US15/606,374 patent/US10097914B2/en active Active
- 2017-05-26 KR KR1020187037293A patent/KR20190013880A/ko unknown
- 2017-05-26 CA CA3025726A patent/CA3025726A1/en not_active Abandoned
- 2017-05-26 EP EP17730578.6A patent/EP3466106A1/en not_active Withdrawn
- 2017-05-26 AU AU2017268930A patent/AU2017268930A1/en not_active Abandoned
-
2018
- 2018-08-31 US US16/119,691 patent/US10334350B2/en active Active
-
2019
- 2019-05-22 US US16/419,979 patent/US10659867B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008000304A1 (en) * | 2006-06-27 | 2008-01-03 | Sony Ericsson Mobile Communications Ab | Earphone system with usage detection |
CN102293012A (zh) * | 2009-01-23 | 2011-12-21 | 索尼爱立信移动通讯有限公司 | 耳机的耳内声检测 |
CN102365875A (zh) * | 2009-03-30 | 2012-02-29 | 伯斯有限公司 | 个人声学设备位置确定 |
US20110116643A1 (en) * | 2009-11-19 | 2011-05-19 | Victor Tiscareno | Electronic device and headset with speaker seal evaluation capabilities |
WO2012167234A1 (en) * | 2011-06-02 | 2012-12-06 | Cedars-Sinai Medical Center | Earphones and hearing aids |
CN102957986A (zh) * | 2011-08-16 | 2013-03-06 | 美商富迪科技股份有限公司 | 声音装置与其声音控制器 |
US20140270208A1 (en) * | 2013-03-15 | 2014-09-18 | Cirrus Logic, Inc. | Monitoring of speaker impedance to detect pressure applied between mobile device and ear |
WO2015067981A1 (en) * | 2013-11-06 | 2015-05-14 | Sony Corporation | Method in an electronic mobile device, and such a device |
US20150208166A1 (en) * | 2014-01-18 | 2015-07-23 | Microsoft Corporation | Enhanced spatial impression for home audio |
CN105097000A (zh) * | 2014-05-05 | 2015-11-25 | 昆山研达电脑科技有限公司 | 智能控制离开人耳的耳机及智能控制耳机离开人耳的方法 |
CN105451111A (zh) * | 2015-12-10 | 2016-03-30 | 小米科技有限责任公司 | 耳机播放控制方法、装置及终端 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111903112A (zh) * | 2018-03-21 | 2020-11-06 | 思睿逻辑国际半导体有限公司 | 耳朵接近度检测 |
CN111903112B (zh) * | 2018-03-21 | 2021-09-28 | 思睿逻辑国际半导体有限公司 | 耳朵接近度检测 |
US11693939B2 (en) | 2018-03-21 | 2023-07-04 | Cirrus Logic, Inc. | Ear proximity detection |
CN110740396A (zh) * | 2018-07-18 | 2020-01-31 | 安克创新科技股份有限公司 | 一种降噪耳机 |
CN110278509A (zh) * | 2019-07-26 | 2019-09-24 | 歌尔股份有限公司 | 一种无线耳机控制方法、装置及无线耳机和存储介质 |
WO2021016899A1 (zh) * | 2019-07-26 | 2021-02-04 | 歌尔股份有限公司 | 一种无线耳机控制方法、装置及无线耳机和存储介质 |
CN114270879A (zh) * | 2019-09-04 | 2022-04-01 | 脸谱科技有限责任公司 | 使用用户耳朵的3d重建对音频输出进行个性化均衡 |
CN110769354A (zh) * | 2019-10-25 | 2020-02-07 | 歌尔股份有限公司 | 一种用户语音检测装置、方法及耳机 |
CN110769354B (zh) * | 2019-10-25 | 2021-11-30 | 歌尔股份有限公司 | 一种用户语音检测装置、方法及耳机 |
CN111491234A (zh) * | 2020-04-16 | 2020-08-04 | 广东思派康电子科技有限公司 | 一种头戴式降噪耳机 |
CN111491234B (zh) * | 2020-04-16 | 2022-01-28 | 广东思派康电子科技有限公司 | 一种头戴式降噪耳机 |
Also Published As
Publication number | Publication date |
---|---|
WO2017203484A1 (en) | 2017-11-30 |
US20170347180A1 (en) | 2017-11-30 |
AU2017268930A1 (en) | 2018-12-06 |
US10659867B2 (en) | 2020-05-19 |
US10334350B2 (en) | 2019-06-25 |
KR20190013880A (ko) | 2019-02-11 |
US10097914B2 (en) | 2018-10-09 |
CA3025726A1 (en) | 2017-11-30 |
US20180376234A1 (en) | 2018-12-27 |
JP2019523581A (ja) | 2019-08-22 |
US20190273982A1 (en) | 2019-09-05 |
EP3466106A1 (en) | 2019-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109196879A (zh) | 确定在用户的耳朵处的耳机存在 | |
US10460095B2 (en) | Earpiece with biometric identifiers | |
CN105874809B (zh) | 用于基于所检测的音频事件倒回媒体内容的方法、系统和介质 | |
KR102180489B1 (ko) | 센서 신호들에 기초한 라이브니스 결정 | |
US11809775B2 (en) | Conversation assistance audio device personalization | |
US8112166B2 (en) | Personalized sound system hearing profile selection process | |
US9503824B2 (en) | Method for adjusting parameters of a hearing aid functionality provided in a consumer electronics device | |
CN105282345A (zh) | 通话音量的调节方法和装置 | |
CN107493500A (zh) | 多媒体资源播放方法及装置 | |
CN108476072A (zh) | 用于声音识别的众包数据库 | |
US10142760B1 (en) | Audio processing mechanism with personalized frequency response filter and personalized head-related transfer function (HRTF) | |
CN110544532A (zh) | 一种基于app的声源空间定位能力检测系统 | |
CN106782625B (zh) | 音频处理方法和装置 | |
US11178478B2 (en) | Determining a temperature value by analyzing audio | |
CN106060707A (zh) | 混响处理方法及装置 | |
CN109213892A (zh) | 一种音频播放方法、装置、设备及存储介质 | |
JP2000324590A (ja) | 音響再生装置 | |
CN105930522A (zh) | 智能推荐音乐的方法、系统和装置 | |
KR101652168B1 (ko) | 가청 구분에 의한 사용자 인증 방법 및 장치 | |
Li et al. | Toward Pitch-Insensitive Speaker Verification via Soundfield | |
WO2019071491A1 (zh) | 一种基于智能终端的音效区分方法及音效区分系统 | |
Zhang et al. | Speaker Orientation-Aware Privacy Control to Thwart Misactivation of Voice Assistants | |
WO2024061245A1 (en) | Headphones with sound-enhancement and integrated self-administered hearing test | |
Zhang | Towards Context-Aware and Trustworthy Voice Assistants | |
CN113870883A (zh) | 应用于电视机的语音信号处理方法、装置、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190111 |
|
WD01 | Invention patent application deemed withdrawn after publication |