CN113475097B - 作为声音发射器的显示器的反馈控制 - Google Patents
作为声音发射器的显示器的反馈控制 Download PDFInfo
- Publication number
- CN113475097B CN113475097B CN202080016478.7A CN202080016478A CN113475097B CN 113475097 B CN113475097 B CN 113475097B CN 202080016478 A CN202080016478 A CN 202080016478A CN 113475097 B CN113475097 B CN 113475097B
- Authority
- CN
- China
- Prior art keywords
- signal
- display
- vibration sensor
- audio
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 315
- 230000004044 response Effects 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims description 117
- 238000012546 transfer Methods 0.000 claims description 8
- 230000003750 conditioning effect Effects 0.000 claims description 6
- 238000003825 pressing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 18
- 230000008878 coupling Effects 0.000 description 11
- 238000010168 coupling process Methods 0.000 description 11
- 238000005859 coupling reaction Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000001143 conditioned effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1787—General system configurations
- G10K11/17879—General system configurations using both a reference signal and an error signal
- G10K11/17883—General system configurations using both a reference signal and an error signal the reference signal being derived from a machine operating condition, e.g. engine RPM or vehicle speed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H1/00—Measuring characteristics of vibrations in solids by using direct conduction to the detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
- G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K13/00—Cones, diaphragms, or the like, for emitting or receiving sound in general
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K9/00—Devices in which sound is produced by vibrating a diaphragm or analogous element, e.g. fog horns, vehicle hooters or buzzers
- G10K9/12—Devices in which sound is produced by vibrating a diaphragm or analogous element, e.g. fog horns, vehicle hooters or buzzers electrically operated
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K9/00—Devices in which sound is produced by vibrating a diaphragm or analogous element, e.g. fog horns, vehicle hooters or buzzers
- G10K9/18—Details, e.g. bulbs, pumps, pistons, switches or casings
- G10K9/20—Sounding members
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G5/00—Tone control or bandwidth control in amplifiers
- H03G5/16—Automatic control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/04—Structural association of microphone with electric circuitry therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R7/00—Diaphragms for electromechanical transducers; Cones
- H04R7/02—Diaphragms for electromechanical transducers; Cones characterised by the construction
- H04R7/04—Plane diaphragms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R7/00—Diaphragms for electromechanical transducers; Cones
- H04R7/02—Diaphragms for electromechanical transducers; Cones characterised by the construction
- H04R7/04—Plane diaphragms
- H04R7/045—Plane diaphragms using the distributed mode principle, i.e. whereby the acoustic radiation is emanated from uniformly distributed free bending wave vibration induced in a stiff panel and not from pistonic motion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/10—Applications
- G10K2210/129—Vibration, e.g. instead of, or in addition to, acoustic noise
- G10K2210/1291—Anti-Vibration-Control, e.g. reducing vibrations in panels or beams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/301—Computational
- G10K2210/3044—Phase shift, e.g. complex envelope processing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/30—Means
- G10K2210/321—Physical
- G10K2210/3211—Active mounts for vibrating structures with means to actively suppress the vibration, e.g. for vehicles
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本公开的各方面涉及使用显示器作为声音发射器并且可以涉及包括显示器的电子设备。特别地,诸如加速度计等振动传感器物理地耦合到显示器并且感测显示器振动以提供关于表示来自显示器的实际音频输出的高精度反馈回路。该电子设备包括致动器,该致动器物理地耦合到显示器并且被配置为响应于音频信号而引起显示器的振动。该电子设备还包括振动传感器,该振动传感器物理地耦合到显示器并且被配置为输出振动传感器信号,该振动传感器信号与由于致动器而引起的显示器的振动成比例。
Description
相关申请的交叉引用
本专利申请要求于2020年2月20日提交的标题为“SOUND LEAK CANCELATION FORDISPLAY AS SOUND EMITTER”的非临时申请第16/796,484号的优先权,该非临时申请要求于2019年2月25日提交并且转让给其受让人并且在此通过整体引用明确并入本文的、标题为“FEEDBACK CONTROL FOR DISPLAY AS SOUND EMITTER”临时申请第62/810,148号的优先权。本专利申请还要求于2019年8月29日提交并且被转让给其受让人并且在此通过引用整体明确并入本文的、标题为“SOUND LEAK CANCELLATION FOR DISPLAY AS SOUND EMITTER”的临时申请第62/893,583号的优先权。本专利申请还要求于2019年8月29日提交并且转让给其受让人并且在此通过引用整体明确并入本文的、标题为“FEEDBACK CONTROL FORCALIBRATION OF DISPLAY AS SOUND EMITTER”的临时申请第62/893,553号的优先权。
技术领域
本公开总体上涉及一种用于使用显示器来产生声音的系统,并且具体地涉及用于反馈回路的系统,该反馈回路被用于改善来自显示器的振动的音频输出。
背景技术
电子设备包括传统的计算设备,诸如台式计算机、笔记本计算机、平板计算机、智能电话、如智能手表等可穿戴设备、互联网服务器等。但是,电子设备还包括具有计算能力的其他类型的设备,诸如个人语音助手、恒温器、汽车电子、机器人、嵌入在其他机器(如家用电器和工业工具)中的设备、物联网(IoT)设备等。这些各种电子设备为人类用户提供信息、娱乐、社交互动、安全性、安全、生产力、运输、制造和其他服务。
这些电子设备通常包括连同用于输出音频的功能(例如,用于语音呼叫或音频回放功能)的显示器。在某些情况下,希望将显示器的尺寸扩展到尽可能大的程度(例如,让显示器覆盖电子设备的整个正面(或其他表面))。然而,也可能需要占用空间的音频扬声器来向面向显示器的用户输出声音。可能希望系统能够提供音频输出而不占用设备表面上的空间,以允许更多区域用于显示器(例如,允许显示器延伸到电子设备的所有外边缘)。
发明内容
在本公开的一个方面,提供了一种电子设备。该电子设备包括显示器。该电子设备还包括致动器,该致动器物理地耦合到显示器并且被配置为:响应于作为致动器的输入并且由音频放大器生成的音频信号,而引起显示器的振动。该电子设备还包括振动传感器,该振动传感器物理地耦合到显示器并且被配置为感测由于致动器而引起的显示器的振动,并且输出振动传感器信号,该振动传感器信号与由于致动器而引起的显示器的振动成比例。在一些实现中,该电子设备还可以包括可操作地耦合到振动传感器的处理器,其中处理器被配置为基于振动传感器信号生成回波参考信号。回波参考信号对应于由于显示器的振动而引起的显示器的声学输出(例如,音频输出)的表示。在一些实现中,处理器还可以被配置为消除由麦克风接收的麦克风输入信号内包括的回波信号的至少一部分,其中处理器被配置为基于回波参考信号来消除回波信号的至少一部分,回波参考信号是基于来自振动传感器的振动传感器信号而生成的。
在本公开的另一方面,提供了一种电子设备。该电子设备包括显示器。该电子设备还包括:用于基于由音频放大器生成的音频信号而引起显示器振动,来提供由于显示器的振动而引起的来自显示器的声学输出的装置。该电子设备还包括用于感测显示器的振动的装置。振动感测装置被配置为响应于显示器的振动而输出与显示器的振动成比例的振动传感器信号。在一些实现中,该电子设备还可以包括:用于基于振动传感器信号而生成回波参考信号的装置。回波参考信号对应于显示器的声学输出的表示。该电子设备还可以包括:用于消除由麦克风接收的麦克风输入信号内包括的回波信号的至少一部分的装置,其中消除装置被配置为基于回波参考信号来消除回波信号的至少一部分,回波参考信号是基于来自振动感测装置的振动传感器信号而生成的。
在本公开的又一方面,提供了一种使用显示器来产生音频的方法。该方法包括:使用物理地耦合到显示器的致动器、基于作为输入提供给致动器并且由音频放大器生成的音频信号,来使显示器振动。该方法还包括:使用物理地耦合到显示器的振动传感器来生成振动传感器信号。振动传感器信号与由于致动器而引起的显示器的振动成比例。在一些实现中,该方法还可以包括基于振动传感器信号生成回波参考信号,回波参考信号对应于显示器的声学输出的表示。该方法还可以包括消除由麦克风接收的麦克风输入信号内包括的回波信号的至少一部分,其中消除回波信号的至少一部分包括基于回波参考信号来消除回波信号的至少一部分,回波参考信号是基于来自振动传感器的振动传感器信号而生成的。
在本公开的又一方面,提供了一种存储计算机可执行代码的计算机可读介质。该代码在由处理器执行时使处理器:使用物理地耦合到显示器的致动器、基于作为输入被提供给致动器的音频信号,来使显示器振动。该代码还使处理器:使用物理地耦合到显示器的振动传感器来生成振动传感器信号。振动传感器信号与由于致动器而引起的显示器的振动成比例。在一些实现中,该代码还可以使处理器基于振动传感器信号生成回波参考信号,回波参考信号对应于显示器的声学输出的表示。该代码还可以使处理器消除由麦克风接收的麦克风输入信号内包括的回波信号的至少一部分,其中消除回波信号的至少一部分包括基于回波参考信号消除回波信号的至少一部分,回波参考信号是基于来自振动传感器的振动传感器信号而生成的。
在本公开的又一方面,提供了一种电子设备。该电子设备包括致动器,该致动器可操作地耦合到电子设备的、具有面向外部的表面的组件。致动器被配置为响应于由音频放大器生成的音频信号,而引起组件的振动。该电子设备还包括振动传感器,该振动传感器耦合到该组件并且被配置为响应于该致动器对组件的振动,而输出与该组件的振动成比例的信号。
在本公开的又一方面,提供了一种包括显示器的电子设备。该电子设备还包括致动器,该致动器物理地耦合到显示器并且被配置为:响应于作为输入提供给致动器的音频信号,而引起显示器的振动。该电子设备还包括振动传感器,该振动传感器物理地耦合到显示器并且被配置为:输出与由于致动器而引起的显示器的振动成比例的振动传感器信号。该电子设备还包括可操作地耦合到振动传感器的处理器。处理器被配置为基于来自振动传感器的振动传感器信号来调节音频信号。在一些实现中,处理器还可以被配置为响应于被施加到显示器的、影响显示器的振动的力,来调节音频信号。处理器可以被配置为基于振动传感器信号来确定被施加到显示器的力的水平的估计。处理器可以被配置为基于力的水平的估计来调节音频信号。
在本公开的又一方面,提供了一种包括显示器的电子设备。该电子设备还包括:用于基于音频信号来引起显示器的振动,以提供由于显示器的振动而引起的来自显示器的声学输出的装置。该电子设备还包括用于感测显示器的振动的装置,该振动感测装置被配置为响应于显示器的振动而输出与显示器的振动成比例的振动传感器信号。该电子设备还包括:用于基于来自振动感测装置的振动传感器信号,来调节音频信号的装置。在一些实现中,调节装置可以被配置为响应于被施加到显示器的、影响显示器的振动的力来调节音频信号。该电子设备还可以包括:用于基于振动传感器信号来确定被施加到显示器的力的水平的估计的装置。调节装置可以被配置为基于力的水平的估计来调节音频信号。
在本公开的又一方面,提供了一种使用显示器来产生音频的方法。该方法包括:使用物理地耦合到显示器的致动器、基于作为输入提供给致动器的音频信号来使显示器振动。该方法还包括:使用物理地耦合到显示器的振动传感器来生成振动传感器信号,振动传感器信号与由于致动器而引起的显示器的振动成比例。该方法还包括基于来自振动传感器的振动传感器信号调节音频信号。在一些实现中,调节音频信号可以包括:响应于被施加到显示器的、影响致动器对显示器的振动的力来调节音频信号。该方法还可以包括基于振动传感器信号确定被施加到显示器的力的水平的估计。调节音频信号可以包括基于力的水平的估计来调节音频信号。
在本公开的又一方面,提供了一种存储计算机可执行代码的计算机可读介质。该代码在由处理器执行时使处理器:使用物理地耦合到显示器的致动器、基于作为输入提供给致动器的音频信号来使显示器振动。该代码还使处理器:使用物理地耦合到显示器的振动传感器来生成振动传感器信号,振动传感器信号与由于致动器引起的显示器的振动成比例。该代码还使处理器基于来自振动传感器的振动传感器信号来调节音频信号。在一些实现中,调节音频信号可以包括:响应于被施加到显示器的、影响致动器对显示器的振动的力来调节音频信号。该代码还可以使处理器基于振动传感器信号确定被施加到显示器的力的水平的估计。调节音频信号可以包括基于力的水平的估计来调节音频信号。
在本公开的又一方面,提供了一种包括显示器的电子设备。该电子设备还包括第一致动器,该第一致动器物理地耦合到显示器并且被配置为:响应于作为输入被提供给第一致动器的第一音频信号而引起显示器的振动。该电子设备还包括振动传感器,该振动传感器物理地耦合到显示器并且被配置为:输出与由于第一致动器而引起的显示器的振动成比例的振动传感器信号。该电子设备还包括第二致动器,第二致动器物理地耦合到电子设备的一部分、并且被配置为响应于作为输入被提供给第二致动器的第二音频信号而引起该部分的振动,该一部分不同于第一致动器物理地耦合到显示器的位置。在一些实现中,该电子设备还可以包括被配置为生成第一音频信号和第二音频信号的处理器。处理器可以被配置为生成具有如下波形的第二音频信号,该波形使由显示器的振动引起的、电子设备的该一部分的振动消除。
在本公开的又一方面,提供了一种包括显示器的电子设备。该电子设备还包括:用于基于第一音频信号引起显示器的振动,来提供由于显示器的振动而引起的来自显示器的声学输出的第一装置。该电子设备还包括用于感测显示器的振动的装置,该振动感测装置被配置为输出与显示器的振动成比例的振动传感器信号。该电子设备还包括:用于基于第二音频信号引起不同于显示器的电子设备的一部分振动的第二装置。在一些实现中,该电子设备还可以包括:用于生成具有如下波形的第二音频信号的装置,该波形使由显示器的振动引起的电子设备的该一部分的振动消除,其中第二音频信号是部分地基于来自振动感测装置的振动传感器信号而生成的。
在本公开的又一方面中,提供了一种使用作为电子设备的一部分的显示器来产生音频的方法。该方法包括:使用物理地耦合到显示器的第一致动器、基于作为输入被提供给第一致动器的第一音频信号来使显示器振动。该方法还包括:使用物理地耦合到显示器的振动传感器生成振动传感器信号,振动传感器信号与由于第一致动器而引起的显示器的振动成比例。该方法还包括:使用物理地耦合到不同于显示器的电子设备的一部分的第二致动器、基于作为输入提供给第二致动器的第二音频信号来使电子设备的该部分振动。在一些实现中,该方法还可以包括生成具有如下波形的第二音频信号,该波形使由于显示器的振动而引起的电子设备的该部分的振动消除。
在本公开的又一方面,提供了一种存储计算机可执行代码的计算机可读介质。该代码在由处理器执行时使处理器使用物理地耦合到显示器的第一致动器基于作为输入提供给第一致动器的第一音频信号来使显示器振动。该代码还使处理器使用物理地耦合到显示器的振动传感器生成振动传感器信号,振动传感器信号与由于第一致动器引起的显示器的振动成比例。该代码还使处理器使用物理地耦合到不同于显示器的电子设备的一部分的第二致动器、基于作为输入被提供给第二致动器的第二音频信号来使电子设备的该一部分振动。在一些实现中,该代码还可以使处理器生成具有如下波形的第二音频信号,该波形使由显示器的振动引起的电子设备的该一部分的振动消除。
附图说明
图1是包括具有显示器和音频系统的电子设备的环境的图。
图2是用于使用显示器作为电子设备的音频发射器的音频系统的示例的框图。
图3A和图3B是根据本公开的某些方面的用于使用显示器作为音频发射器的音频系统的示例的框图,音频系统包括振动传感器。
图4A是与图3的音频系统相对应的音频系统的示例的框图,示出了处理器的其他功能元件或组件。
图4B是图4A的音频系统的框图,示出了处理器的功能元件或组件的其他示例。
图5A是示出来自振动传感器的振动传感器信号、与所测量的针对不同声音强度水平的跨频率范围的声压水平信号之间的比较的图。
图5B是示出基于被施加到显示器的不同力的跨频率的音频信号的表示的图。
图6是示出作为被施加到显示器的不同外力的结果的、包括显示器和致动器的机电系统的Q因子的变化的图。
图7是根据本公开的某些方面的使用显示器作为音频发射器的音频系统的示例的框图,该音频系统包括振动传感器和回波消除。
图8A是根据本公开的某些方面的使用显示器作为音频发射器的音频系统的示例的框图,该音频系统包括振动传感器和声音泄漏消除。
图8B是图8A的音频系统的框图,示出了处理器的功能元件或组件的其他示例。
图8C是根据本公开的某些方面的使用显示器作为音频发射器的音频系统的另一示例的框图,该音频系统包括两个振动传感器。
图8D是图8C的音频系统的框图,示出了处理器的功能元件或组件的其他示例。
图9示出了图8C的音频系统的示例,但背板被替换为第二显示器。
图10示出了类似于图3A的音频系统的示例,但显示器被替换为通用组件。
图11是示出用于使用参考图4A和图4B的显示器来产生音频的方法的示例的流程图。
图12是示出用于使用显示器来产生音频的方法的另一示例的流程图。
图13是示出用于使用作为电子设备的一部分的显示器来产生音频的方法的另一示例的流程图。
图14是示出用于处理来自振动传感器的振动传感器信号的方法的示例的流程图。
具体实施方式
下面结合附图阐述的详细描述旨在作为示例性实现的描述并且不旨在表示可以实践本发明的唯一实现。贯穿本说明书使用的术语“示例性”表示“用作示例、实例或说明”,并且不一定应当被解释为比其他示例性实现优选或有利。详细描述包括用于提供对示例性实现的透彻理解的特定细节。在某些情况下,某些设备以框图形式显示。以下附图中的共同附图元素可以使用相同附图标记来标识。
本公开的各方面涉及使用显示器作为声音发射器,例如,用于在诸如智能电话等电子设备上进行电话呼叫。在某些方面,使用显示器作为声音发射器的系统被称为显示器即接收器(DaR)系统,该系统旨在取代在手机模式呼叫中播放声音(或用于其他音频播放)的动态接收器(例如,扬声器)。取代扬声器并且使得显示器能够成为声音发射器,允许将电子设备的整个正面或其他表面用作显示器。因此不需要电子设备正面的声学端口,从而为显示器留出更多空间。这是电子设备的理想设计特征。此外,对于较小电子设备,可能希望将空间用于除声学端口之外的其他目的。在一个方面,DaR系统是通过在显示器背面施加振动来产生声音的机电系统。在某些方面,显示器的振动属于如下类型:即,基于可听到的振动(例如,声学输出)在空气中生成声波,并且当用户触摸电子设备时,显示器的振动可能会或可能不会被用户实际物理感觉到。然而,通过显示器产生声音可能会在保持音频输出质量方面带来挑战。本公开的各方面涉及提供显示器的音频输出的准确反馈以提高整体音频质量。虽然本公开的某些方面涉及使用显示器来输出声音,但是应当理解,本文中描述的原理也可以应用于电子设备的可以被引起振动以产生音频输出的其他组件(例如,壳体的其他表面或面向外部的组件)。
例如,本文中描述的元件或元件的任何部分或元件的任何组合可以被实现为包括一个或多个处理器的“处理系统”。处理器的示例包括微处理器、微控制器、图形处理单元(GPU)、中央处理单元(CPU)、应用处理器、数字信号处理器(DSP)、精简指令集计算(RISC)处理器、片上系统(SoC)、基带处理器、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立硬件电路和其他合适的硬件,这些硬件被配置为执行整个本公开中描述的各种功能。处理系统中的一个或多个处理器可以执行软件。软件应当广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行线程、过程、函数等,无论是指软件、固件、中间件、微码、硬件描述语言还是其他。
因此,在一个或多个示例实施例中,所描述的功能或电路系统块可以以硬件、软件或其任何组合来实现。如果以软件实现,则这些功能可以存储在计算机可读介质上或作为一个或多个指令或代码编码在计算机可读介质上。计算机可读介质包括计算机存储介质。存储介质可以是计算机可以访问的任何可用介质。作为示例而非限制,这样的计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储、磁盘存储、其他磁存储设备、上述类型的计算机可读介质的组合、或可以用于以可以由计算机访问的指令或数据结构的形式存储计算机可执行代码的任何其他介质。在一些方面,利用电路系统而描述的组件可以由硬件、软件或其任何组合来实现。
图1是包括具有显示器120和音频系统122的电子设备102的环境100的图。在环境100中,电子设备102通过无线链路106与基站104通信。如图所示,电子设备102被描绘为智能电话。然而,电子设备102可以实现为任何合适的计算设备或其他电子设备,诸如蜂窝基站、宽频带路由器、接入点、蜂窝或移动电话、游戏设备、导航设备、媒体设备、膝上型计算机、台式计算机、平板电脑、服务器电脑、网络附加存储(NAS)设备、智能电器、基于车辆的通信系统、物联网(IoT)设备、传感器或安全设备、资产跟踪器等。
基站104经由无线链路106与电子设备102通信,该无线链路106可以被实现为任何合适类型的无线链路。尽管被描绘为蜂窝无线电网络的基站塔,但基站104可以表示或实现为另一设备,诸如卫星、地面广播塔、接入点、对等设备、网状网络节点、光纤线路、大体上如上所述的另一电子设备等。因此,电子设备102可以经由有线连接、无线连接或其组合与基站104或另一设备通信。无线链路106可以包括从基站104传送到电子设备102的数据或控制信息的下行链路、和从电子设备102传送到基站104的其他数据或控制信息的上行链路。无线链路106可以使用任何合适的通信协议或标准来实现,诸如第三代合作伙伴计划长期演进(3GPP LTE、3GPP NR 5G)、IEEE 802.11、IEEE 802.16、BluetoothTM等。
电子设备102包括处理器108和存储器110。存储器110可以是或形成计算机可读存储介质的一部分。处理器108可以包括被配置为执行由存储器110存储的处理器可执行指令(例如,代码)的任何类型的处理器,诸如应用处理器或多核处理器。存储器110可以包括任何合适类型的数据存储介质,诸如易失性存储器(例如,随机存取存储器(RAM))、非易失性存储器(例如,闪存)、光学介质、磁介质(例如,磁盘或磁带)等。在本公开的上下文中,存储器110被实现为存储电子设备102的指令112、数据114和其他信息,并且因此当被配置为计算机可读存储介质或其一部分时,存储器110不包括暂态传播信号或载波。在下面的示例中,虽然处理器108可以被描绘为没有存储器110,但是应当理解,在下面的每个示例中,处理器可以包括诸如图1的存储器110等存储器,该存储器可以用于执行如功能块或电路系统块所示的任何功能或操作的一部分或全部的存储指令112、数据114和其他信息。
电子设备102还可以包括输入/输出端口116(I/O端口116)。电子设备102还包括显示器120。I/O端口116实现与其他设备、网络或用户或设备组件之间的数据交换或交互。I/O端口116可以包括串行端口(例如,通用串行总线(USB)端口)、并行端口、音频端口、红外(IR)端口、相机或其他传感器端口等。显示器120可以被实现为呈现电子设备102的图形的屏幕或投影,诸如与操作系统、程序或应用相关联的用户界面。备选地或附加地,显示器120可以被实现为通过其传送或呈现电子设备102的图形内容的显示端口或虚拟接口。
电子设备102还可以包括信号处理器(SP)118(例如,诸如数字信号处理器(DSP))。信号处理器118的功能类似于处理器,并且信号处理器118能够结合存储器110来执行指令和/或处理信息。在一些方面,处理器108可以是信号处理器118。在其他方面,处理器108可以包括信号处理器118。
出于通信目的,电子设备102还包括调制解调器136、无线收发器138和天线(未示出)。无线收发器138使用射频(RF)无线信号来提供到相应网络和与无线收发器138连接的其他电子设备的连接。附加地或备选地,电子设备102可以包括有线收发器,诸如以太网或光纤接口,以用于通过个人或本地网络、内联网或互联网进行通信。无线收发器138可以促进通过任何合适类型的无线网络的通信,诸如无线局域网(LAN)(WLAN)、对等(P2P)网络、网状网络、蜂窝网络、无线广域网(WWAN)、导航网络(例如,北美全球定位系统(GPS)或另一全球导航卫星系统(GNSS))、和/或无线个域网(WPAN)。在示例环境100的上下文中,无线收发器138使得电子设备102能够与基站104和与无线收发器连接的网络进行通信。然而,无线收发器138可以使得电子设备102能够与其他设备或使用备选无线网络进行通信。
诸如基带调制解调器等调制解调器136可以实现为片上系统(SoC),该SoC为电子设备102的数据、语音、消息传递和其他应用提供数字通信接口。调制解调器136还可以包括用于执行高速采样过程的基带电路系统,这些采样过程可以包括:模数转换(ADC)、数模转换(DAC)、增益校正、偏斜校正、频率转换等。调制解调器136还可以包括用于执行相位/正交(I/Q)操作的逻辑,诸如合成、编码、调制、解调和解码。备选地,ADC或DAC操作可以由单独的组件或另一图示组件执行,诸如所示的无线收发器138。
电子设备102还包括音频系统122,音频系统122可以可操作地耦合到显示器120并且包括:被配置为使显示器120振动以产生音频输出(例如,用于电话呼叫或音频回放)的组件。音频系统122可以耦合到信号处理器118或处理器108中的一个或多个,并且可以包括音频放大器124,音频放大器124被配置为接收一个或多个电音频信号并且输出放大电音频信号。音频系统122可以包括致动器126,致动器126可操作地耦合到音频放大器124并且被配置为接收放大电音频信号。在本公开中,虽然致动器126通常可操作地耦合到音频放大器124并且从音频放大器124接收放大音频信号,但是输入到致动器126的信号在本文中可以称为音频信号或放大音频信号(即,致动器126被配置为接收某种类型的音频信号)。此外,音频信号通常表示旨在承载诸如语音信息的某种类型的音频内容的信息信号的电表示,并非自身是可听到的(例如,音频信号是最终被转换成可听信号但在转换之前可能听不到的信号)。致动器126可以物理地耦合到显示器120并且被配置为根据音频信号内容使显示器120振动。在一个方面,物理耦合可以指示致动器126附接到显示器120或至少以引起显示器120振动的方式物理地耦合。基于音频信号,致动器126的振动和致动器126与显示器120的物理耦合,使显示器120以产生声音(例如,声学输出)的方式振动。如上所述,在某些方面,显示器120的振动是基于可听见的振动而在空气中生成声波的类型,并且用户触摸包括显示器120的电子设备102实际上可能会或可能不会实际感觉到该振动。音频系统122还包括振动传感器130,振动传感器130被配置为感测显示器的振动并且提供准确表示显示器120的振动的振动传感器信号以提供反馈,如将在下面进一步描述的。音频系统122还包括麦克风132。音频系统122还可以包括具有硬件和/或其他组件的音频处理器134(例如,音频编解码器),该硬件和/或其他组件被配置为处理来自振动传感器130和其他音频组件的输入并且将转换后的数字或其他信号提供给处理器108或信号处理器118以进行进一步音频处理。
图2是用于使用显示器220作为电子设备102(图1)的音频发射器的音频系统222的示例的框图。音频系统222包括显示器220。显示器220被示出为具有一起构成显示器220的多个层,以提供如何组合多个组件/层以形成显示器220的示例。音频系统222包括类似于参考图1描述的处理器108的处理器208。处理器208可以包括或被配置为DSP。处理器208还可以包括其他音频硬件处理组件,诸如音频编解码器,该处理组件用于从音频相关I/O组件接收输入信号,并且将它们转换为用于由处理器208处理的形式。音频系统222还包括音频放大器224,音频放大器224可操作地耦合到处理器208,并且被配置为从处理器208接收将要被输出的作为音频输出的电音频信号。音频放大器224被配置为放大和/或调节电音频信号以提供给音频输出组件。音频放大器224还可以向处理器208提供反馈,该反馈由关于处理器208与音频放大器224之间的连接的双箭头指示。可以有来自音频放大器224的输出的反馈线,以允许感测从音频放大器224输出的放大音频输出,如虚线所示。该反馈可以作为反馈信号提供给音频放大器224和/或处理器208,以用于进一步调节电音频信号。
音频系统222还包括致动器226(例如,振动致动器),致动器226可操作地耦合到音频放大器224并且被配置为接收放大音频信号作为输入音频信号。致动器226物理地耦合到显示器220(例如,显示器220的背面)并且被配置为使显示器220根据来自音频放大器224的放大音频信号而振动。在一个方面,物理耦合可以指示致动器226以如下方式附接到或至少接触显示器220的一个或多个组件:将致动器226的振动传递到显示器220的一个或多个组件以使显示器220根据放大音频信号进行振动。在一个方面,致动器226是用于引起显示器220振动的装置的示例。
如上所述,在某些方面,除了显示器220,电子设备102的其他组件或表面也能够耦合到致动器226以产生声音。然而,鉴于显示器220在大多数使用情况下相对于用户的取向、以及希望扩展替换了其他音频端口的显示区域,使用显示器220可能是常见的。致动器226可以包括如下的一个或多个元件:响应于基于致动器226与显示器220的一个或多个组件之间的机械耦合的音频信号,而引起显示器220的振动的(例如,致动器226接收音频信号作为输入,其中音频信号是由音频放大器224基于来自处理器208的电音频信号而生成的放大音频信号)。例如,致动器226可以具有被配置为根据传入的电音频信号而振动的质量块(例如,金属板或具有质量块的其他谐振器)。致动器226的质量块的振动基于致动器226与显示器220的物理耦合被传递到显示器220,并且从而引起显示器220的振动。这可能与使元件振动以引起空气的振动的其他声音发射器(例如,锥体或其他膜)形成对比,而不是使诸如显示器220等物理组件振动。显示器220的振动基于音频信号,因此显示器220根据音频信号(例如,由音频放大器224提供)发出声音(例如,语音)。显示器220由此可以被用于提供针对语音呼叫或其他音频回放的声音。在某些方面,来自音频放大器的音频信号表示音频语音信号,并且显示器220被配置为提供与由于显示器220的振动而引起的音频信号相对应的声学输出,显示器220的振动是由于致动器226而引起的。也考虑除音频语音信号之外的其他可听输出。
如上所述,能够生成表示音频系统222的音频输出的信号,以便创建用于改进音频输出质量的反馈回路可能是有价值的。在使用其他类型的音频发射器(例如,典型扬声器)的一些系统中,可能难以获取表示音频系统222的音频输出的准确参考信号。可以提供附加麦克风来捕获音频输出。但是除了捕获来自音频系统222的输出,附加麦克风还拾取其他背景噪声和其他失真。该背景噪声降低了由附加麦克风提供的信号的准确度,该信号本身旨在作为音频系统222的音频输出的准确表示。也可以使用来自音频放大器224的输出(以及致动器226的输入)的反馈信号。然而,音频放大器224的输出处的信号不能包括:由所使用的音频发射器的独特特性而产生的信号内容以及音频系统222中可能出现的、影响音频发射器的各种其他失真。因此,音频放大器224的输出可能不是音频发射器的实际音频输出的足够准确的表示。
特别地,当使用显示器220作为音频发射器时,显示器220的特定物理特性、以及显示器220振动以生成音频输出的方式,可能使音频放大器224的输出处的信号不同于表示来自显示器220的实际声学输出(例如,音频输出)的信号(例如,显示器220具有独特且不同的音频传递函数)。在这种情况下,音频放大器224的输出处的信号作为关于显示器220的音频输出的质量反馈的参考可能不够准确。
图3A是根据本公开的某些方面的用于使用显示器320作为音频发射器的音频系统322的示例的框图,音频系统322包括振动传感器330。音频系统322包括处理器308、音频放大器324和致动器326,其配置与上文关于图1和图2的描述类似。音频系统322还包括振动传感器330。振动传感器330物理地耦合(例如,机械地耦合或附接)到显示器320并且被配置为感测由于致动器326引起的显示器320的振动,并且响应于致动器326对显示器320的振动,而输出与显示器320的振动成比例的振动传感器信号。在一个方面,物理耦合可以指示振动传感器330附接或至少机械接触显示器320的一个或多个组件。因为振动传感器330直接感测显示器320的振动(例如,随着显示器一起振动),振动传感器信号可以是响应于音频信号的、显示器320的振动的准确表示。振动传感器信号被用于反馈回路中以提供进一步的音频处理益处和/或改进由处理器308提供的音频信号(例如,振动传感器信号捕获音频系统输出,然后音频系统输出被反馈给处理器308以生成将被显示器320输出的电音频信号,并且处理器308可以基于表示音频系统322的音频或声学输出的振动传感器信号,来调节输入到音频放大器324的电音频信号)。振动传感器330配置有允许振动传感器信号在至少语音频谱(或更宽的音频频谱)上准确地表示显示器320的振动的灵敏度。
在一个方面,振动传感器330可以被实现为加速度计或包括加速度计。图3B是示出作为图3A的振动传感器330的加速度计330a的框图。在某些方面,加速度计330a是宽频带加速度计。例如,加速度计330a可以是具有跨越至少语音范围(例如,高达7kHz或更多)内的频率的带宽的宽频带加速度计330a。与用于其他目的的加速度计(例如,电子设备102中的设备取向传感器)相比,用作振动传感器330的加速度计330a的带宽可以显著更宽。加速度计330a基于显示器320的振动感测加速度。在某些方面,加速度计输出可以是加速度信号,加速度信号在本文中也更一般地描述为在本文中针对各种类型的振动传感器而描述的振动传感器信号。在某些方面,振动传感器330(和加速度计330a)可以被配置为用于感测显示器320的振动的装置。也可以使用或设想除加速度计之外的其他传感器。例如,也可以使用另一种类型的压电传感器(例如,陶瓷压电传感器等)或接近探针。
更一般地参考图3A和图3B,振动传感器330(或加速度计330a)可以被配置为将振动转换成电振动传感器信号,该电振动传感器信号表示由致动器326引起的显示器320的振动(例如,并且对应于音频范围)。作为一个示例,诸如加速度计330a等振动传感器330可以采用压电特性或弹簧/质量块类型元件来产生电振动传感器信号。如上所述,与用于其他目的的其他振动传感器(例如,设备取向传感器等)相比,振动传感器330可以是宽频带的。在这个意义上,振动传感器330可以被配置并且具有感测显示器320的如下振动的灵敏度:该振动具有在与音频输出相对应的特定频率范围内的频率(例如,被配置为感测大音频范围内的振动,诸如至少在20Hz至7kHz之间的语音范围(可能有更大范围))。振动传感器信号输出可以表示在该频率范围内(例如,在大的音频范围内,例如诸如在语音范围内)的振动,并具有足以在整个范围内提供用以表示由于显示器320的特定物理振动特性而引起的音频输出的信息的灵敏度。
从振动传感器330输出的振动传感器信号准确地表示显示器320的特定振动(以及来自显示器320的对应声学输出(例如,音频输出))。振动传感器信号可以用作被提供给处理器308的准确参考信号。处理器308被配置为基于振动传感器信号,执行被提供给音频放大器324的电音频信号的附加音频处理和/或调节,以改善音频输出或校准音频输出。在一个示例中,处理器308被配置为基于来自振动传感器330的振动传感器信号来调节提供给致动器326的音频信号(例如,经由音频放大器324)。在一个示例中,处理器308被配置为调节音频信号以调节或补偿由于显示器320的特定物理特性引起的显示器320的特定振动,以更好地匹配期望输出。可以有多种调节音频信号的方式。例如,处理器308可以被配置为调节所生成的待被提供给致动器326的音频信号的频率响应,以提供由于致动器326对显示器320的振动而引起的来自显示器320的经调节的声学输出。备选地或附加地,音频信号的大小水平可以由处理器308调节(例如,可以是频率相关的)。在一个方面,因为存在反馈回路,所以音频信号表示随时间连续更新的连续信号,使得可能存在以下之间的一些可忽略的时间段:向致动器326提供音频信号、与在基于振动传感器信号发生对音频信号的更新时。在任何情况下,在一段时间内提供给致动器326的音频信号在本文中被描述为基于该时间段内的振动传感器信号而被调节的音频信号。在一个方面,一种方法可以包括从振动传感器330接收振动传感器信号。该方法还可以包括基于振动传感器信号调节被提供给致动器326的音频信号。下面更详细地描述各种方法和/或操作的描述。
在某些方面,振动传感器330可以相对于致动器326定位在显示器320的振动大小较高的区域中。在一个方面,振动传感器330可以靠近致动器326定位,因为显示器320的振动在更靠近致动器326的区域中可能更高。例如,关于靠近,在某些情况下,致动器326可以定位在显示器320上靠近用户可能竖起耳朵收听电话的位置。在这种情况下,振动传感器330也可以位于显示器320的这个区域中。显示器320的振动在该区域可能更强并且增加振动传感器330的输出的灵敏度。然而,应当理解,基于其他因素,振动传感器330可以相对于致动器326定位在其他位置(例如,其他组件的放置、导致振动强度变化的显示器的独特物理特性、电路板设计考虑、布线等)。对于较大或复杂的系统,可以提供多个振动传感器,其输出组合成单个振动传感器信号或者独立地用作不同参考信号。
图4A是与图3A的音频系统322相对应的音频系统422的示例的框图,示出了处理器408的另外的功能元件或组件。特别地,处理器408可以包括信号处理器418(或者在一些情况下,处理器408可以对应于信号处理器418)。信号处理器418被配置为向致动器426提供电音频信号(例如,经由音频放大器424)。处理器408还包括音频编解码器434(例如,对应于图1的音频处理器134),音频编解码器434可以包括一个或多个组件,该组件被配置为处理来自一个或多个音频I/O设备(扬声器、麦克风、传感器等)的输入并且将它们提供给信号处理器418。音频编解码器434例如可以包括模数转换器电路435(ADC 435),ADC 435被配置为从振动传感器430接收振动传感器信号并且基于由振动传感器430提供的模拟信号向信号处理器418提供数字输出(例如,数字振动传感器信号)。虽然未示出,但处理器408和/或音频编解码器434可以包括用于格式化和传输以下之间的数字信号的接口(例如,总线和其他硬件):在ADC 435或音频编解码器434的其他元件与信号处理器418之间。虽然音频编解码器434被示出为处理器408的一部分,但它可以与处理器408的各方面一起实现,或者它可以被实现为分立芯片。此外,振动传感器430可以具有数字输出。因此,ADC 435在某些实现中可以是可选的或不存在的。这适用于本文中的整个公开,其中虽然示出了ADC 435,但是如果振动传感器430或其他设备具有数字输出,则ADC 435可以不存在。类似地,信号处理器418可以是分立处理器或者可以是处理器408的一部分(例如,不同组件,但被集成为片上系统)。信号处理器418可以对经由ADC 435提供给信号处理器418的振动传感器信号执行附加处理。附加处理可以被用于将振动传感器信号与关于显示器420的音频输出的、在测试或模拟期间被预先确定的信息相关。该相关可以被用于基于振动传感器信号生成对应音频信号,该对应音频信号准确地指示显示器420的音频输出并且可以是与音频信号的处理更兼容的信号形式。
图4B是图4A的音频系统422的框图,示出了处理器408的功能元件或组件的其他示例。特别地,信号处理器418包括附加功能元件或组件,用以说明处理电路系统和/或操作的以下示例:其中来自振动传感器430的振动传感器信号如何被处理并且在反馈回路中如何被使用、以调节被提供给音频放大器424的电音频信号。虽然被示出为信号处理器418的组件,但是应当理解,一个或多个组件也可以在音频编解码器434中实现或者通常在处理器408中实现。虽然信号处理器418的每个块被描述为信号处理器418的电路系统,但是应当理解,该电路系统可以表示硬件和/或软件的任何组合。通常,处理器408可以被配置为执行由每个电路系统块定义的功能。
信号处理器418包括可操作地耦合到来自ADC 435的输出的、加速度到声压级(SPL)信号转换电路系统448。加速度到声压级(SPL)信号转换电路系统448被配置为将振动传感器信号(例如,在一些实现中,在被ADC 435转换之后对应于数字振动传感器信号)转换为SPL信号。基于关于所测量的SPL信号如何不同于振动传感器信号的预定信息,信号处理器418对振动传感器信号应用相关函数(或执行另一相关过程)。所生成的SPL信号更接近地表示音频信号,就好像由音频测量设备测量的一样(例如,在音室中确定的)并且因此音频信号被调节为与类似于被提供给致动器426的类型的音频信号相对应(或与由音频系统422处理的音频信号至少更兼容或相似)。
例如,图5A是示出来自振动传感器430的振动传感器信号、与针对不同声音强度水平(例如,不同音量水平)的频率范围内的所测量的声压水平信号之间的比较的图550。虚线552a和552b表示由振动传感器430测量的针对两种不同声音强度(例如,音量水平)的加速度频率响应。实线554a和554b示出了由来自显示器420的声室中的麦克风所测量的、针对两种不同声音强度的声压级(SPL)信号的相应频率响应。如图所示,振动传感器信号响应与SPL信号响应之间存在高度相关性。此外,该关系基本上是线性的。基于关于振动传感器信号响应与SPL信号响应之间的相关性的信息,可以定义如下的函数或其他信息,该函数或其他信息被用于在操作期间调节振动传感器信号以更好地匹配它所表示的对应SPL信号。因此,处理器408可以被配置为将振动传感器信号转换为SPL信号(如加速度到SPL信号转换电路系统448所示)。特别地,振动传感器信号可以被用于基于关于振动传感器信号的不同水平和/或不同频率如何与对应SPL信号相关的预定信息,来生成与音频信号相对应的对应SPL信号。
转换后的SPL信号被提供给SPL信号比较器电路系统444,SPL信号比较器电路系统444被配置为将转换后的SPL信号与目标SPL模型446(例如,存储在存储器中(在图4B中未示出,但如图1的存储器110中所示))进行比较。目标SPL模型446包括针对不同频率/音量的预定信息,该信息指示基于显示器420的特定物理特性的音频信号的期望声音输出特性。例如,可以在测试期间调节音频信号以实现来自显示器220的高质量声音输出(基于显示器220独有的特性)。该测试和/或模拟信息可以被用于生成目标SPL模型446,目标SPL模型446被存储并且提供关于以下的信息:如何调节转换后的SPL信号以更好地匹配与期望显示器220输出的内容相对应的音频信号。在一个方面,处理器408被配置为将SPL信号与表示显示器420的音频输出特性的目标SPL模型446(如SPL信号比较器电路系统444所示)进行比较。从而基于SPL信号比较器电路系统444的操作来提供针对显示器声音特性进行调节的经调节的SPL信号。
经调节的SPL信号被提供给频率响应校正电路系统442,频率响应校正电路系统442被配置为接收期望音频信号、并且被配置为基于期望音频信号和来自SPL信号比较器电路系统444的经调节的SPL信号,来调节被提供给致动器426(例如,经由音频放大器424)的音频信号。经调节的SPL信号表示反馈信号或参考信号,该反馈信号或参考信号表示显示器420的实际输出。该信息可以被用于与期望输入音频信号(例如,基于来自其他外部源(诸如来自语音呼叫的另一端)的传入音频内容而生成的)进行比较,以调节被提供给致动器426(例如,经由音频放大器424)的音频信号以提高声音质量。频率响应校正电路系统442可以被配置为基于失真(如在基于振动传感器信号的经调节的SPL信号中感测到的)或频率相关的其他特性,来调节不同频率的输入音频信号内容。例如,经调节的SPL信号可以被频率响应校正电路系统442用来跨频率范围调节输入音频信号,以改善最终输出(例如,调节某些频率的音量,校正如在经调节的SPL信号中指示的谐波失真,或者校正在经调节的SPL信号中出现的其他失真)。因此,在一个方面,处理器408可以被配置为基于SPL信号与目标SPL模型446的比较(即,基于经调节的SPL信号),来调节被提供给致动器426(例如,经由音频放大器424)的音频信号的频率响应。下面提供其他调节示例。
在一些方面,代替或除了被提供给频率响应校正电路系统442,来自SPL信号比较器电路系统444的经调节的SPL信号可以被提供用于某种其他音频处理功能,诸如用于回波消除,如下面进一步所述,以改进整个音频系统422。此外,处理器408可以被配置为基于图4B所示的元件的任何输出,来调节被提供给致动器426(经由音频放大器424)的音频信号。例如,处理器408可以直接基于从ADC 435接收的振动传感器信号来调节音频信号,而无需基于中间信号进一步处理或调节音频信号。除了参考图4B描述的功能,处理器408也可以执行振动传感器信号的其他处理,以进一步处理振动传感器信号并且从中导出显示器420的音频特性。
如图550所示,在所测量的SPL水平与从振动传感器430输出的所测量的振动传感器信号之间存在高度相关性。这表明,振动传感器信号可以表示供处理器408在反馈回路中使用的高质量参考信号。
此外,在被提供给致动器426的音频信号中或由于显示器420的振动而存在的谐波失真(例如,总谐波失真THD)也可以在振动传感器信号中表示。换言之,振动传感器430捕获显示器420的振动中存在的谐波失真水平。实际上,所测量的THD和振动传感器信号中的THD之间的相关性在语音频率范围内(例如,高达约4kHz)可以很好地相关。振动传感器信号中THD的存在可以进一步提供更准确的反馈信号以供处理器408在反馈回路中使用。
也可能存在与以下时间相对应的延迟(例如,组延迟):从音频放大器424输出音频信号、到显示器420实际振动并且产生声音之间。因为振动传感器430在显示器420振动时捕获振动,所以振动传感器430还包括振动传感器信号中的延迟。这在提供准确的反馈信号方面可能是进一步有用的,准确的反馈信号允许处理器408基于振动传感器信号在输入音频信号的处理期间,确定延迟和/或补偿延迟。
此外,可能存在干扰或至少影响显示器420的振动的电子设备102的一些结构元件或其他物理方面。例如,可能存在与显示器420接触的轻微地影响或改变显示器420的振动的螺钉或其他元件。这种类型的失真可以被称为摩擦和嗡嗡声失真。振动传感器430还捕获振动传感器信号中的摩擦和嗡嗡声失真,因为对显示器420的振动的任何影响也可能由此影响振动传感器430的振动。这在提供准确的反馈信号方面可能是进一步有用的,准确的反馈信号允许处理器408调节用以引起显示器420的振动的音频信号,以生成来自显示器420的改进声学输出(例如,通过以下方式将音频信号经由音频放大器提供给致动器:当显示器420振动时,使摩擦和嗡嗡声失真消除)。
因为振动传感器430可以捕获各种失真信息,所以振动传感器430可以提供准确地表示显示器420的实际音频输出的高精度参考信号(例如,与作为输入提供给致动器426的音频信号相比)。在一个方面,振动传感器信号至少基于传递函数而不同于致动器426的输入处的音频信号,该传递函数表示响应于音频信号的、显示器的振动。在另一方面,振动传感器信号至少部分基于显示器420的物理尺寸或结构特性,而不同于致动器426输入处的音频信号。并且振动传感器430可以包括与由显示器420输出的声音中包括的失真共同的失真。
外力反馈回路
参考图4A和图4B,显示器420在操作期间可能受到各种外力。例如,压在显示器420上的用户的耳朵、手或其他物体可能向显示器420施加压力(例如,力)。在电话呼叫时,用户可以将电话(例如,电子设备102)放在他们的耳朵上,以施加2N至8N范围内的力。这些力可能影响显示器420的振动,从而改变音频系统422的音频响应并且影响由显示器420生成声音的方式。在一个方面,当向显示器420施加力时,声阻可能增加。因此可能需要确定和/或估计被施加到显示器420的力的量,以便调节音频信号以潜在地改善音频质量或补偿施加到显示器420的力。在音频放大器424的输出处不存在由于力而引起的对声音输出的影响,因此需要更准确的参考信号。
如图4A和图4B所示,振动传感器430被配置为形成反馈回路的一部分,该反馈回路提供表示显示器420的振动的振动传感器信号,并且可以被用于估计被施加到显示器420的力的量(例如,由不同于致动器426的某物施加到显示器420的力的量的估计)。在一个方面,处理器408被配置为基于分析来自振动传感器430的振动传感器信号,来比较振动模式如何改变,并且被配置为基于模式如何改变来调节被提供给致动器426的音频信号(例如,经由音频放大器424)。更一般地,处理器408被配置为基于来自振动传感器430的振动传感器信号来调节音频信号。在一个方面,处理器408是如下装置的示例,该装置用于基于振动传感器信号来调节音频信号。处理器408可以被配置为响应于被施加到显示器420的、影响显示器420的振动的力来调节音频信号。在一个方面,处理器408被配置为基于来自振动传感器430的振动传感器信号,来确定被施加到显示器420的力的水平的估计。然后,处理器408被配置为基于力的水平的估计,来调节被施加到致动器426(例如,经由音频放大器424)的音频信号(由不同于致动器426的某物施加的力)。在一些方面,处理器408是如下装置的示例,该装置用于确定力的水平的估计。
在一个方面,如果力被施加到显示器420(有效地抑制振动并且因此抑制声音输出),则作为结果,处理器408可以被配置为增强音频信号。例如,处理器408可以被配置为基于力的水平的估计来增加音频信号的大小(例如,强度水平)。在一些方面,增加大小(或减小大小)可以对应于增加(或减小)音频信号的音量水平。在一些场景中,处理器408也可以响应于估计力的水平而减小音频信号的幅度(例如,大小)(例如,当力被移除时或例如耳朵可能足够接近以便更容易听到音频输出,因此可能需要平衡或降低音量)。
力的影响可以是频率相关的,其中音频输出的一些频率比其他频率更受力的影响。因此,处理器408可以被配置为跨不同频率来估计力。基于该信息,处理器408可以被配置为针对不同频率调节音频信号的幅度或其他特性以提高音频质量。
为了估计力,处理器408可以被配置为将振动传感器信号与预期参考信号(例如,表示没有施加力的信号)进行比较,并且基于比较确定力的水平的估计(例如,与阈值进行比较并且基于与阈值的相对大小差异来确定力的水平)。基于振动传感器信号与预期参考信号之间的差异,处理器408被配置为基于比较,来调节被施加到致动器426(例如,经由音频放大器424)的音频信号。
处理器408可以在某个时间段(例如,每秒采样10次(仅作为一个示例))估计力并且在力被施加或移除时调节输出。
图5B是示出基于被施加到显示器420的不同力的跨频率的音频信号的表示的图500。y轴表示跨不同频率(x轴)的信号的幅度。类似于图5A的曲线550,虚线表示来自振动传感器430的振动传感器信号在不同频率下的幅度,而实线表示对应SPL信号测量输出。图500中的每组线(例如,其中一组是虚线和实线对)可以表示不同力。图500示出了与没有施加到显示器420的力相比,针对两个不同音量级别(例如,顶部线处于一个音量级别,而底部线处于不同音量级别)对施加到显示器420的5N的力的响应。如图所示,幅度基于力而变化,并且某些频率比其他频率受到的影响更大。处理器408被配置为基于振动传感器信号来估计力的水平,并且当生成用于通过致动器426施加到显示器420的音频信号时调节音频输出,以补偿力或以其他方式考虑力。这实现了在不同场景和环境中(例如,以及在进行语音通话时)的高声音质量。
此外,可能到达如下的点,在该点处存在足够的力使得显示器420可能难以振动(例如,饱和情况)。这种情况可能是频率相关的,其中对于特定频率下的某些力,显示器420在那些频率下振动的能力可能会被削弱。例如,可以向电子设备添加保护壳/盖,这会影响显示器420如何振动。来自壳或其他方式的力可以由处理器408基于来自振动传感器430的振动传感器信号来估计,并且处理器408被配置为基于关于力的信息以及由于力频率响应而如何改变,来调节音频信号。
处理器408可以被配置为使用参考图4B所述的信号处理器418的任何元件来估计力的水平。例如,处理器408可以被配置为直接基于来自ADC 435的振动传感器信号来确定力的水平的估计,或者可以基于由加速度提供给SPL信号转换电路系统448的SPL信号或由SPL信号比较器电路系统444提供的经调节的SPL信号,来确定力的水平的估计。
应当理解,估计力的水平可以是音频系统422如何改进驱动和振动显示器420的音频信号的很多示例之一。实际上,振动传感器信号可以被用于调节音频信号的多种方法中。在这种情况下,通常,实时地动态地使用振动传感器信号以连续提供关于显示器420如何发声的信息、并且允许处理器408基于该信息连续地(或至少周期性地)调节音频信号以改善声音输出的质量和/或调节期望音频输出特性。因此,可以基于参考振动传感器信号来调节音量水平、频率响应特性和其他音频参数。例如,显示器420的音频输出中存在的失真可以经由振动传感器信号来感测并且然后被补偿,使得被提供给致动器426的经调节的音频信号以减少失真的方式引起显示器420的振动。因此,处理器408被配置为基于来自作为闭环反馈系统的一部分的振动传感器430的振动传感器信号来调节音频信号。在某些方面,振动传感器信号也可以被提供给音频放大器424。在这种情况下,音频放大器424基于来自振动传感器430的振动传感器信号,来调节音频放大器424的输出。在各个方面,在这种实现中,音频放大器424可以从振动传感器430接收振动传感器信号或从音频编解码器434接收作为数字信号的振动传感器信号。这可以代替或补充由处理器408对作为输入被提供给音频放大器424的电音频信号进行的调节。因此,除了示出从音频放大器424的输出到音频放大器424的反馈路径的虚线,振动传感器430之间可以存在另一可选连接(或来自音频编解码器434)以将振动传感器信号(或数字形式)提供给除信号处理器418之外的音频放大器424。
在一个方面,一种方法可以包括基于来自振动传感器430的振动传感器信号来估计被施加到显示器420的力水平。该方法还可以包括基于所估计的力水平来调节被施加到致动器426的音频信号。
Q因子跟踪
包括致动器426和显示器420的机电系统的谐振频率Q因子值也可能受到施加到显示器420的外力(例如,压力)的影响(例如,由于用户手或用户耳朵)。机电系统可以具有高Q因子,从而能够产生具有足够强度的振动以获取更好的声音质量和获取足够音量的能力。高Q因子导致谐振频率处的大偏移值(其中偏移指示致动器426内质量块的物理运动的幅度的程度)。Q因子的变化可以表示谐振周围偏移值的变化。跟踪Q因子可以允许防止过度偏移以防止对致动器的损坏或允许处理器408基于Q因子的变化来调节被施加到致动器426的音频信号。
来自振动传感器430的振动传感器信号可以被用于确定包括致动器426和显示器420的机电系统的Q因子由于外力而变化的估计。由于高Q因子,并且因为机电系统通常可能具有单个或主谐振频率,所以用以确定Q因子的待被分析的信号的频率范围可能很窄(例如,相对于整个音频信号的频率范围)。
图6是示出包括致动器426和显示器420的机电系统的Q因子由于施加到显示器420的不同外力而发生的变化的图600。每条线表示不同力被施加到显示器420的情况下的音频信号。图中的箭头标识的区域示出了系统的谐振频率周围的区域(例如,作为示例,以190Hz为中心的峰值)。在该区域中,谐振频率处峰值的“锐度”可以对应于Q因子,而更尖锐的峰值对应于更高的Q因子。如图所示,在不同力水平被施加到显示器420的情况下,Q因子显著改变。处理器408可以被配置为通过分析机电系统的谐振频率附近的振动传感器信号并且估计Q因子来确定所估计的Q因子。处理器408可以被配置为基于振动传感器信号确定Q因子的变化(基于所估计的Q因子)并且基于Q因子的变化调节提供给致动器426(例如,经由音频放大器424)的音频信号。因为谐振频率以较小范围为中心,所以处理器408可以被配置为在包括机电系统的谐振频率的频率范围内评估振动传感器信号。该频率范围可以小于音频信号的语音频率范围。在这种情况下,处理器408可以被配置为基于围绕谐振频率的较窄频率范围的评估来确定品质因子的变化。
处理器408可以使用以下等式来确定Q因子(其中Fs表示谐振频率,Mms表示移动质量,Cms表示柔量,Rms表示机械阻力,Qms表示在谐振频率下的驱动器的机械Q因子):
然而,处理器408可以使用其他等式或运算来确定Q因子的估计或者跟踪Q因子如何变化。
在某些方面,为了测量Q因子值,振动传感器430(例如,加速度计)在这种情况下与某些其他实现相比可以具有减小的带宽(例如,在谐振附近的较小频率范围内分析信号)。因此,在某些方面,成本较低的振动传感器430可以用于该Q因子技术。
Q因子的变化可以提供更多的外力水平的过程估计(与估计整个音频频谱上的力水平相比)。此外,检测施加到显示器420的力(基于Q因子方法或基于分析全频谱)可能还有其他用途。例如,附加地,处理器408可以使用来自振动传感器430的信息检测力,以执行接近度检测并且然后触发不同设备动作(例如,当在通话期间检测到力时关闭显示器420,或者备选地,当检测到力被移除时打开显示器420,或者如果力被移除,则激活扬声器电话)。因此,处理器408可以被配置为基于振动传感器信号执行动作或改变电子设备显示设置(或其他电子设备设置)。来自振动传感器430的信息可以用于识别Q因子、并且用于调节偏移控制块(偏移再次是指引起致动器426使显示器420振动的致动器426中的质量块移动的大小)。这可以允许降低过度偏移的风险或避免减少不需要的偏移。此外,具有准确的偏移信息可以允许处理器408改善声音质量并且增加响度。
在一个方面,一种方法可以包括基于来自振动传感器430的振动传感器信号来估计致动器426的Q因子值。该方法还可以包括基于所估计的Q因子值来调节被施加到致动器426的音频信号。
回波消除
在很多音频系统中,除了根据需要从用户的语音中捕获声音,麦克风还可以捕获/感测来自电子设备102的扬声器的声音,扬声器包括产生回波路径的麦克风。例如,在电话通话的一端某人在第一设备上讲话的声音由第二设备的扬声器输出。该音频由第二设备处的麦克风拾取,然后无意地传输回第一设备处的扬声器,从而导致回波路径。为了解决这个问题,需要参考信号(例如,回波参考)以允许消除或抑制由麦克风接收的回波信号,该参考信号被限制为旨在由第二设备处的扬声器输出的声音。
图7是根据本公开的某些方面的使用显示器720作为音频发射器的音频系统722的示例的框图,音频系统722包括振动传感器730和回波消除。图7的音频系统722包括图4A的音频系统422的元件,并且还包括麦克风732。音频编解码器734包括ADC 735b(除了与图4A的ADC 435相对应的ADC 735a)。ADC 735b可操作地耦合到麦克风732并且将经由麦克风732接收的麦克风信号的数字表示提供给信号处理器718(例如,处理器708)。如上面关于图4所述,如果来自麦克风732的输出是数字的,则ADC 735b可以不存在。音频编解码器734可以被配置为进一步处理经由麦克风732接收的信号。
如图7所示,由显示器720发出的声音可以由语音麦克风732接收(尽管事实上在大多数情况下,麦克风732旨在捕获其他外部生成的声音,诸如用户的语音)。如上所述,因为麦克风732可以将其接收的内容发送给呼叫的另一端的用户,所以可以在呼叫的另一端接收该用户所说内容的回波(例如,回波路径)。如此,期望由语音麦克风732接收的回波信号被抵消(或至少基本上被抑制)。如上所述,基于显示器720的振动的传递函数,可以与音频放大器724的输出大不相同,导致实际的显示音频输出信号不同于音频放大器724的输出信号。因此,音频放大器724的输出信号可能不是被用于消除来自由麦克风732捕获的信号中的回波信号的显示器声学输出的足够准确的表示。
音频系统722包括如上所述提供振动传感器信号的振动传感器730,该振动传感器信号准确地表示由于致动器726对显示器720的振动引起的显示器720的声学输出。振动传感器信号提供准确的回波参考,这至少部分是因为振动传感器730能够考虑表示显示器720和致动器726的振动的传递函数。该回波参考信号用于消除经由麦克风732接收的回波信号。
为了提供回波消除,处理器708被配置为基于来自振动传感器730的振动传感器信号生成回波参考信号。回波参考信号与以下相对应:由于显示器的振动而引起的显示器720的振动产生的声学输出(例如,音频输出)的表示。如本文所述,来自显示器720的声学输出可以基于显示器的独特物理特性,而不同于输入到致动器726的来自音频放大器724的音频信号。处理器708被配置为消除或抑制在麦克风732处接收的、麦克风输入信号内包括的回波信号的至少一部分。处理器708被配置为基于回波参考信号来消除或抑制回波信号的至少一部分,回波参考信号是基于来自振动传感器730的振动传感器信号而生成的。回波信号表示由麦克风732捕获的显示器720的声学输出(例如,音频输出)。回波消除可以在语音呼叫或其他回放模式期间激活,以消除回波。在一个方面,处理器708可以是用于生成回波参考信号的装置和用于消除回波信号的至少一部分的装置的示例。作为回波消除的一部分,从音频放大器724输出的信号也可以与振动传感器信号结合使用。在这种情况下,处理器708被配置为还基于来自音频放大器724的输出的信号来消除回波信号。此外,更一般地,处理器708可以被配置为:基于振动传感器信号,来调节从麦克风732输出的麦克风输出信号(例如,例如从麦克风输出信号中去除或抑制由于麦克风732捕获声音输出,而包括在麦克风输出信号中的任何信号内容)。
虽然未示出,但是处理器708和信号处理器718可以包括图4B所示的、用以处理振动传感器信号以用于回波消除或其他目的的一个或多个组件。因此,为了从振动传感器信号生成回波参考信号,处理器408可以被配置为执行上面关于图4B的信号处理器418的元件描述的任何功能(例如,SPL信号转换等)。然而,在一些情况下,为了回波消除的目的,来自频率响应校正电路系统442或来自其他电路的输出,可以由处理器708使用以消除麦克风输入信号内的回波信号,而不是用于调节被提供给致动器726的音频信号(例如,经由音频放大器724)。更一般地,注意,为了回波消除的目的,在某些实现中,可能不需要基于振动传感器信号调节被提供给致动器726(例如,经由音频放大器724)的音频信号。虽然可以出于其他目的,来调节被输入到致动器726的音频信号,但为了回波消除的目的,处理器708可以被配置为消除由麦克风732捕获的麦克风输出信号中的回波信号。修改后的麦克风输出信号然后经由收发器138(图1)被传输到另一远程设备(回波被消除)。因此,处理器708可以包括如下的电路系统或功能,该电路系统或功能被配置为消除回波信号并且以其他方式处理麦克风输出信号以用于传输或用于麦克风输入信号的其他用途(例如,语音助手等)。然而,应当注意,出于音质目的,基于振动传感器信号对被提供给致动器726的音频信号的调节和回波消除,可以根据本文中描述的实现来执行。
如参考图7所述,使用振动传感器730对于音频系统722中的回波消除可能特别有利。特别地,整个显示器720振动并且产生声音。由于显示器720的尺寸,无论麦克风732的位置如何,麦克风732都可以始终靠近振动(与使用与扬声器相距相对较远的麦克风732的情况相比,诸如在设备的相对端)。因此,当使用显示器720作为声音发射器时,显示器720与麦克风732之间的距离较小,从而允许声音在到达麦克风732之前衰减。因此,可能需要生成更准确的回波参考信号(例如,由振动传感器730)。另外,如上面参考图4A和4B所述,振动传感器730可以能够准确地捕获谐波失真、组延迟、摩擦和嗡嗡声失真等。这在回波消除期间特别有价值,因为当麦克风732捕获由显示器720发出的声音时,由振动传感器730捕获的至少一些失真也可以被麦克风732捕获。例如,麦克风732可以具有组延迟,如上所述。因为振动传感器信号还包括组延迟,为了消除的目的而将麦克风信号中的回波信号与从振动传感器信号生成的回波参考信号对准可能更容易。同样,由振动传感器730捕获的谐波失真或摩擦和嗡嗡声失真可以与由麦克风732捕获的失真相匹配并且用于消除目的。因此,基于振动传感器信号的回波参考信号可以包括谐波失真、组延迟、摩擦和嗡嗡声失真等(可以对应于同样被麦克风732拾取的类似失真、组延迟等)。
此外,一些系统可以使用附加麦克风来接收和生成回波信号的表示。然而,任何这样的麦克风都可以拾取背景噪声或其他不需要的音频内容,因此这些内容包括比回波更多的信号内容,并且不会是干净的参考信号。使用来自这种附加麦克风的可能包括背景噪声的参考信号,可能会导致消除不仅仅是麦克风输出信号中的回波信号,从而切断要传输的预期信号的部分。相反,振动传感器730参考显示器720的振动产生信号,并且不会拾取其他背景噪声(因为其他外部音频噪声通常不足以使显示器720振动)。这导致来自振动传感器730的强且干净的回波参考信号。如上所述,振动传感器730是宽频带的,因为它可以表示音频范围(例如,对于语音)内的振动以允许生成参考信号。应当理解,在某些情况下,可以使用其他传感器(例如,麦克风)来生成回波参考信号的一部分,从而将振动传感器信号与其他输入(包括来自音频放大器的输出)组合以生成回波参考信号。
在一些方面,振动传感器730位于与致动器726稍微分离的位置(即,没有物理地耦合到致动器726),使得振动传感器信号表示显示器720的振动(由于与仅致动器726相比显示器720的独特传递函数)。然而,如上所述,振动传感器730可以位于与致动器726相同的附近,使得在振动到达振动传感器730时振动不会过度衰减。
在一个方面,一种方法可以包括从物理地耦合到显示器720的振动传感器730接收振动传感器信号。该方法还可以包括基于振动传感器信号生成回波参考信号。该方法还可以包括从麦克风732接收麦克风音频信号。该方法还可以包括基于回波参考信号从麦克风音频信号中消除回波信号。
多表面声发射
参考图4A和4B,因为显示器420机械地耦合到电话的背板和其他部分,电子设备的背板和其他部分可能会响应于致动器426对显示器420的振动而受到振动。背板的振动可能会引起背板或侧板发出声音。这可能是不希望的,因为其他用户在靠近语音呼叫时可能能够听到来自背板的声音,或者通常不希望声音由除显示器420之外的其他部分发出。
图8A是根据本公开的某些方面的使用显示器820作为音频发射器的音频系统822a的示例的框图,音频系统822a包括振动传感器830a。音频系统822a示出了与显示器820具有某种机械耦合的背板850。背板850因此可以响应于第一致动器826a对显示器820的振动而振动,导致从背板850发出声音。为了防止从背板850发出声音,音频系统822a可以抵消背板850的振动。音频系统822a包括如参考图4A所述的元件,包括第一致动器826a(对应于致动器426)、第一音频放大器824a(对应于音频放大器424)和振动传感器830(对应于振动传感器430)。音频系统822a还包括处理器808,处理器808可以具有信号处理器818和音频编解码器834,与上述类似(具有ADC835a)。
音频系统822a还包括物理地耦合到背板850的第二致动器826b。虽然示出为背板850,但应当理解,背板850可以表示具有机械地耦合到显示器820的任何其他表面或组件,该其他表面或组件响应于第一致动器826a对显示器820的振动而振动(例如,第二致动器826b可以物理地耦合到电子设备的、与第一致动器826a物理地耦合的位置不同的一部分)。音频系统822a还包括第二音频放大器824b,第二音频放大器824b可操作地耦合到第二致动器826b,并且被配置为:放大第二音频信号(例如,提供第二放大电音频信号)并且将第二音频信号作为输入提供给第二致动器826b。第二音频放大器824b还可操作地耦合到处理器808,并且被配置为放大和/或调节来自处理器808(例如,来自信号处理器818)的电音频信号。第二音频放大器824b还可以向处理器808提供反馈,该反馈由处理器808与第二音频放大器824b之间的连接上的双箭头指示,虚线示出了可以被提供给处理器808的反馈路径:从第二音频放大器824b的输出到第二音频放大器824b。例如,可以有来自第二音频放大器824b的输出的反馈线以允许感测来自第二音频放大器824b的放大音频输出。该反馈可以在反馈信号中提供给处理器808以进一步调节第二电音频信号。在某些实现中,电路系统可以在第一音频放大器824a与第二音频放大器824b之间共享,或者它们可以形成信号音频放大器电路,该信号音频放大器电路被配置为提供要提供给第一致动器826a的第一音频信号和要提供给第二致动器826b的第二音频信号。
可以提供第二致动器826b以便以消除由显示器820引起的振动的方式来使背板850振动。更一般地,处理器808被配置为基于来自振动传感器830的振动传感器信号向致动器826b提供音频信号(例如,经由第二音频放大器824b)。在一个方面,处理器808被配置为生成提供给致动器826b(例如,经由第二音频放大器824b)的第二音频信号,其中第二音频信号被生成以具有如下的波形,该波形使由显示器820的振动而引起的背板850的振动消除。在一个方面,第二音频信号传感器830是部分地基于来自振动的振动传感器信号而生成的。
在一个方面,处理器808以与由来自振动传感器830的振动传感器信号感测的位移相同的幅度和频率将第二音频信号施加到第二致动器826b,但是相对于振动传感器信号具有180度相位。更一般地,处理器808被配置为生成具有如下波形的第二音频信号,该波形与基于振动传感器信号而生成的信号异相。消除背板850中的振动减少了背板850的振动并且减少了任何泄漏声音或者通常可以防止背板850发出声音(或至少基本上抑制声音)。
图8B是图8A的音频系统822a的框图,示出了处理器808的功能元件或组件的其他示例。特别地,图8B的音频系统822b包括被示出为信号处理器818的一部分的与参考图4B所述的那些相似的另外的组件。特别地,图8B的信号处理器818包括加速度到SPL信号转换电路系统848、SPL信号比较器电路系统844、目标显示器SPL模型846和频率响应校正电路系统842,它们可以相对于参考图4B描述的对应电路系统类似地操作。由频率响应校正电路系统842输出的结果信号可以对应于提供给致动器826a(经由第一音频放大器824a)以用于在如上所述基于振动传感器信号使用反馈路径校正各种失真等之后使显示器820振动的音频信号。
频率响应校正电路系统842的输出还可以被提供给响应和相位调节电路系统852,响应和相位调节电路系统852被配置为向致动器826b施加信号(例如,经由第二音频放大器824b)以经由第二致动器826b引起背板850的振动。响应和相位调节电路系统852从频率响应校正电路系统842接收音频信号并且被配置为调节第二音频信号的相位(例如,相对于来自频率响应校正电路系统842的音频信号的相位)以引起第二致动器826b使背板850振动以消除背板850中否则会由显示器820的振动引起的振动。在一些方面,响应和相位调节电路系统852被配置为调节第二音频信号的相位以使其与来自频率响应校正电路系统842的输入音频信号异相,使得背板850的振动导致净抵消(或实质抵消或显著抑制)。
背板850可以具有某些特性,这些特性引起背板850以独特方式输出声音并且不同于显示器820。因此,可以在存储器中提供目标背板SPL模型854,类似于参考图4B描述的目标显示器SPL模型446所述,目标背板SPL模型854表示背板850独有的音频特性。4B。响应和相位调节电路系统852可以被配置为从目标背板SPL模型854接收输入并且基于目标背板SPL模型854调节第二音频信号以生成用于使背板850振动的第二音频信号。调节第二音频信号以提供更好的消除,如针对背板850的音频特性进行调节。类似于参考图4B所述,信号处理器818中所示的一个或多个组件可以改为被实现或包括在音频编解码器834中。处理器808的至少一部分可以包括信号处理器818或音频编解码器834的一个或多个组件。
图8C是根据本公开的某些方面的使用显示器820作为音频发射器的音频系统822c的另一示例的框图,音频系统822c包括用于声音泄漏消除的两个振动传感器830a和830b。音频系统822c包括图8A的音频系统822a的元件,并且还包括第二振动传感器830b,第二振动传感器830b物理地耦合到背板850并且被配置为输出表示背板850的振动的第二振动传感器信号。第二振动传感器830b可以被配置为将第二振动传感器信号提供给音频编解码器834的第二ADC 835b。第二ADC 835b可以被配置为向处理器808提供表示第二振动传感器信号的数字信号。获取关于特别是背板850如何振动的附加信息可能是有益的。特别地,图8A的音频系统822a可以基于被提供以使显示器820振动的音频信号的知识并且还基于关于在一个或多个测试期间背板850如何振动的信息(例如,存储在目标背板SPL模型854中,如参考图8B所述)来估计背板850的振动。然而,在一些实现中,可以包括第二振动传感器830b以便基于设备之间到显示器820的机械耦合的变化程度来确定背板850在操作期间具体如何振动。背板850独有的振动模式可以由第二振动传感器830b感测以更准确地确定背板850处的特定振动信号,从而能够消除背板850的振动。
处理器808被配置为:使用来自作为反馈回路的一部分的第二振动传感器830b的第二振动传感器信号,来生成音频信号以提供给致动器826b(例如,经由第二音频放大器824b),该音频信号经由消除背板850的振动的第二致动器826b,来引起背板850的振动。更一般地,处理器808被配置为基于来自第二振动传感器830b的第二振动传感器信号来调节提供给致动器826b的第二音频信号(例如,经由第二音频放大器824b)。此外,处理器808可以被配置为基于来自第一振动传感器830a的振动传感器信号和来自第二振动传感器830b的第二振动传感器信号的组合来调节第二音频信号(例如,调节第二音频信号的频率响应、大小等)。
图8D是图8C的音频系统822c的框图。示出了处理器808的功能元件或组件的其他示例。图8D的音频系统822d包括图8B的音频系统822b的元件、连同图8C的第二振动传感器830b(和第二ADC835b)。音频系统822d的信号处理器818(标记为没有框以避免视觉混淆)包括用于处理第二振动传感器信号的附加组件。除了关于图8B的音频系统822b所述的组件(示出为加速度到SPL信号转换848a、SPL信号比较器电路系统844a和目标显示器SPL模型846a),图8D的信号处理器818包括加速度到SPL信号转换电路系统848b,加速度到SPL信号转换电路系统848b被配置为基于与以上参考图4B的对应电路系统所述的类似的相关性来将第二振动传感器信号转换为第二SPL信号。来自加速度到SPL信号转换电路系统848b的第二SPL信号被提供给SPL信号比较器电路系统844b。与参考图4B的对应块所述的类似地,SPL信号比较器电路系统844b被配置为将第二SPL信号与目标背板SPL模型854进行比较以生成基于背板850的音频输出特性而被调节的经调节的第二SPL信号。经调节的第二SPL信号被提供给响应和相位调节电路系统852。除了表示从背板850输出的音频信号的经调节的第二SPL信号,响应和相位调节电路系统852还接收为显示器820而生成的音频信号(例如,作为频率响应校正电路系统842的输出)。响应和相位调节电路系统852被配置为基于来自频率响应校正电路系统842的音频信号和经调节的第二SPL信号两者生成经调节的第二音频信号(例如,异相)。在一个方面,第二音频信号被生成为具有如下的波形,该波形使由于与显示器820机械耦合而引起的背板850的振动消除。
在一些情况下,可以有一个以上的显示器,或者实际上可能希望从背板850(或电子设备的其他部分)发出声音。因此,不是消除声音,音频系统822d可以被配置为简单地经由两个显示器提供声音或者使用来自振动传感器830a和830b的反馈来对准音频输出。例如,处理器808可以被配置为向致动器826b(例如,经由第二音频放大器824b)提供与基于物理耦合到显示器820的第一振动传感器830a的第一振动传感器信号的信号同相的第二音频信号。在另一方面,处理器808可以被配置为向致动器826b提供(例如,经由第二音频放大器824b)将显示器820和另一组件中的每个的振动彼此对准的第二音频信号。作为另一示例,因为显示器可以具有不同物理特性,它们可以具有不同音频响应(不同传递函数)。因此,使用振动传感器830a和830b来提供反馈可能是有用的,然后处理器808可以调节致动器826a和826b两者的音频信号以补偿或调节不同音频响应以提高整体声音质量(或允许声音的结构添加)。图9示出了图8C的音频系统822c的示例,但背板被替换为第二显示器920b。图9的音频系统922包括图8C的元件(包括第二振动传感器930b),但是包括第一显示器920a和第二显示器920b。在其他实现中,第二显示器920b可以是背板或其他面板或面向外部的表面。图8A、8B、8C和8D中的任何块或组件可以用于图9的音频系统922中。但在图9的音频系统922的情况下,处理器908被配置为以基于第二致动器926b对第二显示器920b的振动以有意地经由第二显示器920b产生声音的方式经由第二音频放大器向致动器926b提供第二音频信号。此外,来自第一振动传感器930a的第一振动传感器信号、和来自第二振动传感器930b的第二振动传感器信号中的每个,可以被处理器908用作反馈信号,以用于调节要经由第一音频放大器924a施加到第一致动器926a的第一音频信号和要经由第二音频放大器924b施加到第二致动器926b的第二音频信号中的一项或多项。
在一个方面,一种方法可以包括生成振动传感器信号,该振动传感器信号表示机械地耦合到响应于第一致动器826a而振动的显示器820的组件(例如,背板850)的振动。该方法可以包括基于振动传感器信号使该组件振动以消除由到显示器820的机械耦合引起的该组件的振动。
图10示出了类似于图3A的音频系统1022的示例,但显示器被替换为通用组件。因此,其他组件可以替换显示器并且发出声音。作为示例,基于本文中描述的原理,任何面向外部的表面或组件都可以被选择为声音发射器。
通常,音频系统可以包括致动器阵列,其中每个致动器被配置为响应于相应音频信号而引起电子设备的不同部分的振动。在这种情况下的音频系统还可以包括振动传感器阵列,其中每个振动传感器被配置为输出与电子设备的不同部分的振动成比例的相应振动传感器信号。
示例操作
图11是示出用于使用参考图4A和4B的显示器420产生音频的方法1100的示例的流程图。方法1100以指定可以执行的操作的一组块的形式来描述。然而,操作不一定限于图11所示或本文所述的顺序,操作可以以备选顺序或以完全或部分重叠的方式实现。此外,可以实现更多、更少和/或不同操作来执行方法1100或替代方法。在框1102,方法1100包括:使用物理地耦合到显示器520的致动器426、基于作为输入被提供给致动器426并且由音频放大器生成的音频信号来使显示器420振动。在框1104,该方法包括:使用物理地耦合到显示器420的振动传感器430生成振动传感器信号。振动传感器信号与响应于致动器426对显示器420的振动而产生的显示器420的振动成比例。
在一个方面,在框1106,方法1100还可以包括基于来自振动传感器430的振动传感器信号来调节提供给致动器426的音频信号。
当在调节施加到显示器420的力的上下文中使用时,如框1106中所描绘的调节音频信号可以包括:响应于施加到显示器420的、影响致动器426对显示器的振动的力来调节音频信号420。在这种情况下,框1106的操作可以包括如框1108中所描绘的基于振动传感器信号来确定施加到显示器420的力的水平的估计。然后方法1100还可以包括如框1110中所描绘的基于力的水平的估计来调节音频信号。确定力的水平的估计可以包括将振动传感器信号与预期信号进行比较并且基于比较来确定施加到显示器420的力的水平的估计。该方法还可以包括基于力的水平的估计来增加音频信号的大小。如参考方法1100所述的一个或多个操作可以使用处理器408来执行。
在一些方面,方法1100还可以包括基于振动传感器信号确定包括显示器420和致动器426的机电系统的品质因子(Q因子)的变化,并且基于Q因子的变化来调节音频信号。
图12是示出用于使用显示器420产生音频的方法1200的另一示例的流程图。在框1202,该方法包括使用物理地耦合到显示器420的致动器426基于作为输入提供给致动器426的音频信号来使显示器420振动。在框1204,方法1200还包括使用物理地耦合到显示器420的振动传感器430生成振动传感器信号,振动传感器信号与响应于致动器426对显示器420的振动而产生的显示器420的振动成比例。
参考图7,当用于回波消除时,在框1206,方法1200可以包括基于振动传感器信号生成回波参考信号,该回波参考信号对应于基于振动传感器信号的显示器720的声学输出的表示。在框1208,方法1200还可以包括消除由麦克风732接收的麦克风输入信号内包括的回波信号的至少一部分。消除回波信号的至少一部分可以包括基于回波参考信号来消除回波信号,回波参考信号是基于来自振动传感器730的振动传感器信号而生成的。参考方法1200描述的一个或多个操作可以使用处理器708来执行。更一般地,方法1200可以包括基于振动传感器信号来消除来自电子设备的麦克风732的麦克风输出信号的一部分,被消除的该部分与由麦克风732捕获的由于显示器的振动而来自显示器720的声学输出相对应。
图13是示出用于使用作为电子设备的一部分的显示器820(图8A)产生音频的方法1300的另一示例的流程图。方法1300参考图8A来描述。在框1302,方法1300包括使用物理地耦合到显示器820的第一致动器826a基于作为输入提供给第一致动器826a的第一音频信号来使显示器820振动。在框1304,方法1300包括使用物理地耦合到显示器820的振动传感器830生成振动传感器信号,振动传感器信号与响应于第一致动器826a对显示器820的振动而产生的显示器820的振动成比例。在框1306,方法1300包括使用物理地耦合到电子设备的不同于显示器820的一部分(例如,背板或侧板)的第二致动器826b基于作为输入提供给第二致动器826b的第二音频信号来使电子设备的该部分振动。
在一些方面,当在声音泄漏消除的上下文中使用时,在框1308,方法1300可以包括生成具有如下波形的第二音频信号,该波形使由显示器820的振动而引起的电子设备的该部分的振动消除。在某些方面,第二音频信号可以部分地基于来自振动传感器830的振动传感器信号来生成。在一些方面,处理器808被配置为生成第二音频信号。当生成第二音频信号时,方法1300可以包括生成具有如下波形的第二音频信号,该波形与基于物理地耦合到显示器820的振动传感器830的振动传感器信号的信号异相。
图14是示出用于处理来自振动传感器430的振动传感器信号的方法1400的示例的流程图。方法1400参考图4B的音频系统422来描述并且提供了振动传感器信号处理的一部分的示例。然而,应当理解,除了参考图14的方法1400描述的处理,还可以执行振动传感器信号的其他处理和调节。方法1400可以用于产生音频参考信号以用于反馈回路,以用于校准或改进经由致动器426提供给显示器420的音频信号,以用于回波消除,用于声音泄漏消除,等等。处理器408(在一些实现中可以是信号处理器418)可以被配置为执行方法1400的操作中的任何一个。在框1402,方法1400包括将振动传感器信号转换为声压级信号。如上所述,该转换可以基于关于振动传感器信号与所测量的声压级信号之间的相关性的预定信息。在一些方面,线性函数可以应用于振动传感器信号以产生声压级信号。在框1404,方法1400还包括将声压级信号与表示显示器的音频输出特性的目标声压级模型446进行比较并且提供经调节的声压级信号。在框1406,方法1400还包括基于经调节的声压级信号调节提供给致动器426的音频信号的频率响应。
上述方法的各种操作可以通过能够执行对应功能的任何合适的装置来执行。该装置可以包括各种硬件和/或软件组件和/或模块,包括但不限于电路、专用集成电路(ASIC)或处理器。
通常,在存在图中所示的操作的地方,这些操作可以具有带有相似编号的对应的对应装置加功能组件。
本公开的实现的其他示例定义如下:
1.一种电子设备,包括显示器和致动器,所述致动器物理地耦合到所述显示器、并且被配置为响应于作为输入被提供给所述致动器的音频信号而引起所述显示器的振动。所述电子设备还包括振动传感器,所述振动传感器物理地耦合到所述显示器、并且被配置为输出与由于所述致动器而引起的所述显示器的所述振动成比例的振动传感器信号。所述电子设备还包括可操作地耦合到所述振动传感器的处理器,其中所述处理器被配置为基于来自所述振动传感器的所述振动传感器信号来调节所述音频信号。
2.根据示例1所述的电子设备,其中所述处理器被配置为响应于被施加到所述显示器的、影响所述显示器的所述振动的力,来调节所述音频信号。
3.根据示例2所述的电子设备,其中所述处理器被配置为基于所述振动传感器信号,来确定被施加到所述显示器的所述力的水平的估计。
4.根据示例3所述的电子设备,其中所述处理器被配置为基于对所述力的所述水平的所述估计来调节所述音频信号。
5.根据示例3所述的电子设备,其中所述处理器被配置为将所述振动传感器信号与预期参考信号进行比较、并且基于所述比较确定被施加到所述显示器的所述力的所述水平的所述估计。
6.根据示例3所述的电子设备,其中所述处理器被配置为基于所述力的所述水平的所述估计来增加所述音频信号的大小。
7.根据示例1所述的电子设备,其中所述处理器被配置为基于所述振动传感器信号,来确定包括所述显示器和所述致动器的机电系统的品质因子(Q因子)的变化,所述处理器还被配置为基于所述Q因子的所述变化调节所述音频信号。
8.根据示例7所述的电子设备,其中所述处理器被配置为在包括所述机电系统的谐振频率的频率范围内评估所述振动传感器信号,其中所述频率范围小于所述音频信号的语音频率范围,所述处理器被配置为基于所述频率范围内的所述评估来确定所述品质因子的所述变化。
9.根据示例1所述的电子设备,其中所述振动传感器是加速度计。
10.根据示例9所述的电子设备,其中所述加速度计是宽频带加速度计,宽频带加速度计具有覆盖语音频率范围内的频率的带宽。
11.根据示例1所述的电子设备,还包括音频编解码器,所述音频编解码器可操作地耦合到所述振动传感器、并且被配置为基于由所述振动传感器提供的所述振动传感器信号,向所述处理器输出数字振动传感器信号。
12.根据示例1所述的电子设备,其中所述处理器被配置为基于所述振动传感器信号,调节经由音频放大器提供给所述致动器的所述音频信号的频率响应,以提供来自所述显示器的经调节的声学输出。
13.根据示例1所述的电子设备,其中所述振动传感器信号至少部分基于所述显示器的物理尺寸或结构特性,而不同于所述致动器的输入处的所述音频信号。
14.根据示例1所述的电子设备,还包括第二致动器,所述第二致动器物理地耦合到所述电子设备的一部分,所述一部分不同于所述致动器物理地耦合到所述显示器的位置,并且被配置为响应于作为输入被提供给所述第二致动器的第二音频信号,而引起所述一部分的振动。所述电子设备还包括第二振动传感器,所述第二振动传感器物理地耦合到所述电子设备的所述一部分、并且被配置为输出与所述一部分的所述振动成比例的第二振动传感器信号。所述处理器被配置为基于所述第二振动传感器信号调节所述第二音频信号。
15.根据示例1所述的电子设备,其中所述处理器被配置为将所述振动传感器信号转换为声压级信号,将所述声压级信号与表示所述显示器的音频输出特性的目标声压级模型进行比较,并且基于所述比较调节所述音频信号的频率响应。
16.根据示例1所述的电子设备,其中所述处理器包括:可操作地耦合到来自所述振动传感器的输出的加速度到声压级信号转换电路系统,所述加速度到声压级信号转换电路系统被配置为将所述振动传感器信号转换为声压级信号。所述处理器还包括:可操作地耦合到所述加速度到声压级信号转换电路系统的声压级信号比较器电路系统,所述声压级信号比较器电路系统被配置为:将所述声压级信号与表示所述显示器的音频输出特性的目标声压级模型进行比较,并且提供经调节的声压级信号。所述处理器还包括:可操作地耦合到所述声压级信号比较器电路系统、并且被配置为接收期望音频信号的频率响应校正电路系统,所述频率响应校正电路系统被配置为:基于所述期望音频信号和来自所述声压级信号比较器电路系统的所述经调节的声压级信号,来调节被提供给所述致动器的所述音频信号,所述频率响应校正电路系统被配置为经由音频放大器向所述致动器提供所述音频信号。
17.根据示例1所述的电子设备,其中所述音频信号是由音频放大器基于由所述处理器生成的电音频信号而生成的放大电音频信号。
18.一种包括显示器的电子设备。所述电子设备还包括:用于基于音频信号引起所述显示器的振动,以提供由于所述显示器的所述振动而引起的、来自所述显示器的声学输出的装置。所述电子设备还包括用于感测所述显示器的所述振动的装置,所述振动感测装置被配置为:输出与由于所述振动引起装置而引起的所述显示器的所述振动成比例的振动传感器信号。所述电子设备还包括:用于基于来自所述振动感测装置的所述振动传感器信号来调节所述音频信号的装置。
19.根据示例18所述的电子设备,其中所述调节装置被配置为响应于被施加到所述显示器的、影响所述显示器的所述振动的力,来调节所述音频信号。
20.根据示例19所述的电子设备,还包括:用于基于所述振动传感器信号,来确定被施加到所述显示器的所述力的水平的估计的装置,其中所述调节装置被配置为基于所述力的所述水平的所述估计来调节所述音频信号。
21.一种用于使用显示器产生音频的方法,所述方法包括:使用物理地耦合到所述显示器的致动器、基于作为输入被提供给所述致动器的音频信号,来使所述显示器振动。所述方法还包括:使用物理地耦合到所述显示器的振动传感器生成振动传感器信号,所述振动传感器信号与由于所述致动器而引起的所述显示器的振动成比例。所述方法还包括:基于来自所述振动传感器的所述振动传感器信号调节所述音频信号。
22.根据示例21所述的方法,其中调节所述音频信号包括:响应于被施加到所述显示器的、影响所述致动器对所述显示器的所述振动的力,来调节所述音频信号。
23.根据示例22所述的方法,还包括:基于所述振动传感器信号确定由不同于所述致动器的某物施加到所述显示器的所述力的水平的估计。
24.根据示例23所述的方法,其中调节所述音频信号包括基于所述力的所述水平的所述估计来调节所述音频信号。
25.根据示例23所述的方法,其中确定所述力的所述水平的所述估计包括:将所述振动传感器信号与预期信号进行比较、并且基于所述比较确定被施加到所述显示器的所述力的所述水平的所述估计。
26.根据示例23所述的方法,其中调节所述音频信号包括基于所述力的所述水平的所述估计增加所述音频信号的强度水平。
27.根据示例21所述的方法,还包括基于所述振动传感器信号确定包括所述显示器和所述致动器的机电系统的品质因子(Q因子)的变化,其中调节所述音频信号包括基于所述Q因子的所述变化调节所述音频信号。
28.根据示例21所述的方法,其中所述振动传感器是宽频带加速度计,所述宽频带加速度计具有覆盖语音频率范围内的频率的带宽。
29.根据示例21所述的方法,其中调节所述音频信号包括基于所述振动传感器信号调节被提供给所述致动器的所述音频信号的频率响应。
30.根据示例21所述的方法,还包括将所述振动传感器信号转换为声压级信号并且将所述声压级信号与表示所述显示器的音频输出特性的目标声压级模型进行比较并且提供经调节的声压级信号,其中调节所述音频信号包括基于所述经调节的声压级信号调节所述音频信号的频率响应。
31.一种电子设备,包括显示器和第一致动器,所述第一致动器物理地耦合到所述显示器、并且被配置为响应于作为输入被提供给所述第一致动器的第一音频信号而引起所述显示器的振动。所述电子设备还包括振动传感器,所述振动传感器物理地耦合到所述显示器、并且被配置为输出与由于所述第一致动器而引起的所述显示器的振动成比例的振动传感器信号。所述电子设备还包括第二致动器,所述第二致动器物理地耦合到所述电子设备的一部分并且被配置为响应于作为输入被提供给所述第二致动器的第二音频信号而引起所述一部分的振动,所述一部分不同于所述第一致动器物理地耦合到所述显示器的位置。
32.根据示例31所述的电子设备,还包括被配置为生成所述第一音频信号和所述第二音频信号的处理器。
33.根据示例32所述的电子设备,其中所述处理器被配置为生成具有如下波形的所述第二音频信号,该波形使由所述显示器的所述振动引起的所述电子设备的所述一部分的所述振动消除,所述显示器机械地耦合到所述电子设备的所述一部分。
34.根据示例33所述的电子设备,其中所述第二音频信号是部分地基于来自所述振动传感器的所述振动传感器信号而生成的。
35.根据示例32所述的电子设备,其中所述处理器被配置为生成具有如下波形的所述第二音频信号,所述波形与基于物理地耦合到所述显示器的所述振动传感器的所述振动传感器信号的另一信号异相。
36.根据示例32所述的电子设备,其中由所述处理器提供给所述第二致动器的所述第二音频信号、与基于物理地耦合到所述显示器的所述振动传感器的所述振动传感器信号的另一信号同相。
37.根据示例32所述的电子设备,其中由所述处理器提供给所述第二致动器具有如下波形的所述第二音频信号,所述波形使所述显示器和所述电子设备的所述一部分中的每个的振动彼此对准。
38.根据示例31所述的电子设备,还包括第二振动传感器,所述第二振动传感器物理地耦合到所述电子设备的所述一部分并且被配置为输出与所述一部分的所述振动成比例的第二振动传感器信号。
39.根据示例38所述的电子设备,还包括被配置为基于所述第二振动传感器信号调节所述第二音频信号的处理器。
40.根据示例38所述的电子设备,还包括被配置为基于所述振动传感器信号或所述第二振动传感器信号或它们组合中的至少一项,来调节所述第二音频信号的处理器。
41.根据示例40所述的电子设备,其中所述处理器被配置为生成具有如下波形的所述第二音频信号,所述波形使由所述显示器的所述振动而引起的所述电子设备的所述一部分的所述振动消除,所述显示器机械地耦合到所述电子设备的所述一部分。
42.根据示例31所述的电子设备,其中所述电子设备的所述一部分包括所述电子设备的背板或侧板。
43.根据示例31所述的电子设备,其中所述电子设备的所述一部分包括第二显示器。
44.根据示例31所述的电子设备,其中所述振动传感器是加速度计。
45.根据示例31所述的电子设备,其中所述第一音频信号是由第一音频放大器基于由处理器生成的第一电音频信号而生成的第一放大电音频信号,其中所述第二音频信号是由第二音频放大器基于由所述处理器生成的第二电音频信号而生成的第二放大电音频信号。
46.根据示例31所述的电子设备,还包括处理器,所述处理器被配置为:将所述振动传感器信号转换为声压级信号;将所述声压级信号与表示所述显示器的音频输出特性的第一目标声压级模型进行比较,以提供经调节的声压级信号;基于所述经调节的声压级信号调节所述第一音频信号的频率响应;并且基于所述第一音频信号调节所述第二音频信号。
47.根据示例46所述的电子设备,其中所述处理器还被配置为基于表示所述电子设备的所述一部分的音频输出特性的第二目标声压级模型,来调节所述第二音频信号。
48.根据示例46所述的电子设备,还包括物理地耦合到所述电子设备的所述一部分、并且被配置为输出与所述一部分的所述振动成比例的第二振动传感器信号的第二振动传感器,其中所述处理器还被配置为:将所述第二振动传感器信号转换为第二声压级信号;将所述第二声压级信号与表示所述电子设备的所述一部分的音频输出特性的第二目标声压级模型进行比较,以提供第二经调节的声压级信号;并且基于所述第一音频信号和所述第二经调节的声压级信号,来调节所述第二音频信号。
49.一种电子设备,包括显示器和第一装置,所述第一装置用于基于第一音频信号引起所述显示器的振动,以提供由于所述显示器的所述振动而引起的、来自所述显示器的声学输出。所述电子设备还包括用于感测所述显示器的所述振动的装置,所述振动感测装置被配置为输出与所述显示器的所述振动成比例的振动传感器信号。所述电子设备还包括第二装置,所述第二装置用于基于第二音频信号来引起不同于所述显示器的所述电子设备的一部分的振动。
50.根据示例49所述的电子设备,还包括:用于生成具有如下波形的所述第二音频信号的装置,所述波形使由所述显示器的所述振动引起的所述电子设备的所述一部分的所述振动消除,所述显示器机械地耦合到所述电子设备的所述一部分,其中所述第二音频信号是部分地基于来自所述振动感测装置的所述振动传感器信号而生成的。
51.根据示例49所述的电子设备,还包括用于感测所述电子设备的所述一部分的振动的第二装置,其中所述第二振动感测装置被配置为输出与所述电子设备的所述一部分的所述振动成比例的第二振动传感器信号。
52.一种用于使用作为电子设备的一部分的显示器来产生音频的方法,所述方法包括:使用物理地耦合到所述显示器的第一致动器、基于作为输入被提供给所述第一致动器的第一音频信号,来使所述显示器振动。所述方法还包括:使用物理地耦合到所述显示器的振动传感器生成振动传感器信号,所述振动传感器信号响应于所述第一致动器对所述显示器的所述振动,与所述显示器的振动成比例。所述方法还包括:使用物理地耦合到所述电子设备的不同于所述显示器的一部分的第二致动器、基于作为输入被提供给所述第二致动器的第二音频信号,来使所述电子设备的所述一部分振动。
53.根据示例52所述的方法,还包括生成具有如下波形的所述第二音频信号,所述波形使由所述显示器的所述振动而引起的所述电子设备的所述一部分的所述振动消除,所述显示器机械地耦合到所述电子设备的所述一部分。
54.根据示例53所述的方法,其中所述第二音频信号是部分地基于来自所述振动传感器的所述振动传感器信号而生成的。
55.根据示例52所述的方法,还包括生成具有如下波形的所述第二音频信号,所述波形与基于物理地耦合到所述显示器的所述振动传感器的所述振动传感器信号的信号异相。
56.根据示例52所述的方法,其中所述第二音频信号与基于所述振动传感器的所述振动传感器信号的另一信号同相。
57.根据示例52所述的方法,还包括:使用物理地耦合到所述电子设备的所述一部分的第二振动传感器生成第二振动传感器信号,所述第二振动传感器信号与所述一部分的所述振动成比例。
58.根据示例57所述的方法,还包括基于所述第二振动传感器信号调节所述第二音频信号。
59.根据示例52所述的方法,还包括:将所述振动传感器信号转换为声压级信号,将所述声压级信号与表示所述显示器的音频输出特性的第一目标声压级模型进行比较,以提供经调节的声压级信号,基于所述经调节的声压级信号调节所述第一音频信号的频率响应,并且基于所述第一音频信号调节所述第二音频信号。
60.根据示例59所述的方法,还包括:基于表示所述电子设备的所述一部分的音频输出特性的第二目标声压级模型,来调节所述第二音频信号。
如本文中使用的,术语“确定”涵盖多种动作。例如,“确定”可以包括计算(calculating)、计算(computing)、处理、导出、调查、查找(例如,在表、数据库或另一数据结构中查找)、确认等。此外,“确定”可以包括接收(例如,接收信息)、访问(例如,访问存储器中的数据)等。此外,“确定”可以包括解析、选择(selecting)、选择(choosing)、建立等。
如本文中使用的,提及项目列表中的“至少一个”的短语是指那些项目的任何组合,包括单个成员。例如,“a、b或c中的至少一个”旨在涵盖:a、b、c、ab、ac、bc和abc、以及与多个上述元素的任何组合(例如,、aa、aaa、aab、aac、abb、acc、bb、bbb、bbc、cc和ccc或a、b和c的任何其他顺序)。
结合本公开描述的各种说明性逻辑块、模块和电路可以用旨在执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。处理器可以是微处理器,但在替代方案中,处理器可以是任何商用处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合,例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核结合、或者任何其他这样的配置。
本文中公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下,方法步骤和/或动作可以彼此互换。换言之,除非指定特定步骤或动作的顺序,否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
所描述的功能可以以硬件、软件、固件或其任何组合来实现。如果以硬件实现,则示例硬件配置可以包括无线节点中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的特定应用和总体设计约束,总线可以包括任何数目的互连总线和桥接器。总线可以将包括处理器、机器可读介质和总线接口在内的各种电路链接在一起。总线接口可以用于经由总线将网络适配器等连接到处理系统。总线还可以链接各种其他电路,诸如定时源、外围设备、电压调节器、电源管理电路等。
应当理解,权利要求不限于以上所示的精确配置和组件。在不脱离权利要求的范围的情况下,可以对上述方法和装置的布置、操作和细节进行各种修改、改变和变化。
Claims (37)
1.一种电子设备,包括:
显示器;
致动器,物理地耦合到所述显示器并且被配置为响应于作为所述致动器的输入并且由音频放大器生成的音频信号,而引起所述显示器的振动;
振动传感器,物理地耦合到所述显示器并且被配置为感测由于所述致动器而引起的所述显示器的所述振动,并且输出振动传感器信号,所述振动传感器信号与由于所述致动器而引起的所述显示器的所述振动成比例;以及
处理器,可操作地耦合到所述振动传感器并且被配置为基于来自所述振动传感器的所述振动传感器信号来调节被提供给所述音频放大器的电音频信号,其中,所述处理器被配置为基于所述振动传感器信号来确定由压在所述显示器上的物体施加在所述显示器上的力的水平的估计,并且所述处理器被配置为基于所述力的水平的所述估计来调节所述电音频信号。
2.根据权利要求1所述的电子设备,还包括:
所述音频放大器,可操作地耦合到所述致动器;以及
麦克风,可操作地耦合到所述处理器。
3.根据权利要求2所述的电子设备,其中所述处理器被配置为基于所述振动传感器信号,来调节从所述麦克风输出的麦克风输出信号。
4.根据权利要求1所述的电子设备,其中所述振动传感器是加速度计。
5.根据权利要求4所述的电子设备,其中所述加速度计是宽频带加速度计,所述宽频带加速度计具有覆盖语音频率范围内的频率的带宽。
6.根据权利要求1所述的电子设备,还包括:
音频编解码器,可操作地耦合到所述振动传感器并且被配置为基于所述振动传感器信号,来输出数字振动传感器信号,
其中所述处理器可操作地耦合到所述音频编解码器并且被配置为基于所述数字振动传感器信号来生成声压级信号。
7.根据权利要求1所述的电子设备,其中所述处理器被配置为基于所述振动传感器信号,来生成回波参考信号。
8.根据权利要求7所述的电子设备,其中所述回波参考信号表示由于所述显示器的所述振动引起的所述显示器的声学输出。
9.根据权利要求7所述的电子设备,其中所述处理器被配置为消除由所述电子设备的麦克风输出的麦克风输出信号内包括的回波信号的至少一部分,所述处理器被配置为基于所述回波参考信号来消除所述回波信号的所述至少一部分。
10.根据权利要求9所述的电子设备,其中所述处理器被配置为还基于来自所述音频放大器的输出的信号来消除所述回波信号,所述音频放大器可操作地耦合在所述致动器与所述处理器之间。
11.根据权利要求9所述的电子设备,其中所述回波信号表示由所述麦克风捕获的、由于所述显示器的所述振动引起的所述显示器的声学输出。
12.根据权利要求9所述的电子设备,其中基于所述振动传感器信号的所述回波参考信号包括以下项中的至少一项:由所述显示器引起的谐波失真、或组延迟。
13.根据权利要求1所述的电子设备,还包括:
麦克风,可操作地耦合到所述处理器并且被配置为输出麦克风输出信号,所述处理器被配置为基于所述振动传感器信号,来消除所述麦克风输出信号的一部分。
14.根据权利要求13所述的电子设备,其中所述麦克风输出信号的被消除的所述一部分对应于由所述麦克风捕获的、由于所述显示器的振动而引起的来自所述显示器的声学输出。
15.根据权利要求1所述的电子设备,其中所述处理器被配置为基于所述振动传感器信号,来调节被提供给所述音频放大器的所述电音频信号的频率响应,以提供来自所述显示器的经调节的声学输出。
16.根据权利要求1所述的电子设备,其中所述处理器被配置为:
将所述振动传感器信号转换为声压级信号;
将所述声压级信号与表示所述显示器的音频输出特性的目标声压级模型进行比较;以及
基于所述比较,来调节被提供给所述音频放大器的电音频信号的频率响应。
17.根据权利要求1所述的电子设备,其中所述振动传感器信号至少基于传递函数而不同于所述致动器的输入处的所述音频信号,所述传递函数表示所述显示器的响应于所述音频信号的所述振动。
18.根据权利要求1所述的电子设备,其中所述振动传感器信号至少部分基于所述显示器的物理尺寸或结构特性,而不同于所述致动器的所述输入处的所述音频信号。
19.根据权利要求1所述的电子设备,还包括:
第二致动器,物理地耦合到所述电子设备的一部分,所述电子设备的所述一部分与所述致动器物理地耦合到所述显示器的位置不同,并且所述第二致动器被配置为响应于第二音频信号而引起所述一部分的振动;
第二振动传感器,物理地耦合到所述电子设备的所述一部分并且被配置为输出第二振动传感器信号,所述第二振动传感器信号与所述一部分的所述振动成比例。
20.根据权利要求19所述的电子设备,其中,所述处理器还被配置为:基于所述振动传感器信号或所述第二振动传感器信号中的至少一者或它们的组合,来调节所述第二音频信号。
21.根据权利要求1所述的电子设备,还包括:
包括所述致动器的致动器阵列,所述阵列中的所述致动器中的每个致动器被配置为:响应于由该致动器接收的相应音频信号,而引起所述电子设备的不同部分的振动;以及
包括所述振动传感器的振动传感器阵列,所述阵列中的所述振动传感器中的每个振动传感器被配置为:输出与所述电子设备的所述不同部分的所述振动成比例的相应振动传感器信号。
22.根据权利要求1所述的电子设备,其中所述振动传感器被定位为与所述致动器邻近。
23.根据权利要求1所述的电子设备,其中所述音频信号表示音频语音信号,并且其中所述显示器被配置为提供由于所述显示器的所述振动而引起的、与所述音频语音信号相对应的声学输出。
24.根据权利要求1所述的电子设备,其中所述音频信号是由所述音频放大器基于由所述处理器生成的所述电音频信号而生成的放大电音频信号。
25.一种电子设备,包括:
显示器;
用于基于由音频放大器生成的音频信号而引起所述显示器的振动,来提供由于所述显示器的所述振动而引起的来自所述显示器的声学输出的装置;
用于感测所述显示器的所述振动的装置,用于感测所述振动的所述装置被配置为响应于所述显示器的所述振动,而输出与所述显示器的所述振动成比例的振动传感器信号;以及
用于基于所述振动传感器信号来调节被提供给所述音频放大器的电音频信号的装置,其中,用于调节的所述装置包括:用于基于所述振动传感器信号来确定由压在所述显示器上的物体施加在所述显示器上的力的水平的估计的装置,以及用于基于所述力的水平的所述估计来调节所述电音频信号的装置。
26.根据权利要求25所述的电子设备,还包括:用于基于所述振动传感器信号生成回波参考信号的装置,所述回波参考信号表示由于所述显示器的所述振动而引起的所述显示器的声学输出。
27.根据权利要求26所述的电子设备,还包括:用于消除由麦克风输出的麦克风输出信号内包括的回波信号的至少一部分的装置,用于消除所述回波信号的所述至少一部分的所述装置被配置为基于所述回波参考信号来消除所述回波信号的所述至少一部分。
28.一种用于使用显示器来产生音频的方法,所述方法包括:
使用物理地耦合到所述显示器的致动器,基于作为输入被提供给所述致动器并且由音频放大器生成的音频信号,来使所述显示器振动;
使用物理地耦合到所述显示器的振动传感器,生成振动传感器信号,所述振动传感器信号与由于所述致动器而引起的所述显示器的振动成比例;以及
基于来自所述振动传感器的所述振动传感器信号,调节被提供给所述音频放大器的电音频信号,其中,调节所述电音频信号包括:基于所述振动传感器信号来确定由压在所述显示器上的物体施加在所述显示器上的力的水平的估计,以及基于所述力的水平的所述估计来调节所述电音频信号。
29.根据权利要求28所述的方法,还包括:基于所述振动传感器信号生成回波参考信号,所述回波参考信号表示由于所述显示器的振动而引起的所述显示器的声学输出。
30.根据权利要求29所述的方法,还包括:消除由麦克风输出的麦克风输出信号内包括的回波信号的至少一部分,其中消除所述回波信号的所述至少一部分包括基于所述回波参考信号来消除所述回波信号的所述至少一部分。
31.根据权利要求30所述的方法,其中所述回波信号表示由所述麦克风捕获的所述显示器的声学输出。
32.根据权利要求28所述的方法,还包括:基于所述振动传感器信号消除从麦克风输出的麦克风输出信号的一部分,被消除的所述一部分对应于由所述麦克风捕获的、由于所述显示器的振动而引起的来自所述显示器的声学输出。
33.根据权利要求28所述的方法,其中调节所述电音频信号包括:基于来自所述振动传感器的所述振动传感器信号,调节所述电音频信号的频率响应。
34.根据权利要求28所述的方法,其中所述振动传感器是宽频带加速度计,所述宽频带加速度计具有覆盖语音频率范围内的频率的带宽。
35.根据权利要求28所述的方法,还包括:将所述振动传感器信号转换为声压级信号,并且基于所述声压级信号调节所述音频信号。
36.根据权利要求35所述的方法,还包括:基于将所述声压级信号与表示所述显示器的音频输出特性的目标声压级模型进行比较,而生成经调节的声压级信号,所述方法包括基于所述经调节的声压级信号而调节所述音频信号。
37.一种电子设备,包括:
致动器,可操作地耦合到所述电子设备的、具有面向外部的表面的组件,所述致动器被配置为响应于由音频放大器生成的音频信号而引起所述组件的振动;
振动传感器,耦合到所述组件并且被配置为响应于所述致动器对所述组件的所述振动,而输出与所述组件的所述振动成比例的信号;以及
可操作地耦合到所述振动传感器的处理器,被配置为基于来自所述振动传感器的所述信号来调节被提供给所述音频放大器的电音频信号,其中,所述处理器被配置为基于来自所述振动传感器的所述信号来确定由压在所述组件上的物体施加在所述组件上的力的水平的估计,并且所述处理器被配置为基于所述力的水平的所述估计来调节所述电音频信号。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962810148P | 2019-02-25 | 2019-02-25 | |
US62/810,148 | 2019-02-25 | ||
US201962893583P | 2019-08-29 | 2019-08-29 | |
US201962893553P | 2019-08-29 | 2019-08-29 | |
US62/893,583 | 2019-08-29 | ||
US62/893,553 | 2019-08-29 | ||
US16/796,484 US11348567B2 (en) | 2019-02-25 | 2020-02-20 | Feedback control for display as sound emitter |
US16/796,484 | 2020-02-20 | ||
PCT/US2020/019188 WO2020176338A1 (en) | 2019-02-25 | 2020-02-21 | Feedback control for display as sound emitter |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113475097A CN113475097A (zh) | 2021-10-01 |
CN113475097B true CN113475097B (zh) | 2023-06-27 |
Family
ID=72142002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080016478.7A Active CN113475097B (zh) | 2019-02-25 | 2020-02-21 | 作为声音发射器的显示器的反馈控制 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11238840B2 (zh) |
EP (1) | EP3932088B1 (zh) |
CN (1) | CN113475097B (zh) |
WO (1) | WO2020176338A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11238840B2 (en) | 2019-02-25 | 2022-02-01 | Qualcomm Incorporated | Sound leak cancellation for display as sound emitter |
US11169766B2 (en) * | 2019-07-02 | 2021-11-09 | Qualcomm Incorporated | Pressure compensation in display sound device |
KR20210021221A (ko) * | 2019-08-16 | 2021-02-25 | 삼성디스플레이 주식회사 | 음향 발생 장치를 갖는 표시 장치의 음향 검사 방법 및 검사 장치 |
US11533011B2 (en) * | 2020-03-04 | 2022-12-20 | Qualcomm Incorporated | Actuator driver circuit with self-resonance tracking |
US20210365613A1 (en) * | 2020-05-21 | 2021-11-25 | Google Llc | System and method for detecting excessive vibration in a consumer device using computerized modeling |
CN115699805A (zh) * | 2021-03-18 | 2023-02-03 | 株式会社村田制作所 | 电子设备 |
KR20230012718A (ko) * | 2021-07-16 | 2023-01-26 | 삼성전자주식회사 | 음성 신호를 생성하는 전자 장치 및 방법 |
KR20230018953A (ko) * | 2021-07-30 | 2023-02-07 | 엘지디스플레이 주식회사 | 진동 장치와 이를 포함하는 장치 |
US12041439B2 (en) | 2022-04-13 | 2024-07-16 | Google Llc | Preventing eavesdropping resources from acquiring unauthorized data via mechanically excitable sensors |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013171512A2 (en) * | 2012-05-18 | 2013-11-21 | Hiwave Technologies (Uk) Limited | Vibratory panel devices and methods for controlling vibratory panel devices |
CN103517192A (zh) * | 2012-06-21 | 2014-01-15 | 奥迪康有限公司 | 包括反馈报警的助听器 |
CN104243732A (zh) * | 2013-06-05 | 2014-12-24 | Dsp集团有限公司 | 振动传感器在回声消除中的使用 |
CN104254041A (zh) * | 2013-06-27 | 2014-12-31 | Dsp集团有限公司 | 近端收听清晰度增强中的改进 |
CN104581526A (zh) * | 2013-10-18 | 2015-04-29 | 恩智浦有限公司 | 传感器 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007502594A (ja) | 2003-05-28 | 2007-02-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ディスプレイスピーカー |
US20090103744A1 (en) | 2007-10-23 | 2009-04-23 | Gunnar Klinghult | Noise cancellation circuit for electronic device |
US8538008B2 (en) | 2008-11-21 | 2013-09-17 | Acoustic Technologies, Inc. | Acoustic echo canceler using an accelerometer |
US9363596B2 (en) | 2013-03-15 | 2016-06-07 | Apple Inc. | System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device |
KR102229137B1 (ko) | 2014-05-20 | 2021-03-18 | 삼성디스플레이 주식회사 | 표시장치 |
US9905217B2 (en) | 2014-10-24 | 2018-02-27 | Elwha Llc | Active cancellation of noise in temporal bone |
US10152125B2 (en) | 2015-11-20 | 2018-12-11 | Immersion Corporation | Haptically enabled flexible devices |
US10142739B2 (en) | 2016-03-28 | 2018-11-27 | Lg Display Co., Ltd. | Panel vibration type display device for generating sound |
KR101704517B1 (ko) | 2016-03-28 | 2017-02-09 | 엘지디스플레이 주식회사 | 패널 진동형 음향 발생 표시 장치 |
US20190066607A1 (en) * | 2017-08-25 | 2019-02-28 | Soweto Abijah Mitchell | Visual Representation of Electromagnetic Signals Utilizing Controlled Electrostatic and Electromagnetic Vibration Energy within Transparent Conductive Enclosures |
JP6950742B2 (ja) * | 2017-10-04 | 2021-10-13 | Agc株式会社 | ディスプレイ装置およびテレビジョン装置 |
US11154905B2 (en) | 2018-02-20 | 2021-10-26 | Cirrus Logic, Inc. | Adaptive localization of vibrational energy in a system with multiple vibrational transducers |
US10653002B2 (en) * | 2018-07-30 | 2020-05-12 | Honeywell International Inc. | Actively sensing and cancelling vibration in a printed circuit board or other platform |
US11238840B2 (en) | 2019-02-25 | 2022-02-01 | Qualcomm Incorporated | Sound leak cancellation for display as sound emitter |
-
2020
- 2020-02-20 US US16/796,515 patent/US11238840B2/en active Active
- 2020-02-20 US US16/796,484 patent/US11348567B2/en active Active
- 2020-02-20 US US16/796,534 patent/US11450305B2/en active Active
- 2020-02-21 EP EP20711743.3A patent/EP3932088B1/en active Active
- 2020-02-21 WO PCT/US2020/019188 patent/WO2020176338A1/en unknown
- 2020-02-21 CN CN202080016478.7A patent/CN113475097B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013171512A2 (en) * | 2012-05-18 | 2013-11-21 | Hiwave Technologies (Uk) Limited | Vibratory panel devices and methods for controlling vibratory panel devices |
CN103517192A (zh) * | 2012-06-21 | 2014-01-15 | 奥迪康有限公司 | 包括反馈报警的助听器 |
CN104243732A (zh) * | 2013-06-05 | 2014-12-24 | Dsp集团有限公司 | 振动传感器在回声消除中的使用 |
CN104254041A (zh) * | 2013-06-27 | 2014-12-31 | Dsp集团有限公司 | 近端收听清晰度增强中的改进 |
CN104581526A (zh) * | 2013-10-18 | 2015-04-29 | 恩智浦有限公司 | 传感器 |
Also Published As
Publication number | Publication date |
---|---|
CN113475097A (zh) | 2021-10-01 |
US20200273444A1 (en) | 2020-08-27 |
US20200275222A1 (en) | 2020-08-27 |
US11348567B2 (en) | 2022-05-31 |
EP3932088B1 (en) | 2023-11-15 |
US11238840B2 (en) | 2022-02-01 |
US20200275221A1 (en) | 2020-08-27 |
EP3932088A1 (en) | 2022-01-05 |
WO2020176338A1 (en) | 2020-09-03 |
US11450305B2 (en) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113475097B (zh) | 作为声音发射器的显示器的反馈控制 | |
CN107211063B (zh) | 非线性回波路径检测 | |
KR101643059B1 (ko) | 노이즈를 제어하는 전자 디바이스들 | |
US9374638B2 (en) | Method of performing an RECD measurement using a hearing assistance device | |
WO2022048334A1 (zh) | 检测方法、装置、耳机和可读存储介质 | |
US20100322430A1 (en) | Portable communication device and a method of processing signals therein | |
US10368154B2 (en) | Systems, devices and methods for executing a digital audiogram | |
CN105491495B (zh) | 基于确定性序列的反馈估计 | |
CN106454674A (zh) | 测试工装 | |
US20190320268A1 (en) | Systems, devices and methods for executing a digital audiogram | |
US20140341386A1 (en) | Noise reduction | |
JP7325445B2 (ja) | ギャップ信頼度を用いた背景雑音推定 | |
CN111656435B (zh) | 用于确定启用噪声消除的音频设备的响应函数的方法 | |
CN110291718A (zh) | 校准麦克风截止频率的系统和方法 | |
CN102780797A (zh) | 行动电话及其内置电声元件的校正方法 | |
US20130044888A1 (en) | Audio device and audio producing method | |
US9564145B2 (en) | Speech intelligibility detection | |
US20210352404A1 (en) | System and Method for Data Augmentation for Multi-Microphone Signal Processing | |
GB2594839A (en) | Methods, apparatus and systems for biometric processes | |
US20230254649A1 (en) | Method of detecting a sudden change in a feedback/echo path of a hearing aid | |
CN116348030A (zh) | 电子装置及其控制方法 | |
CN104254041B (zh) | 近端收听清晰度增强中的改进 | |
WO2020143473A1 (en) | Audio device and electronics apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |