CN110554773A - 用于产生定向声音和触觉感觉的触觉装置 - Google Patents

用于产生定向声音和触觉感觉的触觉装置 Download PDF

Info

Publication number
CN110554773A
CN110554773A CN201910475220.2A CN201910475220A CN110554773A CN 110554773 A CN110554773 A CN 110554773A CN 201910475220 A CN201910475220 A CN 201910475220A CN 110554773 A CN110554773 A CN 110554773A
Authority
CN
China
Prior art keywords
transducer
transducers
location
haptic
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910475220.2A
Other languages
English (en)
Inventor
J.维比克
A.布朗热
S.马蒂
D.迪岑索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN110554773A publication Critical patent/CN110554773A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R17/00—Piezoelectric transducers; Electrostrictive transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2217/00—Details of magnetostrictive, piezoelectric, or electrostrictive transducers covered by H04R15/00 or H04R17/00 but not provided for in any of their subgroups
    • H04R2217/03—Parametric transducers where sound is generated or captured by the acoustic demodulation of amplitude modulated ultrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的一个实施方案阐述了一种用于传递音频输出并对环境中的对象或在所述对象附近产生触觉感觉的技术，用户可以通过所述环境感知触觉感觉。所述装置包括以各种模态操作的换能器阵列，所述各种模态包括产生音频输出、产生触觉输出以及感测所述环境中的对象。当产生音频输出时，所述换能器阵列产生超声波，所述超声波解调以产生音频输出。当产生触觉输出时，所述换能器阵列使用相长和/或相消干涉将定向触觉输出输出至所述环境的各个位置。当感测到所述环境中的对象时，所述换能器阵列产生声脉冲并检测从所述环境中的对象反射的声脉冲回波。

Description

用于产生定向声音和触觉感觉的触觉装置
技术领域
本公开的实施方案总体上涉及音频系统，并且更具体地，涉及一种用于产生定向声音和触觉感觉的触觉装置。
背景技术
例如智能手机、媒体播放器、平板电脑和个人计算机的许多消费者电子装置向用户呈现各种形式的媒体内容。例如，消费者电子装置可以通过显示器向用户呈现视觉内容，同时依靠耳机、内置扬声器和/或外部扬声器(例如，紧凑的便携式扬声器)来为用户产生音频内容。具体地，耳机将音频直接传递至用户的耳朵，而扬声器产生在整个大区域内传递音频内容的环绕立体声。
使用耳机或扬声器向用户呈现音频内容存在多个缺点。具体地，虽然耳机能够提供高保真的音频体验，但是耳机的形状因数会阻止来自用户环境的声音进入用户的耳道。因此，佩戴耳机可能使用户与其环境内的重要声音隔离，从而降低用户有效地与其环境交互的能力。另一方面，虽然外部扬声器系统使用户能够在不经历听觉隔离的情况下收听音频内容，但是从这种系统发出的声音可能被用户周围的人听到。因此，使用外部扬声器可能会在各种情况下令人不安。
此外，产生视觉内容的消费者电子装置通常要求用户在视觉上关注显示器以便接收视觉内容。例如，消费者电子装置可以从联网数据库下载与用户环境有关的通知。消费者电子装置还可以基于所述通知产生视觉内容，并通过显示器将视觉内容传输给用户。
这些类型的消费者电子装置的一个缺点是，没有在视觉上关注显示器的用户可能不知道消费者电子装置正在显示新的通知。因此，用户可能在更长的时间段内对通知完全不知情。替代地，当用户在视觉上关注显示器时，用户可能不知道在本地环境中发生的事件。因此，呈现给用户的视觉内容可能分散用户注意力，使用户不能与本地环境有效地交互。
针对上述缺点提出的一个解决方案是当显示视觉通知时向用户提供音频通知。然而，除了耳机和扬声器的上述缺点之外，通过这些类型的装置提供音频通知可能会中断耳机和/或扬声器同时呈现的音频内容。因此，用于从消费者电子装置向用户呈现视觉内容和音频内容的传统方法可能分散用户注意力，使用户不能与周围环境有效地交互。
如前所述，将媒体内容更有效地呈现给用户的技术将是有用的。
发明内容
本公开的一个实施方案阐述了一种用于向用户提供音频内容和触觉感觉的系统。所述系统包括多个换能器和处理器，所述处理器耦合至一个或多个换能器并且被配置成：接收要传递给用户的声音音调和触觉感觉；选择在其处传递对应于所述声音音调的音频输出的第一位置以及向其传递对应于所述触觉感觉的触觉输出的第二位置；配置第一组换能器以将所述音频输出传递至所述第一位置；以及配置第二组换能器以产生所述触觉输出来传递至所述第二位置。
其它实施方案尤其提供一种方法和一种非暂时性计算机可读介质，所述非暂时性计算机可读介质被配置成实施上文阐述的系统。
所公开技术的至少一个优点是音频可以被直接传输至用户的耳朵，使得用户能够在不干扰其周围对声音敏感的对象的情况下收听音频内容(例如，音乐、语音对话、通知等)。另外，因为装置可以是肩挂式的，所以系统不会将用户与其环境中的声音隔离。此外，装置可以通过对用户和/或在用户附近产生触觉感觉来与用户交互。因此，装置可以产生向用户提供指示(例如，指示虚拟对象在空间中的位置)的触觉感觉。
附图说明
为了能够详细地理解本公开的上述特征，可以通过参考实施方案获得上文简要概述的本公开的更具体描述，在附图中示出其中一些实施方案。然而，应注意，附图仅示出了本公开的典型实施方案，因此不应认为是对本公开范围的限制，因为本公开可以允许其它同等有效的实施方案。
图1示出根据各种实施方案的被配置成实施本公开的一个或多个方面的装置的框图；
图2A至图2H示出根据各种实施方案的具有可穿戴装置的各种形状因数的图1的装置；
图3示出根据各种实施方案的图1的装置，其中每个换能器阵列执行感测功能、触觉输出功能和音频输出功能中的一个或多个；以及
图4是根据各种实施方案的用于向用户提供音频内容和触觉感觉的方法步骤的流程图。
具体实施方式
在以下描述中，阐述了许多具体细节以提供对本公开的实施方案的更透彻理解。然而，对于所属领域技术人员显而易见的是，可以在没有这些具体细节中的一个或多个的情况下实践本公开的实施方案。
图1示出根据各种实施方案的被配置成实施本公开的一个或多个方面的装置100的框图。如图所示，装置100包括但不限于传感器140、换能器150和计算装置105。装置100可以被实施为移动装置、可穿戴装置，和/或可以在例如车辆、家庭娱乐系统等外部装置内实施。例如，装置100可以集成至颈戴式和/或肩戴式装置中。另外或替代地，装置100可以集成至用户的衣服(例如，衬衫、夹克、毛衣等)中。装置100还可以包括有助于装置100附接至用户的衣服的钩子或附接件。附接件可以包括粘合剂等。
传感器140包括能够检测对象在环境中的位置的装置。传感器140可以包括但不限于以下项中的一个或多个：RGB成像器和相机、深度传感器、声学和超声传感器、激光和热基传感器、红外传感器，以及具有将结构光引导至目标(例如，用户的身体部位)的投影单元的结构光相机。在一些实施方案中，换能器150可以作为传感器140操作，如下文进一步详细描述。具体地，在此类实施方案中，传感器140可以包括换能器装置，例如超声换能器。
在操作中，传感器140可以产生反映对象在环境中的位置的传感器数据。对象可以包括用户的各种身体部位。具体地，对象可以包括耳朵、脸、下巴、太阳穴、颈部、肩部等。对象还可以包括手、手指、手掌、前臂、肘部和手臂、腿、脚、小腿、躯干、背部等。传感器140可以定位成使得用户的耳朵在一个或多个传感器140的视场内。类似地，第二组传感器可以定位成使得第二身体部位(例如，手)也在传感器140的视场内。因此，传感器140可以定位成跟踪多个对象在环境中的位置。具体地，在一些实施方案中，传感器140可以定位在身体佩戴的对象上，例如颈戴式或肩戴式装置。另外或替代地，传感器可以位于固定表面上，例如墙壁、天花板、地板，和/或有助于传感器140跟踪对象在环境中的位置的环境中的其它固定位置。
在另外的实施方案中，传感器140还可以通过跟踪伴随对象的位置来跟踪对象的位置。例如，当跟踪身体部位的位置时，传感器140可以跟踪与所述身体部位相关联的对象，例如戒指、胸针、手套、效应器等的位置。此外，传感器140可以包括实施飞行时间测量以确定至环境内的对象的距离的装置。具体地，传感器140可以包括以分流模式或传输模式操作的电容传感器和接收器。另外，传感器140可以包括产生电磁传输的发生器装置和/或检测从环境中的对象反射的电磁传输的接收器装置。接收器装置可以包括响应于接收反射的电磁传输而产生电场和/或磁场的线圈。在一些实施方案中，两个或更多个接收器线圈可以正交定向并且结合使用，以便提供关于所检测对象的位置的方向信息。在其它实施方案中，可以实施声学装置以检测位于环境中的对象。这些声学装置可以包括输出声音的扬声器装置和检测从环境中的对象反射的声音的麦克风装置。
另外，装置100包括换能器150，所述换能器包括可以检测和产生一种或多种类型的波(例如，机械波、电磁波等)的一种或多种类型的装置。例如，换能器150可以包括产生和检测超声波的换能器装置，例如超声换能器阵列。在操作中，换能器150产生可以用于确定对象在环境中的位置的波(例如，连续波、波脉冲、声脉冲等)。所产生的波进入环境中并从环境中的对象反射。换能器150检测反射波并通过I/O接口120将信号传输至处理单元110，所述信号指示检测到波并且还可以指示波的一个或多个特性。另外，换能器150发射波以便在对象上产生触觉感觉。在一个实施方案中，换能器150产生连续波，所述连续波对用户产生触觉感觉。
在一个实施方案中，两个或更多个换能器150彼此分开地附接至用户的袖套或夹克。因此，此类换能器150彼此的相对位置可以动态地改变。在这种情况下，分开跟踪两个或更多个换能器150中的每一个在三维空间中的位置。在一个实施方案中，位置跟踪传感器，例如传感器140跟踪每个换能器的位置。在此种实施方案中，传感器可以跟踪放置在换能器150上的红外反射标记，和/或传感器可以使用超声跟踪来跟踪换能器的位置。在替代实施方案中，换能器150可以包括位置感测传感器，使得换能器可以相对于参考点，例如用户或另一个换能器150自定位。在此种实施方案中，位置感测传感器可以是加速度计，所述加速度计可以从加速度中获得位置。
关于产生用于确定对象位置的波，换能器150产生具有特定波形、频率和振幅的波脉冲(本文中称为“声脉冲”)。在一些实施方案中，换能器150以增加或减少的频率产生声脉冲。例如，包括在换能器150中的超声换能器可以调制所产生的超声波的频率，以便以增加的频率产生声脉冲。另外，声脉冲可以具有增加和减少的频率和/或振幅的间隔。
除了产生声脉冲之外，换能器150还检测入射在换能器150上的各种类型的波。换能器150将检测到的波转换成电信号，所述电信号被传输至处理单元110。电信号指示已检测到波。电信号还可以指示波的一个或多个特性，包括波的波形、频率、相位和振幅。例如，换能器150可以检测已经从目标反射并且已经朝向换能器150行进的超声波。在一个实施方案中，换能器150检测已经从环境中的对象反射的声脉冲的声脉冲回波。
关于对用户产生触觉感觉，换能器150产生各种类型的触觉输出，包括连续波。例如，换能器150可以包括超声换能器阵列中所包括的产生超声波的超声换能器。换能器150可以被配置成产生朝向用户的特定部位，包括用户的手、腿、前臂、手腕、手掌、颈部，躯干等行进的波。当超声波与用户的皮肤交互时，人可以感觉到触觉感觉。在一些实施方案中，换能器150产生特定类型的触觉感觉，所述触觉感觉可以向用户指示其应采取特定措施。例如，触觉感觉可以在用户身体上的某个方向上移动，从而向用户指示其应在指定方向上移动。换能器150还可以产生具有特定大小、形状、取向和/或强度的触觉感觉。
在其它实施方案中，换能器150可以产生音频输出。具体地，换能器150可以产生超声波，所述超声波解调以产生高度定向的音频输出。例如，可以通过执行由换能器150产生的超声波的频率和/或振幅调制来产生声音。在各种实施方案中，换能器150可以投射调制后超声波的窄束，所述调制后超声波的窄束足够强大以基本上改变窄束附近的空气中声音的速度。具体地，束内的空气表现为非线性并从超声中提取调制信号，从而产生可以沿着束的路径听到和/或似乎从束照射的任何表面辐射的可听声音。这一技术允许声束在很长的距离上投射，并且只能在小的界限清楚的区域内听到。具体地，在束路径之外的听众听到很少或根本不会听到。因此，音频输出可以被引导至用户的耳朵以提供私人音频体验。
计算装置105包括但不限于处理单元110、输入/输出(I/O)接口120和存储器130。计算装置105作为整体可以是微处理器、专用集成电路(ASIC)、片上系统(SoC)等。在各种实施方案中，计算装置105从传感器140和/或换能器150接收数据。此外，计算装置105可以将控制信号和/或数据传输至传感器140和换能器150。在各种实施方案中，计算装置105可以实施为例如智能手机、平板电脑、智能手表、智能眼镜等外部移动计算系统的一部分。因此，计算装置105可以通过有线或无线连接与传感器140和/或换能器150通信地耦合。具体地，无线连接可以包括，例如但不限于，基于射频(RF)的、基于红外的和/或基于网络的通信协议。另外地或替代地，计算装置105可以实施为基于云的计算环境的一部分。在此类实施方案中，计算装置105可以与装置100的各种其它元件，例如传感器140和/或换能器150联网。
处理单元110可以包括中央处理单元(CPU)、数字信号处理单元(DSP)、传感器处理单元、控制器单元等。处理单元110可以物理地嵌入到装置100中，可以是基于云的计算环境的一部分，和/或可以由用户物理地引入到例如移动或可穿戴装置的装置100中。
在各种实施方案中，处理单元110被配置成分析由传感器140和/或换能器150获取的数据，以确定用户的属性，例如用户的位置、距离、取向等以及用户的视觉特征。所确定的用户属性可以存储在数据库134中。
处理单元110产生控制信号以修改来自换能器150的触觉输出和/或音频输出的频率、振幅和/或相位，以便产生触觉感觉和/或将音频信号引导至用户的耳朵。
处理单元110还被配置成基于所确定的属性计算从换能器150的位置至用户耳朵的位置的向量。例如但不限制，处理单元110可以从传感器140和/或换能器150接收数据，并处理数据以动态地跟踪例如用户头部、耳朵、手、手臂等对象的移动。基于对象的位置和取向的改变，处理单元110可以计算一个或多个向量，以便使换能器150将触觉输出和/或音频输出直接引导至对象。处理单元110还基于传感器数据确定装置100的环境中的对象的各种特性。对象的特性可以包括位置、取向、大小、形状等。另外，处理单元110还可以确定一个或多个对象移动的方向、移动对象的速度和/或移动对象的加速度。在各种实施方案中，处理单元110被配置成执行包括在存储器130中的应用程序，例如换能器应用程序132。此外，输入/输出(I/O)接口120可以包括一个或多个接口，所述一个或多个接口协调传感器140、换能器150和处理单元110之间的数据和控制信号的传递。数据和控制信号可以通过有线连接或无线地(例如，射频、红外、网络连接等)传输和接收。
存储器130包括被配置成与数据库134通信的换能器应用程序132。处理单元110执行换能器应用程序132以实施装置100的整体功能。存储器装置130可以嵌入在外部计算环境中，和/或可以在物理上是装置100的一部分。此外，存储器装置130可以包括在基于云的计算环境中。
数据库134可以存储传感器140和换能器150的类型、位置和取向。另外，对于每种类型的换能器150，数据库134可以存储各种参数，包括所述类型的换能器150的振幅范围和频率范围、可以由所述类型的换能器150产生的波形形状，以及所述类型的换能器150的各种可能的装置配置。类似地，数据库134可以存储换能器150中的每种类型的装置可以检测到的波的类型、波形、频率和振幅。数据库134还可以存储用于配置换能器150以产生触觉感觉、音频输出并执行感测功能的指令。另外，数据库134可以存储换能器150的位置和取向以及与要对用户产生的触觉感觉类型有关的用户偏好数据(例如，对其产生触觉感觉的用户的部位)。
在各种实施方案中，换能器应用程序132协调装置100的功能。具体地，换能器应用程序132配置传感器140以产生反映对象在环境中的位置的传感器数据。对象可以包括用户的身体部位，例如手、手臂、颈部、耳朵等。
在各种实施方案中，换能器应用程序132配置传感器140，以产生指示对象在环境中的存在和/或位置的传感器数据。例如，换能器应用程序132配置传感器140以检测用户的身体部位(例如，耳朵)的位置。具体地，换能器应用程序132可以配置光学传感器以产生用户耳朵的图像数据。换能器应用程序132可以执行计算以确定用户耳朵的位置相对于光学传感器的位置。另外或替代地，换能器应用程序132可以计算传感器140与检测到的对象之间的距离。例如，换能器应用程序132可以利用飞行时间计算来确定传感器140与检测到的对象之间的距离。
此外，换能器应用程序132可以配置传感器140以确定检测到的对象的多个区域的位置，即，定位检测到的对象的多个区域。因此，换能器应用程序132可以控制传感器140对检测到的对象进行成像的分辨率。利用更高分辨率成像，换能器应用程序132可以确定检测到的对象的特征和特性，例如手的姿势、手的取向，以及到手的每个手指的单独距离。换能器应用程序132还可以使用到第一组对象的相对距离，以便通过三角测量来定位第二组对象。例如，换能器应用程序132可以利用到脸上的眼睛、耳朵、鼻子和嘴的相对距离来定位耳朵的位置。
另外，换能器应用程序132可以实施一个或多个机器学习算法以产生手部姿势估计。换能器应用程序132可以实施具有一种或多种学习风格，例如监督学习、无监督学习和/或半监督学习的机器学习算法。换能器应用程序132可以获取存储在数据库134中的训练数据，和/或可以通过I/O接口120从外部数据存储库，例如基于云的数据源下载训练数据。在各种实施方案中，在选择机器学习算法之后，换能器应用程序132基于初始数据集产生模型。换能器应用程序132还执行训练步骤，其中在各种获取的训练数据集上训练模型。例如，在监督学习中，换能器应用程序132将模型的输出与已知结果进行比较。换能器应用程序132进一步修改所产生的模型的各种参数，直到模型产生的输出与已知结果匹配。在各种实施方案中，换能器应用程序132可以修改参数，直到模型达到阈值成功率。
在各种实施方案中，训练数据集可以包括与由各种类型的传感器产生的各种对象相关联的传感器数据。例如，可以基于由单个类型的传感器(例如，光学传感器)或多个类型的传感器(例如，声学传感器、热基传感器和基于红外的传感器)产生的不同类型的人耳的图像数据来产生训练数据集。换能器应用程序132可以选择机器学习算法并基于初始数据集产生模型。此外，如上所述，换能器应用程序132可以训练模型以能够识别例如远端对象的导数几何特征，例如手的质心、手的骨架结构和/或手的球面近似。另外或替代地，换能器应用程序132可以根据传感器140产生的传感器数据直接计算远端对象的导数几何特征。
在各种实施方案中，当传感器140产生传感器数据时，换能器应用程序132更新对象的检测到的属性。例如，换能器模块132可以更新检测到的对象的距离、位置、取向、大小等。在一些实施方案中，换能器应用程序132可以分析时间描绘的特征序列以产生对检测到的对象的下一个位置的预测。换能器应用程序132可以利用一个或多个机器学习算法来模拟检测到的对象的运动。另外，换能器应用程序132可以实施缓冲和/或实时姿势检测和识别算法，以从时间描绘的特征序列中检测姿势。在各种实施方案中，换能器应用程序132可以通过配置换能器150以产生声脉冲并检测从环境中的对象反射回来的声脉冲回波来对换能器150附近的环境成像。通过分析声脉冲回波，换能器应用程序132可以对装置100的环境中的对象定位和/或成像。
在操作中，换能器应用程序132可以配置换能器150以产生具有各种频率、振幅和波形特性的声脉冲。在一些实施方案中，换能器应用程序132通过产生具有恒定或可变频率的波脉冲来配置换能器150中的至少一个以发射声脉冲。此外，换能器应用程序132配置换能器150中的至少一个以检测声脉冲回波，例如，在声脉冲遇到环境中的对象之后被反射回换能器150的波脉冲。换能器应用程序132分析由换能器150检测的声脉冲回波，以便确定换能器150附近的环境的各种特性。具体地，换能器应用程序132可以利用飞行时间计算来将对象定位在装置100周围的环境中。例如，换能器应用程序132可以将声脉冲回波与发射的声脉冲相关联，并进一步计算换能器150发射声脉冲与检测到声脉冲回波之间的时间间隔(例如，通过比较检测到的声脉冲回波与发射的声脉冲的波形、频率模式、振幅和相位)。基于计算的飞行时间和特定声脉冲的各种参数，换能器应用程序132可以确定对象在环境中的位置。具体地，换能器应用程序132可以确定声脉冲在从对象反射之前在空中行进的距离。在一个实施方案中，换能器应用程序132将计算的飞行时间除以与声脉冲相关联的波的速度的两倍，以便确定声脉冲在从对象反射之前行进的距离。换能器应用程序132可以使用所述距离来确定对象相对于换能器150中的一个或多个的位置。
此外，换能器应用程序132可以通过比较多个声脉冲-声脉冲回波对来识别换能器150附近的对象的类型。在一个实施方案中，换能器应用程序132利用具有不同频率和/或频率模式的大量声脉冲，以便对对象的一个或多个精细结构细节成像。在此种实施方案中，在识别对象的位置后，换能器应用程序132可以配置换能器150以增加在产生声脉冲时使用的频谱，以便增加独特声脉冲-声脉冲回波对的数量。增加独特组的声脉冲-声脉冲回波对的数量有助于换能器应用程序132产生更高分辨率的环境图像。基于所述图像，换能器应用程序132产生对象数据，所述对象数据包括通过分析声脉冲回波检测到的环境中的对象的位置和特性。换能器应用程序132可以通过分析声脉冲回波来识别对象的类型、对象的取向和对象的表面细节。另外，换能器应用程序132可以确定对象的其它特性，例如对象在环境中移动的方式。例如，换能器应用程序132可以通过计算发射的声脉冲与检测到的声脉冲回波之间的多普勒频移来计算对象的径向速度。
另外，换能器应用程序132协调来自换能器150的触觉信号和音频信号的输出。具体地，换能器应用程序可以配置换能器150以将触觉输出和/或音频输出引导至装置100周围的环境中的对象。关于触觉输出，换能器应用程序132动态地选择一个或多个换能器150以输出具有特定频率和振幅的触觉输出。触觉输出在空间中的特定位置处产生触觉表面。当对象接触触觉表面时，可以在对象上产生触觉感觉。关于音频输出，换能器应用程序132处理由换能器150所产生的触觉输出以产生窄带音频输出。音频输出可以被引导至用户的耳朵，从而为用户提供私人音频。
在操作中，换能器应用程序132可以选择产生触觉感觉的位置。换能器应用程序132可以从数据库134访问装置100中的换能器150的位置、取向和类型。在各种实施方案中，换能器150可以包括超声换能器。超声换能器可以阵列布置(例如，4乘4、8乘8、16乘16等)。每个超声换能器发射特定频率、相位和强度的超声波。换能器应用程序132配置超声换能器，其方式使得由两个或更多个超声换能器产生的触觉输出在特定时间占据空间中的特定位置。当发生这种情况时，每个超声换能器的超声输出相长地和/或相消地干涉一个或多个其它超声换能器的超声输出。换能器应用程序132配置超声换能器，使得相长和/或相消干涉发生在触觉输出到达用户的位置处，从而对用户产生特定类型的触觉感觉。通过修改每个超声换能器的触觉输出的强度、相位和频率，换能器应用程序132转移强度峰值的位置，增加或减少强度峰值的数量，和/或调整一个或多个强度峰值的形状和/或量值。以此方式，换能器应用程序132通常配置超声换能器和/或换能器150以产生特定类型的触觉感觉。
在各种实施方案中，换能器应用程序132可以配置换能器150以在各种对象(例如，手)附近产生触觉感觉。手可以位于装置100周围的各种位置，例如装置100的前面、装置100上方、装置100旁边等。另外或替代地，换能器应用程序132可以配置换能器150以在空间中的各个位置处，例如在对象旁边、对象上方、对象下方等产生触觉表面。例如，装置100可以集成在增强现实(AR)、虚拟现实(VR)和/或混合现实(MR)环境中。换能器应用程序132可以配置换能器150以在物理环境中与视觉感知的对象位置匹配的位置处产生触觉感觉。因此，当用户的手接触物理环境与视觉感知环境中的对象位置相对应的区域和/或与所述区域相交时，用户可能感觉到触觉感觉。在一个实施方案中，触觉感觉可以由装置100附近但不一定与装置100物理接触的一个或多个其它用户感测到。
另外或替代地，换能器应用程序132可以配置换能器150以产生音频输出。在操作中，换能器应用程序132通过调制由换能器150产生的输出的各种特性来产生音频输出。具体地，换能器应用程序132可以执行频率和/或振幅调制以配置换能器150来产生调制的超声波，所述调制的超声波解调以产生音频输出。
在一些实施方案中，音频输出可以从环境中的对象，例如手反射。例如，在AR/VR/MR环境中，换能器应用程序132可以配置换能器150以从用户的手反射音频输出，从而产生音频事件。当用户接触物理环境与视觉感知环境中的对象位置相对应的区域和/或与所述区域相交时，可以产生音频事件。具体地，用户可以感知到音频信号源自手的位置。替代地，换能器应用程序132可以实施一个或多个传递功能(例如，头部相关传递功能)以改变由换能器150产生的声音，使声音似乎源自环境中的选定位置。具体地，所选位置可以与换能器150的位置不同。另外，换能器应用程序132可以配置换能器150以将音频输出直接传递至用户的耳朵。具体地，换能器应用程序132可以分析来自传感器140的传感器数据以跟踪用户耳朵的位置。基于所确定的耳朵的位置，换能器应用程序132可以配置换能器150以产生至耳朵位置的窄音频束。在各种实施方案中，换能器应用程序132配置换能器150以产生跟踪耳朵位置的音频输出。因此，佩戴和/或以其它方式携带装置100的用户可以接收私人音频，同时动态地且连续地改变其耳朵的位置和/或装置100的位置。
在各种实施方案中，换能器应用程序132配置换能器150以将触觉输出和/或音频输出引导至各种位置和/或各种对象。具体地，换能器应用程序132可以配置换能器150以对没有佩戴和/或携带装置100的用户产生触觉感觉和/或直接音频输出。例如，换能器应用程序132可以配置换能器150以对不是用户的个人的手产生触觉感觉。因此，装置100可以用作多用户装置。此外，换能器应用程序132可以配置换能器150以向不是用户的个人提供私人音频，从而通过耳朵上的音频解调或通过共享虚拟对象创建与其他人的私人通信信道。_
在各种实施方案中，换能器应用程序132可以动态地选择第一组换能器150以执行感测功能，选择第二组换能器150以产生触觉感觉，以及选择第三组换能器150以产生音频输出。换能器应用程序132可以基于各种参数执行动态选择，包括装置100中的换能器150的数量、每个换能器150的位置和/或取向、每个换能器150的输出强度。另外，换能器应用程序132可以进一步基于产生的触觉感觉的大小、形状、位置和取向以及产生的音频信号的位置、音量、频率范围和振幅范围来执行动态选择。例如，换能器应用程序132可以配置用户肩部附近的第一组换能器150以向用户耳朵产生音频输出，而位于用户胸部上的第二组换能器150可以对用户的手产生触觉感觉。
另外或替代地，换能器应用程序132可以配置换能器150以在专用模式下操作，其中换能器150中的每一个执行单一功能(例如，感测、触觉输出产生和/或音频输出产生)。替代地，换能器应用程序132可以预先配置换能器150中的每一个，从而以预定时间间隔在两个或更多个功能之间切换。例如，一个换能器可以持续10毫秒执行感测功能，然后切换到持续100毫秒产生音频输出，而另一个换能器持续20毫秒执行感测，持续50毫秒产生音频输出，然后持续50毫秒产生触觉输出。
在一些实施方案中，换能器应用程序132可以配置换能器150以同时执行多个功能。例如，换能器应用程序132可以配置换能器150以检测反射的触觉输出和/或从环境中的对象反射的音频输出。换能器应用程序132可以进一步基于检测到的反射触觉输出和/或音频输出来定位对象。类似地，在一些实施方案中，换能器应用程序132可以配置换能器150对以产生相长地和相消地干涉的触觉输出。干涉图案可以包括可以听到的触觉输出区域以及可以在对象上产生触觉感觉的触觉输出区域。因此，换能器应用程序132可以配置换能器150对以同时产生触觉输出和音频输出。
在各种实施方案中，计算装置105可以与一个或多个外部装置联网。计算装置105可以通过I/O接口120从外部装置接收有线和/或无线信号。此外，处理单元110可以执行换能器应用程序132以确定对换能器150的修改。例如，用户可以通过移动电话、遥控器、计算机、增强现实装置等来控制换能器150。另外或替代地，用户可以通过产生姿势来控制换能器150。在操作中，换能器应用程序132可以分析来自传感器140的传感器数据以检测由用户和/或装置100附近的任何对象执行的姿势。换能器应用程序132可以访问数据库134中的查找表以将姿势与修改相关联从而应用至换能器150。修改可以包括配置换能器150以产生声音音调、调整声音音调的频率和/或振幅、调整声音音调和/或将声音音调引导至的目标对象的位置等。修改可以进一步包括调整由换能器150产生的触觉输出的位置、强度、形状、大小和/或模式。另外，修改可以包括选择可听声音模式和触觉输出模式中的一个或多个，在多个音频输入流，例如导航系统、音乐、语音代理服务等之间进行选择。修改还可以包括用于触觉输出和/或音频输出的播放/暂停功能、停止、跳过、倒带和快进命令。
图2A示出根据各种实施方案的具有颈戴式装置的形状因数的图1的装置100。如图所示，换能器150可以布置为一系列换能器阵列250。每个换能器阵列250可以位于装置100上的任何给定位置。换能器阵列250的位置影响从所述换能器阵列250发射的触觉输出和/或音频输出的方向性。例如，换能器阵列250-1可以位于装置100上最靠近装置100的佩戴者的头部区域的位置。因此，换能器应用程序132可以配置换能器阵列250-1，以朝向装置100上方的对象产生触觉输出和音频输出，所述对象包括但不限于颈部、脸、耳朵、头部等。传感器140-1还位于装置100上最靠近装置100的佩戴者的头部区域的位置。因此，传感器140-1可以跟踪装置140上方的对象的位置，使得换能器应用程序132能够配置换能器阵列250-1中的换能器，从而产生以空间中的特定对象和/或区域为目标的触觉输出和/或音频输出。
类似地，换能器阵列250-2可以位于装置100的正面上。因此，换能器应用程序132可以配置换能器阵列250-2以朝向装置100前面的对象产生触觉输出和音频输出，所述对象包括但不限于手、手腕、前臂等。传感器140-2也位于装置100的正面上。因此，传感器140-2可以跟踪装置140前面的对象的位置，使得换能器应用程序132能够配置换能器阵列250-2中的换能器，从而产生以位于用户前面的空间中的特定对象和/或区域为目标的触觉输出和/或音频输出。例如，换能器应用程序132可以配置换能器阵列250-2中的换能器以在用户的手附近产生触觉感觉。另外，换能器应用程序132可以配置换能器阵列250-2中的换能器，从而以靠近装置100但不一定与装置100物理接触的人为目标。例如，换能器应用程序132可以配置换能器阵列250-2中的换能器以靠近附近的另一个人的手产生触觉感觉。触觉感觉的位置可以对应于用户在VR/AR/MR环境中观看的对象的位置。
图2B示出根据各种实施方案的具有颈戴式装置的形状因数的图1的装置100。如上所述，换能器阵列250的位置影响从所述换能器阵列250发射的触觉输出和/或音频输出的方向性。具有图2B中所示形状因数的换能器阵列250的触觉输出可以仅指向上方。在一个实施方案中，向上触觉输出对用户的头部，包括例如但不限于对用户的太阳穴、耳朵后面、面颊和下巴产生轻敲感觉。这种触觉输出可以对应于传递给用户的导航指令，或者可以将用户的注意力引导至特定方向。
图2C至图2G示出根据各种实施方案的具有可穿戴装置的各种其它形状因数的图1的装置100。如上所述，在图2C至图2G所示的每个形状因数中，换能器阵列250的位置影响从所述换能器阵列250发射的触觉输出和/或音频输出的方向性。在图2C、图2F和图2G所示的形状因数中，装置100是不对称的，使得装置100的一侧上的换能器阵列250的数量相对于装置100的另一侧上的换能器阵列的数量变化。在图2F所示的形状因数中，装置100是附接至用户肩膀的肩章。
图3示出根据各种实施方案的装置100，其中每个换能器阵列执行感测功能、触觉输出功能和音频输出功能中的一个或多个。如图所示，换能器150被布置为换能器阵列A350-1、换能器阵列B 350-2和换能器阵列C 350-3。如图3所示，装置100可以包括在图2A至图2H所示的任何形状因数中。此外，如图3所示的装置100可以结合护目镜320操作，以提供与VR、AR或MR环境相关联的一个或多个特征。
在一些实施方案中，换能器150以专用模式操作。具体地，换能器阵列A 350-1中的换能器150产生音频输出，换能器阵列B 350-2中的换能器150产生触觉输出，并且换能器阵列C 350-3中的换能器150执行感测功能(例如，产生声脉冲并检测声脉冲回波)。装置100还可以包括用于对象检测和跟踪的一个或多个专用传感器140。
在另一实施方案中，换能器150可以在切换模式下操作。因此，换能器阵列A 350-1、换能器阵列B 350-2和换能器阵列C 350-3中的每一个可以在执行感测、产生触觉输出和产生音频输出中的两个或更多个之间切换。例如但不限于，在第一时间间隔期间，换能器阵列C 350-3可以产生声脉冲，而换能器阵列A 350-1产生音频输出，并且换能器阵列B 350-2产生触觉输出。在第二时间间隔期间，换能器阵列A 350-1、换能器阵列B 350-2和换能器阵列C 350-3中的一个或多个可以检测声脉冲回波。另外或替代地，在第二时间间隔期间，换能器阵列B 350-2可以产生音频输出，而换能器阵列C 350-3产生触觉输出。换能器阵列A350-1可以继续产生音频输出和/或可以检测反射的声脉冲回波。
在另一实施方案中，换能器应用程序132可以动态地配置每个换能器150以执行感测功能(例如，产生声脉冲、检测声脉冲回波)、产生触觉输出和/或产生音频输出中的一个或多个。例如，换能器应用程序132可以动态地选择第一组换能器150以执行感测功能，选择第二组换能器150以产生触觉感觉，以及选择第三组换能器150以产生音频输出。换能器应用程序132可以基于各种参数执行动态选择，所述参数包括装置100中的换能器150的数量、每个换能器150的位置和/或取向、每个换能器150的输出强度。另外，换能器应用程序132可以进一步基于产生的触觉感觉的大小、形状、位置和取向以及产生的音频信号的位置、音量、频率范围和振幅范围来执行动态选择。例如，如图所示，换能器应用程序132可以配置用户肩部附近的第一组换能器150以向用户耳朵产生音频输出，而位于用户胸部上的第二组换能器150可以对用户的手产生触觉感觉。
图4是根据各种实施方案的用于向用户提供音频内容和触觉感觉的方法步骤的流程图。尽管结合图1至图3的系统描述了方法步骤，但是所属领域技术人员将理解，被配置成以任何顺序执行方法步骤的任何系统都落入本公开的范围内。
如图所示，方法400开始于步骤410，其中换能器应用程序132确定要传递给用户的声音音调和触觉感觉。换能器应用程序132可以基于通过传感器140检测到用户执行姿势来确定声音音调和/或触觉感觉。换能器应用程序132可以访问存储在数据库134中的查找表，以确定要产生的声音音调和/或要产生的触觉感觉。另外或替代地，换能器应用程序132可以从例如移动电话、遥控器和/或计算机的外部装置接收控制信号。换能器应用程序132可以基于控制信号选择声音音调和/或触觉感觉。
在步骤420，换能器应用程序132选择向其传递音频输出的第一位置和向其传递触觉输出的第二位置。在各种实施方案中，换能器应用程序132可以配置换能器150以执行感测功能来识别位于装置100周围的对象。在替代实施方案中，可以代替换能器150或与换能器150组合使用传感器140，以执行感测功能来识别位于装置100周围的对象。换能器应用程序132可以分析传感器数据以识别对象的类型(例如，身体部位、物理对象等)。一旦被识别，换能器应用程序132可以进一步分析传感器数据以定位对象并选择是否向对象输出音频输出和/或触觉输出。具体地，换能器应用程序132可以选择将音频输出输出至第一位置并将触觉输出输出至第二位置。第一位置和第二位置可以对应于某一对象、一组对象和/或对象附近的空间区域的位置。
在步骤430，换能器应用程序132配置第一组换能器150以将音频输出传递至第一位置。在各种实施方案中，换能器150可以布置在换能器阵列中，例如在换能器阵列A 350-1中。具体地，换能器应用程序132配置每个换能器150以产生超声波，所述超声波在空间中解调以产生音频输出。音频输出具有高度方向性，并为用户提供私人音频。
此外，在步骤440，换能器应用程序132配置第二组换能器150以产生触觉输出，所述触觉输出在第二位置处产生触觉感觉。在各种实施方案中，换能器应用程序132可以配置换能器150以在空间中的各个位置处产生触觉感觉。触觉感觉的位置可以对应于在VR/AR/MR环境中观看的对象的位置。另外或替代地，换能器应用程序132可以配置换能器150以产生触觉输出，所述触觉输出对用户产生触觉感觉。换能器应用程序132可以配置一个或多个换能器150以产生具有特定频率、振幅和相位的触觉输出，以便控制在对象上产生的触觉感觉的大小、形状、位置和移动模式。在一些实施方案中，对象可以是用户的身体部位。在一些实施方案中，对象可以是用户附近的人的身体部位。
总之，装置传递音频输出并对环境中的对象或在所述对象附近产生触觉感觉，用户可以通过所述环境感知触觉感觉。所述装置包括以各种模态操作的换能器装置，所述各种模态包括产生音频输出、产生触觉输出以及感测环境中的对象。当产生音频输出时，换能器产生超声波，所述超声波解调以产生音频输出。换能器应用程序可以配置换能器以将音频输出传递至特定位置(例如，用户耳朵的位置)。当产生触觉输出时，换能器将定向触觉输出输出至环境的各个位置。触觉输出可以在每个位置产生触觉感觉。触觉感觉可以由各个位置附近的用户感测到。最后，当执行感测时，换能器产生声脉冲并检测从环境中的对象反射的声脉冲回波。换能器应用程序可以执行飞行时间计算以基于检测到的声脉冲回波来定位环境中的一个或多个对象。在各种实施方案中，换能器应用程序可以动态地配置每个换能器以在三个功能中的一个或多个中操作，和/或可以预先配置每个换能器装置以在三个功能中的一个或多个中操作。
所公开技术的至少一个优点是音频可以被直接传输至用户的耳朵，使得用户能够在不干扰其周围对声音敏感的对象的情况下收听音频内容(例如，音乐、语音对话、通知等)。另外，因为装置可以是肩挂式的，所以系统不会将用户与其环境中的声音隔离。此外，装置可以通过对用户和/或在用户附近产生触觉感觉来与用户交互。因此，装置可以产生向用户或用户附近的人提供指示(例如，指示虚拟对象在空间中的位置)的触觉感觉。
已经出于说明的目的呈现了各种实施方案的描述，但是所述描述并不意图穷举或限制于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对于所属领域普通技术人员来说是显而易见的。
本公开实施方案的各方面可以体现为系统、方法或计算机程序产品。因此，本公开的各方面可以采用完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或者组合软件和硬件方面的实施方案的形式，所述软件和硬件方面在本文中通常都可以称为“电路”、“模块”或“系统”。此外，本公开的各方面可以采用体现在一个或多个计算机可读介质中的计算机程序产品的形式，所述计算机可读介质具有在其上体现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是，例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置，或者前述的任何合适的组合。计算机可读存储介质的更具体实例(非详尽列表)将包括以下内容：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或上述项的任何适当组合。在本文件的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储程序以供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用。
上文参考根据本公开实施方案的方法、设备(系统)和计算机程序产品的流程图图示和/或框图描述了本公开的各方面。应理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实施。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以产生机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令实现一个或多个流程图和/或框图框中指定的功能/动作的实施。这些处理器可以是但不限于通用处理器、专用处理器、专用处理器或现场可编程处理器。
附图中的流程图和框图示出了根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、片段或部分，其包括用于实施指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序进行。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可以由执行特定功能或动作的基于专用硬件的系统来实施，或专用硬件和计算机指令的组合来实施。
上文已经参考具体实施方案描述了本公开。然而，所属领域普通技术人员将理解，在不脱离所附权利要求中阐述的本公开的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如但不限于，尽管本文中的许多描述涉及特定类型的高度方向性扬声器、传感器和音频事件，但是所属领域技术人员将理解，本文中描述的系统和技术可适用于其它类型的高度方向性扬声器、传感器和音频事件。因此，前述描述和附图应视为说明性而非限制性的。
虽然前述内容针对本公开的实施方案，但是可以在不脱离本公开的基本范围的情况下设计本公开的其它和进一步的实施方案，并且本公开的范围由所附权利要求确定。

Claims (20)

1.一种用于向用户提供音频内容和触觉感觉的系统，所述系统包括：
一个或多个换能器；以及
处理器，所述处理器耦合至所述一个或多个换能器并且被配置成：
确定要传递给用户的声音音调和触觉感觉；
选择在其处传递对应于所述声音音调的音频输出的第一位置以及向其传递对应于所述触觉感觉的触觉输出的第二位置；
配置第一组换能器以将所述音频输出传递至所述第一位置；以及
配置第二组换能器以产生所述触觉输出来传递至所述第二位置。
2.如权利要求1所述的系统，其中所述处理器配置所述第一组换能器以产生超声波，所述超声波解调以在所述第一位置处产生所述音频输出。
3.如权利要求1所述的系统，其中所述处理器配置所述第二组换能器以通过产生控制信号来在所述第二位置处产生触觉感觉，所述控制信号控制由所述第二组换能器中的两个或更多个换能器产生的单独触觉输出的振幅、频率和相位。
4.如权利要求2所述的系统，其中所述第一组换能器和所述第二组换能器中的至少一个安置在可穿戴装置上。
5.如权利要求1所述的系统，其中所述处理器配置第三组换能器装置，以检测位于所述第一组换能器和所述第二组换能器中的至少一个附近的一个或多个对象的位置。
6.如权利要求5所述的系统，其中所述处理器配置所述第一组换能器、所述第二组换能器和所述第三组换能器，以在专用模式、切换模式和动态选择模式中的至少一个模式下操作。
7.如权利要求6所述的系统，其中所述处理器通过以下操作来配置所述一个或多个换能器以在所述专用模式下操作：配置所述第一组换能器中的每一个以产生触觉输出，配置所述第二组换能器中的每一个以产生音频输出，以及配置所述第三组换能器中的每一个以产生用于确定至少一个对象的位置的输出。
8.如权利要求6所述的系统，其中所述处理器通过以下操作来配置所述一个或多个换能器以在所述动态选择模式下操作：选择至少第一换能器以产生用于确定至少一个对象的位置的输出，选择至少第二换能器以输出触觉输出，以及选择至少第三换能器以产生音频输出。
9.如权利要求6所述的系统，其中所述处理器通过以下操作来配置所述一个或多个换能器装置以在所述切换模式下操作：配置所述一个或多个换能器中的每一个以在对象定位、产生触觉输出以及产生音频输出中的至少两个之间切换。
10.如权利要求1所述的系统，还包括一个或多个传感器，所述一个或多个传感器被配置成检测所述第一组换能器和所述第二组换能器中的至少一个附近的一个或多个对象。
11.一种用于在对象附近提供音频内容和触觉感觉的方法，所述方法包括：
确定第一对象的位置；
基于所述第一对象的所述位置选择第一位置和第二位置；
配置至少第一换能器以将触觉输出传递至所述第一位置；以及
配置至少第二换能器以将音频输出传递至所述第二位置。
12.如权利要求11所述的方法，其中所述至少第一换能器在所述第一位置处产生触觉感觉，并且所述至少第二换能器产生超声波，所述超声波解调以产生可听声音。
13.如权利要求11所述的方法，其中获取传感器数据还包括实施机器学习模型以识别第一对象的一个或多个特征。
14.如权利要求13所述的方法，其中所述第一对象的一个或多个特征包括耳朵和手，其中所述第一换能器被配置成将所述触觉输出传递至所述手，并且所述第二换能器被配置成将所述音频输出传递至所述耳朵。
15.如权利要求11所述的方法，还包括：
从外部装置接收要传递给所述第一对象的声音音调；
从所述外部装置接收要在所述第一对象上产生的触觉感觉；
确定用于产生所述触觉感觉的所述触觉输出的第一特性；
确定用于产生所述声音音调的所述音频输出的第二特性；
产生对所述第一特性和所述第二特性进行编码的控制信号；以及
将所述控制信号输出至所述第一换能器和所述第二换能器。
16.如权利要求11所述的方法，还包括：
分析传感器数据以检测第一姿势；
基于所述第一姿势确定所述触觉输出的特性；以及
基于所述特性产生一组控制信号，以配置所述至少第一换能器来产生修改的触觉输出。
17.如权利要求11所述的方法，还包括：
分析传感器数据以检测第二姿势；
基于所述第二姿势确定所述音频输出的特性；以及
基于所述特性产生一组控制信号，以配置所述至少第二换能器来产生修改的音频输出。
18.一种包括指令的非暂时性计算机可读存储介质，所述指令在由处理器执行时使得所述处理器通过执行以下步骤向用户提供音频内容和触觉感觉：
确定要传递给对象的声音音调和触觉感觉；
选择向其传递对应于所述声音音调的音频输出的第一位置以及向其传递对应于所述触觉感觉的触觉输出的第二位置；
配置第一组换能器以将所述音频输出传递至所述第一位置；以及
配置第二组换能器以在所述第二位置处传递所述触觉输出。
19.如权利要求18所述的非暂时性计算机可读存储介质，其中选择所述第一位置和所述第二位置包括：
接收指示所述对象的位置的传感器数据；以及
识别所述对象的第一部分和第二部分，其中所述第一位置对应于所述第一部分的位置，并且所述第二位置对应于所述第二部分的位置。
20.如权利要求18所述的非暂时性计算机可读存储介质，其中所述指令还使所述处理器执行以下步骤：配置第三组换能器装置以检测位于所述第一组换能器和所述第二组换能器中的至少一个附近的一个或多个对象的位置。
CN201910475220.2A 2018-06-02 2019-06-03 用于产生定向声音和触觉感觉的触觉装置 Pending CN110554773A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/996,464 US11009954B2 (en) 2018-06-02 2018-06-02 Haptics device for producing directional sound and haptic sensations
US15/996,464 2018-06-02

Publications (1)

Publication Number Publication Date
CN110554773A true CN110554773A (zh) 2019-12-10

Family

ID=66668754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910475220.2A Pending CN110554773A (zh) 2018-06-02 2019-06-03 用于产生定向声音和触觉感觉的触觉装置

Country Status (4)

Country Link
US (1) US11009954B2 (zh)
EP (1) EP3576427A1 (zh)
KR (1) KR20190137705A (zh)
CN (1) CN110554773A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113030947A (zh) * 2021-02-26 2021-06-25 北京京东方技术开发有限公司 非接触式控制装置以及电子设备
TWI809963B (zh) * 2022-07-04 2023-07-21 達方電子股份有限公司 手感可調整的輸入裝置及其鍵擊回饋方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency
US12025486B2 (en) * 2019-06-25 2024-07-02 Tactual Labs Co. MEMS sensing system
US11587323B2 (en) * 2019-06-28 2023-02-21 Raytheon Company Target model broker
US11347312B1 (en) * 2019-09-23 2022-05-31 Apple Inc. Ultrasonic haptic output devices
US11535260B2 (en) * 2020-03-05 2022-12-27 Harman International Industries, Incorporated Attention-based notifications
US11910179B2 (en) 2021-09-21 2024-02-20 International Business Machines Corporation Generating acoustic representations of virtual objects

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002027705A1 (en) * 2000-09-28 2002-04-04 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
WO2003032538A2 (en) * 2001-10-10 2003-04-17 Immersion Corporation Sound data output and manipulation using haptic feedback
EP2891955A1 (en) * 2014-01-03 2015-07-08 Harman International Industries, Incorporated In-vehicle gesture interactive spatial audio system
US20160085305A1 (en) * 2014-09-18 2016-03-24 Mary A. Spio Audio computer system for interacting within a virtual reality environment
CN105679302A (zh) * 2014-12-08 2016-06-15 哈曼国际工业有限公司 定向声音修改
CN106062746A (zh) * 2014-01-06 2016-10-26 哈曼国际工业有限公司 用于用户可控制的听觉环境定制的系统和方法
CN106575161A (zh) * 2014-09-09 2017-04-19 超级触觉资讯处理有限公司 用于调制触觉反馈的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US10449445B2 (en) * 2014-12-11 2019-10-22 Elwha Llc Feedback for enhanced situational awareness
WO2017003472A1 (en) 2015-06-30 2017-01-05 Harman International Industries, Incorporated Shoulder-mounted robotic speakers
US10671170B2 (en) 2016-07-22 2020-06-02 Harman International Industries, Inc. Haptic driving guidance system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002027705A1 (en) * 2000-09-28 2002-04-04 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
WO2003032538A2 (en) * 2001-10-10 2003-04-17 Immersion Corporation Sound data output and manipulation using haptic feedback
EP2891955A1 (en) * 2014-01-03 2015-07-08 Harman International Industries, Incorporated In-vehicle gesture interactive spatial audio system
CN106062746A (zh) * 2014-01-06 2016-10-26 哈曼国际工业有限公司 用于用户可控制的听觉环境定制的系统和方法
CN106575161A (zh) * 2014-09-09 2017-04-19 超级触觉资讯处理有限公司 用于调制触觉反馈的方法和装置
US20160085305A1 (en) * 2014-09-18 2016-03-24 Mary A. Spio Audio computer system for interacting within a virtual reality environment
CN105679302A (zh) * 2014-12-08 2016-06-15 哈曼国际工业有限公司 定向声音修改

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113030947A (zh) * 2021-02-26 2021-06-25 北京京东方技术开发有限公司 非接触式控制装置以及电子设备
CN113030947B (zh) * 2021-02-26 2023-04-07 北京京东方技术开发有限公司 非接触式控制装置以及电子设备
TWI809963B (zh) * 2022-07-04 2023-07-21 達方電子股份有限公司 手感可調整的輸入裝置及其鍵擊回饋方法

Also Published As

Publication number Publication date
US11009954B2 (en) 2021-05-18
US20190369731A1 (en) 2019-12-05
KR20190137705A (ko) 2019-12-11
EP3576427A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
US11009954B2 (en) Haptics device for producing directional sound and haptic sensations
US11042221B2 (en) Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
US20210216135A1 (en) Input device for ar/vr applications
US11221404B1 (en) Devices, systems, and methods for radar-based artificial reality tracking using zero-crossing detection
US10373452B2 (en) Targeted haptic projection
US11467670B2 (en) Methods, devices, and systems for displaying a user interface on a user and detecting touch gestures
US10613627B2 (en) Systems and methods for providing haptic feedback for remote interactions
US11347312B1 (en) Ultrasonic haptic output devices
US20210158630A1 (en) Systems and methods for contextualized interactions with an environment
US11599193B1 (en) Finger pinch detection
KR20220124810A (ko) 생체전위들 및 벡터들을 사용한 제스처 제어 시스템
US20230259207A1 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
US11416075B1 (en) Wearable device and user input system for computing devices and artificial reality environments
US11334157B1 (en) Wearable device and user input system with active sensing for computing devices and artificial reality environments
EP4315000A1 (en) Systems and methods for adaptive input thresholding
Watanabe et al. Human-Machine Cooperative Echolocation Using Ultrasound
CN111586395A (zh) 用于辅助主体获取关于环境的空间信息的方法、计算机程序和头戴式装置
US11722137B1 (en) Variable-distance proximity detector
US11662815B2 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
JP2024516755A (ja) 親指圧力感知を有するハンドヘルドコントローラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination