CN110753957B - 使用皮肤致动器模拟连续的人类触摸的触觉通信系统 - Google Patents

使用皮肤致动器模拟连续的人类触摸的触觉通信系统 Download PDF

Info

Publication number
CN110753957B
CN110753957B CN201880040418.1A CN201880040418A CN110753957B CN 110753957 B CN110753957 B CN 110753957B CN 201880040418 A CN201880040418 A CN 201880040418A CN 110753957 B CN110753957 B CN 110753957B
Authority
CN
China
Prior art keywords
haptic
skin
actuator
user
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880040418.1A
Other languages
English (en)
Other versions
CN110753957A (zh
Inventor
弗雷迪·阿布诺西
阿里·伊斯拉尔
弗朗西丝·咏仪·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Meta Platforms Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Inc filed Critical Meta Platforms Inc
Publication of CN110753957A publication Critical patent/CN110753957A/zh
Application granted granted Critical
Publication of CN110753957B publication Critical patent/CN110753957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0028—Force sensors associated with force applying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004—Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0018—Speech coding using phonetic or linguistical decoding of the source; Reconstruction using text-to-speech synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种触觉通信设备，包括皮肤致动器的阵列以产生对应于由阵列接收的致动器信号的触觉感觉。触觉感觉至少包括第一触觉感觉和第二触觉感觉。该阵列至少包括第一皮肤致动器以在第一时间在用户的身体上的第一位置处开始产生第一触觉感觉。第二皮肤致动器在比第一时间晚的第二时间在用户的身体上的第二位置处开始产生第二触觉感觉。

Description

使用皮肤致动器模拟连续的人类触摸的触觉通信系统
背景
本公开的领域
本公开总体上涉及触觉通信，并且特别涉及使用皮肤致动器的触觉通信系统。
相关技术描述
触觉、动觉和皮肤通信指人类经由触摸的感觉进行通信和交互，以及测量从与他们的环境的物理交互产生的信息的方式。触觉感觉和触摸包括关于表面和纹理的信息，且是非语言的且非可视化的通信的组成部分。然而，在用户之间的触觉通信常常取决于用户是否出现在同一位置。在不同位置处的用户之间的触觉通信常常是不可行的。此外，具有双重感觉(聋-盲)障碍的用户可能在通过音频和/或视觉手段进行通信方面有困难。例如，聋-盲人可能将某些信息遗漏掉，从而增加他们对朋友、家人或翻译服务(如果这些服务是可得到的)的依赖。聋-盲人也可能发现很难使用依赖于视觉和音频提示的社交网络系统。
概述
实施例涉及触觉通信以及通过传输触觉信号以在附着到用户的致动器处产生触觉力、振动或运动来产生触摸的感觉。在实施例中，机械刺激可以用于帮助创建对应于触摸词汇的通信消息。触觉通信可以合并皮肤致动器以将通信传输给用户。
实施例还涉及操作皮肤致动器以通过发送第一和第二致动器信号来在用户的身体的一部分内产生动作或运动的感觉。第一致动器信号在第一时间被发送到在用户的第一块皮肤上的第一皮肤致动器以使第一皮肤致动器在第一块皮肤上产生触觉输出。第二致动器信号在第一时间之后的第二时间被发送到在用户的第二块皮肤上的第二皮肤致动器以在第二块皮肤上引起触觉输出。
实施例还涉及操作皮肤致动器以通过使用触觉输出之间的建设性或破坏性干涉来增强通过接收用户的皮肤的路径的触觉通信。致动器信号的特性被确定，并且相应的致动器信号通过信号处理根据所确定的特性来被产生。所产生的致动器信号被发送到皮肤致动器。在一块皮肤上彼此间隔开的皮肤致动器通过皮肤致动器产生触觉输出，使得所产生的触觉输出在这块皮肤上建设性地或破坏性地干涉。
实施例还涉及使用频率分解来对用于触觉通信的语音信号进行编码。语音信号的数字化版本被处理。检测在处理后的语音信号中的优势频率以产生优势频率信息。检测到的优势频率被发送用于产生致动器信号。
实施例还涉及一种触觉设备，其包括被配置为接收作为语言的单位的输入词的信号发生器。信号发生器将输入词转换成输入词的一个或更多个音素。信号发生器进一步将一个或更多个音素转换成致动器信号的序列。致动器信号的序列由致动器信号的子序列的串联形成。每个音素对应于致动器信号的唯一子序列。触觉设备还包括被配置为从信号发生器接收致动器信号的序列的皮肤致动器的二维阵列，致动器信号中的每一个被映射到皮肤致动器的二维阵列中的皮肤致动器。
实施例还涉及一种包括主观幅度输入设备的触觉校准设备，该主观幅度输入设备被配置为接收指示来自用户的主观力(subjective force)的值的主观力值和指示主观力在哪里被用户经历的力位置。触觉校准设备还包括位于用户的身体的表面区域上的多个触觉传感器，触觉传感器被配置为检测力并输出对应于该力的传感器电压值。触觉校准设备包括被配置为从主观幅度输入设备接收主观力值和力位置的信号发生器。信号发生器还从多个触觉传感器中的至少一个接收传感器电压值，多个触觉传感器中的至少一个对应于力位置。信号发生器将主观力值和相应的传感器电压值存储在数据储存器中。信号发生器使用来自数据储存器的数据针对主观力被经历的位置来产生指示在主观力值和传感器电压值之间的对应关系的校准曲线，其中校准曲线用于校准触觉反馈设备。
实施例还涉及一种方法，其包括将音频信号输入到机器学习电路中以将音频信号压缩成致动器信号的序列。通过下列操作来训练该机器学习电路：接收声信号的训练集，并将声信号的训练集预处理成预处理的音频数据。该预处理的音频数据至少包括频谱图。该训练还包括使用预处理的音频数据来训练机器学习电路。神经网络具有基于重构误差和多个约束的成本函数。机器学习电路产生对应于音频输入的触觉提示的序列。触觉提示的序列被传输到多个皮肤致动器以产生触觉输出的序列。
实施例还涉及一种包括被配置为接收输入词的信号发生器的触觉设备，该输入词是使用辅音-元音对而书写的语言的单位。信号发生器将输入词转换成输入词的一个或更多个辅音-元音对。信号发生器进一步将一个或更多个辅音-元音对转换成致动器信号的序列。致动器信号的序列由致动器信号的子序列的串联形成。每个音素对应于致动器信号的唯一子序列。触觉设备还包括被配置为从信号发生器接收致动器信号的序列的皮肤致动器的二维阵列，致动器信号中的每一个被映射到皮肤致动器的二维阵列中的皮肤致动器。
实施例还涉及一种触觉通信设备，其包括皮肤致动器的阵列以产生对应于由该阵列接收的致动器信号的触觉感觉。触觉感觉至少包括第一触觉感觉和第二触觉感觉。该阵列至少包括第一皮肤致动器以在第一时间在用户的身体上的第一位置处开始产生第一触觉感觉。第二皮肤致动器在比第一时间晚的第二时间在用户的身体上的第二位置处开始产生第二触觉感觉。
实施例还涉及一种触觉通信设备，该触觉通信设备包括一个或更多个皮肤致动器以产生对应于由该一个或更多个皮肤致动器接收的致动器信号的触觉振动。靠近佩戴着触觉通信设备的用户的身体的阻尼构件将触觉振动聚焦在身体上的一个或更多个不同的位置处。阻尼构件具有一个或更多个第一开口，其中一个或更多个皮肤致动器通过一个或更多个第一开口来将触觉振动传递到一个或更多个不同的位置。间隔构件接触阻尼构件，并通过阻尼构件与身体分离。间隔构件具有被形成所需尺寸以接纳并固定一个或更多个皮肤致动器的一个或更多个第二开口。
实施例还涉及一种触觉通信系统，其包括语音信号发生器，语音信号发生器被配置成接收语音声音或文本消息并产生对应于该语音声音或文本消息的语音信号。包络编码器可操作地耦合到语音信号发生器以从语音信号提取时间包络。时间包络表示语音信号的振幅的变化。产生具有周期性波形的载波信号。通过将来自时间包络的语音信号的振幅的变化编码到载波信号中来产生致动器信号。一个或更多个皮肤致动器可操作地耦合到包络编码器以使用致动器信号来产生表示语音声音或文本消息的触觉振动。
实施例还涉及一种触觉通信系统，其包括宽带信号发生器以从描述用于传输给用户的消息的传感器信号中提取参数。通过汇总多个频率分量来产生宽带载波信号。通过将来自传感器信号的参数编码到宽带载波信号中来产生致动器信号。一个或更多个皮肤致动器通信地耦合到宽带信号发生器以接收致动器信号。在用户的身体上产生对应于致动器信号的触觉振动以将消息传递给用户。
附图简述
通过结合附图考虑下面的详细描述，可以容易地理解实施例的教导。
图1是根据实施例的触觉传感器和皮肤致动器的阵列的示例视图。
图2是根据实施例的从发送用户接收触觉消息并将触觉错觉信号发送给接收用户的触觉通信系统的框图。
图3是根据实施例的将来自源的语音消息转换成触觉信号的触觉通信系统的框图。
图4是根据实施例描述与训练用于触觉通信的机器学习电路相关联的部件的示例框图。
图5是根据实施例的用于触觉通信的示例过程。
图6是根据实施例的用于将语音转换成触觉通信的示例过程。
图7是根据实施例示出词的波形图和词的相应频谱图的示意图。
图8A是根据实施例示出用于操作皮肤致动器的信号发生器的框图。
图8B是根据实施例示出皮肤致动器的示意图，该皮肤致动器在接收用户的身体的一部分上以产生动作或运动在接收用户的身体内出现的错觉。
图8C是根据实施例示出三个皮肤致动器的示意图，该三个皮肤致动器用于产生在接收用户的身体中的振动的中心点从一点移动到另一点的感觉错觉。
图8D根据一个实施例示出了用于产生从具有皮肤致动器的一块皮肤到皮肤的另一路径的运动的感觉的波形。
图8E至图8G是根据实施例示出用于产生各种感觉的波形的示意图。
图8H是根据一个实施例示出操作皮肤致动器以产生动作或运动在接收用户的身体内出现的错觉的方法的流程图。
图9A是根据一个实施例示出使用辅助皮肤致动器来增强来自主皮肤致动器的触觉输出的定位的示意图。
图9B是根据一个实施例示出皮肤致动器以增强多个皮肤致动器的触觉输出的定位的示意图。
图9C是根据一个实施例示出皮肤致动器的网格结构(lattice structure)的示意图。
图9D和图9E是根据一个实施例示出使用建设性干涉的虚拟皮肤致动器的示意图。
图9F是根据一个实施例示出引起虚拟运动的感觉的致动器信号的波形的示意图。
图9G是根据一个实施例示出由图9F的波形创建的虚拟运动的示意图。
图9H是根据一个实施例示出在不同频率调制的情况下被应用的两个皮肤致动器的放置的示意图。
图9I至图9K是根据实施例示出由接收用户检测的触觉输出图案的示意图。
图9L是根据一个实施例示出为了增强的触觉通信而使用来自至少两个皮肤致动器的触觉输出的干涉的流程图。
图10A是根据一个实施例使用选择性优势频率来执行频率分解的语音源的框图。
图10B是根据一个实施例示出将话音信号的数字化版本分成多个帧的示意图。
图10C是根据一个实施例示出将快速傅立叶变换应用于帧中的话音信号的数字化版本的一部分的结果的曲线图。
图10D是根据一个实施例示出预定数量的优势频率的选择的曲线图。
图10E是根据一个实施例示出在接收用户上放置致动器用于使用频率分解来再现话音信号的示意图。
图10F是根据一个实施例示出使用选择性优势频率来执行触觉通信的过程的流程图。
图11A根据一个实施例示出了具有皮肤致动器的示例性触觉设备，该触觉设备可以用于基于输入词的序列来向用户传输触觉错觉信号的序列。
图11B是根据实施例示出用于将输入词转换成触觉错觉信号以激活皮肤致动器的系统的部件的框图。
图11C根据实施例示出了来自单个触觉错觉信号的单个皮肤致动器的触觉输出的示例。
图11D根据实施例示出了来自两个触觉错觉信号的序列的两个皮肤致动器的触觉输出的示例。
图11E根据实施例示出了不同持续时间的触觉输出的示例。
图11F根据实施例示出了不同频率的触觉输出的示例。
图11G根据实施例示出了不同振幅的触觉输出的示例。
图11H根据实施例示出了示例输入词的触觉输出的示例性序列。
图11I根据实施例示出了具有皮肤致动器的阵列的触觉设备的替代布置。
图11J是根据实施例示出基于音素来将输入词转换成触觉输出的方法的流程图。
图11K根据实施例示出了音素“/p/”、“/b/”、“/t/”、“/v/”、“/f/”和“/θ/”到触觉输出的序列的示例性映射。
图11L根据实施例示出了音素“/d/”、“/k/”、“/g/”、
Figure BDA0002321951530000071
“/s/”和“/z/”的触觉输出的示例。
图11M根据实施例示出了音素“/∫/”、
Figure BDA0002321951530000072
“/h/”、“/n/”、
Figure BDA0002321951530000073
和“/l/”的触觉输出的示例。
图11N根据实施例示出了音素
Figure BDA0002321951530000074
“/d/”、“/m/”、
Figure BDA0002321951530000075
“/w/”和“/j/”的触觉输出的示例。
图11O根据实施例示出了音素“/i/”、“/I/”、“/e/”、
Figure BDA00023219515300000710
和“/ε/”的触觉输出的示例。
图11P根据实施例示出了音素
Figure BDA0002321951530000076
和“/u/”的触觉输出的示例。
图11Q根据实施例示出了音素
Figure BDA00023219515300000711
“/aI/”、
Figure BDA0002321951530000078
和
Figure BDA0002321951530000079
的触觉输出的示例。
图11R是根据实施例示出在图11K-图11Q中的辅音音素，以及在对应于每个辅音音素的触觉输出的位置、持续时间和类型与每个辅音音素的发音方式和发音部位之间的映射的图表。
图11S是根据实施例示出在图11K-图11Q中的元音音素，以及在对应于每个元音音素的触觉输出的位置、持续时间和类型与每个元音音素的发音方式和发音部位之间的映射的图表。
图11T是根据实施例示出在图11Q中的双音音素，以及在对应于每个双音音素的触觉输出的位置、持续时间和类型与每个双音音素的发音方式和发音部位之间的映射的图表。
图12A根据实施例示出了触觉设备，该触觉设备可以附着到用户的前臂以基于主观力来校准触觉设备。
图12B根据实施例示出了图12A的触觉设备的两个不同示例的详细视图。
图12C是根据实施例示出用于使用主观力输入和来自传感器的电压读数来在每用户基础上校准触觉反馈的系统的部件的框图。
图12D示出了参考图12C描述的校准数据的图形表示。
图12E根据实施例示出了使用皮肤致动器来产生校准数据的替代布置。
图12F根据实施例示出了作为使用如在图12E中的皮肤致动器的曲线图的校准数据的示例表示。
图12G是根据实施例示出用于收集触觉输出的每用户校准数据的方法的流程图。
图13A是根据实施例示出用于在将音频输入压缩成触觉提示的序列时对神经网络进行训练的无监督学习模块的框图。
图13B是根据实施例示出在神经网络被训练之后的神经网络的使用的框图。
图13C根据实施例示出了使用神经网络将语音信号转换成一组皮肤致动器的一组触觉输出。
图13D是根据实施例示出用于训练机器学习电路以从声信号产生一组压缩的触觉提示的方法的流程图。
图14A是根据实施例示出用于将输入词的音节转换成触觉错觉信号以激活触觉设备的皮肤致动器的系统的部件的框图。
图14B根据实施例示出了示例输入词的触觉音节触觉输出的示例性序列。
图14C是根据实施例示出用于将输入词的辅音-元音对转换成致动器信号的辅音-元音对(元音附标文字)触觉信号转换器的部件的框图。
图14D根据实施例示出了示例输入词的触觉C-V对触觉输出的示例序列。
图14E是根据实施例示出基于C-V对来将输入词转换成触觉输出的方法的流程图。
图15A是根据实施例的安装在基板上的皮肤致动器的示例阵列的平面图。
图15B是根据实施例在不同时间产生的示例触觉感觉的图示。
图15C是根据实施例示出产生触觉感觉以沿着用户的身体产生连续触觉运动的示例过程的流程图。
图15D是根据实施例的示例潘申尼(Pacinian)和非潘申尼刺激的图示。
图15E是根据实施例的皮肤致动器的阵列的示例优选操作区域的图示。
图16A是根据实施例的示例触觉通信设备的横截面视图。
图16B是根据实施例的示例触觉通信设备的部件的透视图。
图16C是根据实施例的安装有皮肤致动器的示例触觉通信设备的透视图。
图16D是根据实施例的包括阻尼构件的示例触觉通信设备的透视图。
图16E是根据实施例的包括位于壳体内的皮肤致动器的示例触觉通信设备的透视图。
图16F是根据实施例的包括定心构件的示例触觉通信设备的透视图。
图16G是根据实施例沿着图16F的X轴截取的示例触觉通信设备的横截面视图。
图16H是根据实施例的包括刚性基板的示例触觉通信设备的透视图。
图16I是根据实施例的圆柱形末端执行器(end effector)的透视图。
图16J是根据实施例的锥形末端执行器的透视图。
图16K是根据实施例的圆盘形末端执行器的透视图。
图16L是根据实施例的圆顶形末端执行器的透视图。
图16M是根据实施例的包括完全包围皮肤致动器的壳体的示例触觉通信设备的透视图。
图16N是根据实施例的图16M的示例触觉通信设备的横截面视图。
图17A是根据实施例示出用于语音信号的包络编码和到皮肤致动器的传输的示例触觉通信系统的框图。
图17B根据实施例示出了用于语音信号的编码和到皮肤致动器的传输的示例时间包络的波形图。
图17C根据实施例示出了用于到皮肤致动器的传输的示例经编码的语音信号的波形图。
图17D是根据实施例的用于语音信号的编码和到皮肤致动器的传输的示例包络编码器的框图。
图17E是根据实施例的用于语音信号的包络编码和到皮肤致动器的传输的示例过程的图示。
图18A是根据实施例示出使用用于传输到皮肤致动器的宽带致动器信号的示例触觉通信系统的框图。
图18B是根据实施例示出示例宽带载波信号的波形图。
图18C是根据实施例的示例宽带信号发生器的框图。
图18D是根据实施例的用于使用宽带致动器信号进行触觉通信的示例过程的图示。
详细描述
在实施例的下面的描述中阐述了许多具体细节，以便提供更透彻的理解。然而注意，实施例可以在没有这些具体细节中的一个或更多个的情况下被实践。在其他实例中，没有详细描述众所周知的特征，以避免不必要地使描述复杂化。
在本文参考附图描述了实施例，其中相同的参考数字指示相同的或在功能上相似的元件。此外在附图中，每个参考数字最左边的号码对应于该参考数字首次被使用的附图。
使用皮肤致动器的触觉通信系统
实施例涉及使用触觉的感觉来向用户的身体传送消息(包括语音)的通信模式。以触觉输出的形式的触觉输出例如由附着到用户的身体的皮肤致动器产生。为了产生触觉输出，消息通过算法处理以产生相应的触觉错觉信号，该触觉错觉信号被传输到用户的接收设备以操作致动器。所产生的触觉错觉信号被处理成用于激活皮肤致动器的致动器信号。皮肤致动器接收所传输的触觉错觉信号，并将对应于接收到的触觉错觉信号的触觉输出传输到接收用户的身体。
此外，在一些实施例中，由皮肤致动器施加的力可以每用户被校准，使得对于由触觉错觉信号产生的相同客观力水平，每个用户经历来自皮肤致动器的类似主观力水平。这允许在整个用户群中的一致的体验。将在下面参考图12来描述关于皮肤致动器的校准的额外细节。
触觉通信的词汇的发展
触觉通信是一种通信模式，其是对目前广泛使用的其他通信模式(例如语音或文本)的替代或补充。触觉通信对书面或口头语言可以是不可知的，并且可以通过词嵌入(word embedding)来增强或补充在多个用户之间的通信。触觉通信也可以用于便于与有特殊需求的用户(例如聋人或盲人)的通信。
可以基于最频繁的使用来选择待被包括在词汇中用于在触觉通信中使用的词。为了将触觉社交触摸的感觉从一个用户传输到另一个用户，词汇可以包括用于问候、离别、给予关注、帮助、安慰、平静、愉快和安心触摸的触觉消息。如下面参考图3详细描述的，当将语音转换成触觉输出时，最广泛地使用的词可以被选择并被映射到预定的触觉符号集。
词汇中的一些词可以与在用户之间的亲密性水平相关联。例如，安慰触摸在彼此已经熟悉的用户之间可以是可接受的。因此，在用户之间的关系可以控制在词汇中的哪些词或触觉输出对于在用户之间的传输是允许的。
此外，在一些实施例中，根据输入词(即，输入语言)，音素、辅音-元音对或音节可以被转换成触觉信号的序列并被传输到在用户的身体上的皮肤致动器。这导致用户能够理解输入词而无需口头或视觉通信。这种方法对于口头或视觉通信不可用的情况可以是有用的。下面参考图11和图14描述额外细节。此外，在一些实施例中，神经网络可以用于将音频信号直接转换成触觉信号的序列。神经网络可以被训练以约束音频信号的转换，使得因而得到的触觉信号的序列可以可行地在具有有限数量的皮肤致动器的触觉设备中被实现，同时仍然允许由用户对不同的信号的准确区分。下面参考图13描述额外细节。
示例触觉传感器和致动器
图1是根据实施例的触觉传感器104和皮肤致动器108的阵列100的示例视图。触觉传感器104是可选的，并且阵列100可以仅包括用于接收触觉信号的皮肤致动器108。阵列100可以被放置或佩戴在接收用户的身体112上。触觉传感器104和皮肤致动器108可以安装在柔性基板116上，柔性基板116被配置为放置在接收用户的身体112上。基板116由诸如塑料(例如，聚乙烯和聚丙烯)、橡胶、尼龙、合成材料、聚合物等的柔性材料制成。
触觉传感器104通过接收施加到阵列100的力、振动或运动来测量与身体112上的社交触摸相关的参数。触觉传感器104可以是加速度计、压力传感器和压电传感器中的一个或更多个。在一个实施例中，触觉传感器104可以接收来自社交触摸的传感器输入，该传感器输入可以用压力、温度、纹理、剪应力、时间和空间或其子集的大小来表示。在一个实施例中，气介超声换能器(airborne ultrasound transducer)可以用作触觉传感器。
触觉通信系统可以包括皮肤致动器108，皮肤致动器108在用户发送信息(即，用户现在是发送用户)时将与社交触摸相关的信息传输到身体112。皮肤致动器108可以位于阵列100上以在另一用户向发送用户的身体112发送触觉通信时提供振动反馈。如下面参考图9A至图9L详细描述的，在实施例中，一个致动器可以引起反馈振动，而另一个致动器产生第二振动以抑制第一振动传播到身体112或阵列100的不想要的区域以使触觉体验定位。
在实施例中，皮肤致动器108可以是音圈、线性谐振致动器(LRA)、偏心旋转质量致动器、压电致动器、电活性聚合物致动器、形状记忆合金致动器、气动致动器、微射流致动器和声学元表面致动器中的一个或更多个。音圈包括线圈架、套圈(collar)和绕组，并通过磁场对流经线圈的电流的反应向用户的身体112提供原动力。LRA使用音圈和AC输入来产生具有对应于电信号的频率和振幅的振动。偏心旋转质量致动器使用DC电流的磁场来移动小旋转质量以产生横向振动。压电致动器产生对应于施加到其上的AC电流的振动。
在实施例中，由皮肤致动器208产生的触觉输出可以包括关于压力、温度、纹理、剪应力、时间和空间中的一个或更多个的信息。
触觉通信系统的示例环境
图2是根据实施例的触觉通信系统200的示例框图。触觉通信系统200可以包括传输设备240、社交网络系统228和接收设备268。触觉通信系统200可以包括在图2中未示出的其他部件，或者部件可以以不同的方式被布置。
发送用户的身体212可以由触觉传感器104部分地覆盖。发送用户的身体212可以向触觉传感器104传输触觉触摸204。触觉传感器104可以将触觉触摸204转换成传感器信号207。传感器信号207可以包括电流、电压、压力、某种其他类型的传感器信号或其组合。
传输设备240耦合到触觉传感器104。传输设备240除了别的部件以外还包括传感器接口电路220以从触觉传感器104接收传感器信号207，并发送出信号256用于转换成触觉错觉信号202。可选地或除了接收传感器信号207之外，传输设备240还可以发送文本形式的消息(例如，经由输入设备296(例如键盘)接收的)用于转换成触觉错觉信号202。传输设备240使用有线和/或无线通信系统来将基于传感器信号207或消息的信号256发送到网络260，网络260可以包括局域网和/或广域网的任何组合。
在一个实施例中，传输设备240可以包括信号发生器以产生致动器信号并将致动器信号(基于传感器信号207)传输到放置在接收用户的身体280上的(下面参考图15A至图15E详细示出并描述的)皮肤致动器的阵列，以使阵列沿着接收用户的身体280产生连续触觉运动。致动器信号可以对应于社交触摸词汇的词。致动器信号可以包括关于由接收用户的身体280感知的物理触摸的压力、温度、纹理、剪应力、时间和空间的信息。这些参数(例如，压力)可以由阵列使用来产生对应于由阵列接收的参数的触觉输出。例如，参数可以被转换成触觉输出的持续时间、频率或振幅。可选地，传输设备240可以向社交网络系统228发送致动器信号以在致动器信号被传输到接收用户的身体280之前调整致动器信号。
社交网络系统228通过网络260与由社交网络系统228的用户使用的触觉设备(例如，触觉传感器104)进行通信。社交网络系统228可以包括处理器电路232以将转换算法应用于信号256以产生触觉错觉信号202。转换算法可以被体现为传递函数(也称为传递曲线)，该传递函数是用于拟合或描述信号256到触觉错觉信号202的映射的数学表示。传递函数可以是信号256的输入和输出到触觉错觉信号202映射系统之间的关系在空间或时间频率方面的表示，该触觉错觉信号202映射系统具有零初始条件和零点平衡。在一个实施例中，社交网络系统228可以包括信号发生器以产生致动器信号以使放置在接收用户的身体280上的皮肤致动器的阵列沿着用户的身体280产生连续触觉运动。
在一个实施例中，可以通过将一般触觉错觉信号与针对发送用户定制的个性化触觉错觉信号进行组合来产生由社交网络系统228产生的触觉错觉信号202。一般触觉错觉信号可以对应于预定的社交触摸词汇，例如“问候”、“离别”、“安慰”等。触觉错觉信号202可以包括基于信号256的汇总值、接收到的传感器信号207的波的形状、信号256的频域表示和接收到的信号256的时域样本中的一个或更多个。处理器电路232可以例如使用傅立叶变换来将信号256从时域或空间域转换到频域以创建频域表示。处理器电路232可以执行信号256的时域采样。时域采样将信号256减少到一组离散时间样本，例如在时间和/或空间中的点处的一组值。
如下面关于图4详细示出并描述的，在一个实施例中，处理器电路232可以包括操作地与传感器接口电路220通信并且从接收到的信号256提取特征244的特征提取部件236。特征提取部件236可以通过下列操作中的一个或更多个来提取特征244：创建接收到的信号256的频域表示和执行信号256的时域采样。
处理器电路232可以包括与特征提取部件236通信的机器学习电路242，以基于所提取的特征244来确定发送用户的触摸签名，并将触摸签名自动编码到触觉错觉信号202中。触摸签名可以被表示为社交触摸词汇中的每个定义的词的值的向量。对于定性模型，该触摸签名向量可以包括值0或1。
在一个实施例中，特征提取部件236从接收用户的用户简档提取特征。机器学习电路242可以进一步基于所提取的特征来确定所产生的触觉错觉信号202的分数。分数可以指示接收用户基于用户简档来表达对触觉错觉信号202的偏好的可能性。
在一个实施例中，处理器电路232确定在发送用户和接收用户之间的亲密性，并基于所确定的亲密性来修改触觉错觉信号202。例如，如果在第一用户和接收用户之间的亲密性反映出他们是伙伴，则处理器电路232可以改变用于“问候”的一般触觉错觉信号以反映在第一用户和接收用户之间的更密切的关系。在一个实施例中，处理器电路232检索接收用户的用户简档，并基于检索到的用户简档来修改触觉错觉信号202。例如，如果接收用户是女性，则处理器电路232可以将触觉错觉信号202改变为更柔和的(即，更弱的)。
在实施例中，处理器电路232可以产生触觉符号集，其中在触觉符号集的每个触觉符号和触觉符号集的每个其他触觉符号之间的距离大于阈值。本文描述的距离可以指示例如在由触觉错觉信号202操作的致动器之间的空间距离、在相同或不同致动器的振动之间的时间差。这种方法的好处和优点是，因而得到的触觉符号集的触觉符号是彼此可区分开的。接收用户因此可以更容易地理解触觉通信。
在一个实施例中，在触觉符号集的每个触觉符号和触觉符号集的每个其他触觉符号之间的距离可以由闵可夫斯基(Minkowski)距离、马氏距离(Mahalanobis distance)、Matsushita距离、卡方距离、汉明距离、余弦相似性、点积和Grassmann距离中的一个或更多个来确定。
触觉通信系统200还可以基于触觉符号和接收到的语音信号来产生隐式学习程序，其中隐式学习程序是沉浸式的、非有意的、年龄无关的、IQ无关的和潜意识的。这种方法的好处和优点是接收用户可以更容易地学习触觉符号集和它所表示的触觉通信的特定语言。
在一个实施例中，社交网络系统228包括边储存器248，其存储将在社交网络系统228上的用户之间的关连(connection)描述为边的信息。一些边可以由用户定义，允许用户指定他们与其他用户的关系。例如，用户可以产生与其他用户的边，其与用户的真实生活关系(例如朋友、同事、伙伴等)平行。当用户发送触觉通信(例如“问候”、“离别”、“安慰”等)、语音信号216或社交网络表情符号(例如“喜欢”、“爱”、“哈哈”、“哇”、“悲伤”、“生气”等)时，产生其他边。当用户与在社交网络系统228中的内容项目进行交互(例如表达对在社交网络系统上的页面的兴趣、与社交网络系统的其他用户共享链接、以及评论由社交网络系统的其他用户创作的帖子)时，产生其他边。
边储存器248还存储关于边的信息，例如内容项目、兴趣和其他用户的亲密性分数。亲密性分数或“亲密性”可以由社交网络系统228随着时间推移来计算，以基于由用户执行的动作来大致估计用户对与用户交互、内容项目、兴趣和在社交网络系统228中的其他用户相关联的触觉通信情感的类型的亲密性。例如，边储存器248可以将用户对词“问候”、“离别”、“安慰”等的亲密性确定为用户向另一个用户发送这些词的次数。在第8,402,094号美国专利中进一步描述了亲密性的计算，该专利在此通过引用以其整体并入。
社交网络系统228的每个用户可以与存储在用户简档储存器284中的用户简档相关联。用户简档包括由用户明确共享的关于用户的声明性信息，并且还可以包括由社交网络系统228推断的简档信息。在一个实施例中，用户简档包括多个数据字段，每个数据字段描述社交网络系统228的相应用户的一个或更多个属性。存储在用户简档中的信息的示例包括传记、人口统计和其他类型的描述性信息(例如用户简档图像、工作经历、教育历史、性别、爱好或偏好、位置等)。用户简档还可以存储由用户提供的其他信息，例如图像或视频。在某些实施例中，用户的用户简档图像可以用社交网络系统228的用户的标识信息来标记。
在实施例中，对于每个用户，用户简档储存器284可以包括化身、网名(screenname)和用户的真实姓名。化身是在计算机游戏、互联网论坛、社交网络系统等中表示特定用户的图标或图形。网名是独特的字符序列，当在计算机游戏、即时消息、论坛中，并经由社交网络系统228与其他人在线进行交互时，用户可以选择该字符序列来用于识别目的。
社交网络系统228可以利用用户的触觉传感器104的地理位置来持续地更新用户的用户简档。用户的地理位置可以由社交网络系统228基于由用户的触觉传感器104的GPS芯片和卫星数据发送的信息来确定，映射服务可以映射该信息。当GPS信号不可用的时候，社交网络系统228可以使用来自蜂窝塔(cell tower)的信息来对用户的触觉传感器104的位置进行三角测量，或者使用GPS和蜂窝站点三角测量(以及在一些情况下，本地Wi-Fi网络)相结合来瞄准用户触觉传感器104的位置；该布置被称为辅助GPS(A-GPS)。社交网络系统228还可以使用Haversine公式来确定在两个用户的触觉传感器之间的地理位置距离以计算在两个点之间的大圆距离，作为在两个客户端设备之间的直线距离，这两个客户端设备在纬度和经度等方面与地理位置坐标相关联。
用户交互储存器288可以由社交网络系统228使用来跟踪在社交网络系统228上的触觉通信以及在向社交网络系统228传递信息的第三方系统上的交互。用户可以与在社交网络系统228上的其他用户进行交互，并且描述这些交互的信息被存储在用户交互储存器288中。使用触觉通信的交互的示例可以包括：评论帖子、共享链接、以及经由移动设备对物理位置进行签到(check-in)、访问内容项目等。可以被包括在用户交互储存器288中的在社交网络系统228上的交互的额外示例是评论相册、与用户通信、建立与内容项目的连接、将事件加入到日历、加入群组、创建事件、授权应用、使用应用、表达对内容项目的偏好(“点赞(like)”内容项目)以及参与交易。
用户交互储存器288可以存储对应于触觉符号或词的信息，其中每个词包括识别情感类型的信息。另外，用户交互储存器288可以记录用户与在社交网络系统228上操作的其他应用的交互。在一些实施例中，来自用户交互储存器288的数据用于推断用户的兴趣或偏好，扩充被包括在用户简档中的兴趣并允许对用户偏好的更彻底的理解。
用户交互管理器292接收关于在社交网络系统228内部和/或外部的用户触觉通信的传输，用关于用户交互的信息来填充用户交互储存器288。由用户交互管理器292接收的交互可以包括表达对触觉词汇中的词的情感偏好。此外，许多动作可以涉及一个或更多个特定用户，因此这些动作也与那些用户相关联并且被存储在用户交互储存器288中。用户交互管理器292可以确定用户通过在触觉错觉信号202或表示交互的传感器信号207中的时间戳来执行交互的时间。
传输设备240包括输入设备296(例如键盘或定点设备)，以接收例如来自词汇的某个词的选择。例如，用户可以使用输入设备296来键入词(例如“问候”、“离别”、“安慰”等)，且社交网络系统228可以产生对应于这些词的触觉错觉信号202。
触觉通信系统200可以包括接收设备268，接收设备268通过网络260从社交网络系统228接收触觉错觉信号202并将触觉错觉信号202传输到皮肤致动器208。在一个实施例中，接收设备268可以包括接口电路，从网络260接收触觉错觉信号202。接收设备268可以产生对应于触觉错觉信号202的致动器信号272。
皮肤致动器208接收所传输的触觉错觉信号202，并将对应于接收到的触觉错觉信号202的触觉输出276(例如，振动)传输到接收用户的身体280。在一个实施例中，皮肤致动器208将触觉输出276传输到接收用户身体280的C触觉(CT)传入神经纤维。在周围神经系统(PNS)中，CT传入神经纤维是感觉神经元的轴突。它将动作电位从感觉神经元传送到中枢神经系统(CNS)。在一个实施例中，接收设备268将致动器信号272传输到皮肤致动器208。皮肤致动器208接收致动器信号272，并将对应于致动器信号272的触觉输出276传输到接收用户的身体280。
外部授权服务器或在社交网络系统228内部的授权服务器实施社交网络系统228的用户的一个或更多个隐私设置。用户的隐私设置确定与用户相关联的特定信息可以如何被共享，并且如何可以存储在用户简档储存器284中的用户的用户简档中或者存储在授权服务器中并与用户简档相关联。在一个实施例中，隐私设置指定与用户相关联的特定信息，并识别指定信息可以被共享于的一个或多个实体。信息可以被共享于的实体的示例可以包括其他用户、应用、第三方系统或可能潜在地访问信息的任何实体。可以由用户共享的信息的示例包括用户简档信息(如简档照片)、与用户相关联的电话号码、用户的关连、由用户采取的动作(例如添加关连、改变用户简档信息)等。
可以在不同的粒度级别处提供隐私设置规范。在一个实施例中，隐私设置可以识别将与其他用户共享的特定信息。例如，隐私设置可以识别工作电话号码或特定的一组相关信息，例如包括简档照片、家庭电话号码和状态的个人信息。可选地，隐私设置可以应用于与用户相关联的所有信息。也可以在不同的粒度级别处指定可以访问特定信息的该组实体的规范。信息可以被共享于的实体的各种集合可以包括例如关连到用户的所有用户、关连到用户的一组用户、关连到用户的额外用户、关连到用户的所有应用、所有第三方系统、特定的第三方系统或所有外部系统。
一个实施例使用实体的枚举来指定被允许访问所识别的信息的实体或者识别被呈现给不同实体的信息的类型。例如，用户可以指定传递给其他用户或传递给指定的一组用户的动作的类型。可选地，用户可以指定动作的类型或未被公布或呈现给其他用户的其他信息。
授权服务器包括确定与用户相关联的某些信息是否可以由用户的朋友、第三方系统和/或其他应用和实体来访问的逻辑。例如，试图访问用户的关于与第三方系统相关联的统一资源定位符(URL)的评论的该第三方系统必须从授权服务器获得授权以访问与用户相关联的信息。基于用户的隐私设置，授权服务器确定另一用户、第三方系统、应用或另一实体是否被允许访问与用户相关联的信息，包括关于由用户采取的动作的信息。例如，授权服务器使用用户的隐私设置来确定用户的关于与第三方系统相关联的URL的评论是否可以被呈现给第三方系统或可以被呈现给另一个用户。这使用户的隐私设置能够指定哪些其他用户或其他实体被允许接收关于用户的动作的数据或与用户相关联的其他数据。
尽管图2的实施例被描述为在社交网络系统228中应用的传递函数，但传递函数可以在传输设备240处被执行以在传输设备240处产生触觉错觉信号202。在这样的实施例中，可以不执行由社交网络系统228进行的进一步处理。可选地，传输设备240可以将传感器信号207发送到接收设备268，其中传递函数可以被执行以产生致动器信号272。
此外，尽管图2示出了单向触觉通信，其中发送用户向接收用户发送触觉信号，但触觉通信可以是双向的。此外，发送用户可以向多个接收用户而不是单个用户广播触觉信号。
用于将语音转换成触觉信号的示例系统
图3是根据实施例将来自源318的语音消息转换成触觉信号的触觉通信系统300的框图。触觉通信系统300将语音信号分解成语音子分量并将语音子分量转换成映射到语音子分量的不同触觉符号。语音源318可以处理来自源(例如，麦克风)的信号以产生语音信号216。语音信号216可以直接地或者经由社交网络系统228被发送到接收设备268。为此目的，如下面参考图10A所述的，语音源318可以包括检测来自发送用户的话音信号的麦克风和/或存储话音消息的记录的媒体存储装置。
类似于上面参考图2描述的实施例，触觉通信系统300包括接收设备268和社交网络系统。除了触觉错觉信号202表示语音消息之外，在图2中的接收设备268和致动器208的操作和功能与图3的接收设备和致动器的操作和功能基本上相同，因此为了简洁起见，其详细描述在本文被省略。
处理器电路232可以通过产生对应于语音子分量的唯一触觉符号来产生触觉符号集。处理器电路232可以通过表征在唯一触觉符号的子集的每个触觉符号和该子集的每个其他触觉符号之间的相似程度来识别该子集。处理器电路232可以执行聚类分析以识别具有在组的成员之间的大于阈值的距离的触觉符号组。处理器电路232可以使子集与触觉符号集相关联。
在一个实施例中，社交网络系统的处理器电路232在附着到接收用户的身体的多个致动器208当中划分语音信号216的压缩频谱。作为示例，如图7所示，通过明显低频能量的存在和能量在多个离散能带(也被称为“共振峰(formant)”)中的定位来识别元音，图7示出了词“facebook”的原始记录和频谱图。频谱图示出了作为时间的函数的分量频率。如从频谱图中可以看到的，元音“A”和“oo”具有在低频区域中的相对高的能量的多个带。相反，“f”、“c”、“b”和“k”是短暂的低能量并且缺少元音所具有的局部能带结构。缺乏元音的频率结构的低能量信号的检测将触发回放速度变慢，允许给予用户更多的时间来理解辅音的精巧模式。
在一个实施例中，皮肤致动器208通过以第一速度传输对应于接收到的语音信号216的元音的触觉输出来传输触觉输出276。皮肤致动器208可以以低于第一速度的第二速度来传输对应于接收到的语音信号216的辅音的触觉输出。这种方法的优点和好处是元音相对容易使用自动化技术并在语音的触觉表示中由人来识别。然而，辅音在持续时间上较短并且具有含糊的频谱特征。通过相对于元音被显示的速度减慢在辅音期间的触觉显现的动态，与均匀减慢相比，感知的准确度将随着速度的较小降低而增加。
在一个实施例中，处理器电路232减慢致动器信号272的回放，同时将分量频率保持在其原始分量值处。在另一个实施例中，根据在下一段中“频率压缩”情况下描述的时间/频率缩放方法，频率被转换为较低值。
在一个实施例中，接收到的语音信号216的语音频谱可以减小到更窄的范围，同时保持在语音信号216中的声波的分布及其相互关系。语音源318可以使用较慢的采样率来对语音信号216进行编码。传感器接口电路220可以修改语音信号216的特性，例如节奏和时间模式、音段元素的音高和持续时间。语音源318可以单调地压缩语音信号216的短时间频谱而不改变音高。
在一个实施例中，社交网络系统228的处理器电路232可以将语音信号分成语音子分量。语音子分量可以包括接收到的语音信号216的音素、接收到的语音信号216的频率、接收到的语音信号216的共振峰以及接收到的语音信号216的语义中的一个或更多个。音素是区分开一个词与另一个词的特定语言中感知上不同的声音单位中的任一个，例如在英语词pad、pat、bad和bat中的p、b、d和t。共振峰指确定语音信号216中的元音的语音质量的几个显著频带中的每一个。语义学可以包括含义的逻辑方面，例如意义、参考、蕴涵(implication)和逻辑形式，词汇语义学(词关系)，或概念语义学(含义的认知结构)。
在一个实施例中，当语音子分量是语音信号的频率时，在每个频带中的瞬时功率确定相应致动器的振幅。
在一个实施例中，处理器电路232通过音素分解或梅尔频率倒频谱系数(MFCC)来分离接收到的信号216以对接收到的语音信号的频带的瞬时功率进行变换。例如，处理器电路232可以通过计算MFCC来识别来自信号216的音素。可以通过用于识别音素的反向传播过程来训练前馈神经网络(FFNN)形式的机器学习电路242。所提取的MFCC系数然后可以用作机器学习分类器的输入。当语音子分量是语音信号的频率时，使用梅尔频率倒频谱系数来确定在每个频带中的瞬时功率。
处理器电路232可以将语音子分量映射到触觉符号集中的触觉符号。触觉符号集可以对应于一般社交触摸词汇的词。处理器电路232可以将触觉符号转换成触觉错觉信号202或致动器信号。在一个实施例中，处理器电路232通过使用语音子分量的第一和第二共振峰的二维频率映射来转换触觉符号，以确定在接收用户的身体上的皮肤致动器208的优选位置。在其他实施例中，可以使用其他共振峰对，例如第一和第三共振峰。在还有其他实施例中，在共振峰之间的差异定义2d映射上的点，例如f2-f1和f3-f2被映射到不同致动器208的物理位置，其中f1、f2和f3分别表示第一、第二和第三共振峰的频率。
在一个或更多个实施例中，可以例如通过使用在特定辅音和接收用户的身体的特定位置处的致动器之间的一对一映射来单独地映射辅音。
在其他实施例中，语音发音的特征被编码，用于操作某些致动器而不是对语音信号的特征进行编码。语音发音的特征可以包括例如在口腔闭塞音(oral occlusive sound)期间的闭塞的位置：嘴唇([p]，[b])、舌冠(tongue blade)([t]，[d])、舌体([k]，[g])或声门
Figure BDA0002321951530000231
在一个实施例中，机器学习电路242可以基于所提取的特征544来确定语音子分量，并且产生对应于所确定的语音子分量的触觉符号。
尽管图3描述了在社交网络系统228处产生触觉错觉信号202的实施例，但是用于产生触觉错觉信号202的处理可以在语音源或接收设备268处被执行。例如，接收设备268可以是便携式设备，其包括捕获在用户周围的其他人的语音信号的麦克风和用于将所捕获的语音信号转换成触觉输出的处理器。
下面参考图11和图14提供关于将音频和语音转换成触觉信号的额外细节。
用于机器学习的示例框图
图4是根据实施例描述与训练用于触觉通信的机器学习电路242相关联的部件的示例框图。与机器学习电路242相关联的部件包括特征提取部件236、触摸签名储存器412和语音子分量储存器416。在图4中所示的部件可以分布在不同的设备当中。与这些部件相关联的一些过程可以并行地或连续地被执行。可选地，一些过程可以以流水线方式被执行，使得过程的执行在前一过程的执行之前开始。
特征提取部件236接收信号216、256，并从信号216、256提取特征408a、408b等。特征408a、808b等便于机器学习电路242的训练。在一个实施例中，在信号216、256中的冗余输入数据(例如信号或语音模式的重复性)可以被变换成精简的特征集合408。所提取的特征408包含来自信号216、256的相关信息，以便通过使用该精简表示而不是完整的初始数据来训练机器学习电路242。对应于信号216、256的特征408用于基于存储在触摸签名储存器412中的已知触摸签名和存储在语音子分量储存器416中的对应于这些特征的已知语音子分量来对机器学习电路242进行训练。
触摸签名储存器412存储在较早的校准和训练阶段期间确定的已知触摸签名。已知触摸签名可以对应于单个用户或一组用户。触摸签名储存器412可以被组织为存储在可移动或不可移动存储卡、计算机硬盘驱动器等中的一个或更多个上的数据库、表格、文件等。在一个实施例中，触摸签名储存器412包括多个数据字段，每个数据字段描述传感器信号207的一个或更多个属性。在一个实施例中，语音子分量储存器416用于存储在较早的校准和训练阶段期间确定的已知语音子分量。已知语音子分量可以对应于单个用户或一组用户。语音子分量储存器416可以被组织为存储在可移动或不可移动存储卡、计算机硬盘驱动器等中的一个或更多个上的数据库、表格、文件等。在一个实施例中，语音子分量储存器416包括多个数据字段，每个数据字段描述语音信号216的一个或更多个属性。
特征408可以包括描述信号216、256的频域表示的特征408a。提取特征408a可以包括创建信号216、256的频域表示。特征408可以包括描述信号216、256的时域表示的特征408b。提取特征408b可以包括执行信号216、256的时域采样。特征408可以包括描述基于信号216、256的汇总值的特征408c。特征408可以包括描述信号216、256的波的形状的特征408d。特征408可以包括描述语音信号216的音素的特征408e。
机器学习电路242起自动编码器的作用，并且使用包括来自触摸签名储存器412和语音子分量储存器416的信息的训练集来被训练。触摸签名储存器412可以存储在触摸词汇的已知触摸签名之间的关联。在实施例中，机器学习电路242因此被配置为通过从信号216、256中提取特征408、基于所提取的特征408确定发送用户的触摸签名以及产生对应于所确定的触摸签名的触觉错觉信号202来将传递函数应用于信号216、256。在一个实施例中，机器学习电路242基于所提取的特征408来确定语音子分量，并产生对应于所确定的语音子分量的触觉符号。
如上所述，在一些实施例中，需要粗略量化信号。为了实现这一点，瓶颈层(其在训练之后将是驱动触觉致动器的层)将具有单元，这些单元具有例如二元或三元的粗略量化输出。在其他实施例中，隐藏层将使用浮点表示，该层的输出被适当地变换以产生由用户可区分的触觉手势。
在一个实施例中，如果触觉错觉信号202对应于信号216、256的可能性超过阈值，则机器学习电路242可以将触觉错觉信号202传输到接收设备268。该可能性可以指示特征408具有特定布尔属性或标量属性的估计值的概率。作为机器学习模型242的训练的一部分，该过程可以通过识别已被确定具有讨论中的属性的特征的正向(positive)训练集来形成特征408、触摸签名和语音子分量的训练集，并且在一些实施例中形成缺少讨论中的属性的特征的负向(negative)训练集。在一个实施例中，机器学习训练应用维数减少(例如，通过线性判别分析(LDA)、主成分分析(PCA)等)以将特征408中的数据的量减少到更小、更具代表性的数据集。
该过程使用机器学习来训练机器学习电路242，正向训练集和负向训练集的特征用作输入。在不同的实施例中可以使用不同的机器学习技术，例如线性支持向量机(线性SVM)、对其他算法的增强(例如，AdaBoost)、神经网络、逻辑回归、朴素贝叶斯、基于记忆的学习、随机森林、打包树(bagged tree)、决策树、提升树或提升树桩。当被应用于从信号216、256提取的新特征时，机器学习电路242输出信号216、256是否具有讨论中的属性的指示，例如布尔是/否估计或者表示概率的标量值。
在一些实施例中，使用三个数据集。使用第一数据集来执行机器学习电路242的训练。使用第二数据集来测试机器学习电路242的准确度。被称为验证集的第三数据集可以由除了在训练集中的那些特征之外的额外特征形成，额外特征已经被确定具有或不具有讨论中的属性。该过程将经训练的机器学习电路242应用于验证集的特征以量化机器学习电路242的准确度。在准确度测量中应用的常见度量包括：精确度(P)＝真阳性(TP)/(TP+假阳性(FP))和召回率(R)＝TP/(TP+假阴性(FN))，其中精确度指机器学习电路242从它预测的总数(TP+FP)中正确地预测(TP)了多少触摸签名，以及召回率指机器学习电路242从具有讨论中的属性的特征的总数(TP+FN)中正确地预测(TP)了多少触摸签名。在一个实施例中，该过程迭代地重新训练机器学习电路242，直到停止条件的出现(例如模型是足够准确的准确度测量指示，或者多个训练回合已经发生)为止。
用于触觉通信的示例过程
图5是根据实施例的用于触觉通信的示例过程。社交网络系统228检测500调用触觉通信的动作。例如，社交网络系统228可以从检测来自发送用户的身体212的触觉输入的触觉传感器104接收传感器信号207。触觉传感器104产生对应于接收到的传感器输入204的传感器信号207。可选地或此外，社交网络系统228可以从诸如键盘的输入设备296接收消息。
处理器电路232将传递函数应用504于接收到的传感器信号207或其他输入以产生触觉错觉信号202。社交网络系统228将所产生的触觉错觉信号202传输508到皮肤致动器208。皮肤致动器208接收所传输的触觉错觉信号202，并将对应于接收到的触觉错觉信号202的触觉输出276传输到接收用户的身体280。
用于将语音转换成触觉通信的示例过程
图6是根据实施例的用于将语音转换成触觉通信的示例过程。处理器电路232从语音源318接收610语音信号216(例如，经由麦克风)。处理器电路232将接收到的信号216、256分成614语音子分量。处理器电路232将语音子分量映射618到触觉符号集中的触觉符号。处理器电路232将触觉符号转换622成致动器信号。接收设备268向皮肤致动器208传输626致动器信号。皮肤致动器208接收致动器信号，并将对应于致动器信号的触觉输出276传输到用户的身体280。
在一个实施例中，触觉通信可以是多模式通信的一部分。社交网络系统228可以例如基于各种因素(例如在用户上的致动器的可用性、在发送用户和接收用户之间的亲密性以及用户的偏好)来在文本消息、音频信号和触觉通信当中选择一种或更多种通信模式以用于传输给用户。此外，可以组合多种通信模式来以有效的方式传输消息。例如，可以使用音频信号、触觉输出和视觉信号的组合来传输消息。为了提高多模式通信的效率，可以使用编码理论(例如霍夫曼编码)来在不同通信模式中设计消息元素的组合。
下面参考图11和图14描述关于将语音转换成触觉通信的额外细节。
在身体内部产生错觉
实施例还涉及操作多个皮肤致动器以提供在身体内出现的运动或动作的感觉。接收用户的身体的一部分(例如，四肢或头)放置在皮肤致动器之间。皮肤致动器以时间关系或相对振幅进行操作，引起在身体部位内部出现运动或动作的错觉。通过在由皮肤致动器产生的触觉输出(例如，振动)之间的不同的时间关系或相对振幅，可以产生在身体内的动作或运动的不同感觉。
图8A是根据实施例示出用于操作皮肤致动器802A至802N(在下文中被统称为“皮肤致动器802”)的信号发生器800的框图。信号发生器800可以是接收设备268的一部分，或者它可以是产生致动器信号812A至812N(在下文中被统称为“致动器信号812”)用于传输到皮肤致动器802的独立设备。当信号发生器800是接收设备268的一部分时，信号发生器800与其他计算设备(例如社交网络系统228)或其他服务器进行通信以接收触觉错觉信号202。
信号发生器800除了别的部件以外还可以包括处理器804、触觉接口电路806、通信模块808、存储器813和连接这些部件的总线810。信号发生器800可以包括在图8A中未示出的其他部件，例如用于与用户或扬声器进行交互的用户界面模块。信号发生器800也可以是扩展另一设备的功能的附加设备或较大设备的一部分。
处理器804从存储器813读取指令，并执行它们以执行各种操作。处理器804可以使用任何合适的指令集体系结构来被体现，并且可以被配置为执行在该指令集体系结构中定义的指令。处理器804可以是使用各种指令集体系结构(ISA)(例如x86、PowerPC、SPARC、RISC、ARM或MIPS ISA或任何其他合适的ISA)中的任一种的通用处理器或嵌入式处理器。尽管在图8中示出了单个处理器，但是信号发生器800可以包括多个处理器。
触觉接口电路806是与皮肤致动器802通过接口连接的电路。触觉接口电路806基于来自处理器804的命令来产生致动器信号812。为此目的，触觉接口电路806可以包括例如用于将数字信号转换成模拟信号的数模转换器(DAC)。触觉接口电路806还可以包括放大器以放大模拟信号以用于通过在信号发生器800和皮肤致动器802之间的电缆来传输致动器信号812。在一些实施例中，触觉接口电路806与致动器802无线地通信。在这样的实施例中，触觉接口电路806包括用于调制无线信号以通过无线通道传输到致动器802的部件。
通信模块808是用于与其他计算设备进行通信的硬件，或硬件、固件和软件的组合。通信模块808可以例如使信号发生器800能够通过网络260与社交网络系统228、传输设备240或语音源318进行通信。通信模块808可以被体现为网卡。
存储器813是用于存储软件模块的非暂时性计算机可读存储介质。存储在存储器813中的软件模块除了别的以外还可以包括应用814和触觉信号处理器816。存储器813可以包括在图8中未示出的其他软件模块，例如操作系统。
应用814使用经由皮肤致动器802的触觉输出来执行各种功能，例如通信、游戏和娱乐。如下面参考图8B至图8F详细描述的，这些应用814中的至少一个使用由皮肤致动器802的操作产生的在身体内的运动或动作的错觉。
触觉信号处理器816是确定将由触觉接口电路806产生的致动器信号812的模块。触觉信号处理器816产生致动器信号的数字版本，并经由总线810发送到触觉接口电路806。致动器信号的数字版本包括定义将由触觉接口电路806产生的模拟致动器信号的信息。例如，致动器信号的数字版本可以指示例如模拟致动器信号的振幅或频率、致动器信号将由触觉接口电路806传输时的时间以及致动器信号的波形。触觉信号处理器816从应用814接收命令，并确定与致动器信号812相关联的参数。致动器信号812的参数除了别的以外还可以包括在致动器信号的激活之间的定时间隙、致动器信号的持续时间、致动器信号的振幅、致动器信号的波形(哪些致动器信号变成活动的)以及皮肤致动器的模式(如果皮肤致动器具有多于一种操作模式)。
触觉处理器816可以包括子模块，例如身体内错觉模块818、干涉信号处理器820和频率解码器模块822。如下面参考8B至图8G所述的，身体内错觉模块818被调用以产生使皮肤致动器产生运动或动作在身体内部出现的感觉或错觉的致动器信号812。如下面参考图9A至图9L详细描述的，干涉信号处理器820负责产生使皮肤致动器产生导致在接收用户的皮肤上的建设性或破坏性干涉的振动的致动器信号812。如下面参考图10A至图10E详细描述的，频率解码器模块822负责在操作模式中产生致动器信号812，其中语音信号216使用频率分解方案来被编码。触觉处理器816可以包括用于操作皮肤致动器以在不同模式中操作或执行额外或可选的功能的其他模块。
如图8A所示的信号发生器800仅仅是说明性的，并且可以对信号发生器800进行各种修改。例如，不是将信号发生器800体现为软件模块，信号发生器800可以被体现为硬件电路。
图8B是根据实施例示出在接收用户的身体的部分824(例如，躯干、前臂、腿、头)上产生动作或运动在接收用户的身体内出现的错觉的皮肤致动器802A、802B的示意图。在图8B的实施例中，两个皮肤致动器802A、802B位于用户的身体部分824的相对侧上。皮肤致动器802A、802B可以是任何类型的致动器，但振动触觉致动器(例如音圈和马达)更好地适于提供这些身体内错觉。
通过以预定的时间间隔激活两个皮肤致动器802A、802B，用户感知在用户的身体部分824内而不是用户的皮肤内出现的运动或动作。例如，可以产生引起错觉的感觉，例如(i)子弹或射弹从一块皮肤进入并通过皮肤的另一路径离开，(ii)虚拟致动器在身体部分内部振动，(iii)运动的中心点从一点逐渐移动到另一点，(iv)跳跃在身体部分内部出现。通过控制参数(例如激活的振幅、定时和/或顺序)可以模仿在用户的身体部分824内部的运动或动作。
可以使用多于两个皮肤致动器以产生更多样的身体内感觉。图8C是根据实施例示出用于产生在接收用户的身体824(例如，用户的头)中的振动的中心点从点834A移动到点834B的感觉错觉的三个皮肤致动器802C、802D、802E的示意图。第一皮肤致动器802C安装在顶部上，第二皮肤致动器802D附着到身体部分824的一侧，以及最后一个皮肤致动器802E附着到身体部分824的相对侧。通过以某个顺序激活皮肤致动器，可以产生在用户的身体部分824中的动作或运动的感觉。例如，通过同时激活皮肤致动器802D与皮肤致动器802C(之后是来自皮肤致动器802E的额外振动)使振动的感觉从在皮肤致动器802E、802D之间的中心点834A移动到更靠近皮肤致动器802C的另一位置834B。
图8D至图8G是根据实施例示出施加到两个皮肤致动器的致动器信号830A、830B的波形的时序图。假设致动器信号830A、830B使相应的皮肤致动器产生具有近似相同的波模式的振动。通过调节在致动器802A、802B处的振动的振幅和/或时间，可以产生各种引起错觉的感觉。
图8D示出了用于产生从具有皮肤致动器802A的一块皮肤到具有皮肤致动器802B的皮肤的另一路径的运动的感觉的波形。通过将两个皮肤致动器802A、802B的开始时间分开tp的时间距离，可以产生对象通过身体从一个皮肤致动器移动到另一个皮肤致动器的感觉。在一个实施例中，根据下列等式来设置时间距离tp：
tp＝a×d+b (1)
其中a和b是常数，以及d是振动的持续时间。振动的频率可以是20Hz到300Hz，振动的振幅可以是10dB到35dB，以及振动的持续时间可以在20毫秒和5秒之间。
图8E根据一个实施例示出了用于在皮肤致动器802A、802B之间产生虚拟致动器的感觉的波形。这是图8D的特殊情况，其中tp被设置为0。当两个皮肤致动器802A、802B同时被激活时，产生在两个皮肤致动器802A、802B之间的点处出现振动的感觉。通过控制振动的振幅，虚拟致动器的点可以移动得更靠近两个皮肤致动器802A、802B中的任一个。
以在图8C的位置834B处产生虚拟致动器以A振幅振动的感觉为例，由三个致动器802C、802D、802E产生的振动的振幅AC、AD、AE分别被设置为AC＝α×A、AD＝β×A和AE＝γxA，其中α、β和γ被确定为从皮肤致动器到虚拟致动器位置的距离rC、rD、rE的函数。在一个实施例中，如下确定α、β和γ：
α＝rC/(rC+rD+rE) (2)
β＝rD/(rC+rD+rE) (3)
γ＝rE/(rC+rD+rE) (4)
在其他实施例中，α、β和γ使用以下等式之一被确定为皮肤致动器802C、802D、802E的位置的重心坐标aC、aD、aE的函数：
AC＝aC×A；AD＝aD×A；AE＝aE×A (5)
AC＝log(aC+1)/log(Amax+1)×A；AD＝log(aD+1)/log(Amax+1)×A；
AE＝log(aE+1)/log(Amax+1)×A (6)
Figure BDA0002321951530000311
其中Amax为aC+aD+aE。
图8F根据一个实施例示出了用于产生从在皮肤致动器802A处或更靠近皮肤致动器802A的点到在皮肤致动器802B处或更靠近皮肤致动器802B的点的振动的摇移(panning)的感觉的波形。在该实施例中，致动器信号830A在时间T3达到高峰，且然后逐渐减小，直到它在时间T4(其与时间T3时间上分隔开持续时间d，该持续时间d是斜坡的持续时间)达到零为止。另一方面，致动器信号830B从时间T3开始增加，并且逐渐增加直到时间T4为止。该增加可以是线性增加。当致动器信号830A和830B被施加到皮肤致动器802A和802B时，接收用户经历振动在时间d期间从被放置有皮肤致动器802A的一块皮肤移动到被放置有皮肤致动器802B的另一块皮肤的感觉。
图8G根据一个实施例示出了用于产生从在皮肤致动器802A处或更靠近皮肤致动器802A的点到在皮肤致动器802B处或更靠近皮肤致动器802B的点的跳跃的感觉的波形。为了产生这种感觉，在致动器信号830A中发送多个脉冲以激活皮肤致动器802A。每个脉冲可以具有相同的振幅A、相同的持续时间d，并且偏移时间距离tp。随后，在致动器信号830B中发送多个脉冲以激活皮肤致动器802B。致动器信号830B的每个脉冲具有与致动器信号830A的振幅和持续时间相同的振幅和相同的持续时间。为了产生这种感觉，每个脉冲的持续时间短于100ms，并满足下面的方程：
(tp-d)＜d (8)
也就是说，在致动器信号830A、830B之间的关闭时间(tp-d)比致动器信号830A、830B的开启时间的持续时间d短。
图8H是根据一个实施例示出操作皮肤致动器以产生动作或运动在接收用户的身体内出现的错觉的方法的流程图。在身体内错觉模块818处产生840第一激活信号和第二激活信号的数字版本。可以基于来自一个或更多个应用814的命令来产生这些数字信号。
然后，第一激活信号的数字版本被转换840成模拟信号，用于通过无线或有线通信由触觉接口电路806发送到第一皮肤致动器。然后，转换后的模拟第一激活信号被发送848到第一激活致动器。作为结果，振动由第一皮肤致动器产生。
类似地，第二激活信号的数字版本被转换852成模拟信号，用于通过无线或有线通信由触觉接口电路806发送到第二皮肤致动器。然后，转换后的模拟第二激活信号被发送856到第一激活致动器。作为结果，振动由第二皮肤致动器产生。第一和第二皮肤致动器可以被放置成用户的身体的一部分在第一和第二皮肤致动器之间，并且皮肤致动器的振动的振幅或定时被调节，以便产生在用户的身体内的动作或运动的错觉。
图8所示的过程及其顺序仅仅是说明性的，且可以做出各种修改。例如，到第二激活信号的模拟信号的转换可以在将模拟第一激活信号发送到第一皮肤致动器之前出现。可选地，到第一和第二激活信号的模拟信号的转换可以并行地出现。
由本文描述的由实施例提供的在用户的身体部分内的运动或动作的感觉或错觉可以增强应用(例如视频游戏)的沉浸性。此外，可以采用这种感觉或错觉来扩大词汇量和/或增加触觉通信的带宽。这种错觉可能产生用于导航目的和对象交互的指导性和方向性提示。身体内部的错觉可以具有医疗应用，并可以用于按摩头部以减少头痛并减少晕动病和平衡障碍。
使用触觉输出的干涉的触觉通信系统
实施例还涉及通过使用两个或更多个皮肤致动器以在接收用户的皮肤上创建建设性或破坏性干涉图案来增强触觉通信。两个或更多个皮肤致动器的致动器信号被成形并产生，使得两个或更多个皮肤致动器使在接收用户的一块皮肤上的振动在不同位置处增加或减少。以这种方式，可以实现触觉通信的各种增强，包括但不限于(i)振动的提高的空间分辨率，(ii)虚拟皮肤致动器的创建，以及(iii)提供额外编码方案用于在振动中嵌入信息。
当使用多个主皮肤致动器时，来自一个主皮肤致动器的振动可以传播到在其他主皮肤致动器所位于的地方附近的接收用户的皮肤的区域。因为来自一个主皮肤致动器的振动的这种过度传播可能使接收用户对于由其他主皮肤致动器产生的振动感到困惑，所以主皮肤致动器以足够的距离间隔开以防止困惑。实施例提供了一种通过在辅助致动器处产生反向振动来防止或减少振动的过度传播的机制，其中辅助致动器以相反的相位和较低的振幅振动。
图9A是根据一个实施例示出使用辅助皮肤致动器904A、904B来增强来自主皮肤致动器902的振动的定位的示意图。主皮肤致动器902具有放置在主皮肤致动器902的左侧和右侧处的两个相邻的辅助皮肤致动器904A、904B。所有三个致动器902、904A、904B可以被放置在基板906上或者在接收用户的一块皮肤上的其他安装机构上。
主皮肤致动器902是在基板906上产生主振动以经由它产生的振动来向接收用户提供触觉通信的致动器。为此目的，主皮肤致动器902从触觉接口电路806接收它的致动器信号812，如由干涉信号处理器820所定义的(参考图8A)。曲线908示出了由主皮肤致动器产生的在x方向(水平方向)上传播的主振动的振幅。
辅助致动器904A、904B产生反向振动以定位主皮肤致动器902的振动。反向振动相对于由主皮肤致动器902产生的振动具有相反的相位(即，在辅助致动器904A和904B的位置处的180度异相)。曲线910A、910B示出了反向振动沿x方向的传播。辅助致动器904A、904B可以小于主皮肤致动器902。
当主皮肤致动器902的振动和反向振动相互作用时，破坏性干涉在振动和反向振动之间出现。如由区域2中的曲线914所示的，作为干涉的结果的组合振动相对于主振动(被示为曲线908)具有减小的振动范围和峰值振幅。尽管如由曲线912A、912B所示的反向振动由于与主皮肤致动器902的振动的建设性干涉而倾向于在区域1和区域3中沿另一距离传播，但反向振动的振幅可以在低于接收用户的感觉阈值处。因此，来自辅助致动器904A、904B的反向振动定位主皮肤致动器902的主振动，并增加触觉通信的空间分辨率。此外，可以结合使用其他机构(例如提供阻尼器或使基板906在区域2以外的区域中变得更厚)以减少反向振动的传播。
尽管图9A的实施例为了解释起见示出了在沿x方向的相对侧处的辅助致动器904A、904B，但实际上多于两个辅助致动器可以在主皮肤致动器902周围。此外，辅助皮肤致动器可以具有与主皮肤致动器相同的尺寸，或者辅助皮肤致动器可以具有不同的尺寸。
图9B是根据一个实施例示出皮肤致动器918A至918C以增强多个皮肤致动器的振动的定位的示意图。除了所有三个致动器都是产生用于由接收用户感测的振动的主皮肤致动器以外，图9B的实施例与图9A的实施例相同。在图9B的示例中，分别表示由皮肤致动器918A、918B、918C产生的振动的曲线920A、920B、920C具有相同的形状，表示它们都具有相同的峰值振幅。
皮肤致动器918A至918C的操作原理与图9A的实施例相同。侧皮肤致动器918A、918C相对于由中心皮肤致动器918B产生的振动，产生在相位上相反(180度异相)的振动。然而，不是依赖于具有较小振幅的反向振动，图9B的实施例依赖于在相邻皮肤致动器的振动之间的破坏性干涉来增加与中心皮肤致动器918B相关联的空间分辨率。
如图9B所示，节点N1和N2(其中组合振动的振幅由于振动的破坏性干涉而变为零)出现在区域D内。也就是说，来自中心皮肤致动器918B的振动不传播出区域D之外，增加了空间通信的空间分辨率。
除了其他原因以外，图9B的实施例是有利的，因为没有单独的辅助皮肤致动器被使用以及没有微调辅助皮肤致动器的操作参数(例如，反向振动的振幅和相位)的需要。
尽管为了解释起见使用在水平方向上对齐的三个皮肤致动器解释了图9B的实施例，但是相同的原理可以扩展到二维模式。图9C是根据一个实施例示出皮肤致动器923A至923I的网格结构的示意图。在图9C中，皮肤致动器923E、923F由6个其他皮肤致动器包围。当两个相邻的皮肤致动器被激活时，它们可以产生相反相位的振动以定位它们的振动。
在多个皮肤致动器处产生的振动的建设性干涉可以用于创建虚拟致动器。图9D是根据一个实施例示出当皮肤致动器924A被激活时由接收用户感知的振动的示意图。在图9D中，由皮肤致动器924A产生的振动的振幅高于可以由接收用户感测的阈值。用户将感测在皮肤致动器924A周围的区域R1中的振动。区域R1将根据振动的振幅而变宽或变窄。当其他皮肤致动器924B、924C、924D被单独地激活以产生高于感觉阈值的振动时，接收用户将感测在致动器周围的相应区域中的振动。
当皮肤致动器(例如，924A)被微弱地激活使得所产生的振动不超过感觉阈值时，接收用户将不会感测到振动。然而，当多个皮肤致动器协力地操作以在同一相位处产生振动时，在振动之间的建设性干涉将产生振动的振幅高于感觉阈值的区域。例如，图9E是根据一个实施例示出当四个皮肤致动器924A至924D被激活以产生低于感觉阈值的振动时由接收用户在区域R2处检测到的振动的示意图。由皮肤致动器924A至924D产生的振动在相同相位中，且因此振动的建设性干涉在R2区域的中心中产生最大振幅，好像皮肤致动器在R2区域的中心处操作一样。
通过选择性地操作皮肤致动器924A至924D和/或控制所产生的振动的振幅，所感知的振动的中心位置可以四处移动。以这种方式，可以创建虚拟皮肤致动器以给出提供比物理皮肤致动器的数量更多的皮肤致动器的感觉。
通过向皮肤致动器提供随时间的推移而逐渐变化的致动器信号，可以产生虚拟运动。通过使用与虚拟皮肤致动器相同的原理但改变致动器信号的振幅，所感知的振动的中心位置可以随时间的推移而移动。这产生了虚拟皮肤致动器在路径上物理地移动的感觉。
图9F是根据一个实施例示出致动器信号812A至812D的波形以引起虚拟运动的感觉的示意图。致动器信号812A、812B、812C、812D分别被馈送到皮肤致动器924A、924B、924C、924D。致动器信号812A和812C具有相同的模式(尽管信号812A和812C彼此异相180度)，而致动器信号812C和812D具有相同的模式(尽管信号812C和812D彼此异相180度)。
图9G是根据一个实施例示出由图9F的波形创建的虚拟运动的示意图。当致动器信号812A至812D被馈送到皮肤致动器924A至924D时，产生振动的两个中心点。振动彼此成180度相位，并由具有零振幅的区域分隔开。中心点在顺时针方向上旋转，产生虚拟移动的感觉。
在图9G的实施例中，振动的中心位于四个皮肤致动器924A至924D之外。可以在皮肤致动器的阵列的维度之外产生感觉。除了其他原因之外，这是有利的，因为紧凑的触觉设备可以用于在更大的区域上提供振动感觉。
通过应用皮肤致动器阵列的不同波形和不同配置，可以体现各种虚拟运动。
图9H是根据一个实施例示出在不同频率的情况下应用的两个皮肤致动器904A、904B的放置的示意图。通过使施加到皮肤致动器的频率不同，不同频率的拍频模式可以由在皮肤致动器所产生的振动之间的干涉产生。这种拍频模式可以用于编码用于触觉通信的信息。
图9I是根据一个实施例示出当两个皮肤致动器904A、904B产生相同频率的振动时的振动模式的示意图。图9G的垂直轴表示离在两个皮肤致动器904A、904B之间的中心的距离D，以及水平轴表示时间。如图9I所示，当两个致动器产生相同频率的振动时，没有观察到明显的拍频模式。
图9J和图9K是根据一个实施例示出当两个皮肤致动器904A、904B产生不同频率的振动时的振动模式的示意图。特别地，图9J示出了当皮肤致动器904A产生具有249Hz的频率(f1)的振动并且皮肤致动器904B产生具有250Hz的频率(f2)的振动时的振动模式。如图9J所示，作为结果而产生的振动模式包括较低频率的拍频模式。图9K示出了当皮肤致动器904A产生具有245Hz的频率(f1)的振动并且皮肤致动器904B产生具有250Hz的频率(f2)的振动时产生的振动模式。当差异增加时，因而产生的振动表现出更高频率的拍频模式。
因此，通过运用由在皮肤致动器904A、904B的振动之间的频率差中的差异产生的变化的拍频模式，用于触觉通信的信息可以被嵌在振动中。
图9L是根据一个实施例示出为了增强的触觉通信而使用来自至少两个皮肤致动器的振动的干涉的流程图。在接收关于触觉信息的指令以传送给接收用户之后，干涉信号处理器820确定940多个致动器信号的相位和振幅。为此目的，干涉信号处理器820可以参考接收用户的感觉阈值、皮肤致动器阵列的配置以及接收用户的偏好或设置。
基于干涉信号处理器820的确定，触觉接口电路806产生944致动器信号。这种过程可以包括基于来自干涉信号处理器820的指令来执行数模转换。
然后，所产生的致动器信号被发送948到相应的皮肤致动器以在接收用户的一块皮肤上引起振动的建设性或破坏性干涉。
图9L所示的过程仅仅是说明性的，并且可以对该过程进行各种修改。例如，产生944致动器信号可以与所产生的致动器信号的发送948并行地被执行。
在触觉通信系统中选择性地使用优势频带
实施例还涉及使用语音的频率分解来执行触觉通信，其中语音的优势频率被检测到，且然后被发送到信号发生器以启动映射到优势频率的致动器。将语音的数字化版本分割成多个帧，且然后从每个帧检测预定数量的优势频率。优势频率被发送到信号发生器，使得对应于优势频率的致动器被激活一段时间。激活时间段可以对应于该帧或者比该帧更短或更长。
语音的声学结构由在声道中的共振产生的频谱中的多个峰值(即，共振峰)进行表征。对于许多音素、尤其是元音，这些共振峰是语音的主要信息承载特征之一。在频率分解算法中，相邻频带被映射到在皮肤上的空间上相邻的皮肤致动器。考虑到皮肤的差的空间分辨率和差的强度可分辨性，接收用户很难识别具有最大强度的皮肤致动器的位置，尤其是当相邻致动器还由于在频谱中的共振峰的通常宽的肩而被激活时。实施例识别具有局部最大值的频率，并且相应的皮肤致动器被激活，而其他皮肤致动器不被激活。以这种方式，通过皮肤致动器的激活，为每个独特的共振峰模式呈现更清晰的独特触觉签名。这种方法可以单独地或者在混合系统中被使用，其中元音(即，突出共振峰结构)和/或非元音被编码。
图10A是根据一个实施例使用选择性优势频率来执行频率分解的语音源318的框图。语音源318通过使用频率分解来处理(例如，从诸如麦克风1002的源接收的)话音信号而产生语音信号216。如上面参考图3和图8所述的，语音信号216可以通过网络260直接地或经由社交网络系统228发送到接收设备268(包括例如信号发生器800)，用于对致动器信号812解码和产生致动器信号812。语音源318除了别的部件以外还可以包括麦克风1002、噪声滤波器1004、模数(AD)转换器1008和频率分解(FD)编码器1010。
麦克风1002是用于捕获发送用户的话音的硬件部件。代替麦克风1002，语音源可以包括其他语音源，例如存储介质(例如，CD或DVD播放器)或从文本产生话音信号的语音合成器。麦克风1002响应于检测到发送用户的话音而产生以模拟格式的话音信号1030。
噪声滤波器1004接收话音信号1030，并使用电路部件来执行滤波以产生经滤波的话音信号1032。噪声滤波器1004可以使用在未来将被发展的各种众所周知的一项或多项技术来减少噪声并放大与发送用户的话音对应的话音信号1030的频率分量。
AD转换器1008接收经滤波的话音信号1032，并将它数字化以产生话音信号的数字版本1034用于由FD编码器1010进一步处理。为此目的，AD转换器1008包括用于对经滤波的话音信号1032进行采样并量化采样后的话音信号的部件。
FD编码器1010使用优势频率来执行数字化话音信号1034的频率分解，并作为结果而产生语音信号216。FD编码器1010除了别的部件以外还可以包括处理器1012、信号接口1022、网络通信模块1024、存储器1013和连接这些部件的总线1011。尽管FD编码器1010在图10A中被示为能够进行各种操作的微处理器，但是FD编码器1010可以被体现为用于执行频率分解的专用硬件电路。
处理器1012读取并执行例如存储在存储器1013中的指令。尽管在图10A中示出了单个处理器，但是可以并行地使用多个处理器。在一些实施例中，处理器1012是专门为数字信号处理而设计的电路。
信号接口1022是用于从AD转换器1008接收数字化话音信号1034的接口电路。信号接口1022可以使用众所周知的串行或并行总线方案来接收数字化话音信号1034和/或其他信号。
网络通信模块1024包括格式化语音信号216并将语音信号216发送到信号发生器800的硬件电路。语音信号216包括帧信息和优势频率信息。网络通信模块1024除了别的操作以外还可以执行将帧信息和优势频率信息打包用于传输到信号发生器800。
存储器1013是存储软件模块的非暂时性计算机可读存储介质。存储器1013除了别的模块以外还可以存储帧分离器1016、快速傅立叶变换(FFT)模块1018和峰值选择器1119。存储器1013可以包括在图10A中所示的其他软件部件，例如操作系统(OS)。
帧分离器1016将数字化话音信号1034分成帧。图10B是根据一个实施例示出将数字化话音信号1034分成多个帧FR1到FRN的示意图。例如，当对数字化话音信号1034使用44.1kHz采样率时，每个帧可以包括对应于23.2ms的1024个样本。帧长度可以足够长，使得足够的频率分辨率被保持，但足够短使得信号可以在帧的持续时间内被视为在统计上稳定的(即，足够短，使得信号的统计量是近似恒定的)。此外，对于数字信号处理，使用样本数是2的幂的帧长度比较方便。如图10B所示，帧可以重叠(例如，在相邻帧之间的50％重叠)。
FFT模块1018对在时域中的每个帧的数字化话音信号的一部分执行到频域的快速傅立叶变换。作为FFT的结果，在相应帧上的数字化话音信号的部分的近似功率谱被得到。信号功率聚集在频谱中的相对少数量的位置上，这些位置对应于语音共振峰。细微的波动部分地是由于数值伪影引起的，但这些并不影响优势频率，且因此没有另一技术被应用来减少伪影。图10C是根据一个实施例示出快速傅立叶变换的结果的曲线图。在其他实施例中，除了FFT之外的频谱估计技术可以用于将时域中的数字化话音信号的部分变换到频域。
在一个实施例中，峰值选择器1019将在感兴趣频率范围(例如，200Hz-8.4kHz)之外的频域频谱的部分设置为零。然后，识别在频域频谱中的最高峰值振幅(即，第一优势频率)的频率位置。在识别出该位置之后，将峰值周围+/-400Hz的窗口设置为零，以便忽略在所识别的峰值的400Hz内的任何相对峰值振幅。识别下一个最高峰值(即，第二优势频率)，并且将下一个最高峰值振幅周围+/-400Hz的窗口设置为零。重复相同的过程以识别预定数量的峰值或优势频率。图10D根据一个实施例示出了优势频率的五个峰值N1至N5。帧号和在帧中的相应的优势频率和振幅作为语音信号216由网络通信模块1024发送到信号发生器800。
频域频谱被分成在下截止频率和上截止频率(例如，分别为200Hz和8.4kHz)之间的多个通道(例如，32个通道)。在一个实施例中，通道在1kHz之下被线性地间隔开，并在1kHz之上被对数地间隔开。上面识别的每个峰值与具有最接近的中心频率的通道相关联。
在信号发生器800接收语音信号216之后，频率解码器模块822(参考图8A)提取帧号和相应的优势频率。频率解码器模块822可以执行预处理以增强触觉通信。预处理可以包括例如调整语音信号216的回放时间。在一个实施例中，帧的持续时间在频率解码器模块822处被保持，使得在语音源318处的帧和在信号发生器800处的帧具有相同的持续时间。在信号发生器800处的帧可以连续地被播放，因此在输入帧上的非零重叠导致在输出上的比实时慢的回放。可选地，可以在输出上保持重叠的程度，或者可以使用不同的任意数量的重叠。可选地，可以使输出帧长度不同于输入帧长度。此外，可以实现连续输出帧回放的平均化。通常，回放速率可以比原始记录速率慢或快。
频率解码器模块822还确定待被激活的皮肤致动器802。每个皮肤致动器可以被映射到某个通道，并且当语音信号216指示对应于该致动器的优势频率存在于帧中时，致动器可以在呈现帧的时间期间被激活。在一个实施例中，用与优势频率的相应峰值的振幅成比例的强度来驱动皮肤致动器802。在另一个实施例中，用与优势频率的相应频谱峰值的振幅无关的固定强度来驱动皮肤致动器802。
尽管上述实施例将语音源318和信号发生器800描述为远离彼此被定位，但语音源318可以与信号发生器800位于同一位置上，并经由有线或短距离通信进行通信。此外，语音源318和信号发生器800可以被体现为单个设备。
图10E是根据一个实施例示出在接收用户1050上放置皮肤致动器用于使用频率分解来再现话音信号的示意图。信号发生器800向皮肤致动器802A至802N输出致动器信号812A至812N，其中每个皮肤致动器对应于优势频率的通道(如上面参考图10D所述)。
在图10E的实施例中，第一通道具有387.6Hz的中心频率，并且被映射到靠近左手腕的皮肤致动器。第二通道具有689.1Hz的中心频率，并且被映射到离第一通道大约一英寸的皮肤致动器，该皮肤致动器被更近地放置在左臂上。通道16被映射到在左肩附近的皮肤致动器。通道17被映射到在右手腕附近的皮肤致动器，并且逐渐更高的通道更近地出现在更高的位置处，通道32在右肩附近。
此外，在图10E的实施例中的通道中的每一个具有以kHz为单位的下列中心频率：0.3876、0.6891、0.9905、1.2920、1.4212、1.5073、1.6365、1.7657、1.8949、2.0241、2.1964、2.3256、2.4979、2.6701、2.8424、3.0577、3.2730、3.4884、3.7037、3.9190、4.1774、4.4358、4.7373、4.9957、5.3402、5.6417、5.9862、6.3308、6.6184、7.1490、7.2366和8.0104。在语音信号216中的每个优势频率被映射到具有最接近的中心频率的通道。
图10F是根据一个实施例示出使用选择性优势频率来执行触觉通信的过程的流程图。语音源318从源接收话音信号，且然后产生1062数字化语音信号。数字化语音信号被分割1064成多个帧。
然后通过对每个帧执行1066快速傅立叶变换来处理所分割的帧。然后，语音源318在FFT的结果中检测1068具有最高峰值振幅的预定数量的优势频率。除了FFT之外的频谱估计技术可以应用于语音源318以产生频域频谱。语音源318向信号发生器800发送1070优势频率信息和帧信息作为语音信号。
信号发生器800从语音源318接收1072优势频率信息和帧信息。然后，信号发生器800通过调整帧的长度、顺序或重叠来预处理1074优势频率信息和帧信息。
信号发生器800还基于优势频率到致动器的映射来产生1076致动器信号。然后，所产生的致动器信号从信号发生器800传输1078到皮肤致动器。
如在图10F中描述的顺序和过程仅仅是说明性的，并且可以进行各种修改。例如，代替对数字化语音执行分割1064，可以分割模拟信号，且然后可以在其后执行数字化。此外，预处理1074可以与致动器信号的产生1076并行或同时地被执行。
使用触觉符号集的触觉通信系统
实施例还涉及触觉符号集，该触觉符号集指定要从语言(例如英语)的输入词产生的触觉信号的序列。如上面所提到的，可以使用各种方法来将词的输入序列转换成触觉信号的输出序列。在一个实施例中，触觉信号基于词的输入序列的音素。
图11A根据一个实施例示出具有皮肤致动器的示例性触觉设备1102，示例性触觉设备1102可以用于基于输入词的序列来向接收用户传输触觉错觉信号的序列。触觉设备1102包括束带1103，在束带1103上附着有皮肤致动器1104的二维阵列，如上所述，皮肤致动器1104接触用户的前臂1101的皮肤并且能够在用户的前臂上施加振动。每个皮肤致动器1104还可以包括橡胶顶端1105。
束带1103将皮肤致动器1104面向在前臂1101的背侧上的皮肤固定到固定位置。束带1103当适配在接收用户的前臂1202上时可以缠绕接收用户的前臂1202。束带1103可以由弹性或非弹性织物(例如人造丝、尼龙、泡沫材料、橡胶、聚合物、棉布等)的任何组合制成。束带1103还可以包括由塑料、金属或其他刚性材料制成的刚性构件，以便为束带1103提供结构支撑，以保护嵌在束带1103中的敏感部件或者使束带1103固定在用户的前臂1101上的某个位置处。在一个实施例中，束带1103包括订做的刚性构件，其根据平均身高和体形以及特定年龄(和性别)的人的手腕的形状来与轮廓相合。束带1103围绕该订做的刚性构件被构建，使得束带1103的佩戴者在某个位置上佩戴束带1103，该位置使订做的刚性构件符合接收用户的手腕的形状的轮廓。如果束带1103被佩戴在任何其他位置上，则订做的刚性构件可能对接收用户引起不适，因为它在该位置上与用户的臂的轮廓不匹配。因此，束带1103可以被设计成仅被佩戴在有限数量的位置上，这又在每次束带1103由接收用户佩戴时使皮肤致动器1104在相似的位置上(在距离的阈值范围内)。代替刚性构件，在其他实施例中，非刚性构件(例如较厚的织物(例如，超过1cm)、织物裁剪品(fabric cutout)等)可以用来实现相同的效果。作为示例，束带1103可以被配置成使得皮肤致动器1104的二维阵列在近侧方向上被放置在离用户的手腕2cm处，并且使得皮肤致动器1104的二维阵列居中地位于用户的前臂1101的背侧上。此外，代替用户的手腕，用户的前臂(或用户的身体)的任何另一解剖特征可以替代地用作界标以固定触觉设备。
束带1103还可以是可调整的，使得它的尺寸可以被改变以变得与用户的前臂1101形状配合。这可以用带子来实现，该带子将束带1103的一部分与另一部分连接起来并且可以是在长度上可调整的或者在带子的一个表面上包括可移除地可附着的材料(例如尼龙搭扣)，以便沿着带子的不同点将带子附接到束带1103。这使束带的尺寸(例如它的直径)改变，并允许束带1103与用户的前臂1101形状配合。可选地或组合地，束带1103可以包括弹性材料，该弹性材料使得束带压靠在用户的前臂1101上，但是当用户最初将束带1103放在他或她的前臂1101上时也允许扩展。
附着到束带1103的可以是信号发生器(未示出)，例如信号发生器800，以便产生被传输到皮肤致动器1104的致动器信号272。在一个实施例中，信号发生器产生表示输入词的音素的致动器信号的序列。以这种方式，用户在训练后能够通过触觉反馈而不是词的音频或视觉传输(例如，通过语音或书面词)来理解音素。这对于使用音频或视觉手段进行通信可能有困难的用户来说是明显有利的，并且在这种音频或视觉通信不可用的情况下(例如在具有低可用光的嘈杂环境(例如，搜索和援救操作)中)也是有用的。下面参考图11B至图11J描述关于致动器信号的这些序列的额外细节。
皮肤致动器1104产生可以由用户的前臂的皮肤感测的触觉输出(例如，振动)。在一个实施例中，皮肤致动器1104面向用户的前臂的皮肤被放置在束带1103的内表面上。如在这里所使用的，皮肤致动器1104可以指单个皮肤致动器1104或皮肤致动器1104的二维阵列，其如所示附着到束带1103。由皮肤致动器1104中的每一个产生的触觉输出可包括力或压力或可以由用户的皮肤感测的其他输出，例如电刺激、温度刺激(例如，热)、负压力(例如，吸力)、振动输出、剪切运动刺激等。皮肤致动器1104可以类似于上述皮肤致动器，例如皮肤致动器108、208和802。皮肤致动器1104以二维阵列布置在束带1103上并且它们的定向使得产生触觉输出的皮肤致动器1104的激活使感觉由用户感测到。在皮肤致动器1104提供力感觉(例如，压力)的情况下，皮肤致动器1104被布置成使得由皮肤致动器1104产生的力感觉指向用户的皮肤。
皮肤致动器1104从信号发生器或其他设备接收致动器信号1111，并且响应于接收到致动器信号1111而产生触觉输出。可以在从接收到致动器信号起的阈值响应时间(例如，10ms)内产生触觉输出。当皮肤致动器1104产生触觉输出时，它被激活，从非激活状态转变。此外，皮肤致动器1104可以具有在阈值间隔(例如，1ms)内的斜升和斜降间隔。这是皮肤致动器1104从非激活状态转变到完全激活状态所需的时间。如上面所提到的，皮肤致动器1104可以具有多种类型，包括音圈、线性谐振致动器(LRA)、偏心旋转质量致动器、压电致动器、电活性聚合物致动器、形状记忆合金致动器、气动致动器、微射流致动器和声学元表面致动器等。由信号发生器产生的致动器信号使得该信号将基于皮肤致动器1104的类型来激活皮肤致动器1104，并且可以包括信号以及驱动皮肤致动器1104所需的功率两者。通过向用户提供触觉输出的序列，触觉设备1102能够产生可以由接收用户识别(即，感测)的模式并且允许用户从模式中辨别信息。下面参考图11B至图11J描述关于产生触觉输出的该序列的额外细节。
尽管在图11C、图11D和图11H中示出了皮肤致动器1104的2×6阵列，但是该配置仅仅是为了说明的目的，并且在其他实施例中皮肤致动器1104的阵列可以包括更少或更多的皮肤致动器1104，并且可以以不同的方式(例如，3×6)被排列。皮肤致动器1104可以布置在不同于图11C、图11D和图11H所示的规则图案的非规则图案中。替代地，皮肤致动器1104的布置可以是任意的。
在一个实施例中，皮肤致动器1104各自包括可以接触皮肤的单个橡胶顶端1105。当相应的皮肤致动器1104产生触觉输出时，每个橡胶顶端1105可以接触用户的皮肤。这可以因为皮肤致动器1104将橡胶顶端1105推向用户的皮肤而出现。当橡胶顶端1105接触用户的皮肤时，这使用户感觉到一种感觉(例如，触摸感觉)。橡胶顶端1105可以减小皮肤致动器1104与皮肤的接触面积，并且聚焦由皮肤致动器1104提供的触觉输出。它们可以具有1cm的直径。
图11B是根据实施例示出用于将输入词1106转换成致动器信号1111以激活皮肤致动器1104的系统的部件的框图。这些部件可以作为计算机可读指令存储在存储器(例如存储器813)中。在另一个实施例中，使用专用硬件(包括处理器和存储器)来单独地实现这些部件。
输入词1106是任何口头语言(例如英语)中的词。因此，因为输入词1106可以被说出，输入词1106可以被转换成音素，音素可以例如由国际音标(IPA)表示。例如，词“语言(language)”可以被转换成音素序列
Figure BDA0002321951530000461
词-触觉信号转换器1107是确定性有限状态机，其接受输入词1106并且为非同音异义输入词1106的每个序列输出输出致动器信号1111的唯一序列。如果输入词1106的两个序列是彼此的同音异义，则词-触觉信号转换器1107将为这两个序列产生致动器信号1111的相同序列。词-触觉信号转换器1107包括词-音素转换器1108、音素-触觉信号转换器1109和音素-触觉信号数据库1110。在一个实施例中，词-音素转换器1108可以是在信号发生器(例如信号发生器800)中的部件。
词-音素转换器1108将输入词转换成音素的序列。词-音素转换器1108的输出可以是标准音标(例如IPA)的形式，或者可以是另一种格式，例如压缩的音标，其被压缩以具有表示在输入词1106的相应语言中的音素的多个语音符号，这些语音符号对应于在该语言中的可用音素的总数。词-音素转换器1108可以基于词-音素序列数据库或者使用一组规则以将字母转换成声音来将词转换成音素。这些规则考虑在输入词1106中的字母的上下文以产生该词的近似语音拼写。在一些情况下，输入词1106可以由多个单独的词组成，并且虽然输入词1106在词-音素序列数据库中没有对应关系，但单独的子部分有对应关系。词-音素转换器1108可以搜索在词-音素序列数据库中的未被识别的输入词1106以找到被识别出的子部分，并且如果被识别出，则词-音素转换器1108可以将单独的子部分转换成它们的语音对应物。
音素-触觉信号转换器1109使用音素-触觉信号数据库1110来将从词-音素转换器1108接收的音素转换成致动器信号1111。对于从词-音素转换器1108接收的每个音素，音素-触觉信号转换器1109访问音素-触觉信号数据库1110以确定要输出的致动器信号1111的相应序列。在一个实施例中，每个音素具有存储在音素-触觉信号数据库中的致动器信号1111单个对应的序列。然而在其他实施例中，对应于音素的致动器信号1111取决于词中的音素周围的其他音素。在这种情况下，音素-触觉信号转换器1109可以在音素-触觉信号数据库1110中搜索音素，但也搜索这样的音素：其具有它的紧接着前面的音素、它的紧接着后面的音素以及包括紧接着前面的音素、音素本身和紧接着后面的音素的序列。如果音素-触觉信号转换器1109识别出在音素-触觉信号数据库1110中的多个匹配，则音素-触觉信号转换器1109可以基于该音素的优先级规则来选择一个匹配，或者可以使用默认规则，例如首先选择匹配所有三个音素的匹配，然后选择匹配该音素及它的前一音素的匹配，以及然后选择匹配该音素和后一音素的匹配，等等。例如，词“苹果(apple)”具有包括音素“ae”、“p”、“ah”和“1”的
Figure BDA0002321951530000471
的语音转换。在这种情况下，音素-触觉信号数据库1110中的匹配可以指示前面是“ae”的音素“p”应该导致与在任何其他场景中的音素“p”不同的致动器信号1111的对应序列。在这种情况下，不同的致动器信号由音素-触觉信号转换器1109选择，用于与检测到“p”音素相对应地输出。
注意，所产生的致动器信号1111的序列并不仅仅基于要依次激活哪些皮肤致动器1104而被模式化。替代地，致动器信号1111的序列也可以被模式化使得在序列中的每个致动器信号1111可以具有不同的持续时间、振动频率等。此外，不存在与其他致动器信号1111结合的致动器信号1111也可以来指示对应于音素的特定序列。因此，信号的持续时间、频率和信号的缺乏都可以促成表示不同音素的致动器信号1111的不同序列。另外，致动器信号1111可以不仅仅是二元的(例如，开和关)，而且可以替代地是可变的，允许皮肤致动器1104的触觉输出在强度上变化并且允许触觉输出遵循复杂的模式和波形。
由词-触觉信号转换器1107输出的致动器信号1111被传输到皮肤致动器1104。每个致动器信号1111在一段持续时间内(以及在一些实施例中，针对特定强度、频率等)激活皮肤致动器1104中的一个。在皮肤致动器1104接收到它的致动器信号1104的点处，该皮肤致动器1104激活。当相同的致动器信号1111停止时，皮肤致动器1104停用。可选地，致动器信号1111是数字的，因为它们传输指定皮肤致动器1104的指定持续时间和开始时间(以及上述其他因素，例如频率)。该数字信号由处理器或由皮肤致动器1104本身来转换，并且随后根据数字信号中的规范来激活相应的皮肤致动器1104。这些致动器信号1111的序列可以产生独特的模式，其可以由用户从致动器信号1111的其他序列来识别和区分。以这种方式，输入词1106的音素可以经由词-触觉信号转换器1107被转换成触觉感觉。
注意，词-触觉信号转换器1107还能够针对非词输入(例如标点符号、数字、符号和可以在语言中使用的其他文本元素)产生致动器信号1111的序列。这些元素的致动器信号的序列也可以存储在音素-触觉信号数据库1110中。
下面参考图11C至图11I描述特定致动器信号1111的一组示例以及在音素和致动器信号之间的示例对应关系的描述。
图11C根据实施例示出了来自单个致动器信号的单个皮肤致动器的触觉输出的示例。在所示的示例中，在单个致动器信号的输入之后，触觉输出由单个皮肤致动器1112产生。单个致动器信号是致动器信号1111的最小单位，单个致动器信号单独地能够在传输到皮肤致动器1104时引起在皮肤致动器1104中的变化。在一个实施例中，由单个致动器信号引起的触觉输出由图11C中的曲线图表示，该曲线图绘制了触觉输出(不管它是力、振动、压力还是上面所述的任何其他类型的感觉)的强度相对于时间1106的关系曲线。在该实施例中，单个触觉输出具有发起(attack)1113、持续时间1114和衰减1115。发起1113出现在触觉输出的强度“斜升”或增加的地方。在触觉输出是由单个皮肤致动器1112基于力的输出的情况下，发起1113指示力不立即增加到最大水平，但到最大强度水平的增加在一段时间内出现。在达到(如由致动器信号1111指定的)最大强度水平之后，最大强度水平在持续时间1114内被保持。该持续时间也可以由致动器信号1111指定。随后，致动器信号1111指示强度应该返回到基线(例如零)。因此，触觉输出进入衰减1115，其中在最大水平处的触觉输出的强度和达到基线值的触觉输出的强度之间存在时间间隔。在一个实施例中，该单个触觉输出表示输入词1106的辅音音素。因此，如果在输入词中遇到辅音音素，则所输出的相应致动器信号1111使相应的单个皮肤致动器产生可以类似于图11C所示的触觉输出的触觉输出，即指定持续时间并且到达最大强度水平的单次激活。
图11D根据实施例示出了来自两个致动器信号的序列的两个皮肤致动器的触觉输出的示例。虽然图11C示出了使单个皮肤致动器产生触觉输出的单个致动器信号，但是11D示出了使两个不同的皮肤致动器中的每一个产生触觉输出的两个致动器信号的序列。每个致动器信号被传输到不同的皮肤致动器1104。在所示的示例中，致动器信号之一被传输到第一皮肤致动器1117，而致动器信号中的另一个被传输到第二皮肤致动器1118(选定皮肤致动器由粗体轮廓线指示)。两个致动器信号被调制，使得第一皮肤致动器1117的触觉输出在时间上出现在第二皮肤致动器1118的触觉输出之前。第二皮肤致动器1117的触觉输出的发起1123部分在时间上在第一皮肤致动器的发起1119部分之后的刺激发作异步(SOA)1122延迟时间处出现。在一个实施例中，该SOA是0.17xD+65，其中D指第一皮肤致动器1117的触觉输出的持续时间1120的长度，并且0.17和65都是修改持续时间值的常数。因此，SOA时间段是触觉输出的持续时间的函数。在两个不同的皮肤致动器处出现两个不同触觉输出的结果是，用户经历在两个致动器之间的运动，其看起来是在两个致动器之间且特别是从第一皮肤致动器1117到第二皮肤致动器1118的平滑行程运动。
在一个实施例中，这个“两点”触觉输出表示输入词1106的元音音素。因此，如果在输入词中遇到元音音素，则所输出的致动器信号1111的相应序列使两个不同的皮肤致动器产生两个不同的触觉输出，这两个不同的触觉输出由可以类似于这里在图11D中所示的时间延迟分隔开。
图11E根据实施例示出了不同持续时间的触觉输出的示例。除了分别在图11C和图11D中所示的单个和两点触觉输出(其中对触觉输出所示的持续时间是相同的)之外，在其他实施例中由皮肤致动器1104从致动器信号1111产生的触觉输出可以具有不同的持续时间。例如，如图11E所示，具有发起1125和衰减1127的触觉输出之一具有较长的持续时间1126(例如，400ms)，在较长的持续时间1126中触觉输出的强度在最大水平处(即，在发起1125之后并在衰减1127之前)，并且具有发起1128和衰减1130的另一触觉输出具有相对较短的持续时间1129(例如，150ms)，在相对较短的持续时间1129中触觉输出在最大水平处。像单个和两点触觉输出一样，图11E所示的具有不同持续时间的触觉输出可以用来表示输入词1106的不同音素。例如，虽然两点触觉输出可以表示短元音音素，但是每个触觉输出具有较长的持续时间的两点触觉输出还可以用于表示长元音音素。
图11F根据实施例示出了不同频率的触觉输出的示例。除了上述单个、两点和不同持续时间触觉输出之外，在其他实施例中，由皮肤致动器1104从致动器信号1111产生的触觉输出可以具有重复模式(例如波形)，该模式以不同的频率重复。图11F示出了低频率1131模式和高频率1133模式。高频率1133模式以比低频率1131模式更高的频率重复。在所示的示例中，低频率模式的持续时间1132也比高频率1133模式的持续时间1134长，然而，情况并不总是需要是这样。如果触觉输出是可以被表示为波形的振动，那么在波形中的每个模式的持续时间可以被认为是波长，并且触觉输出的最大强度可以被认为是最大振幅。此外，尽管对于低频率1131和高频率1133触觉输出示出了触觉输出的单个最大强度水平，但是在其他实施例中，振幅可以是可变的，并且可以根据频率而不同，并且可以随着时间推移而进一步不同。
在一个实施例中，触觉输出的不同频率可以以用户的皮肤中的不同感觉细胞为目标。在一个实施例中，较高频率(例如，250Hz)触觉输出(例如高频率1133触觉输出)以潘申尼小体细胞为目标，而低频率(例如，30Hz)触觉输出(例如低频率1131触觉输出)以Merkel细胞为目标。在这种情况下，高频率1133触觉输出的频率高到足以触发在潘申尼小体细胞中的响应并避免触发Merkel细胞，而低频率1131触觉输出具有触发Merkel细胞但不触发潘申尼小体细胞的频率。因为潘申尼小体细胞(也被称为层状小体细胞)对振动敏感而Merkel细胞对一般触摸敏感，当将输入词1106转换成用于使皮肤致动器1104产生触觉输出的致动器信号1111时，不同类型的触觉输出可以以用户的皮肤中的不同机械刺激感受器细胞为目标并且与不同音素相关联。
在一个实施例中，低频率1131和高频率1133触觉输出由皮肤致动器1104的单个皮肤致动器产生，但是在两个触觉输出之间有线性偏移，这可能引起在两个不同触觉输出的相位之间的差异。因此，单个皮肤致动器的触觉输出可以看起来类似于高频率1133和低频率1131触觉输出的总和，但在低频率1131和高频率1133触觉输出之间有偏移(例如，持续时间或频率的10％)。尽管已经组合了两个触觉输出，但因为用户的皮肤使用不同的细胞来感测高频率和低频率触觉输出，所以当用户感测触觉输出时可能有很小的含糊度，且因此用户也许能够容易地区分在触觉输出中的两个不同频率。触觉输出的不同频率可以表示在输入词1106中的不同音素。例如，高频率触觉输出可以表示二合字母(例如，
Figure BDA0002321951530000511
或zh)，而低频率触觉输出可以表示某些辅音。
图11G根据实施例示出了不同振幅的触觉输出的示例。除了上面所示的各种触觉输出类型之外，在其他实施例中，由皮肤致动器1104从致动器信号1111产生的触觉输出可以具有不同的强度，其亦被称为振幅。例如，如图11G所示，三个不同的触觉输出具有振幅1136、1137和1138。具有不同振幅的这些触觉输出可以用于表示输入词1106的不同音素或声音。例如，触觉输出的较大振幅可以表示重读、句子的末尾、标点符号等，而较小振幅可以表示正常语音。
虽然上面参考图11C至图11G描述了某些类型的触觉输出，但在其他实施例中额外的触觉输出类型可以由皮肤致动器1104产生。此外，上述触觉输出可以不仅仅表示音素，且可以表示数字、标点符号、话音的音调、音符、音频提示等。此外，上述触觉输出的序列可以由多于一个皮肤致动器1104产生以表示单个音素或其他元素。
图11H根据实施例示出了示例输入词1106的触觉输出的示例性序列。在所示的示例中，输入词1106是“专利(patent)”。这个词具有6个不同的音素：1)/p/、2)
Figure BDA0002321951530000521
3)/t/、4)
Figure BDA0002321951530000523
5)/n/和6)/t/。注意第二个和第四个音素是元音。词-触觉信号转换器1107将这些音素中的每一个转换成被传输到皮肤致动器1104的致动器信号1111的序列，皮肤致动器1104基于致动器信号1111来产生触觉输出(例如振动输出)，并且该触觉输出由用户感测。为了便于讨论，与音素相关联的触觉输出的序列中的每一个触觉输出被称为触觉音素。因此，词“专利”的六个音素被转换成由用户所感测的六个触觉音素。在训练之后，用户也许能够在感测到这六个触觉音素后识别词“专利”。对于其它词，类似的过程将会出现。
在图11H所示的示例中，皮肤致动器1161-1166的3x2二维阵列由同心圆表示，每组两个同心圆表示一个皮肤致动器。皮肤致动器1161-1166对于触觉音素1139被标记，但是为了清楚起见没有对于触觉音素1140-1144而重复地被标记。然而，在触觉音素1140-1144中指示的皮肤致动器与在触觉音素1139中的相同位置上的皮肤致动器相同。皮肤致动器1161至1166的这个二维阵列可以对应于在图11A中的皮肤致动器1104的二维阵列。
每个触觉音素1139-1144指示皮肤致动器的这个阵列的触觉输出的序列，其对应于输入词“专利”的音素。在触觉输出的序列中的每个单个触觉输出对应于皮肤致动器的激活，并且由该皮肤致动器的一组两个实心同心圆表示。相反，未激活的皮肤致动器由虚线同心圆表示。此外，触觉输出的两点序列由两组实心同心圆表示，在这两组之间的箭头指示位于与箭头的方向直接相反的方向上的第一皮肤激活器的激活，后面是在紧接着在箭头的方向后面的方向上指示的第二皮肤激活器的激活。触觉输出的两点序列可以类似于上面参考图11D描述的序列。例如，对于音素
Figure BDA0002321951530000522
的触觉音素1140，由在皮肤致动器1161的激活之后皮肤致动器1163的激活(在延迟时间之后)指示。
每个触觉音素的触觉输出的序列可以通过无触觉输出的延迟时间(例如，200ms)，或者通过特殊定界符触觉输出(例如，所有致动器在一段时间间隔内同时激活)彼此分隔开。
在所示的示例中，1)/p/对应于触觉音素1139和皮肤致动器1166的激活，
Figure BDA0002321951530000531
对应于触觉音素1140和皮肤致动器1161和后面是1163的激活，3)/t/对应于触觉音素1141和皮肤致动器1164的激活，4)
Figure BDA0002321951530000532
对应于触觉音素1142和皮肤致动器1165和后面是1166的激活，5)/n/对应于触觉音素1143和皮肤致动器1163的激活，以及6)第二个/t/对应于触觉音素1144和皮肤致动器1164的激活(与第一个/t/相同)。
可以基于发音关联来选择在每个触觉音素和音素之间的对应关系。这意味着在皮肤致动器的二维阵列中的每个触觉音素的触觉输出的物理位置和对应音素在由人类说出时的发音位置之间建立对应关系。例如，音素/p/是清双唇塞音(voiceless bilabialstop)，其对应于用户的嘴唇的发音。这可以对应于在表示用户的嘴的前部的皮肤致动器的二维阵列中的位置。在所示的示例中，这是皮肤致动器1166，其响应于音素/p/而被激活。剩余触觉音素的触觉输出的序列可以类似地被构造。
此外，在一个实施例中，辅音音素的触觉输出的持续时间可以短于元音音素的持续时间。这可能由于辅音音素相对于元音音素的皮肤致动器的每次激活的较短的持续时间或者由于元音音素使用触觉输出的两点序列相对于辅音音素的单个触觉输出而出现。例如，辅音音素的触觉输出可以具有180ms的持续时间，而元音音素的触觉输出可以具有270.5ms的持续时间。对于辅音音素，可以通过在基线持续时间(例如，150ms)开始并加上“斜升”和“斜降”所需的时间(如上所述)来实验性地确定触觉输出的持续时间，该“斜升”和“斜降”所需的时间可以是持续时间的20％。对于元音音素，可以基于单独的基线(例如，100ms)加上斜升和斜降间隔以及加上SOA间隔来确定触觉输出的持续时间。
皮肤致动器的所示阵列可以允许36个触觉音素的组合，其包括单个触觉输出(6)和两点触觉输出(30)的所有组合。两点触觉输出限于以下输出，其：1)不涉及与第一激活的皮肤致动器成对角线的第二皮肤致动器的激活；以及2)是短距离运动，即第一和第二激活的皮肤致动器定位成彼此相邻。然而，这可能并不表示在语言中的音素的总数。在这种情况下，可以增加皮肤致动器的数量以适应音素的总数。参考图11I示出并描述了皮肤致动器的这种组合的示例。注意，尽管在这里针对每个音素示出了触觉输出的特定组合，但在其他实施例中对于音素的触觉输出的组合可以不同。
图11I根据实施例示出了具有皮肤致动器的阵列的触觉设备的替代布置。如上面所提到的，在一些情况下，可能有更多音素或其他语音元素，其需要经由触觉输出来表示，但皮肤致动器的特定阵列的可用的触觉输出的组合的数量不足。此外，在一些情况下，使用皮肤致动器的阵列的触觉输出的组合的整个可用集合可能是不合乎需要的，因为触觉输出的一些组合可能太类似于其他组合，从而导致对于触觉设备的用户的高错误率(即，低消歧率)。因此，在这些情况下可能需要更多的皮肤致动器。图11I所示的设备是具有额外皮肤致动器的设备的示例。该设备包括具有在用户的前臂的背侧和腹侧上的皮肤致动器1146的两个4x2阵列的前臂触觉设备1145，以及具有在用户的上臂的背侧上的皮肤致动器1148的一组4x2阵列的上臂触觉设备1147。这两个触觉设备的组合允许单个触觉输出的24个单独组合(经由24个单独的皮肤致动器)以及两点触觉输出的大的组合。该系统支持多得多数量的触觉音素，用于将在输入词1106中的音素转换成致动器信号1111和转换成在皮肤致动器中的触觉输出。
除了图11I所示的替代触觉设备之外，用于传递触觉输出的皮肤致动器可以附着到臂带、防弹衣、手套、夹克、衬衫、背心、鞋底，在可穿戴设备上，在智能手机上等，只要在这些设备上的皮肤致动器可以向用户传递触觉输出。
图11J是根据实施例示出基于音素来将输入词转换成触觉输出的方法的流程图。在流程图中描述的过程可以由词-触觉信号转换器1107来执行，词-触觉信号转换器1107又可以是信号发生器的部件，该信号发生器可以是触觉设备的一部分。尽管在这里示出了步骤的特定排列，但在其他实施例中该过程可以不同地被排列。
最初，词-触觉信号转换器1107接收1150输入词，该输入词是语言(例如英语)的单位。词-触觉信号转换器1107将输入词转换1151为它的组成音素。例如，词“苹果(apple)”被转换成音素“ae”、“p”、“ah”和“l”。
词-触觉信号转换器1107将音素转换1152为致动器信号的序列。该序列由致动器信号的子序列的串联形成。每个音素对应于致动器信号的这些子序列之一。致动器信号中的每一个被映射到皮肤致动器的二维阵列中的皮肤致动器，该皮肤致动器的二维阵列被放置在被成形为缠绕用户的手臂的束带的内表面上。当由用户佩戴时，束带的内表面面向用户的手臂。
词-触觉信号转换器1107将致动器信号的序列传输到皮肤致动器的二维阵列。这使皮肤致动器根据致动器信号的序列来激活，并又使用户感测来自皮肤致动器的一系列触觉输出。如果被训练，然后用户也许能够将触觉输出识别为词的音素，并从触觉输出译解输入词。以这种方式，用户也许能够触觉地而不是听觉地或视觉地识别词。
图11K根据实施例示出了音素“/p/”、“/b/”、“/t/”、“/v/”、“/f/”和“/θ/”到触觉输出的序列的示例性映射。除了图11K所示的触觉输出的音素之外，图11L-图11Q示出了在音素和触觉输出之间的额外示例性映射。此外，图11R-图11T示出了用于基于发音的位置和方式来将音素映射到图11K-图11Q的触觉输出的示例性基本原理。在图11K-图11Q中，示出了用户的手臂的表示。手臂包括由圆圈表示的多个皮肤致动器。如所示，皮肤致动器的阵列1167存在于用户的前臂的后部(“后侧”)上，皮肤致动器的另一个阵列1168存在于用户的前臂的前部上，以及皮肤致动器的又一阵列1169存在于用户的上臂的后部上。这些皮肤致动器阵列的位置可以对应于图11I所示的位置，阵列1167和1168对应于在前臂触觉设备1145中的皮肤致动器，以及阵列1169对应于上臂触觉设备1147的皮肤致动器。每个阵列1167-1169包括一组4x2(或总共8个)皮肤致动器，皮肤致动器沿着用户的手臂纵向布置，每个阵列具有四排两个皮肤致动器，每个皮肤致动器沿着用户的手臂的近端-远端轴布置。
图11K另外示出了图例1170。图例1170指示对应于表示皮肤致动器的一些圆圈的所示填充图案的触觉输出的类型。带有填充图案的圆圈指示对应于该圆圈的皮肤致动器单独地或与其他皮肤致动器结合来产生在该填充图案的图例中指示的类型的触觉输出。如在图例1170中所编号的，所指示类型的触觉输出是1)连续的250Hz正弦波输出，2)脉动输出，3)快速运动，4)振动加压力，以及5)振动加剪切。第一个列出的类型输出(连续的250Hz正弦波)对应于在皮肤致动器处的250Hz的正弦波移动。这意味着皮肤致动器根据正弦波的形状随时间推移而平滑地改变触觉输出。(第二个列出的)脉动输出对应于在一段时间内的对皮肤致动器的特定激活位置的重复激活模式，随后一段时间内皮肤致动器的去激活。激活和去激活类似于方波，因为皮肤致动器尽可能快地激活到指定的激活位置，并且类似地尽可能快地去激活。因为皮肤致动器可以具有激活和去激活的响应时间，触觉输出可以不呈现出完美的方波，而是梯形波形。快速运动输出类似于在1)中指示的输出，但以两倍于该频率(即，500Hz)进行操作。注意，尽管在这里指示了250Hz和500Hz，但也可以替代地使用其他频率。振动加压力输出对应于既有振动感觉又有压力感觉的输出。振动感觉可以由类似于具有高于可被感知为振动的阈值的频率(例如，超过100Hz)的输出类型1)的正弦波输出或者具有类似于输出类型2)的输出或提供可被感测为振动的对触觉输出的快速且连续变化的任何其他类型的输出来实现。压力感觉是在用户的手臂处的压力超过正常压力(即，其中皮肤致动器未被激活)的感觉。压力感觉可以通过使皮肤致动器激活超过阈值水平来实现，使得皮肤致动器向用户的手臂施加最小水平的压力。除了产生振动感觉的输出之外，皮肤致动器还可以施加该最小压力。振动感觉和压力感觉可以同时或顺序地被施加。振动加剪切输出对应于具有振动感觉和剪切感觉(其可以同时或顺序地被施加)的输出。振动感觉可以与上面对振动+压力输出描述的振动感觉类似或相同。剪切感觉是与用户的手臂的表面相切的移动的感觉。这可以通过在多个皮肤致动器的激活之间的平滑过渡来实现，导致沿着顺序地激活的皮肤致动器的路径的滑动移动的感觉。可选地，皮肤致动器也许能够单独地产生剪切移动。
在图11K-图11Q中，对于用户的手臂的描绘中的每一个，由填充图案所指示的触觉输出对应于被显示为相邻于相应手臂的样本词的加下划线的部分的音素。例如，音素1171是音素“/p/”(使用IPA符号)。这个音素存在于词“支付(pay)”的发音中。因此，词“支付”被显示，字母“p”对应于加下划线的音素/p/。为在图11K-图11Q中所示的剩余音素提供指示音素的类似方法。此外，在图11K-图11Q中所示的一些音素具有指示皮肤致动器的激活的顺序的箭头，皮肤致动器产生被映射到每个音素的触觉输出的序列。在一些情况下，例如利用振动加剪切输出，多个皮肤致动器可以依次被激活以产生期望类型的触觉输出。在这些情况下，箭头不仅指示触觉输出的顺序，而且还指示指定类型的触觉输出如何被实现。例如，在振动加剪切的情况下，箭头指示剪切感觉的方向。此外，当皮肤致动器的序列被激活时，一个皮肤致动器可以在该序列中的下一个皮肤致动器的激活之前去激活，或者每个皮肤致动器的激活可以重叠指定的量。例如，一个皮肤致动器可以开始去激活过程，而在序列中的下一个皮肤致动器可以开始激活过程。下面参考图11K-图11Q描述关于对应于各种音素的触觉输出的不同序列的额外细节。注意，在下面对样本词描述的用IPA标音的音素对应于一般美式英语发音。
图11K示出了音素“/p/”、“/b/”、“/t/”、“/v/”、“/f/”和“/θ/”的触觉输出的示例。这些在图11K中以相同的顺序被标记为音素1171-1176。如上面所提到的，音素被标记为包含该音素的示例性词的加下划线的部分。例如，音素1176使用示例性词“theta”，其中“th”加下划线对应于音素“/θ/”(即清齿擦音(voiceless dental fricative))。
因此，音素1171或“/p/”使用如所示的连续正弦波输出(类型1)由皮肤致动器的单次激活表示，并且对应于在如所示的样本词“支付(pay)”中的“p”。“/b/”音素1172由如所示的单个皮肤致动器的脉动输出(类型2)表示，并且对应于“蜜蜂(bee)”中的“b”。“/t/”音素1173使用如所示的连续正弦波输出(类型1)由单个皮肤致动器表示，并且对应于“茶(tea)”中的“t”。“/v/”音素1174使用如所示的单个皮肤致动器由振动加剪切输出(类型6)表示，并对应于“获胜者(victor)”中的“v”。“/f/”音素1175使用如所示的单个皮肤致动器由振动加压力输出(类型5)表示，并对应于“费用(fee)”中的“f”。“/θ/”音素1176使用如所示的单个皮肤致动器由振动加压力输出(类型5)表示，并对应于“theta”中的“th”。
图11L根据实施例示出了音素“/d/”、“/k/”、“/g/”、
Figure BDA0002321951530000571
“/s/”和“/z/”的触觉输出的示例。如所示，音素“/d/”对应于“白天(day)”中的“d”，“/k/”对应于“蛋糕(cake)”中的“c”，“/g/”对应于“去(go)”中的“g”，
Figure BDA0002321951530000581
(浊齿擦音(voice dental fricative))对应于“你(thee)”中的“th”，“/s/”对应于“看见(see)”中的“s”，以及“/z/”对应于“zee”中的“z”。如同图11K一样，每个音素由一个或更多个皮肤致动器的相应激活来表示，该皮肤致动器产生由如所示的填充图案指示的类型的触觉输出。为了清楚和简洁起见，在这里将不针对在图11L-图11Q中所示的音素的大多数剩余音素的每个不同音素来重复不同触觉输出的描述，除非需要特殊区别。替代地，对描述对应于每个音素的不同类型的触觉输出的图本身进行参考。
图11M根据实施例示出了音素“/∫/”、
Figure BDA0002321951530000582
“/h/”、“/n/”、
Figure BDA0002321951530000583
和“/l/”的触觉输出的示例。如所示，音素“/∫/”(清龈后擦音(vioceless postalveolar fricative))对应于“她(she)”中的“sh”，
Figure BDA0002321951530000584
(浊齿龈后咝擦音(vioced palatoalveolar sibilantfricative))对应于“没收(seizure)”中的“z”，“/h/”对应于“他(he)”中的“h”，“/n/”对应于“名字(name)”中的“n”，
Figure BDA0002321951530000585
(软腭鼻音(velar nasal))对应于“乒(ping)”中的“ng”，以及“/l/”对应于“背风处(lee)”中的“l”。如同图11K一样，每个音素由一个或更多个皮肤致动器的相应激活来表示，该皮肤致动器产生由如所示的填充图案指示的类型的触觉输出。注意，音素“/l/”在这里对应于如下触觉输出：该触觉输出包括以如在图11M中对音素“/l/”所示的圆形箭头所示和如由样本词“背风处”表示的顺序的四个不同皮肤致动器的顺序激活。
图11N根据实施例示出了音素
Figure BDA0002321951530000586
“/d/”、“/m/”、
Figure BDA0002321951530000587
“/w/”和“/j/”的触觉输出的示例。如所示，音素
Figure BDA0002321951530000588
(清龈后塞擦音(voiceless palate-alveolar affricate))对应于“奶酪(cheese)”中的“ch”，“/d/”对应于“健身房(gym)”中的“g”，“/m/”对应于“我的(my)”中的“m”，
Figure BDA0002321951530000589
(齿龈近音(alveolar approximant))对应于“阅读(read)”中的“r”，“/w/”对应于“我们(we)”中的“w”，以及“/j/”对应于“产量(yield)”中的“y”。如同图11K一样，每个音素由一个或更多个皮肤致动器的相应激活来表示，该皮肤致动器产生由如所示的填充图案指示的类型的触觉输出。注意音素
Figure BDA00023219515300005810
“/d/”和“/w/”都对应于以激活序列的方向如直线箭头所指示的多个皮肤致动器的触觉输出，该直线箭头被示出在如图11N所示的它们的触觉输出的图示上方。例如，如所示，音素“/d/”示出了沿着皮肤致动器的单个列从近端到远端位置的皮肤致动器的激活。
图11O根据实施例示出了音素“/i/”、“/I/”、“/e/”、
Figure BDA0002321951530000591
和“/ε/”的触觉输出的示例。如所示，音素“/i/”对应于“行为(deed)”中的“ee”，“/I/”(次闭次前不圆唇元音(near-close near-front unrounded vowel))对应于“坐(sit)”中的“i”，“/e/”对应于“可以(may)”中的“ay”，
Figure BDA0002321951530000592
(次开前不圆唇元音(near-open front unrounded vowel))对应于“在(at)”中的“a”，以及“/ε/”(半开前不圆唇元音(open-mid front unrounded vowel))对应于“设置(set)”中的“e”。如同图11K一样，每个音素由一个或更多个皮肤致动器的相应激活来表示，该皮肤致动器产生由如所示的填充图案指示的类型的触觉输出。注意，音素
Figure BDA0002321951530000593
由在用户的前臂的前部上的触觉输出的序列(即，在阵列1168中)表示。
图11P根据实施例示出了音素
Figure BDA0002321951530000594
和“/u/”的触觉输出的示例。如所示，音素
Figure BDA0002321951530000595
(儿化半开央不圆唇元音(r-colored open-mid centralunrounded vowel))对应于“伤害(hurt)”中的“ur”，
Figure BDA0002321951530000596
(半开后不圆唇元音(open-midback unrounded vowel))对应于“但是(but)”中的“u”，
Figure BDA0002321951530000597
(开后圆唇元音(open backrounded vowel))对应于“奇怪的(odd)”中的“o”，
Figure BDA0002321951530000598
(次闭次后圆唇元音(near-closenear-back rounded vowel))对应于“公牛(bull)”中的“u”，以及“/u/”对应于“月亮(moon)”中的“oo”。如同图11K一样，每个音素由一个或更多个皮肤致动器的相应激活来表示，该皮肤致动器产生由如所示的填充图案指示的类型的触觉输出。
图11Q根据实施例示出了音素
Figure BDA0002321951530000599
和
Figure BDA00023219515300005910
的触觉输出的示例。如所示，音素
Figure BDA00023219515300005911
(半央不圆唇元音(mid-central unrounded vowel))对应于“燕麦(oat)”中的“o”，
Figure BDA00023219515300005912
(半开后圆唇元音(open-mid back rounded vowel))对应于“自动(auto)”中的“au”，“/aI/”对应于“I”中的“i”，
Figure BDA00023219515300005913
对应于“玩具(toy)”中的“oy”，以及
Figure BDA00023219515300005914
对应于“奶牛(cow)”中的“ow”。注意，这里描述的最后三个音素是双元音。如同图11K一样，每个音素由一个或更多个皮肤致动器的相应激活来表示，该皮肤致动器产生由如所示的填充图案指示的类型的触觉输出。
图11R是根据实施例示出在图11K-图11Q中的辅音音素以及在对应于每个辅音音素的触觉输出的位置、持续时间和类型与每个辅音音素的发音方式和发音部位之间的映射的图表。行图例描述了在图11K-图11Q中描述的音素的不同发音方式，而列图例描述了相同音素的发音部位。发音方式是当发出语音声音(即，音素)时的发音器官的配置和交互，发音器官包括语音器官(例如舌头、嘴唇和上腭)。发音部位是在发音姿势(例如，嘴部移动)、主动发音器官(例如，舌头的一部分)和被动位置(例如，嘴的上腭)之间的声道中出现阻塞的接触点。这些适用于辅音音素。
在一个实施例中，如上面在图11K-图11Q中所述的，与每个音素相关联的触觉输出的位置和类型具有与该音素的发音方式和发音部位的关系。因此，触觉输出可以以遵守某个基本原理的方式来与音素相关联，以便创建该关系。下面描述这些基本原理。
1)辅音音素可以与在单个点处的触觉输出相关，使得没有移动(例如，剪切)由于触觉输出而被用户感测到。
2)相反，元音辅音可以与触觉输出相关，触觉输出为用户产生运动的感觉。这可以包括具有剪切感觉的触觉输出或触觉输出的序列。
3)较短元音可以具有比与较长元音相关的触觉输出的总持续时间相对更短的触觉输出的总持续时间。
4)浊音音素(使用喉的音素)与具有脉动类型的触觉输出相关。
5)不带声或清音音素与具有振动类型的触觉输出相关。
6)较靠近嘴的前部(或者通常较靠近嘴)产生的音素被映射到较靠近用户的手腕的触觉输出。
7)较靠近喉咙的后部(或通常较靠近喉咙)产生的音素被映射到较靠近用户的肩膀的触觉输出。
8)爆破音(即，塞音或者阻挡在声道中的气流的辅音音素)与在用户的上臂上的单个点或位置处的触觉输出相关。
9)摩擦音(即，迫使空气通过狭窄通道(例如嘴唇、舌头/软腭等)的辅音)与包括在用户的上臂上的两个点的触觉输出、具有振动类型的触觉输出相关。
10)鼻音(即，在软腭降低的情况下被发出使得声音通过鼻子逸出的音素)与在用户的前臂上的单个点的触觉输出相关。
使用上述基本原理，可以产生在音素和触觉输出之间的映射，例如在上面的图11K-图11Q中所示的映射。图11R通过示出在触觉输出的特性和对应的所映射的音素的发音方式和部位之间的关系来进一步示出在触觉输出和音素之间的该映射。这些特性可以包括在用户的手臂上的触觉输出的位置、持续时间、类型、所经历的移动、所激活的皮肤致动器的序列等。例如，音素“/p/”和“/b/”的发音方式是清塞音的和浊塞音辅音。此外，音素“/p/”和“/b/”的发音部位是双唇音的或者在嘴唇附近。因此，这些音素的对应映射是如下触觉输出：1)当它们是辅音时，在单个点处，2)当它们是爆破音时，在用户的手腕附近，以及3)清音“/p/”的振动类型和浊音“/b/”的脉动。图11R所示的剩余的辅音音素以类似的方式被映射。
对于所列出的发音部位，唇齿辅音用下唇和上牙发音，且齿辅音用舌头抵着上牙发音。这两者都对应于在用户的手腕附近的触觉输出。齿龈辅音用舌头抵着在上齿和硬腭之间的上齿槽嵴/靠近上齿槽嵴发音，且上腭辅音用抵靠硬腭(嘴的上腭的中部)抬起的舌头的主体发音。这两种类型的辅音都被映射到具有在图11K-图11Q中所示的触觉设备上的在用户的肩膀和用户的手腕之间的中间位置的触觉输出。软腭辅音用舌头的后部抵靠软腭(嘴的上腭的后部，或软腭)发音。声门辅音使用声门(即，在声带之间的开口)用于发音。因此，这些被映射到在用户的上臂上较靠近用户的肩膀的触觉输出。
对于所列出的发音方式，在上面提到了摩擦音和鼻音连同它们的相应映射。摩擦辅音作为塞音或爆破音开始，并作为摩擦音释放，并在这里对于触觉输出映射到振动加线性剪切型移动。流音包括舌侧音(在英语中，“引领(led)”中的“l”)和卷舌音(在英语中，“红色(red)”中的“r”)。这些被映射到具有振动类型加剪切类型的触觉输出，该剪切类型具有皮肤致动器的循环激活，导致循环剪切感觉。最后，滑动辅音或半元音辅音是与元音声音相似但不充当音节的核心的音素，例如“w”和“y”辅音。这些被映射到具有如由相应箭头所指示的皮肤致动器的激活的额外序列的振动加压力触觉输出。对于这些情况，所随着每个连续的皮肤致动器被激活，产生的压力的水平可能增加。
图11S是根据实施例示出在图11K-图11Q中的元音音素以及在对应于每个元音音素的触觉输出的位置、持续时间和类型与每个元音音素的发音方式和发音部位之间的映射的图表。图11S中的图示与图11R的图示相似，但在图11S中记录的是元音音素而不是辅音音素。在这里，元音被划分成它们的发音部位：1)前部、2)中央和3)后部，其描述在音素的形成中在嘴中的舌头在横向平面上的位置(即，嘴的前面/前部、嘴的中部或嘴的后面/后部)。元音被进一步分为1)高元音、2)中元音和3)低元音，其描述在元音的形成中在嘴中的舌头在正平面上的位置(即，在嘴的上腭附近、介乎中间或在嘴的底部附近)。如上面在基本原理的列表中提到的，舌头的位置指示音素的触觉输出的适当位置。因此，在“奇怪的(odd)”中的
Figure BDA0002321951530000621
元音音素是中元音和低元音，意味着舌头较靠近用户的喉咙，且因此相应的触觉输出在用户的上臂上。还注意，一些触觉输出(例如在“月亮(moon)”中的“/u/”)激活从在用户的前臂的一侧上的触觉输出的一个阵列过渡到另一侧的触觉输出的序列。可以为具有某些发音部位的元音(例如这里所示的后元音)映射这样的序列。
图11T是根据实施例示出在图11Q中的双元音音素以及在对应于每个双元音音素的触觉输出的位置、持续时间和类型与每个双元音音素的发音方式和发音部位之间的映射的图表。双元音或滑动元音是在同一音节中的两个相邻元音声音的组合。这些双元音映射到上述类型1)触觉输出(正弦波振动)的序列，触觉输出的序列的开始和结束位置匹配双元音的开始和结束元音的舌头的发音部位。例如，词“玩具(toy)”中的双元音“oy”以元音音素
Figure BDA0002321951530000622
(其为后元音)开始，并作为前元音音素/I/结束，如在图11S中由箭头所示的，该箭头从词“奶牛(cow)”发出并指向前元音部分。因此，被映射到该双元音的触觉输出序列更接近肩膀开始，并更接近手腕结束。如图11S所示，对“I”双元音和词“cow”中的“ow”双元音执行类似的映射。
使用传感器束带的触觉设备的校准
实施例还涉及一种用于校准触觉设备以根据每个用户的主观感觉来提供在不同用户当中一致地感知的触觉输出的方法。由于施加到用户的皮肤的力，每个用户的主观体验可能不同。由于这些主观差异，如果触觉反馈系统对所有用户应用相同的客观水平的触觉输出，则它将在用户当中产生不一致的体验。触觉反馈系统在每用户基础上被校准，使得每个用户经历与其他用户相同的主观水平的触觉输出。
图12A根据实施例示出了触觉设备1200，该触觉设备1200可以附着到用户的前臂1202以基于主观力来校准触觉设备。触觉设备1200包括可调束带1204和一个或更多个传感器1206。
传感器1206检测与触觉输出相关联的一种或更多种类型的位移或参数(包括加速度、应变等)。这些传感器可以类似于上面参考图1描述的触觉传感器104。它们以规则的间隔附着到可调束带1204的内表面，并且面向用户的前臂1202的皮肤(即，传感器1206的感测部件面向用户的皮肤)。传感器1206彼此间隔开至少阈值距离。在一个实施例中，总共有三个传感器1206。在将可调束带1204适配在用户身上之后，用户的皮肤可以接触传感器1206，并使传感器检测力值，该力值可以是对应于力值的电压值的形式。该电压值被传输到校准部件(例如参考图12B描述的校准部件)。
可调束带1204可以类似于图11A的束带1103，并且可以使用类似的材料并且具有类似的结构部件，包括例如刚性或非刚性构件，其使可调束带1204在每次它被适配到用户的前臂1202上时被佩戴在用户的前臂1202上的相对类似的位置上。然而，可调束带1204的可调部件可以允许可调束带1204抵靠用户的前臂的更细粒度的适配调整。特别是，在一个实施例中，可调束带1204包括在每个传感器1206的位置处的调整机构(未示出)。该调整机构允许通过调整可调束带1204的周长或通过一些其他手段来调整在传感器1206的位置处由可调束带1204抵靠用户的前臂施加的触觉输出。此外，调整机构可以具有各种标记以指示已经出现的调整的水平。例如，可以提供指示在特定调整水平处的可调束带1204的尺寸(例如，可调束带1204的周长)的标记的形式。调整机构可以具有指示在每个调整水平处的可调束带1204的总周长的标记。调整机构可以是可调带子(其可以是弹性的或非弹性的)、钩环紧固件组合(例如，
Figure BDA0002321951530000641
)、可伸缩带子、拉紧带(ratcheting strap)或带扣等。
在佩戴了可调束带1204之后，用户可以使用调整机构来将由在用户的前臂1202上的可调束带1204提供的触觉输出调整到对于用户舒适的某个水平，或者在校准的情况下调整到实现指定主观水平的触觉输出的水平。通过调整可调束带1204以实现触觉输出的特定主观水平，传感器1206也许能够确定由可调束带1204在特定调整位置(如上所述)处产生的触觉输出的客观水平。该信息被传输到附加系统，该附加系统可以基于传感器1206的输出来确定在触觉输出(即，感觉到的力)的用户主观水平与触觉输出的实际客观地测量的水平之间的相关性。这种信息可以用于为每个用户校准触觉反馈设备的响应，使得由这些触觉反馈设备产生的触觉输出的主观水平对于每个用户是相同的。参考图12B至图12D更详细地描述关于该系统和校准方法的额外细节。
图12B根据实施例示出了图12A的触觉设备1200的两个不同示例的详细视图。在图12B中示出了用于触觉设备1200的两种类型的可调束带：1)可调束带1228；和2)可调束带1236。
可调束带1228除了别的部件以外还可以包括三个压力传感器1226A-1226C，每个压力传感器附着到可调束带1228。在可调束带1228上压力传感器1226被附着于的每个点处，可调带子1230附着到可调束带1228。可调带子1230可以是如上面参考图12A所述的可调机构。可调带子1230调整压力传感器1226抵靠前臂表面1232的力。这可以通过抵靠前臂表面1232紧固或松开可调束带1228来实现，这可以减小可调束带1228的周长。在一个实施例中，使用机动机构来调整可调带子1230。
为了执行如上所述的主观力和客观力的校准，佩戴着可调束带1228的用户可以针对可调带子1230的每个调整水平来指示由于相应的压力传感器1226压靠前臂表面1232而导致的主观力的水平。对于所指示的主观力的每个水平，每个压力传感器1226由于由压力传感器1226感测到的力，通过例如由压力传感器1226输出的电压量来指示客观力水平。这为每个压力传感器1226并因此为对应于压力传感器1226的位置的在用户的前臂上的每个位置来建立在由压力传感器1226测量的客观力和由用户经历的主观力水平之间的关系。如下面参考图12C至图12F进一步示出的，这种关系可以用于为用户形成校准曲线，并校准触觉设备以产生根据用户对主观力的感觉而校准的触觉输出，使得对于预期水平的触觉反馈，所有用户都经历一致的主观力水平。
在另一个实施例中，不是使用可调带子，触觉设备1200的可调束带1236可以包括在可调束带1236的内表面上的可调间隔物1238，每个间隔物具有附着到与可调束带1236的内表面相对的可调空间的侧面并且面向前臂表面1242的压力传感器1240。每个可调间隔物1238可以调整它的长度以增加或减小在可调束带1236的内表面和前臂表面1242之间的距离。这经由通过各种机构(例如螺钉机构、可膨胀气囊、弹簧机构等)来实现。可调间隔物1238可以包括指示当前调整水平的标记。
可以类似于压力传感器1226的压力传感器1240感测由于在前臂表面1242上的可调束带1236和可调间隔物1238的组合而产生的压力。如在可调束带1228的情况下，用户可以调整间隔物的长度并指示主观力的水平，并且系统可以确定由每个压力传感器1240针对所经历的相应主观力所指示的实际力的量。
在另一个实施例中，不是使用压力传感器(例如压力传感器1226和1240)，可调束带包括皮肤致动器(例如皮肤致动器1104)。在这种情况下，不是测量力，系统确定由皮肤致动器施加的触觉输出相对于由用户经历的主观触觉输出的关系。下面参考图12D至图12F描述关于这种替代方法的额外细节。
图12C是根据实施例示出用于使用来自传感器的电压读数和主观力输入来在每用户基础上校准触觉反馈的系统的部件的框图。这些部件可以作为计算机可读指令存储在存储器(例如存储器813)中。在另一个实施例中，使用专用硬件(包括处理器和存储器)来单独地实现这些部件。
主观幅度输入设备1208接收来自用户的输入，该输入指示在用户的身体上的对应于压力传感器(例如压力传感器1226)所位于的位置的特定位置处的主观力水平。可以在任意尺度上(例如从0-10(10为最高))指定主观力的水平。主观力的最低水平可以是没有力由用户感测到或者力的任何感觉只在50％的时间被感知的水平。最高水平可以是力的任何额外增加不引起用户的感知的改变或者力的主观感觉变得不舒服或疼痛时的水平。可以由压力传感器的某个标识符、经由接口连接用户的身体(或用户的身体的一部分)的视觉表示等来指定该位置。主观幅度输入设备1208可以包括的一种类型的输入设备(例如小键盘、键盘、语音识别系统或允许用户输入力值的主观水平的其他设备)以及指示主观力水平的位置或压力传感器。
传感器电压输入1210是指示由相应压力传感器感测的力的客观测量的值，用户经由主观幅度输入设备1208为该压力传感器提供主观力水平。该客观测量可以是由压力传感器输出的电压。它也可以以某种其他格式(例如分贝、牛顿等)被测量。当由用户经由主观幅度输入设备1208指示该信息时，可以从相应的压力传感器请求该信息。
每用户力校准数据发生器1212对于多个压力传感器并且在主观力的多个水平处接收来自主观幅度输入设备1208和传感器电压输入1210的主观力水平，并为经历本文描述的力校准过程的用户产生一组校准数据1220。每用户力校准数据发生器1212包括力-电压记录器1214、力电压数据库1216、校准数据发生器1218和输出校准数据1220。校准数据1220可以用于校准触觉设备(例如触觉设备1224)。
力-电压记录器1214记录来自主观幅度输入设备1208和相应传感器电压输入1210的主观力水平的输入值。这可以在每次值被输入到主观幅度输入设备1208中时出现。力-电压记录器1214将在接收到的主观力水平和相应压力传感器的传感器电压输入之间的关联存储到力电压数据库1216。
校准数据发生器1218为在用户的身体上的每个位置(对于每个位置，一组传感器电压输入和主观力水平测量是可得到的)产生校准数据1220。校准数据1220对每个力水平指示该位置处的压力传感器的相应电压，并且对于每个用户是唯一的。如下面参考图12D所述，该校准数据1220可以在曲线图中被表示。该校准数据1220可以被传输到触觉信号发生器1222或者直接传输到触觉设备1224(如由虚线所指示的)。当用户佩戴着触觉设备1224时，触觉信号发生器1222在向触觉设备1224传输致动器信号时使用校准数据1220。下面描述该校准数据1220如何被使用的示例。
应用(例如图8的应用814)可以请求待被传输到触觉设备1224的触觉反馈。不考虑用户佩戴着触觉设备1224，应用传输相同的触觉反馈请求。这将导致触觉设备1224在用户身上产生相同的客观水平的触觉输出，但是也可能导致对每个用户经历的不同主观力水平。使用校准数据1220，触觉信号发生器1222能够修改发送到触觉设备1224的致动器信号，使得该不同的主观体验不会出现，且替代地每个用户经历相同主观水平的触觉输出。因为校准数据1220对于每个主观力水平指示传感器电压，所以触觉信号发生器1222可以修改致动器信号以：如果情况是用户的触觉输出的主观水平低于基线则请求触觉设备1224来从默认值产生更强的触觉输出，或者在用户的触觉输出的主观水平大于基线的情况下从默认值产生更低的触觉输出。在该情况下，基线可以是假设的场景，其中由用户经历的主观水平的触觉输出与相应的传感器电压输入完全相同，即在传感器电压和主观触觉输出之间的一对一关系。情况不太可能是，主观水平的触觉输出相对于传感器电压输入可能是非线性的。然而，如果校准数据1220是不可用的，则该基线可以用作默认情况。注意，在应用校准数据1220之前，校准数据1220可以被归一化以匹配触觉反馈设备的致动器信号的大小。
尽管触觉信号发生器1222在此被描述为接收校准数据1220，但校准数据1220在一些情况下可以直接由触觉设备1224接收，触觉设备1224根据上面参考图12C描述的方法来修改进入的致动器信号。
尽管关于压力传感器做出了上面的描述，但在其他实施例中传感器可以不是压力传感器，而是其他传感器(例如温度传感器、加速度传感器、振动传感器、剪切传感器等)。在还有其他实施例中，传感器电压输入1210不是来自传感器，但替代地指示由皮肤致动器产生的值，该值指示该皮肤致动器的激活水平。在一个实施例中，该值是指示由皮肤致动器施加的力的量的电压。在这些可选的实施例中，主观幅度输入设备1208还可以接收不同类型的主观幅度测量值而不是主观力水平的测量值，由用户指示的主观幅度的类型对应于由皮肤致动器产生的触觉输出的类型。作为示例，如果皮肤致动器正在输出振动触觉输出，则由用户指示的主观幅度将是振动的幅度。
在另一个实施例中，当用户正执行不同的活动(例如跑步、行走、谈话、锻炼、坐着等)时，主观幅度输入设备1208可以接收主观幅度水平的指示。在这些不同事件期间测量的主观幅度可以彼此不同，且因此可以为这些活动中的每一个产生额外的校准数据1220。当使用校准数据1220时，可以根据当前检测到的活动来利用校准数据1220的不同子集。
图12D示出了参考图12C描述的校准数据1220的曲线图表示。示出了三个不同传感器(例如压力传感器1226A-1226C)的三个不同的曲线图。然而在其他实施例中，可以有更多的传感器，且因而有更多的校准数据集。此外，在其他实施例中，传感器可以测量除压力之外的其他值(例如振动)，并且力测量值的主观水平将相应地匹配，并且是用户对相应值的主观测量值。
如用绘出每用户主观力1274与传感器1的电压1276的关系的曲线图所示的，由用户测量的主观力水平与电压不是共线性(co-linear)的，但替代地不均匀地变化。注意，此处显示的曲线图仅是示例，且实际上不均匀性可能不如在这里显示的那样明显。然而注意的是，主观力水平测量值随着电压1276的增加而单调地增加。
为额外的传感器收集校准数据1220的额外集合。因此，示出了表示这种校准数据1220的曲线图，对于传感器2，主观力水平1278相对于电压1280的关系曲线被绘制，以及对于传感器N，主观力水平1282相对于电压1284的关系曲线被绘制。传感器的数量越大，用户的校准数据1220就越准确，因为对于在触觉设备将接触的用户的身体上的更多位置主观力水平被测量。如前所述的，当触觉设备将触觉输出应用于这些相同的位置时，对该位置的相应校准数据1220可以被使用，使得适当的主观力水平由用户感测到。
注意，传感器N的曲线图由直线表示，指示在主观力水平1282和电压1284之间的共线性。这在实践中不太可能出现，然而，该曲线图还示出了基线曲线，该基线曲线可以是基准，触觉设备可以从该基准对皮肤致动器调整电压，以便为用户校准它的触觉输出。当致动器信号由触觉设备接收到时，它可以指示待被施加到皮肤致动器的特定电压。触觉设备可以首先在校准数据1220中找到传感器，当校准数据1220被产生时，该传感器在用户的身体上的与皮肤致动器的位置相同的位置处。触觉设备还为待被施加的电压确定皮肤致动器的触觉输出(例如，以牛顿为单位测量的力值)的客观水平，并且当传感器感测到相同水平的触觉输出时找到传感器的等效电压。在电压和触觉输出电平之间的这种等值可以存储在校准数据1220中。触觉设备可以在传感器的校准数据1220中确定在传感器的该电压水平处的主观力水平是高于还是低于该电压水平的基线。如上面所提到的，该基线由传感器N的曲线图表示。如果它高于基线，那么触觉设备可以降低施加到皮肤致动器的电压，使得用户将经历与基线值匹配的主观力水平。相反，如果它低于基线，则触觉设备可以增加施加到皮肤致动器的电压。例如，在对应于1N的客观力水平的传感器的1V的电压水平处，主观力水平可以在基线中被测量为5。然而，对于在讨论中的用户，1V的电压水平对应于在用户的身体上的特定位置处的主观力水平6(假设在传感器和皮肤致动器之间的电压的等值为1比1)。这意味着对于相同的客观力，用户感觉到比基线更强的主观力水平。因此，当向在用户的身体上的相同位置施加力时，触觉设备可以降低电压，使得小于1N的力被施加，但导致与基线值(即5)一致的所经历的主观力水平。
也可以使用校准数据1220来确定对电压的变化。触觉设备可以确定在传感器的校准数据1220中的点，用户在该点处经历与力的基线水平相匹配的主观力水平(在上面的示例中的1N)。触觉设备确定在该主观力水平处的来自传感器的电压，并确定皮肤致动器的等效电压。这是施加到皮肤致动器的修改的电压。从上面的示例得出，校准数据1220指示在传感器的0.8V处，用户经历主观力水平5。再次，假设在传感器和皮肤致动器的电压之间的等值是一比一，触觉设备将向皮肤致动器施加0.8V而不是1V的电压，导致期望的主观力水平5并匹配基线。
图12E根据实施例示出了使用皮肤致动器来产生校准数据的替代布置。在图12E中，可调束带使用皮肤致动器(例如上面描述的那些)，以便产生校准数据1220。这可以是用于最终产生到用户的触觉输出的相同皮肤致动器。在图12E中示出了两种布置。在第一布置中，皮肤致动器1256放置在可调束带的内表面上。压力传感器1256放置在皮肤致动器1256上，在与面向可调束带的内表面的侧面相对的皮肤致动器1256的侧面上。当可调束带1260由用户佩戴在用户的前臂上时，压力传感器1256接触前臂1262的前臂表面1264。不是使用可调带子或其他可调机构来改变由可调束带1260施加的力，替代地皮肤致动器1258在触觉输出的不同水平处被激活，压力传感器1256记录在触觉输出的这些不同水平处的传感器电压水平。用户对于触觉输出的每个水平指示在主观幅度输入设备1208处的主观力水平，而压力传感器1256提供相应的传感器电压输入。
在第二布置中，不存在压力传感器。替代地，皮肤致动器1266附着到可调束带1270的内表面，并与前臂1272的前臂表面1268直接接触。如同可调束带1260一样，不使用调整机构来修改力的水平。替代地，皮肤致动器1266直接向前臂表面1268提供触觉输出。皮肤致动器1266的输入(无论它是电压还是其他值)作为传感器电压输入1210(而不是传感器电压值)被提供。如前面一样，用户向主观幅度输入设备1208提供主观幅度。在这里，皮肤致动器1266可以提供任何类型的触觉输出，而不仅仅是压力类型。例如，皮肤致动器1266可以提供振动型输出、剪切力输出、位移型输出、电输出、温度输出、听觉输出等。这些都可以对用户产生触觉感觉，并且用户可以用主观幅度输入设备1208指示感觉的主观幅度。该方法允许系统针对任何类型的皮肤致动器、针对用户的感觉进行校准。下面参考图12F详细描述校准数据1220的表示。
图12F根据实施例示出了作为使用如在图12E中的皮肤致动器的曲线图的校准数据的示例性表示。在所示的曲线图中，在皮肤致动器(例如皮肤致动器1266)内的输入频率1288被绘制在水平轴上，以及触觉输出的主观幅度1286被绘制在垂直轴上。在这种情况下，皮肤致动器可以提供振动触觉输出。当振动的频率增加时，如在输入频率1288的轴中所示的，所感知的主观幅度1286增加。在一个实施例中，可以如上面一样、即根据用户对触觉输出的强度的感知来测量主观幅度。例如，在所示的示例中，通过首先在皮肤致动器的给定输入频率1288处确定对皮肤致动器的电压的最小振幅来测量主观幅度，其中用户可以在多次测试期间在至少50％的时间检测触觉输出(振动)。在这个水平处，相对于1微米峰值以分贝(dB)或相对于1N位移以dB来度量用户的检测。换句话说，主观幅度被计算为20*log10(x)，其中x是由皮肤致动器产生的客观地测量的力或位移。在输入频率1288的范围内，人体检测阈值曲线被如此产生。然后，该曲线的倒数被用作校准数据1220，并且是图12F所示的校准数据。换句话说，主观幅度是皮肤致动器在输入频率的范围内的检测阈值的倒数。
在另一个实施例中，触觉输出的主观幅度在具有参考水平的阵列中被调整。这产生等敏性曲线。在客观触觉输出的不同参考水平处确定这种等敏性曲线以产生跨越触觉输出的所有水平的校准数据。每个等敏性曲线类似于图12F所示的曲线，然而校准数据包括多条等敏性曲线，每条曲线对应于高于最小感觉水平(例如，高于0dB、高于10dB、高于20dB，等等)的不同水平。最小水平由图12F所示的曲线表示，并且具有高于最小水平的水平的每个等敏性曲线可以被表示为与图12F所示的曲线平行的曲线。用户可以调整一个或更多个皮肤致动器以使用这些等敏性曲线之一。这增加或减小了由用户经历的主观幅度，尽管其他方面(例如来自皮肤致动器的触觉输出的频率)保持相同。
图12G是根据实施例示出用于收集触觉输出的每用户校准数据的方法的流程图。在流程图中描述的过程可以由每用户力校准数据发生器1212执行，该每用户力校准数据发生器1212又可以是信号发生器的部件，该信号发生器可以是触觉设备的一部分。尽管这里示出了步骤的特定排列，但是在其他实施例中该过程可以不同地被排列。
最初，每用户力校准数据发生器1212从主观力输入设备(例如主观力输入设备1208)接收1292主观力值的指示。每用户力校准数据发生器1212从至少一个压力传感器(例如压力传感器1226)接收1294传感器电压值。
每用户力校准数据发生器1212将主观力值和相应的传感器电压值存储在数据储存器(例如力电压数据库1216)中。使用该信息，每用户力校准数据发生器1212使用来自数据储存器的数据来产生1298校准曲线，该校准曲线指示在主观力值和每个压力传感器的传感器电压值之间的对应关系。该校准曲线可以用于校准触觉设备，使得每个用户对于相同的预期触觉输出经历相同的主观力水平。
用于从音频输入产生压缩触觉致动器信号的神经网络模型
实施例还涉及使用机器学习来产生模型以将音频输入转换成在触觉设备中的多个皮肤致动器的触觉输出的序列以用于由人进行解码。虽然自动化系统也许能够以任意复杂的方式将音频编码到触觉输出中并从触觉输出中将音频解码，但对触觉输出的人解码的要求是不同的。特别是，用于人能解码的音频信号的编码应该遵循各种约束，例如高压缩性和低熵。可以通过训练机器学习模型以在这些约束内将音频输入转换成触觉输出来实现这种转换。
图13A是根据一个实施例示出用于在将音频输入压缩成触觉提示的序列时训练神经网络1310的无监督学习模块1300的框图。无监督学习模块1300可以用于为神经网络1310产生一组系数和其他设置。在一个实施例中，神经网络1310也被称为机器学习电路或机器学习算法。在图13A中的框图的部件可以作为计算机可读指令存储在存储器(例如存储器813)中。在另一个实施例中，使用专用硬件(包括处理器和存储器)来单独地实现这些部件。
无监督学习模块1300接收声信号1302作为输入。输入可以是任何音频波形，并且可以以任何格式、以任何比特率、采样率等被编码。
无监督学习模块1300的预处理器1304首先将声信号1302转换成频谱图1306。可以使用原始声信号1302的傅立叶变换来产生这种频谱图。如果输入声信号1302是数字的(即，被采样)，则离散傅立叶变换可以用于将声信号1302转换成频谱图1306。频谱图1306表示输入声信号1302的在时间窗内的各种频率的幅度。例如，频谱图1306可以表示在32ms时间片中的声信号1302。频谱图1306按频率表示在每个时间片中的音频，并为每个频率指示该时间片中的频率的幅度。在一个实施例中，幅度由振幅的对数(即，对数振幅)表示。幅度和频率值可以用数字表示，并且这些数字表示被用作神经网络1310的输入特征。在另一个实施例中，频谱图1306是梅尔频率倒频谱，并且使用梅尔频率倒频谱系数(MFCC)来表示。
神经网络1310是机器学习模型，其被训练以便接收预处理后的声信号1302作为输入，并且产生表示声信号1302并且也服从各种约束1312的致动器信号的序列作为输出。神经网络1310可以是卷积神经网络。卷积神经网络对频谱图的多个时间片(或帧)进行处理，以便产生致动器信号的序列。这些致动器信号被规定为是在被处理的多个时间片当中的中心时间片的表示。在另一个实施例中，神经网络1310是递归神经网络，其具有形成定向循环的节点。以这种方式，神经网络1310可以单独地处理频谱图1306的每个时间片，但是每个时间片影响用于后续时间片的处理的神经网络1310的状态。神经网络1310可以使用公共的一组激活函数中的任何一个，例如sigmoid、softmax、整流器或双曲正切。输入特征被馈送到神经网络1310内，该神经网络用随机化权重被初始化。神经网络1310的输出为输入音频的每个时间片指示触觉提示的组合。这些触觉提示中的每一个指示皮肤致动器(例如皮肤致动器108)的触觉输出，并且可以由在神经网络1310的最后一层中的一个或更多个节点表示。神经网络1310的每个节点可以为每个皮肤致动器108指示百分比值，该百分比值可以用于确定是否激活皮肤致动器的特定状态。例如，如果百分比低于50％，则皮肤致动器不应被激活。如果皮肤致动器具有多于两个状态，则可以使用多个节点。
神经网络1310在训练期间也基于各种约束1312而受到约束，这将在下面被更详细地描述。这些约束1312旨在将神经网络1310的输出约束为高压缩性、低熵、低序性(即，更少数量的可能触觉输出)、稀疏性、时间稳定性和空间稳定性。在训练过程之后，神经网络1310能够为一组皮肤致动器产生表示输入声信号1302的一组触觉提示。当由这些触觉提示指示的触觉输出由用户感测到时，可以被训练的用户也许然后能够重新创建输入声信号或者至少具有对输入声信号的理解。如果被记录，触觉输出也可以用于重构原始输入声信号。以这种方式，声信号可以被压缩成触觉(或能触知的)信号。
成本分析器1316在神经网络1310的训练期间确定神经网络1310的当前迭代的成本。除了神经网络1310的当前迭代多么好地满足约束1312之外，还基于使用神经网络1310的当前输出的声信号的重构版本之间的误差来计算成本。
触觉提示重构成原始语音信号可以经由在下文被称为重构神经网络的第二神经网络来实现。在神经网络1310的相反作用时训练重构神经网络。它接收来自神经网络1310的压缩触觉提示作为输入，并被训练以尝试产生以尽可能小的误差量最接近地匹配原始输入特征(频谱图1306)的输出。重构神经网络的训练试图减小该误差量(例如，使用梯度下降)，直到达到令人满意的最小值(例如，在某个次数的迭代之后)为止。此时，比较在由重构神经网络产生的重构频谱图和输入频谱图1306之间的误差，并确定误差量。在一个实施例中，重构频谱图被进一步转换成重构音频信号，该重构音频信号与输入音频信号1302进行比较以确定误差。可以通过交叉功率谱密度或其他方法来计算误差。在其他实施例中，不是使用重构神经网络而是使用试图确定在输出致动器信号和频谱图1306之间的关系(例如相关性)的某种其他函数来计算误差。在所识别的关系中的差异可以被认为是误差量。
除了误差量之外，成本还包括基于神经网络1310的当前迭代多么好地满足约束1312的计算。这些约束1312可以基于神经网络1310的输出和/或在神经网络1310内的隐藏层来计算成本值。下面紧接着描述关于单独约束1312的额外细节。
约束1312是对神经网络1310的输出的各种限制，并且通过修改用于训练神经网络1310的成本函数来在神经网络1310的训练中被实现。下面描述示例性约束1312的列表以及它们如何通过修改成本函数来被实现。约束1312的两个目标是实现高压缩性——使得用有限数量的触觉输出来实现高吞吐量，以及低熵——使得触觉输出不是高度无序的而是具有可辨别的模式。在一个实施例中，约束1312包括1)低序数、2)高稀疏性、3)高时间稳定性和4)高空间稳定性。
1)第一约束1312是低序数。该约束1312将触觉提示的类型的数量限制到在人检测不同类型的输出的能力范围内的可管理量。特别是，类型可以被限制到关闭状态和两个开启状态(在一个实施例中，在致动器处用1)100Hz正弦波和2)250Hz正弦波表示)。这些指示皮肤致动器在开启时振动的频率。在一个实施例中，通过指示来自神经网络1310的达到输出的所指示的数量的输出的较低成本，并指示没有达到输出的所指示的数量的输出的非常高的成本来实现低序数的该约束。在另一个实施例中，通过使神经网络1310被配置成为每个皮肤致动器输出两个节点来实现低序数的该约束，一个节点指示100Hz状态，而另一个节点指示250Hz状态。在这个情形中的成本函数将被修改，使得如果一个皮肤致动器的这些输出节点中的任何一个是同时活动的，则高成本被给出。
2)第二约束1312是高稀疏性。这限制了同时被激活的皮肤致动器的数量，因为人在暴露于几个活动的皮肤致动器时可能变得困惑。可以通过添加与皮肤致动器的数量成比例或随着皮肤致动器的数量而增加的成本来实现该稀疏性约束1312，该皮肤致动器由神经网络1310指示为在时间片处对于一组触觉提示输出是活动的。例如，稀疏性的成本函数可以计算指示皮肤致动器的激活的节点的数量，并导出与节点的数量成比例的成本值。在另一个实施例中，通过过滤掉来自神经网络1310的超过所激活的皮肤致动器的最大数量的输出来实现该稀疏性约束1312。来自神经网络的迭代的结果被丢弃，并且新的迭代以新近修改的权重被执行。
3)第三约束1312是时间稳定性。这限制了在皮肤致动器的状态中的变化的频率，使得它们不会变化得太快，这可能引起困惑，因为人也许可能不能够感知这样的快速变化。可以通过添加与来自输入频谱图1306的前一个时间片的输出的变化的数量成比例的成本来实现该时间稳定性约束1312。因为神经网络1310可以是递归神经网络，所以它可以从先前状态召回信息，且因此当先前信息指示变化已经出现时成本可能增加。
4)第四约束1312是空间稳定性。这限制了所激活的皮肤致动器的空间可变性，使得它们在触觉设备上在空间上一起更接近。换句话说，被激活的皮肤致动器应该紧密地汇总在一起。在一个实施例中，通过使仅仅某些皮肤致动器组在任何给定时间打开来实现该约束。因此，如果神经网络1310的输出指示来自多于一个组的皮肤致动器同时是活动的，则该约束的成本可以被指示为非常大。可选地，可以丢弃结果，并且用新近更新的权重来执行神经网络。在另一个实施例中，可以通过降低来自神经网络1310的输出的成本来实现该约束的成本，其中相邻皮肤致动器同时是活动的，而更远离的较少的皮肤致动器是活动的。例如，对于每个活动的皮肤致动器，基本成本被指示。然而，对于每个活动的相邻皮肤致动器，基本成本被减去可能对应于到相邻皮肤致动器的距离的量。所有成本的总和加在一起以产生空间稳定性约束的总成本。此外，神经网络1310可以接收关于在皮肤致动器之间的配置和距离的输入数据。这可以向神经网络1310提供可以帮助优化训练时间的额外信息。
尽管上面描述了四个不同的约束1312，但在其他实施例中约束1312包括多于这四个约束。在一种情况下，额外的约束是联合音素分类器的包含。在神经网络1310的输出上训练联合音素分类器，并且来自该分类器的出错率被包括在由成本分析器1316计算的总成本函数中。这可以允许在触觉提示和在触觉提示中表示的任何音素之间的对应性的增加。
成本分析器1316计算每个约束的成本的加权平均值和来自触觉提示的重构(在时间片上)的误差以导出最终成本值。这被传输到基于该成本来更新神经网络1310的神经网络更新器1314。
神经网络更新器1314基于来自成本分析器1316的所计算的成本来更新神经网络1310。这可以使用标准神经网络训练机制(例如反向传播和随机梯度下降)来实现。更新神经网络1310和经由成本分析器1316分析成本的过程被重复，直到期望的出错率被达到或者当对照验证集进行测试时准确度不再被提高为止。也可以使用用于停止训练的其他标准指示器。
图13B根据实施例示出了在神经网络1310被训练之后的神经网络1310的使用的框图。声信号1318(不是用于训练神经网络1310的训练集的一部分)由预处理器1304接收，预处理器1304将它转换成频谱图1306。经训练的神经网络1310接收频谱图1306，并为频谱图的每个时间片输出一组触觉提示1322。这些触觉提示1322指示触觉设备的皮肤致动器1324的触觉输出的模式，但是可能还不在可以由触觉设备1324直接使用的格式中。例如，如上面参考图13A所述的，触觉提示1322可以作为一组百分比值被输出。因此，触觉提示1322在被传输到皮肤致动器1324以产生相应的触觉输出之前可以首先由触觉信号发生器1323转换成致动器信号。
图13C根据实施例示出了使用神经网络1310将语音信号转换成一组皮肤致动器1330的一组触觉输出。语音信号1326可以是被采样的波形，例如所示的波形。如所示，该语音信号1326使用上述过程被转换1328成随后被传输到触觉设备的触觉提示的序列，并使在触觉设备上的一组皮肤致动器1330A-1330N产生一组触觉输出。在感测到这些触觉输出之后，人也许能够确定关于原始语音信号1326的信息。这可以允许人在没有听到语音信号1326的情况下或通过任何其他听觉手段来理解原始语音信号1326的一些方面。
图13D是根据一个实施例示出的用于训练机器学习电路以从声信号产生一组压缩触觉提示的方法的流程图。在流程图中描述的过程可以由无监督学习模块1300执行。尽管这里示出了步骤的特定排列，但在其他实施例中该过程可以不同地被排列。
无监督学习模块1300接收1336语音信号(例如语音信号1302)的训练集。无监督学习模块1300将语音信号的训练集预处理1338成经预处理的音频数据。经预处理的音频数据可以至少包括频谱图(例如频谱图1306)。无监督学习模块1300使用经预处理的音频数据来训练1340神经网络。另外，神经网络产生1342对应于语音信号的触觉提示的序列。神经网络具有基于重构误差和多个约束(例如约束1312)的成本函数。这些约束使所输出的触觉提示的序列具有高压缩性和低熵。触觉提示的序列被传输到皮肤致动器以产生触觉输出的序列。这些皮肤致动器面向用户的身体的皮肤表面，例如前臂表面。
应用与辅音-元音对或音节相关的触觉通信模式的语音算法
实施例还涉及触觉符号集，该触觉符号集指定要从语言的输入词产生的用于操作触觉致动器的致动器信号的序列。然而，不同于关于图11A至图11J描述的系统，这里的触觉符号基于在语言的书写形式中的单位，而不是在语言的口语组成部分中表示的音素。这样的单位可以包括辅音-元音对或音节。与具有不分解成音节或辅音-元音对的书写系统的语言(例如英语)不同，其他语言的其他书写系统具有这样的特征。例如，日语的平假名书写系统是假名表，而印地语的天城文是元音附标文字(abugida)，即，它在书写系统中使用辅音-元音对。
图14A是根据实施例示出用于将输入词1404的音节转换成致动器信号1412以激活触觉设备的皮肤致动器1414的系统的部件的框图。
输入词1404是可以在由有限数量的音节形成的语言中的词。虽然语言(例如英语(和其他欧洲语言))在被说出时也被形成为音节，但在这种语言中的可能音节的数量超过10,000，且因此这种语言的音节不能容易地由致动器信号的独特序列来表示。替代地，输入词1404可以来自可以使用有限数量的音节(例如，低于100个)形成的语言(例如日语)。
音节-触觉信号转换器1402类似于词-触觉信号转换器1107，但将输入词1404转换成组成音节，并将这些音节转换成致动器信号的序列，而不是转换成音素。音节-触觉信号转换器1402包括音节分离器1406、音节-触觉信号转换器1408和音节-触觉信号数据库1410。在一个实施例中，音节-触觉信号转换器1402可以是在信号发生器(例如信号发生器800)中的部件。
音节分离器1406将输入词1404转换成组成音节。音节分离器1406的输出可以是表示输入词1404的语言的音节的一组符号。例如，日语可以由46个音节(如由平假名书写系统所指示的)表示。音节分离器1406可以基于音节数据库来将词转换成音节，该音节数据库指示对应于在输入词1404的书写形式中的字母或其他元素的音节。
音节-触觉信号转换器1408可以类似于音素-触觉信号转换器1109，但将输入词1404的音节(而不是输入词的音素)转换成致动器信号的序列。对于从音节分离器1406接收的每个音节，音节-触觉信号转换器1408访问音节-触觉信号数据库1410以确定要输出的致动器信号1412的相应序列。在一个实施例中，每个音节具有致动器信号1412的单个相应序列。
所产生的致动器信号1412的序列不仅仅基于触觉设备的哪些皮肤致动器1414被顺序地激活而被图案化。替代地，致动器信号1412的序列也可以被图案化，使得在序列中的每个致动器信号1412可以具有不同的持续时间，并且使得信号的缺乏与其他致动器信号1412相结合也可以指示对应于音节的特定序列。因此，信号的持续时间和信号的缺乏都可能促成表示不同音节的致动器信号1412的不同序列。另外，致动器信号1412可以不仅仅是二元的(例如，开和关)，但可以替代地是可变的，允许皮肤致动器的触觉输出在强度上变化，并且允许触觉输出遵循复杂的模式和波形。
由音节-触觉信号转换器1402输出的致动器信号1412被传输到可以类似于图11B的皮肤致动器1104的皮肤致动器1414。每个致动器信号1412在一段持续时间内(以及在一些实施例中，针对特定的强度、频率等)激活皮肤致动器1414中的一个。在当皮肤致动器1414接收到它的致动器信号1412时的点处，皮肤致动器1414激活。当相同的致动器信号1412停止时，皮肤致动器1414去激活。可选地，致动器信号1412是数字的，因为它们为指定的皮肤致动器1414传输指定的持续时间和开始时间(以及其他因素，例如强度)。该数字信号通过皮肤致动器1414本身由处理器转换，且随后相应的皮肤致动器1414在指定的开始时间根据指定持续时间激活。这些致动器信号1412的序列可以产生可以由用户从致动器信号1412的其他序列识别并区分的独特模式。
下面参考图14B描述了由对应于音节的致动器信号1412产生的特定触觉输出的一组示例。
图14B根据实施例示出了示例输入词1404的触觉音节触觉输出的示例性序列。在所示的示例中，输入词1404是
Figure BDA0002321951530000801
或英语中的“东京(Tokyo)”。这个词包括5个不同的音节：1)/to/，2)
Figure BDA0002321951530000802
或“u”，3)/ki/，4)/jo/或“yo”，和5)
Figure BDA0002321951530000803
或“u”。注意，第二、第四和第五音节是元音。音节-触觉信号转换器1402将这些音节中的每一个转换成被传输到皮肤致动器1414的致动器信号1412的序列，皮肤致动器1414基于致动器信号1414来产生触觉输出并且该触觉输出由用户感测。为了便于讨论，与音节相关联的触觉输出的序列中的每一个触觉输出都被称为触觉音节。因此，这里的五个音节被转换成由用户感测的五个触觉音节。在训练之后，用户也许能够在感测到这五个触觉音节之后识别词
Figure BDA0002321951530000804
类似的过程将对其他词出现。
在图14B的所示示例中，皮肤致动器1440-1450的3x2二维阵列由同心圆表示，每组两个同心圆表示一个皮肤致动器。皮肤致动器1440-1450对于触觉音节1430被标记，但是为了清楚起见没有对于触觉音节1432-1438被重复地标记。然而，在触觉音节1432-1438中指示的皮肤致动器与在触觉音节1430中的相同位置上的皮肤致动器相同。皮肤致动器1440-1450的这个二维阵列可以对应于在图11A中的皮肤致动器1104的二维阵列。
每个触觉音节1432至1438指示皮肤致动器的这个阵列的触觉输出的序列，其对应于输入词
Figure BDA0002321951530000805
的音节。在触觉输出的序列中的每个单个触觉输出对应于皮肤致动器的激活，并且由该皮肤致动器的一组两个实心同心圆表示。相反，未激活的皮肤致动器由虚线同心圆表示。此外，触觉输出的两点序列由两组实心同心圆表示，在这两组之间的箭头指示在与箭头的方向直接相反的方向上定位的第一皮肤激活器的激活，后面是在紧接着在箭头的方向后面的方向上指示的第二皮肤激活器的激活。触觉输出的两点序列可以类似于参考图11D描述的序列。例如，对于音节
Figure BDA0002321951530000806
的触觉音节1432，在延迟时间(例如上面参考图11D描述的SOA延迟)之后，由跟随有皮肤致动器1446的激活的皮肤致动器1442的激活来指示。
每个触觉音节的触觉输出的序列可以通过无触觉输出的延迟时间(例如，200ms)，或者通过特殊定界符触觉输出(例如，所有致动器在一段时间间隔内同时激活)彼此分隔开。
在所示的示例中，1)“to”对应于触觉音节1430和皮肤致动器1450的激活，2)“u”对应于触觉音节1432和皮肤致动器1442和后面是1446的激活，3)“ki”对应于触觉音节1134和皮肤致动器1444的激活，4)“yo”对应于触觉音节1436和皮肤致动器1440和后面是1442的激活，5)“u”对应于触觉音节1438和皮肤致动器1442和后面是1446的激活(与2相同)。
可以基于发音关联以类似于上面对图11H所述的方式来选择在每个触觉音节和每个口头音节之间的对应关系。此外，在一个实施例中，以与上面对图11H所述的方式的类似的方式，辅音音节的触觉输出的持续时间可以短于元音音节的触觉输出的持续时间。尽管这里针对每个音节示出了触觉输出的特定组合，但在其他实施例中对音节的触觉输出的组合可以不同。
图14C是根据实施例示出用于将输入词1418的辅音-元音对转换成致动器信号1426以激活触觉设备的皮肤致动器1428的辅音-元音对(元音附标文字)触觉信号转换器1416的部件的框图。这些部件可以作为计算机可读指令存储在存储器(例如存储器813)中。在另一个实施例中，使用专用硬件(包括处理器和存储器)来单独地实现这些部件。虽然图14A描述了用于将音节转换成致动器信号的系统，但图14C描述了用于将辅音-元音对转换成致动器信号的系统。辅音-元音对(元音附标文字)触觉信号转换器1416除了别的部件以外还可以包括辅音-元音对分离器1420、辅音-元音触觉转换器1422和辅音-元音触觉信号数据库1424。
输入词1418是在可以由有限数量的辅音-元音对形成的语言中的词。这种语言的示例是使用天城文并以辅音-元音对表示口头语言的印地语。这些类型的语言被称为元音附标文字。注意，诸如英语的语言(虽然是用辅音-元音对可表示的)将具有非常高数量的这种对，且因此这种表示对于转换成致动器信号的序列可能不是可行的。
辅音-元音(C-V)对触觉信号转换器1416类似于音节-触觉信号转换器1402，但将输入词1418转换成组成C-V对(而不是转换成音节)，并将这些C-V对转换成致动器信号的序列。C-V对触觉信号转换器1416包括辅音-元音对分离器1420、辅音-元音触觉信号转换器1422和辅音-元音触觉信号数据库1424。在一个实施例中，C-V对触觉信号转换器1416可以是在信号发生器(例如信号发生器800)中的部件。
C-V对分离器1420将输入词1418转换成组成C-V对。音节分离器1406的输出可以是表示输入词1418的语言的C-V对的一组符号。
C-V触觉信号转换器1422可以类似于音节-触觉信号转换器1408，但将输入词1404的C-V对(而不是输入词的音节)转换成致动器信号的序列。对于从C-V对分离器1420接收的每个C-V对，C-V触觉信号转换器1422访问C-V触觉信号数据库1424以确定要输出的致动器信号1426的相应序列。
由C-V对触觉信号转换器1416输出的致动器信号1426被传输到可以类似于图11B的皮肤致动器1104的皮肤致动器1428。每个致动器信号1426在一段持续时间内(以及在一些实施例中，针对特定强度、频率等)激活皮肤致动器1428中的一个。下面参考图14D描述由对应于C-V对的致动器信号1428产生的特定触觉输出的一组示例。
图14D根据实施例示出了示例输入词1418的触觉C-V对触觉输出的示例序列。在所示的示例中，输入词1418是在天城文中被写为
Figure BDA0002321951530000821
的“印度(India)”。这个词包括三个不同的C-V对：1)
Figure BDA0002321951530000822
2)
Figure BDA0002321951530000823
和3)/j/+a。这些分别近似地被发音为“in”、“di”和“ya”。C-V触觉信号转换器1416将这些C-V对中的每一个转换成被传输到皮肤致动器1428的致动器信号1426的序列，皮肤致动器1428产生触觉输出的序列。为了便于讨论，与C-V对相关联的触觉输出的序列中的每一个触觉输出被称为触觉C-V对。因此，这里的三个C-V对被转换成三个触觉C-V对。类似的过程对其他词出现。
在图14D的所示示例中，皮肤致动器1458-1468的3x2二维阵列由同心圆表示，每组两个同心圆表示一个皮肤致动器。皮肤致动器1458-1468对于触觉C-V对1452被标记，但是为了清楚起见没有对于触觉C-V对1454和1456被重复地标记。皮肤致动器1458-1468的这个二维阵列可以对应于在图14A中的皮肤致动器1104的二维阵列。
每一个触觉C-V对1452-1456指示皮肤致动器的这个阵列的触觉输出的序列，其对应于输入词“印度(India)”的C-V对，类似于上面对图14B的触觉音节所提到的过程。
在示出的示例中，1)
Figure BDA0002321951530000831
对应于触觉C-V对1452和皮肤致动器1462和后面是皮肤致动器1464的激活，2)
Figure BDA0002321951530000832
对应于触觉C-V对1454和皮肤致动器1464的激活，以及3)“/j/+a”对应于触觉C-V对1156和皮肤致动器1458和后面是1460的激活。
可以基于发音关联以与上面对图11H所述的方式类似的方式来选择每个触觉C-V对和每个口头C-V对之间的对应关系。
图14E是根据实施例示出基于C-V对来将输入词转换成触觉输出的方法的流程图。在流程图中描述的过程可以由C-V对触觉信号转换器1416执行，该C-V对触觉信号转换器1416又可以是信号发生器的部件，该信号发生器可以是触觉设备的一部分。尽管这里示出了步骤的特定排列，但是在其他实施例中该过程可以不同地被排列。
最初，C-V对触觉信号转换器1416接收1472输入词，该输入词是使用C-V对而书写的语言(例如印地语)的单位。C-V对触觉信号转换器1416将输入词转换1474成它的组成C-V对。
C-V对触觉信号转换器1416将C-V对转换1152成致动器信号的序列。该序列由致动器信号的子序列的串联形成。在该语言中的每一个C-V对对应于致动器信号的这些子序列之一。致动器信号中的每一个被映射到被放置在被成形为缠绕在用户的手臂周围的束带的内表面上的皮肤致动器的二维阵列中的皮肤致动器。当由用户佩戴时，束带的内表面面向用户的手臂。
C-V对触觉信号转换器1416将致动器信号的序列传输到皮肤致动器的二维阵列。这使皮肤致动器根据致动器信号的序列而激活，并且继而使用户感测来自皮肤致动器的一系列触觉输出。如果被训练，用户也许能够将触觉输出识别为词的C-V对，并从触觉输出译解输入词。以这种方式，用户也许能够触觉地而不是听觉地或视觉地识别词。类似的流程可以用于将输入词转换成音节，并将音节转换成触觉输出的序列，且因此为了简洁起见在此被省略。
使用皮肤致动器用于模拟连续的人触摸的触觉通信系统
实施例还涉及包括皮肤致动器的阵列以产生对应于由该阵列接收的致动器信号的触觉感觉的触觉通信设备。该阵列包括在第一时间在用户的身体上的第一位置处产生第一触觉感觉的第一皮肤致动器，以及在比第一时间晚的第二时间在用户的身体上的第二位置处产生第二触觉感觉的第二皮肤致动器。皮肤致动器的阵列可以安装在放置在用户的身体上的基板上。信号发生器产生致动器信号以使阵列沿着用户的身体产生从第一位置到第二位置的连续触觉运动。信号对应于社交触摸词汇的词。
图15A是根据实施例安装在基板1504上的皮肤致动器的示例阵列1502的平面视图。基板1504可以放置或缠绕在用户的身体1500的一部分周围，例如在前臂、胸部、背部、大腿、颈部等上。基板1504可以由柔性材料(例如塑料(例如，聚乙烯和聚丙烯)、橡胶、尼龙、合成材料、聚合物等)制成。在一个实施例中，皮肤致动器的阵列1502可以安装在柔性基板1504(例如足球护胫)上。皮肤致动器的阵列1502提供触觉感觉，以沿着用户的身体1500产生从阵列1502的开始到阵列1502的结束的连续触觉运动。如下面参考图15B所述的，当单独的皮肤致动器依次被刺激使得由每个皮肤致动器产生触觉感觉与由在序列中的下一个皮肤致动器产生触觉重叠时，阵列1502产生在身体1500上的连续触觉运动(例如，抚摸或移动触摸)的感觉而不是离散致动点的感觉。
皮肤致动器的阵列1502产生对应于由阵列1502接收的致动器信号的触觉感觉(上面关于图2和下面关于图15B描述的)。例如，致动器信号可以对应于社交触摸词汇的词以向用户的身体1500提供愉快或平静的触摸。触觉感觉包括由安装在基板1504上的一个或更多个皮肤致动器提供的感觉。
图15A示出了布置在两行和六列中的十二个皮肤致动器的阵列1502。由皮肤致动器产生的振动的十二个点可以用于在身体1500上产生触觉错觉。在一个实施例中，可以使用高带宽、轻质、便携式和可穿戴的皮肤致动器。例如，如上面参考图1所述的，每个皮肤致动器可以是音圈、线性谐振致动器(LRA)、偏心旋转质量(ERM)致动器、压电致动器、电活性聚合物致动器、形状记忆合金致动器、气动致动器、微射流致动器、某种其他类型的换能器或其组合。例如，六个音圈可以用于通过离散放置和连续抚摸来产生触觉错觉。如下面参考图15E详细示出并描述的，可以确定心理物理控制模型来指定如何参数化地控制皮肤致动器。
每个皮肤致动器是换能器，其将以电能的形式的致动器信号(例如，电压或电流信号)转换成在身体1500上的特定位置处的触觉感觉。如下面关于图15B所描述并示出的，皮肤致动器的阵列1502包括第一皮肤致动器1508A以在第一时间t1在用户的身体1500上的第一位置处开始产生第一触觉感觉。阵列1502包括第二皮肤致动器1508B以在比第一时间晚的第二时间t2在用户的身体1500上的第二位置处开始产生第二触觉感觉。第一皮肤致动器1508A和第二皮肤致动器1508B沿着用户的身体1500被分开间隔距离1512A。在皮肤致动器的其他连续对之间的间隔距离可以是相同的或不同的。在一个实施例中，使第一皮肤致动器1508A和第二皮肤致动器1508B分离的间隔距离1512A小于40mm。例如，皮肤致动器可以沿着前臂背侧1500的轮廓(line)被放置成间隔开35mm。
在一个实施例中，使阵列1502的第一皮肤致动器和最后一个皮肤致动器分离的距离1516小于15cm。在阵列1502上的第一皮肤致动器1508A和最后一个皮肤致动器之间的距离1516是设备的长度1516，并且对应于在身体1500上的经历平静或愉快的触摸的表面的长度。例如，长度1516可以沿着前臂背侧1500的轮廓为14cm。可以使用更大或更小的间隔距离1512A或长度1516来改变被提供给用户的感觉。如下面关于图15E所述的，不同的距离1512A和长度1516也可以用于确定优选的距离1512A或长度1516。
皮肤致动器的阵列1502可以是具有在整个基板1504上不均匀地间隔开并分布的皮肤致动器的一维阵列、二维阵列或二维图案。皮肤致动器的阵列1502可以包括一行或更多行皮肤致动器和一列或更多列皮肤致动器。图15A示出了具有二维阵列的实施例。皮肤致动器1508A、1508B和1508C位于皮肤致动器的阵列1502的第一行中。皮肤致动器1508D位于皮肤致动器的阵列1502的第二行中。使第一行皮肤致动器(1508C)和第二行皮肤致动器(1508D)分离的间隔距离1512B小于40mm。例如，行可以沿着前臂背侧1500的轮廓被放置成间隔开35mm。
如下面关于图15E所述的，可以确定数学函数(心理物理模型)，其将由阵列1502产生的错觉连续运动关联为刺激时间、频率、振动的振幅等的函数。振动致动器(例如在手机或智能手表中的电机)的离散网格因此可以放置在前臂上(或沿着皮肤)以引起连续的移动，例如当手指或手被触摸并在整个前臂(或皮肤)上移动时。
图15B是根据实施例由第一皮肤致动器1508A和第二皮肤致动器1508B在不同时间产生的示例触觉感觉的图示。由安装在基板1504上的其他皮肤致动器产生的触觉感觉也在时间上类似地交错开，并被传输到在用户的身体1500上的其他位置。
触觉感觉可以对应于社交触摸词汇的词，包括用于问候、离别、给予关注、帮助、安慰、平静、愉快和安心触摸的词。如下面关于图17A-图17E详细示出并描述的，触觉感觉还可以对应于来自用户的被转换成触觉输出的口头词。不同的触觉感觉当在时间和距离上交错时沿着用户的身体1500产生从第一位置(第一皮肤致动器1508A的位置)到最后一个位置(最后一个皮肤致动器的位置)的连续触觉运动。如上面关于图2、图3和图8A至图8F所述的，连续触觉运动意欲将词传输到用户的身体1500。
如在图15B中所示的，第一皮肤致动器1508A在第一时间t1在用户的身体1500上的第一位置处开始产生第一触觉感觉。在一个实施例中，触觉感觉可以是触觉振动。第一触觉感觉的振幅使设备能够传输复杂的触觉通信效果。通过改变触觉感觉(例如，振动)的振幅(例如，1532)来传输与上述社交触摸词汇的词相关的信息。通过改变振动的振幅和模式，可以再现大量的组合、节奏或消息。
第二皮肤致动器1508B在第二时间t2在用户的身体1500上的第二位置处开始产生第二触觉感觉。第二时间t2晚于第一时间t1以使触觉感觉在时间上交错开以产生连续的触觉触摸运动。第一皮肤致动器1508A在第二时间t2之后的第三时间t3结束产生第一触觉感觉。在由第二皮肤致动器1508B产生第二触觉感觉的开始和由第一皮肤致动器1508A产生第一触觉感觉的结束之间的重叠时间1536提供连续的触觉触摸运动，而不是用户在用户的身体1500上的不同位置处经历隔离的感觉。
第一触觉感觉的产生与第二触觉感觉的产生在指示触觉感觉的重叠时间1536的时间间隔内重叠。第二皮肤致动器1508B可以通过改变在第三时间t3和第二时间t2之间的这个时间间隔(t3-t2)来传输第二触觉感觉。在一个实施例中，当LRA用作皮肤致动器时，皮肤致动器的性能特性可以允许更短的开始-停止时间。因此，时间t1、t2和t3可以容易地增加或减少以确定提供触觉感觉和社交触摸词汇的词的更好通信的优选重叠时间。下面参考图15E更详细地描述确定优选重叠时间的方法。
第一皮肤致动器1508A可以在指示第一触觉感觉的持续时间的时间间隔之后(在时间t3)结束产生第一触觉感觉。例如，第一皮肤致动器1508A可以改变在第一时间t1和第三时间t3之间的时间间隔。在第一时间t1和第三时间t3之间的时间间隔指示第一触觉感觉的持续时间t3-t1。可以将平滑的连续运动建模为抚摸运动的触觉感觉的持续时间t3-t1的函数。持续时间t3-t1确定抚摸的速度。第一触觉的持续时间t3-t1可以增加或减少以确定哪个优选持续时间t3-t1提供触觉感觉和社交触摸词汇的词的更好通信。
在一个实施例中，第二皮肤致动器1508B可以在第三时间t3过去之后开启，在这种情况下暂停可以出现在扬声器之间。这种配置可以向用户的身体1500提供其他类型的触觉通信。再次，可以类似于下面参考图15E描述的方法来实现确定在第三时间t3和第二时间t2之间的优选暂停时间的方法。
图15C是根据实施例示出产生触觉感觉以沿着用户的身体产生连续触觉运动的示例过程的流程图。在一些实施例中，该过程可以具有除结合图15C描述的步骤外的不同和/或额外的步骤。可以以与结合图15C描述的顺序不同的顺序来执行该过程的步骤。一些步骤可以并行地被执行。可选地，一些步骤可以并行地被执行，而一些步骤可以连续地被执行。可选地，一些步骤可以以流水线方式被执行，使得步骤的执行在前一步骤的执行之前开始。
安装在基板上的皮肤致动器的阵列1502接收1540A对应于社交触摸词汇的词(包括问候、离别、给予关注、帮助、安慰、平静、愉快和安心触摸)的致动器信号。耦合到阵列1502的信号发生器可以产生致动器信号并将致动器信号传输到阵列1502以使阵列1502沿着用户的身体1500产生从第一位置到位置的连续触觉运动。
皮肤致动器的阵列中的第一皮肤致动器产生1540B对应于致动器信号的第一触觉感觉。皮肤致动器的阵列中的第一皮肤致动器将第一触觉感觉传输1540C到在用户的身体1500上的第一位置。第一触觉感觉的产生在第一时间t1开始。
第二皮肤致动器产生1540D对应于致动器信号的第二触觉感觉。在一个实施例中，不同类型的皮肤致动器可以用于提供实际上随着所使用的皮肤致动器的类型和特性而变化的触觉错觉。例如，LRA可以用于提供更短的开始-停止时间以改变由用户感知的触觉错觉，而微射流致动器可以用于产生各种感觉，包括纹理、尺寸、形状、移动等。
第二皮肤致动器将第二触觉感觉传输1540E到在用户的身体1500上的第二位置以沿着用户的身体1500产生从第一位置到第二位置的连续触觉运动。连续触觉运动意欲将社交触摸词汇的词传输到用户的身体1500。第二触觉感觉的产生在晚于第一时间t1的第二时间t2开始。第一触觉感觉的产生可以在第二时间t2之后的第三时间t3结束。因此，在指示触觉感觉的重叠时间的时间间隔内，第一触觉感觉的产生与第二触觉感觉的产生重叠。
图15D是根据实施例示出示例潘申尼和非潘申尼刺激的曲线图。在一个实施例中，触觉感觉可以是触觉振动。皮肤致动器的阵列1502可以通过改变触觉振动的振幅或频率来产生触觉感觉。图15D示出了可以通过改变触觉振动的振幅和频率而传输到用户的身体1500的不同类型的触觉刺激。
曲线1552A示出了在身体1500中的非潘申尼刺激可以如何随感觉的振幅和感觉的频率而变化。在身体1500中的潘申尼和非潘申尼刺激由机械刺激感受器引起，机械刺激感受器是对触觉感觉、机械压力或扭曲做出响应的感觉感受器。非潘申尼机械刺激感受器(例如，触觉小体或Meissner小体)是在皮肤中的负责对轻柔接触的敏感性的一种类型的神经末梢。特别是，它们在感测在10赫兹到50赫兹之间的触觉感觉时是敏感的。曲线1552A示出了当振动频率较接近20Hz时较多的非潘申尼刺激被实现。当振动频率较接近70Hz时，较少的非潘申尼刺激被实现。当振动频率较接近250Hz时，很少的非潘申尼刺激被实现。
(在图15D中描绘的)非潘申尼刺激区域1556A通常位于触觉感觉的70Hz频率之下，即，当皮肤致动器产生低于70Hz频率的触觉感觉时，用户的身体1500可以经历非潘申尼刺激。例如，优选的操作频率区域可以是当皮肤致动器1508产生高于20Hz频率且低于70Hz频率的触觉感觉时。
潘申尼机械刺激感受器(例如，层状小体或潘申尼小体)是在皮肤中的负责对振动和压力的敏感性的神经末梢。它们对突然的干涉做出响应，且对感觉是特别敏感的。例如，潘申尼刺激可用于检测表面纹理，例如粗糙相对于光滑。曲线1552B示出了当振动频率较接近250Hz时较多的潘申尼刺激被实现。当振动频率较接近70Hz时，较少的潘申尼刺激被实现。当振动频率较接近20Hz时，很少的潘申尼刺激被实现。
潘申尼刺激区域1556B通常位于触觉感觉的70Hz频率之上，即，当皮肤致动器产生高于70Hz频率的触觉感觉时，用户的身体1500可以经历潘申尼触觉刺激。例如，用于潘申尼刺激的优选操作频率区域可以是当皮肤致动器1508产生高于70Hz频率且低于250Hz频率的触觉感觉时。
图15E是根据实施例的皮肤致动器的阵列1502的示例优选操作区域1568的图示。使用下面关于图15E描述的方法，可以确定对人类用户更愉快的触觉感觉的优选参数(例如，频率、振幅、重叠时间1536、感觉的持续时间等)和阵列1502的优选参数(例如，间隔距离1512A和1512B、设备的长度1516等)。优选参数可以用于关联社会接触消息，例如平静和安慰。
触觉感觉的参数可以在频率和振幅的整个宽频谱中被检查。在一些实施例中，在5Hz-40Hz范围内的振动频率和高达人类敏感度阈值的20倍的振幅唤起更愉快的触摸。这些参数可以与移动错觉、社交和安慰模式的心理物理模型组合以在用户的皮肤1500上产生触觉感觉，例如，再现其他人触摸前臂1500的效果。
在一个实施例中，可以构建几个频率组以确定在整个宽振动触觉频谱中处于不同振幅的愉快触摸的鲁棒性和参数范围。如上面关于图15D所描述并示出的，不同的频率触发在人体1500内的不同的感受系统。每个频率组可以包括在变化的振幅处的一个或更多个振动频率。也就是说，包括多于一个频率的致动器信号可以被传输到皮肤致动器以使皮肤致动器产生包括多于一个频率的感觉。例如，压电致动器(以高速和高分辨率将电能直接转换成线性运动的精密陶瓷致动器)可以用于改变感觉的振幅和频率以产生不同类型的愉快或平静的触摸，并确定频率和振幅的优选区域1568。
在一个实验中，构建并评估十个频率集。频率集包括(1)频率集1：在15dB感觉水平(SL)处20Hz；(2)频率集2：在30dB SL处20Hz；(3)频率集3：在15dB SL处70Hz；(4)频率集4：在30dB SL处70Hz；(5)频率集5：在15dB SL处250Hz；(6)频率集6：在30dB SL处250Hz；(7)频率集7：在20dB SL处20Hz+70Hz；(8)频率集8：在20dB SL处20Hz+250Hz；(9)频率集9：在20dBSL处70Hz+250Hz；以及(10)频率集1：在25dB SL处20Hz+70Hz+250Hz。
上述振幅用dB SL表示，dB SL指触觉感觉高于感觉阈值(即，触觉感觉的感知所需的最小dB)时的dB数。15dB SL检测阈值处振幅(aDT)可以被确定为：aDT×(20log 15)或aDT×5.6，其中aDT是用户可以检测到的最低阈值。类似地，20dB SL aDT可以被确定为：aDT×(20log 20)或aDT×31.6。
触觉感觉可以被传输给实验的几个参与者，其中第一触觉感觉和第二触觉感觉对应于在频率集中的一个或更多个频率。每个参与者可以为了实验而佩戴皮肤致动器阵列。对于每个频率集，可以从实验的每个参与者接收连续触觉运动的评级(例如，愉快度)。在一个实验中，上述十个频率集中的每一个频率以触觉感觉的五个不同的速度(即5.7cm/s、7.1cm/s、9.2cm/s、13.2cm/s和23.4cm/s)被应用于参与者。速度指触觉振动行程按单位时间覆盖的沿着身体1500的距离。因此，对于5.7cm/s的速度，行程在一秒钟内沿着参与者的身体移动5.7cm。实验包括50个模式，即5个速度×10个频率集。对21名参与者(11名男性，平均年龄：37岁)执行实验，这些参与者在-7(不太愉快)和+7(更愉快)之间的愉快度标度上对这50个模式进行评价。
类似地，对于一组振动振幅中的每个振幅，第一触觉感觉和第二触觉感觉可以被传输给几个参与者中的每一个，其中第一触觉感觉和第二触觉感觉对应于该振幅。可以从每个参与者接收对振幅的评价(例如，触觉运动的愉快度或连续性)。接收到的评价可以被汇总以确定对应于最高评价的优选振幅和频率集。
在一个实验中，触觉感觉的优选频率被确定为等于或大于20Hz。触觉感觉的优选频率被确定为等于或小于70Hz。触觉感觉的优选振幅被确定为等于或大于15dB SL。触觉感觉的优选振幅被确定为等于或小于30dB SL。在其他实施例中，触觉感觉的振幅可以在15dBSL和30dB SL之间。
在一个实验中，从由参与者提供的评价确定皮肤致动器的优选操作区域1568。如在图15E中描绘的，优选操作区域1568包括在20Hz-70 Hz和15dB SL-20dB SL的可用范围内的70Hz的频率和15db SL的振幅。较高的振幅被确定为不太令人愉快的，而较低的振幅是更令人愉快的。
在一个实验中，当皮肤致动器产生的触觉感觉包括多于一个频率时，确定组合低频率和高频率(例如，20Hz+250Hz)的相等分量使触摸变得不太令人愉快。然而，将较大的低频率分量与较小的高频率分量(例如，20Hz+70Hz+250Hz)组合被确定为抵消高频率分量并使触摸变得更令人愉快。
在一个实验中，较低的频率(例如20Hz)在愉快度标度上被正面地评价，即，少于5％的用户报告不太愉快的感觉。较高的振幅被评价为不太令人愉快的，即，少于5％的用户报告愉快的感觉。女性参与者倾向于在愉快度标度上将触觉感觉评价得更高。
因此可以根据频率范围和振幅范围来构建皮肤致动器1508的优选操作区域1568。在一个实验中，在15dB SL-30dB SL处的20Hz-70Hz的频率被确定为参数的优选范围1568。
类似地，可以确定在皮肤致动器之间的优选间隔距离1512A和1512B。对于在第一皮肤致动器1508A和第二皮肤致动器1508B之间的一组间隔距离中的每一个，第一触觉感觉和第二触觉感觉可以被传输给几个参与者中的每一个。对于在皮肤致动器1508C和皮肤致动器1508D之间的一组间隔距离中的每一个，触觉可以被传输给几个参与者中的每一个。对于间隔距离1512A或1512B，可以从每个参与者接收连续触觉运动的评价。接收到的评价可以被汇总以确定对应于最高评价的优选间隔距离1512A或1512B。
类似地，可以确定在第一触觉感觉的产生和第二触觉感觉的产生之间优选的重叠时间。对于在第一触觉感觉的产生和第二触觉感觉的产生之间的几个不同的重叠时间中的每一个时间，触觉感觉可以被传输给一组参与者中的每个参与者。对于每个重叠时间1536，可以从每个参与者接收连续触觉运动的评价(例如，愉快度或连续性)。接收到的评价可以被汇总以确定对应于最高评价的优选重叠时间。
在一个实验中，确定在第一触觉感觉的产生和第二触觉感觉的产生之间的优选重叠时间。汇总触觉运动的连续性的评价相对于重叠时间1536的关系。数字1由参与者使用来将在皮肤致动器之间的触觉运动评价为更不连续的，而数字7用来将运动评价为更连续的。使用一系列频率、振幅和持续时间(t3-t1)来在连续的振动位置之间确定优选的重叠时间，所述连续的振动位置在在前臂的多毛皮肤上产生平滑连续的错觉行程。持续时间是皮肤致动器开启时的时间段。较长的持续时间提供较长的触摸。六名参与者(五名男性)在连续性的1-7的标度上评价120个不同的触觉振动模式。所使用的刺激是(1)一个频率组：20Hz+70Hz+250Hz；(2)两个不同的振幅(15dB SL和30dB SL)；(3)四个不同的持续时间(100ms、400ms、900ms和1600ms)；以及(4)五个不同的重叠时间，其被表示为每个皮肤致动器被开启时的持续时间的百分比(持续时间的20％、35％、50％、65％和80％)。在其他情况下，触觉感觉的频率可以在1Hz和300Hz之间。
对于更连续且愉快的触摸，确定包括优选重叠时间和优选持续时间(d)的心理物理模型。在一个实施例中，当由每个皮肤致动器产生的触觉感觉的持续时间增加时，由连续皮肤致动器产生的触觉感觉的优选重叠时间增加。例如，第一触觉感觉和第二触觉感觉的优选重叠时间可以是第一触觉感觉的持续时间的0.169倍的函数。重叠时间可以被确定为持续时间(d)的函数：0.169×d+k，其中k是常数。在一个示例中，k可以等于46.05。更令人愉快的触摸的优选重叠时间被确定为随着持续时间d而变化，但不那么多地随着频率或振幅而变化。
在一个实施例中，皮肤致动器1508的布置和驱动皮肤致动器的算法可以变化。在一个实施例中，在用户的身体1500上的位置E处的触觉错觉可以由在用户的身体1500上的其他位置B和C处的皮肤致动器提供。触觉感觉的单独频谱分量因此可以被组合以产生令人愉悦的触摸运动。在一个实施例中，用于驱动每个皮肤致动器的周期信号的频率、大小、定时和电压可以变化。在一个实验中，小于100ms的反应时间(从致动器信号被发送到阵列1502的时间到皮肤致动器开启的时间)被确定为令人愉快的。在一个实施例中，致动器信号可以包括关于物理触摸的压力、温度、纹理、剪切应力、时间和空间的信息。上面关于图15E描述的触觉感觉的振幅和频率可以与在接收到触觉感觉时由用户的身体1500所经历的压力、纹理和剪切应力相关。
具有阻尼层和末端执行器以增加触觉信号的可感知性的皮肤致动器
实施例还涉及包括皮肤致动器和填充层以减弱由皮肤致动器产生的触觉振动的可穿戴触觉通信设备。触觉通信设备包括皮肤致动器以产生对应于由皮肤致动器接收的致动器信号的触觉振动。靠近佩戴着触觉通信设备的用户的身体的阻尼构件将触觉振动聚焦在身体上的不同位置处。阻尼构件具有开口，皮肤致动器通过该开口将触觉振动传递到不同的位置。间隔构件接触阻尼构件，并通过阻尼构件与身体分离。间隔构件具有形成所需尺寸以接纳并固定皮肤致动器的开口。
图16A是根据实施例的示例触觉通信设备1600的横截面视图。触觉通信设备1600包括皮肤致动器1602的阵列、阻尼构件1604、间隔构件1606、电子电路1608、阻尼构件1610、缓冲构件1612、末端执行器1620和刚性基板1614。在其他实施例中，触觉通信设备1600可以包括额外的部件或比本文描述的部件更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
皮肤致动器1602的阵列产生对应于由皮肤致动器1602接收的致动器信号的触觉振动1616。致动器信号可以是电压信号、电流信号、某种其他换能器信号或其组合。可以通过如关于图9F、图14A、图14C、图17A和图18A所述的各种方法来产生致动器信号。当用户佩戴着触觉通信设备1600时，触觉振动1616经由皮肤将触觉输出(例如，触觉词汇中的词)传递到用户的身体1618。可以通过如参考图8C、图9A、图10E、图15B和图15C所述的各种方法来执行触觉输出的通信。如上面关于图1所述的，皮肤致动器可以是音圈、线性共振致动器(LRA)、偏心旋转质量致动器、压电致动器、电活性聚合物致动器、形状记忆合金致动器、气动致动器、微射流致动器或声学元表面致动器。
图16A中所示的阻尼构件1604是减弱触觉振动1616的触觉通信设备1600的一部分。阻尼构件1604靠近佩戴着触觉通信设备1600的用户的身体1618。在(下面关于图16D示出并描述的)一个实施例中，阻尼构件1604可以直接接触佩戴着触觉通信设备1600的用户的身体1618。在(下面关于图16G示出并描述的)另一个实施例中，阻尼构件1604可以被包围在壳体内，该壳体直接接触用户的身体1618。在该实施例中，阻尼构件位于壳体的顶部和皮肤致动器之间，皮肤致动器也由壳体包围。
通过减弱由皮肤致动器1602产生的触觉振动1616，阻尼构件1604将触觉振动1616聚焦在身体上的不同位置处。在图16A中，阻尼构件1604将触觉振动1616聚焦在接触末端执行器1620的身体1618上的不同位置处。阻尼构件1604接触在末端执行器1620周围的皮肤以为了改进的定位而减弱沿着皮肤传播的振动1616。“肖氏硬度(Durometer)”是材料的硬度的几个度量之一。阻尼构件1604比缓冲构件1612更硬(例如，肖示硬度20-50)，并用作在刚性间隔构件1606和皮肤之间的界面。
在实施例中，阻尼构件1604可以是具有大约十六分之一英寸的厚度的软橡胶或聚氨酯泡沫层。阻尼构件1604向佩戴着触觉通信设备1600的用户提供舒适度。阻尼构件1604是稳固的，易于清洁，并且不传播触觉振动1616。这使它对于接触身体1618的层是理想的。
(下面在图16D中示出的)开口1668在阻尼构件1604中形成。皮肤致动器1602通过开口1668将触觉振动1616传输到身体1618上的不同位置。
在实施例中，触觉通信设备1600可以包括第二阻尼构件1610以减弱皮肤致动器1602的振动。阻尼构件1610接触缓冲构件1612。阻尼构件1610比缓冲构件1612更硬(例如，肖氏硬度20-50)，并且用作在刚性间隔构件1606和顺从性缓冲构件1612之间的接口。在实施例中，阻尼构件1610可以是具有大约十六分之一英寸的厚度的软橡胶或聚氨酯泡沫层。在实施例中，阻尼构件1610可以由快回弹泡沫制成。
图16A中所示的间隔构件1606将皮肤致动器1602支撑并保持在触觉通信设备1600内的适当位置上。如图16A所示，间隔构件1606接触阻尼构件1604，并且通过阻尼构件1604与身体1618分离。间隔构件1606可以由硬橡胶制成以在皮肤致动器1602和用户的身体1618之间产生坚固的叠层，以确保皮肤致动器1602能够靠着用户的皮肤移动并且在安装期间不被过度压缩。该叠层有时也被称为“公差叠层”，并且将皮肤致动器1602向上保持在皮肤上方某个距离处，使得皮肤致动器1602的磁体和线圈可以通过它们的运动范围，并且不被按压，使得它们远离磁体中心被卡住。
在实施例中，皮肤致动器1602可以附着到间隔构件1606的刚性弯曲表面，并被压入皮肤中以确保所有皮肤致动器1602与皮肤接触。一致的堆叠间距确保皮肤致动器1602具有减小的负载，并且能够移动通过它们的运动范围，更有效地将电能转换成机械能。
间隔构件1606具有形成所需尺寸以接纳并固定皮肤致动器1602的(下面在图16B中示出的)开口。因此，每个皮肤致动器1602的一部分嵌在间隔构件1606中。在实施例中，间隔构件由具有大约四分之一英寸的厚度且小于50的肖氏硬度的刚性橡胶层制成。间隔构件1606的肖氏硬度值被选择成使得间隔构件1606能够将皮肤致动器1602支撑在触觉通信设备1600内的适当位置上，并且使间隔构件1606变成通常抗压痕的。
触觉通信设备1600包括耦合到皮肤致动器1602以驱动皮肤致动器1602的电子电路1608。电子电路1608位于在缓冲构件1612和间隔构件1606之间的空间1622内。空间1622包括线敷设层和定位层以定位皮肤致动器1602。电子电路1608可以是数字逻辑、模拟电路或在印刷电路板(PCB)上实现的电路，印刷电路板使用电线、导电轨道、焊盘等机械地支撑并电连接电子部件和皮肤致动器1602。触觉通信设备1600包括间隙以覆盖电子电路1608并改善触觉通信设备1600的美观。在一个实施例中，皮肤致动器1602附着到具有传感器和连接器的PCB；在间隔构件1606和阻尼构件1610之间的空间1622给出了刚性的且不与其他层一起弯曲的PCB空间。电子电路1608将致动器信号传输到皮肤致动器1602。电子电路1608还可以使用温度传感器(例如，热敏电阻、热电偶、电阻温度计或硅带隙温度传感器)来确定触觉通信设备1600的温度。电子电路1608可以测量板载触觉通信设备1600的温度，并将相应的测量信号传输到板外的主电子系统。响应于温度超过阈值，电子电路1608可以终止皮肤致动器的操作。例如，如果温度升高到不舒服的水平，则主电子系统可以经由电子电路1608切断到皮肤致动器1602的电力。
图16A中所示的缓冲构件1612被设计为向佩戴着触觉通信设备1600的用户的身体1618提供身体舒适度。顺从性缓冲构件1612适应于用户的手臂形状以确保接触和舒适度。缓冲构件1612使相同的触觉通信设备1600能够被用在不同用户的不同形状的手臂上。缓冲构件1612具有低肖氏硬度(例如，肖氏硬度1-10)，并且变形以适应于用户的身体1618。
当用户佩戴着触觉通信设备1600时，缓冲构件1612通过压缩来适应于用户的身体形状。间隔构件1606因此位于阻尼构件1604和缓冲构件1612之间。缓冲构件1612具有开口1613，并且每个皮肤致动器1602被插入到开口1613中的相应开口内。如图16A所示，每个皮肤致动器1602的一部分嵌在缓冲构件1612中。缓冲构件1612可以是具有大约四分之一英寸的厚度的聚氨酯泡沫层以实现缓冲构件1612的压缩。
末端执行器1620将触觉振动1616传输到佩戴着触觉通信设备1600的用户的身体1618。末端执行器1620接触用户的身体1618。每个末端执行器1620压入身体1618中，并且通过将触觉振动1616沿着末端执行器1620从安装在皮肤致动器1602上的末端执行器1620的较宽基座引导到末端执行器1620的较窄端部1638来将触觉振动1616聚焦在身体1618上的不同位置处。每个末端执行器1620安装在皮肤致动器1602中的相应皮肤致动器上以在产生触觉振动1616的同时向用户的身体1618提供舒适度。在实施例中，较小的末端执行器1620更容易定位在身体1618上。末端执行器1620将来自皮肤致动器1602的能量集中到在用户的身体1618上的小区域内。末端执行器1620可以由橡胶、硅树脂或聚碳酸酯制成。在实施例中，末端执行器1620可以具有去毛刺的丙烯酸端部1638。
触觉通信设备1600包括刚性基板1614，其形成所需尺寸以将缓冲构件1612压缩成身体1618的形状。缓冲构件1612因此位于间隔构件1606和刚性基板1614之间。在一个实施例中，刚性基板1614可以形成类似于护胫的尺寸，并且由类似的材料制成。在一个实施例中，所组装的阻尼构件和缓冲构件可以附着(例如，用双面胶带粘贴)到用作刚性基板1614的丙烯腈-丁二烯-苯乙烯(ABS)塑料弯曲薄片，带子和其他电子设备也附着到该刚性基板1614。
在一些实施例中，基板1614可以由模压塑料、机加工塑料或3D打印塑料制成。在一些实施例中，基板1614可以由VeroWhite、尼龙、ABS或聚碳酸酯制成。在一些实施例中，基板1614可以由聚碳酸酯或尼龙或3D打印的ABS用机器加工而成。
图16B是根据实施例的示例触觉通信设备1600的部件的透视图。图16B中所示的触觉通信设备1600包括间隔构件1606和缓冲构件1612。图16B中所示的触觉通信设备1600被成形并形成所需尺寸以支撑四个皮肤致动器1602，如由四个开口1624所示的。在其他实施例中，触觉通信设备1600可以包括额外的部件或比本文描述的部件更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
间隔构件1606具有开口1624，其形成所需尺寸以接纳并固定皮肤致动器1602和电子电路1608。开口1624中的每一个有具有第一形状的第一部分1626和从第一部分延伸并具有第二形状的第二部分1628。皮肤致动器1602被插入到一个或更多个第一部分1626中，并且电子电路1608被插入到一个或更多个第二部分1628中。例如，开口1624中的每一个可以有具有圆形部分1626和从圆形部分1626延伸的矩形部分1628的钥匙孔形状。矩形部分1628为电子电路1608和布线提供间隙。皮肤致动器1602插入到圆形部分1626内，且电子电路1608插入到开口1624的矩形部分1628内。
由具有大约四分之一英寸的厚度的聚氨酯泡沫制成的缓冲构件1612向佩戴着触觉通信设备1600的用户的身体1618提供物理舒适度。电子电路1608位于在缓冲构件1612和间隔构件1606之间的空间1622内。
图16C是根据实施例的安装有皮肤致动器1602的示例触觉通信设备1600的透视图。图16C中所示的触觉通信设备1600包括间隔构件1606和缓冲构件1612。在其他实施例中，触觉通信设备1600可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
图16C中所示的触觉通信设备1600被成形并形成所需尺寸以支撑四个皮肤致动器1602。皮肤致动器1602被示为插入到开口1624的圆形部分1626内。在图16C中，电子电路1608被示为插入到开口1624的矩形部分1628内。电子电路1608位于在缓冲构件1612和间隔构件1606之间的空间1622内。
图16D是根据实施例的包括阻尼构件1604的示例触觉通信设备1600的一部分的透视图。图16D中所示的触觉通信设备1600包括阻尼构件1604、间隔构件1606、第二阻尼构件1610、缓冲构件1612和末端执行器1620。图16D中所示的触觉通信设备1600被成形并形成所需尺寸以支撑四个皮肤致动器1602，如由四个末端执行器1620所示的。在其他实施例中，触觉通信设备1600可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
阻尼构件1604具有如图16D中所示的四个开口1668。皮肤致动器1602通过开口1668将触觉振动1616传输到身体1618上的不同位置。开口的尺寸可以被设计成围绕末端执行器1620。在一个实施例中，开口在直径上可以是大约1英寸。开口的好处是它们将触觉振动1616限制为停留在局部区域内，并导致更好的定位和可感知性。电子电路1608位于在缓冲构件1612和间隔构件1606之间的空间1622内。
实施例还涉及包括安装在由用户佩戴的刚性基板上的壳体和由每个壳体包围并彼此分离的皮肤致动器1602的(下面关于图16E详细示出并描述的)触觉通信设备1630。触觉通信设备1630包括皮肤致动器1602，其至少一部分位于壳体内以产生对应于由皮肤致动器1602接收的致动器信号的触觉振动1616。阻尼构件位于壳体内并在皮肤致动器1602和壳体的顶部之间。阻尼构件将触觉振动1616聚焦在佩戴着触觉通信设备1630的用户的身体1618上的不同位置处。阻尼构件具有第一开口，其中皮肤致动器1602通过第一开口将触觉振动传输到不同的位置。间隔构件位于壳体内并接触阻尼构件。间隔构件通过阻尼构件与身体1618分离，并且具有形成所需尺寸以接纳并固定皮肤致动器1602的第二开口。
图16E是根据实施例的包括部分地位于壳体1632内的皮肤致动器的示例触觉通信设备1630的透视图。触觉通信设备1630包括皮肤致动器1602的阵列。每个皮肤致动器1602被插入到在阵列上的壳体1632中。图16E中所示的触觉通信设备1630的部分包括壳体1632、皮肤致动器1602、电子电路1608和末端执行器1620。在其他实施例中，触觉通信设备1600可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
壳体1632是包围并保护皮肤致动器1602的一部分和耦合到皮肤致动器1602的电子电路1608的刚性外壳。壳体1632直接接触佩戴着触觉通信设备1630的用户的身体1618。壳体1632可以是圆柱体、圆锥体、立方体、棱柱等的形状。皮肤致动器1602部分地位于壳体1632内以产生对应于由皮肤致动器1602接收的致动器信号的触觉振动1616。可以通过如关于图9F、图14A、图14C、图17A和图18A所述的各种方法来产生致动器信号。当用户佩戴着触觉通信设备1600时，触觉振动1616经由皮肤将触觉输出(例如，在触觉词汇中的词)传递到用户的身体1618。可以通过如关于图8C、图9A、图10E、图15B和图15C所述的各种方法来执行触觉输出的传递。如上面关于图1所述的，皮肤致动器1602可以是音圈、线性谐振致动器(LRA)、偏心旋转质量致动器、压电致动器、电活性聚合物致动器、形状记忆合金致动器、气动致动器、微射流致动器或声学元表面致动器。
在皮肤致动器的阵列中的每个皮肤致动器1602的壳体1632可以安装在(下面在图16H中所示的)刚性基板1614上以形成触觉通信设备1630。壳体1632通过将触觉振动1616聚焦在身体1618上来增加在身体1618上的触觉效果的局部化。在一些实施例中，壳体1632可以由模压塑料、机加工塑料或3D打印塑料制成。例如，可以通过使用填充有柔韧塑料材料的模具来制造壳体1632。塑料在模具内部变硬或凝固，适应它的形状。在另一个示例中，可以通过取一片塑料并通过受控的材料去除过程(机器加工)切割成期望的最终形状和尺寸来制造壳体1632。在另一个示例中，可以通过在计算机控制下连接或凝固塑料材料以产生三维壳体1632(3D打印)来制造壳体1632。
在一些实施例中，壳体1632可以由VeroWhite、尼龙、丙烯腈-丁二烯-苯乙烯(ABS)或聚碳酸酯制成。在一些实施例中，为了便于制造和与人类皮肤的生物相容性，壳体1632可以由聚碳酸酯或尼龙或3D打印的ABS用机器加工而成。VeroWhite是一种不透明Polyjet树脂，当对新设计进行原型设计时被使用且也可以用于创建最终用途产品。ABS是具有刚性、硬度和耐热性的两相聚合物混合物。聚碳酸酯是合成树脂，其中聚合物单元通过碳酸酯基被链接，并用于使材料和膜成型。
壳体1632的顶部1634向触觉通信设备1630提供支撑。当触觉通信设备1630向用户传输触觉振动1616时，顶部1634的一部分可以抵靠着用户的身体1618。顶部1634具有开口1636，用于使末端执行器1620接触用户的身体1618。
末端执行器1620压入用户的身体1618内，并将触觉振动1616传输到用户。末端执行器1620通过在顶部1634中的开口1636延伸出壳体1632。末端执行器1620安装在皮肤致动器1602上，并将触觉振动1616聚焦在身体1618上的不同位置处，同时为用户提供舒适的体验。例如，末端执行器1620保护用户的身体不与皮肤致动器1602或壳体1632的刚性的且伤害用户的部分接触。
末端执行器1620具有附着到皮肤致动器1602的一个端部(下面在图16G中被示为端部1642)。末端执行器1620的另一端部1638接触用户的身体1618。端部1642具有比端部1638的表面积大的表面积，使得末端执行器1620可以增加在身体1618上的触觉振动1616的压力。在实施例中，末端执行器1620可以由橡胶、硅树脂或聚碳酸酯制成。末端执行器1620可以具有圆盘形形状、圆柱形形状、锥形形状或圆顶形形状。
电子电路1608连同皮肤致动器1602一起插入到壳体1632中，以给皮肤致动器1602供电并将致动器信号传输到皮肤致动器1602，以使皮肤致动器1602产生触觉振动1616。电子电路1608位于在皮肤致动器1602和壳体1632的内壁(例如，下面在图16G中示出的内壁1658)之间的空间内。在一个实施例中，电子电路1608是PCB，并且包括温度测量传感器。电子电路1608可以测量触觉通信设备1630的板载温度，并将相应的测量信号传输到板外主电子系统。响应于温度超过阈值，电子电路1608可以终止皮肤致动器的操作。例如，如果温度升高到不舒服的水平，则主电子系统可以经由电子电路1608切断到皮肤致动器1602的电力。
图16F是根据实施例的包括定心构件1640的示例触觉通信设备1630的透视图。图16F包括壳体1632、顶部1634的一部分、电子电路1608和定心构件1640。在其他实施例中，触觉通信设备1600可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
图16F中所示的触觉通信设备1630包括定心构件1640以保护皮肤致动器1602和末端执行器1620不摩擦壳体1632的内壁。定心构件1640将皮肤致动器1602定位在壳体1632内。如下面在图16G中所示的，定心构件1640在壳体1632的底部处位于壳体1632内。定心构件1640围绕皮肤致动器1602的一部分，并将皮肤致动器1602和末端执行器1620约束在平行于顶部1634的平面中。
定心构件1640将皮肤致动器1602和末端执行器1620约束在X-Y平面中以确保皮肤致动器1602和末端执行器1620不偏离中心或摩擦壳体1632的壁。定心构件1640因此防止皮肤致动器1602和末端执行器1620接触壳体1632的内壁。因此，定心构件1640在摇动壳体1632时或通过摩擦壳体1632而引起摩擦时防止来自皮肤致动器1602或末端执行器1620的能量的浪费。如果皮肤致动器1602被偏置成偏心的，则将有相当大的非Z轴力会被浪费掉；这由本文的所公开的实施例防止。定心构件1640可以由与壳体1632的材料相似的材料制成。
图16G是根据实施例的沿着图16F的X轴截取的示例触觉通信设备1630的横截面视图。图16G包括壳体1632、顶部1634的一部分、电子电路1608、定心构件1640、末端执行器1620和皮肤致动器1602。
壳体1632是包围并保护皮肤致动器1602和电子电路1608的刚性外壳。末端执行器1620的端部1642安装在皮肤致动器1602上以将由皮肤致动器1602产生的触觉振动1616传输到佩戴着触觉通信设备1630的用户的身体1618。末端执行器1620的另一端部1638接触用户的身体1618或压入用户的身体1618内以传输触觉振动1616。端部1642具有比端部1638的表面积大的表面积，使得末端执行器1620可以增加在身体1618上的触觉振动1616的压力。末端执行器1620可以通过开口1636向外延伸出壳体1632以接触用户的身体1618。
如上面关于图16F所述的，定心构件1640围绕并保护皮肤致动器1602和末端执行器1620不摩擦壳体1632的内壁1646。如图16G所示的，电子电路1608可以连同皮肤致动器1602一起通过在壳体1632的壁中的开口插入到壳体1632中。
在图16G中，在壳体1632内的在皮肤致动器1602旁边的区域1644可以用于容纳位于壳体1632内的(如上面关于图16A所描述并示出的)阻尼构件1604。阻尼构件1604位于皮肤致动器1602和壳体1632的顶部1634之间。阻尼构件1604减弱由皮肤致动器1602产生的触觉振动1616，并将触觉振动1616聚焦在佩戴着触觉通信设备1630的用户的身体1618上的不同位置处。
阻尼构件1604减弱由皮肤致动器1602产生的触觉振动1616以将触觉振动1616聚焦在身体1618上的不同位置处。在实施例中，阻尼构件1604可以是具有预定厚度(例如，大约十六分之一英寸)的软橡胶或聚氨酯泡沫层。阻尼构件具有(如上面在图16D中所示的)开口；皮肤致动器1602通过开口将触觉振动1616传输到身体1618上的不同位置。
图16G中的区域1644也可以用于容纳位于壳体1632内的(如上面关于图16A示出并描述的)间隔构件1606。间隔构件1606接触阻尼构件1604。间隔构件1606通过阻尼构件1604与用户的身体1618分离，并且具有形成所需尺寸以接纳并固定皮肤致动器1624的(如上面关于图16B示出并描述的)开口1624。间隔构件1606的一部分位于阻尼构件1604和皮肤致动器1602的从皮肤致动器1602的中心向外延伸的部分1646之间以定位皮肤致动器1602，使得皮肤致动器1602不摩擦或接触顶部1634。
在实施例中，间隔构件1606由具有预定厚度(例如，大约四分之一英寸)且小于50的肖氏硬度的刚性橡胶层制成。间隔构件1606的肖氏硬度值被选择成使间隔构件1606能够将皮肤致动器1602支撑在壳体1632内的适当位置上，并且使间隔构件1606变成通常抗压痕的。
触觉通信设备1630具有与上面在图16A中示出的触觉通信设备1600相似的Z堆叠间距和振动衰减特征。触觉通信设备1630还具有锥形特征以在安装期间使末端执行器1620自动定心以防止末端执行器摩擦壳体1632。
图16H是根据实施例的包括刚性基板1614的示例触觉通信设备1630的透视图。(如图16H所示的)触觉通信设备1630包括六个皮肤致动器1602的阵列。每个皮肤致动器被包围在壳体1632内，使得它可以产生触觉振动1616并将触觉振动1616传输到用户的身体1618。电子电路1608的一部分也插入到壳体1632内。触觉通信设备1630包括刚性基板1614，每个壳体1632安装在刚性基板1614上。(也在上面关于图16A描述的)刚性基板1614形成所需尺寸以将壳体1632固定到用户的身体1618的形状。在一个实施例中，每个壳体1632可以用双面胶带粘贴到用作刚性基板1614的ABS塑料弯曲薄片，带子和其他电子设备也附着到刚性基板1614。
在一个实施例中，可以构建触觉通信系统，其包括被配置为从发送用户接收消息并产生对应于该消息的致动器信号的信号发生器。该系统包括通信地耦合到信号发生器的触觉通信设备1630。触觉通信设备1630包括皮肤致动器160，该皮肤致动器160被配置成产生对应于致动器信号的触觉振动1616以将消息传输到佩戴着触觉通信设备1630的用户的身体1618。触觉通信设备1630包括与用户的身体1618直接接触并且至少部分包围皮肤致动器1602的壳体1632。阻尼构件1604位于壳体1632内并靠近身体1618以将触觉振动1616聚焦在身体1618上的不同位置处。阻尼构件1604具有开口，其中皮肤致动器1602通过开口将触觉振动1616传输到不同的位置。也位于壳体1632内的间隔构件1606接触阻尼构件1604，并且通过阻尼构件1604与身体1618分离。间隔构件1606具有形成所需尺寸以接纳并固定皮肤致动器1602的开口。
图16I-图16L是根据实施例的不同末端执行器的透视图。如图16A所示，每种类型的末端执行器可以安装在皮肤致动器1602的顶部上。不同类型的末端执行器具有不同的尺寸，并且可以由不同的材料制成以实现不同的接触面积和/或刚度。末端执行器至少有三个好处。首先，当皮肤致动器1602振动时和当用户的身体1618移动时，它们在触觉通信设备1600的使用期间提供在皮肤致动器1602和身体1618之间的一致的接触。其次，它们可以由软橡胶、硅树脂或聚碳酸酯填充材料制成，所以它们不刺激和/或切割/伤害用户。第三，它们将致动器能量转移并聚焦到皮肤。
图16I是根据实施例的圆柱形末端执行器的透视图。图16I中所示的圆柱形末端执行器具有位于圆盘1650的顶部上的圆柱形顶端1648。在圆柱形顶端1648的顶部的端部1638接触用户的身体1618以将触觉振动1616从皮肤致动器1602传输到身体1618。圆盘1650位于基座1652的顶部上。顶端1648、圆盘1650和基座1652可以是单个零件或附着在一起以制成末端执行器的三个不同的零件。如图16G所示，在基座1652的底部处的端部1642安装在皮肤致动器1602上。端部1638在表面积上小于端部1642以增加在用户的身体1618上的压力。圆柱形末端执行器的一个好处是它延伸在致动器1602和皮肤之间的空间用于包装和安装。
图16J是根据实施例的锥形末端执行器的透视图。图16J所示的锥形末端执行器16J具有位于圆盘1650的顶部上的锥形顶端1654。在锥形顶端1654的顶部上的端部1638接触用户的身体1618以将触觉振动1616从皮肤致动器1602传输到身体1618。圆盘1650位于基座1652的顶部上。顶端1648、圆盘1650和基座1652可以是单个零件或附着在一起以制成末端执行器的三个不同的零件。如图16G所示，在基座1652的底部处的端部1642安装在皮肤致动器1602上。端部1638在表面积上小于端部1642以增加在用户的身体1618上的压力。锥形末端执行器的一个好处是它减小皮肤接触面积并增加压力。
图16K是根据实施例的圆盘形末端执行器的透视图。图16K中所示的圆盘形末端执行器具有在圆盘1650的顶部上的较大上表面1666。端部1666接触用户的身体1618以将触觉振动1616从皮肤致动器1602传输到身体1618。圆盘1650位于基座1652的顶部上。圆盘1650和基座1652可以是单个零件或附着在一起以制成末端执行器的两个不同的零件。如图16G所示，在基座1652的底部处的端部1642安装在皮肤致动器1602上。圆盘形末端执行器的一个好处是它将触觉振动1616定位在受控区域中。
图16L是根据实施例的圆顶形末端执行器的透视图。图16L中所示的圆顶形末端执行器具有位于圆盘1650的顶部上的圆顶形顶端1656。圆顶形顶端1656接触用户的身体1618以将触觉振动1616从皮肤致动器1602传输到身体1618。圆盘1650位于基座1652的顶部上。顶端1656、圆盘1650和基座1652可以是单个零件或附着在一起以制成末端执行器的三个不同的零件。如图16G所示，在基座1652的底部处的端部1642安装在皮肤致动器1602上。圆顶形顶端1656在表面积上小于端部1642以增加在用户的身体1618上的压力。圆顶形末端执行器1664的一个好处是它提供平滑穿透和最佳接触点。
图16M是根据实施例的包括完全包围皮肤致动器1602的壳体1672的示例触觉通信设备1670的透视图。(在图16M中未示出的)皮肤致动器1602完全位于壳体1672内。触觉通信设备1670可以包括皮肤致动器1602的阵列。每个皮肤致动器1602完全插入到在阵列上的相应壳体1672中。图16M中所示的触觉通信设备1670的一部分包括壳体1672和末端执行器1620。在其他实施例中，触觉通信设备1670可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
壳体1672是包围并保护(在图16M中未示出的)皮肤致动器1602和电子电路1608的刚性外壳，电子电路1608连接到皮肤致动器1602并驱动皮肤致动器1602。壳体1672可以是圆柱体、圆锥体、立方体、棱柱等的形状。皮肤致动器1602完全位于壳体1672内以产生对应于由皮肤致动器1602接收的致动器信号的触觉振动1616。可以通过如关于图9F、图14A、图14C、图17A和图18A所述的各种方法来产生致动器信号。当用户佩戴着触觉通信设备1670时，触觉振动1616经由皮肤将触觉输出(例如，触觉词汇中的词)传递到用户的身体1618。可以通过如关于图8C、图9A、图10E、图15B和图15C所述的各种方法来执行触觉输出的传递。如上面关于图1所述的，皮肤致动器1602可以是音圈、线性谐振致动器(LRA)、偏心旋转质量致动器、压电致动器、电活性聚合物致动器、形状记忆合金致动器、气动致动器、微射流致动器或声学元表面致动器。
在皮肤致动器的阵列中的每个皮肤致动器1602的壳体1672可以安装在(如上面在图16H中所示的)刚性基板1614上以形成触觉通信设备1670。壳体1672通过将触觉振动1616聚焦在身体1618上来增加在身体1618上的触觉效果的局部化。在一些实施例中，壳体1672可以由模压塑料、机加工塑料或3D打印塑料制成。在一些实施例中，壳体1672可以由VeroWhite、尼龙、丙烯腈-丁二烯-苯乙烯(ABS)或聚碳酸酯制成。在一些实施例中，为了便于制造和与人类皮肤的生物相容性，壳体1672可以由聚碳酸酯或尼龙或3D打印的ABS用机器加工而成。
壳体1632的顶部1674为触觉通信设备1630提供支撑。当触觉通信设备1670向用户传输触觉振动1616时，顶部1674的一部分可以抵靠着用户的身体1618。顶部1674具有开口1636，用于使(安装在皮肤致动器1602上的)末端执行器1620接触用户的身体1618。
末端执行器1620压入用户的身体1618内，并将触觉振动1616传输给用户。末端执行器1620通过顶部1674中的开口1636延伸出壳体1632。末端执行器1620安装在皮肤致动器1602上，并将触觉振动1616聚焦在身体1618上的不同位置处，同时向用户提供舒适的体验。例如，末端执行器1620保护用户的身体不与皮肤致动器1602或壳体1672的刚性的且伤害用户的部分接触。
末端执行器1620具有附着到皮肤致动器1602的一个端部(下面在图16N中被示为端部1642)。末端执行器1620的另一端部1638接触用户的身体1618。端部1642具有比端部1638的表面积大的表面积，使得末端执行器1620可以增加在身体1618上的触觉振动1616的压力。
(在图16M中未示出的)电子电路1608连同皮肤致动器1602一起插入到壳体1672中以给皮肤致动器1602供电。电子电路1608位于在皮肤致动器1602和壳体1672的内壁(例如，下面在图16N中示出的内壁1676)之间的空间内。
图16N是根据实施例的图16M的示例触觉通信设备1670的横截面视图。图16N包括壳体1672、顶部1674的一部分、电子电路1608、定心构件1640、末端执行器1620和皮肤致动器1602。
壳体1672是完全包围并保护皮肤致动器1602和电子电路1608的刚性外壳。末端执行器1620的端部1642安装在皮肤致动器1602上以将由皮肤致动器1602产生的触觉振动1616传输到佩戴着触觉通信设备1670的用户的身体1618。末端执行器1620的另一端部1638接触用户的身体1618或压入用户的身体1618内以传输触觉振动1616。端部1642具有比端部1638的表面积大的表面积，使得末端执行器1620可以增加在身体1618上的触觉振动1616的压力。末端执行器1620可以通过开口1636向外延伸出壳体1672以接触用户的身体1618。如上面关于图16F所述的，定心构件1640围绕并保护皮肤致动器1602和末端执行器1620不摩擦壳体1672的内壁1676。
在图16N中，在壳体1672内的在皮肤致动器1602旁边的区域1644可以用于容纳位于壳体1672内的(如上面关于图16A描述并示出的)阻尼构件1604。阻尼构件1604位于皮肤致动器1602和壳体1672的顶部1674之间。阻尼构件1604减弱由皮肤致动器1602产生的触觉振动1616，并将触觉振动1616聚焦在佩戴着触觉通信设备1670的用户的身体1618上的不同位置处。
图16N中的区域1644也可以用于容纳位于壳体1672内的(如上面关于图16A示出并描述的)间隔构件1606。间隔构件1606的一部分位于阻尼构件1604和皮肤致动器1602的从皮肤致动器1602的中心向外延伸的部分1646之间以定位皮肤致动器1602，使得皮肤致动器1602不摩擦或接触顶部1674。
用于传输到皮肤致动器的语音信号的包络编码
实施例还涉及向接收用户传送语音消息的触觉通信系统。发送用户可以发出语音声音或将文本消息打字输入到产生对应于语音声音或文本消息的语音信号的语音信号发生器内。语音信号的时间包络用于将语音消息传送给接收用户。时间包络表示语音信号的振幅的变化。具有周期性波形的载波信号被产生并使用语音信号的振幅的变化而被改变以产生致动器信号，以向皮肤致动器传送时间包络的表示。皮肤致动器基于致动器信号来产生触觉振动。触觉振动表示接收用户能够理解的语音声音或文本消息。
图17A根据实施例示出了用于语音信号1706的包络编码和到一个或更多个皮肤致动器1722的传输的示例触觉通信系统1700的图示。触觉通信系统1700包括麦克风1704、键盘1708、语音合成器1712、包络编码器1716和触觉通信设备1720。在其他实施例中，触觉通信系统1700可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
如图17A所示，触觉通信系统1700包括语音信号发生器(例如，麦克风1704或语音合成器1712)以接收由用户发出的语音声音1702或由用户打字输出的文本消息1710，并产生对应于语音声音1702或文本消息1710的语音信号1706或1714。例如，麦克风1704可以通过使语音声音1702数字化来产生语音信号1706。麦克风1704是将语音声音1702转换成电信号的换能器。电信号可以是模拟信号、数字信号或其组合。麦克风1704可以使用几种不同方法(例如，悬挂在磁场中的电线的线圈、振动膜片或压电材料的晶体等)中的任何一种来将语音声音1702的气压变化转换成电信号。此外，麦克风可以包括模数转换器以将电信号数字化为语音信号1706。麦克风1704通过有线或无线连接来将语音信号1706传输到包络编码器。
键盘1708可以由用户使用来打字输出文本消息1710。键盘可以是个人计算机、智能手机、笔记本计算机、平板计算机等的一部分。键盘通过有线或无线连接来将文本消息1710传输到语音合成器1712。
语音合成器1712人工地产生人类语音。例如，文本到语音语音合成器可以将普通语言文本转换成语音；语音合成器1712的其他实施例可以将符号语言表示(例如音标)再现为语音。如图17A所示，语音合成器1712从文本消息1710产生语音信号1714。可以用软件或硬件来实现语音合成器1712。例如，语音合成器1712可以是个人计算机(PC)、平板PC、机顶盒(STB)、智能手机、物联网(IoT)设备或者能够执行指令的任何机器的一部分，这些指令指定将由该机器采取的动作。在一个实施例中，语音合成器1712将文本消息1710映射到所存储的声音信号。例如，语音合成器1712可以通过将存储在数据库中的所记录的语音信号(声音信号)连接在一起来产生语音信号1714。在可选的实施例中，语音合成器1712可以合并声道的模型和其他人类话音特性以创建完全“合成”的话音输出。
(下面关于图17D更详细地示出并描述的)包络编码器1716对语音信号(例如，1706)的特性进行编码以产生致动器信号1718。在一个实施例中，包络编码器1716从语音信号1706中提取时间包络。时间包络表示语音信号1706的振幅随着时间推移的变化。包络编码器1716产生具有周期性波形的载波信号。载波信号可以是正弦波或方波脉冲信号。包络编码器1716通过将语音信号1706的振幅的变化从时间包络编码成载波信号来产生致动器信号1718。因此，致动器信号1718携带来自在载波信号内编码的时间包络的信息。可以用软件或硬件来实现包络编码器1716。例如，包络编码器1716可以是PC、平板PC、STB、智能手机、物联网(IoT)设备或者能够执行指令的任何机器的一部分，这些指令指定将由该机器采取的动作。
如图17A所示，触觉通信设备1720接收致动器信号1718，并产生和传输触觉振动1724以将来自语音声音1702或文本消息1720的信息传输到佩戴着触觉通信设备1720的用户的身体1726。触觉振动1724表示语音声音1702或文本消息1720。触觉通信设备1720可以包括产生触觉振动1724的皮肤致动器1722的阵列。皮肤致动器1722通过有线或无线连接可操作地耦合到包络编码器1716以基于致动器信号1718来产生触觉振动1724。触觉通信设备1720可以包括一个或更多个处理单元(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、控制器、状态机、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或这些部件的任何组合)和存储器。
在一个实施例中，皮肤致动器1722可以是将模拟AC耦合信号(致动器信号1718)转换成比例机械运动的音圈。皮肤致动器1722可以布置在以足够的压力将它们靠着身体1726固定在适当位置上的半刚性背衬上，使得触觉振动1724可以由用户感知。在其他实施例中，触觉通信设备1720可以包括压电致动器、电活性聚合物致动器、偏心旋转质量致动器和线性谐振致动器。除别的附图以外，尤其关于图1、图8B、图8E、图9A-图9E、图11A、图11I、图12A-图12B、图15A和图16A-图16L等详细地示出并描述了触觉通信设备1720的其他实施例。
图17B根据实施例示出了用于语音信号1706的编码和传输到皮肤致动器1722的示例时间包络1728的图示。图17B中所示的信号包括语音信号1706、时间包络1728和载波信号1734。
如图17B所示，语音信号1706被表示为可以被传输、记录和操纵的连续变化的声波波形。在一个实施例中，语音信号1706可以包括声音样本(例如，离散信号x[n])，即对应于以采样率被均匀地采样的信号样本的实数或整数的序列。在一个实施例中，语音信号1706的采样率可以是16kHz，而在其他实施例中采样率(例如，对于“电话语音”编码)可以是8kHz。在一个实施例中，语音信号1706可以被表示为表示窄频带(“Fi”)的阵列的输出的多个振幅改变的信号。如图17B所示，语音信号1706包括被较低频率改变的高频分量、缓慢发展的时间包络1728。
图17B中所示的时间包络1728表示语音信号1706的振幅的变化。时间包络1728是语音信号1706的振幅(例如，1732)随着时间(例如，1730)推移的缓慢变化。在语音信号1706的每个频带Fi的输出处的时间信息可以被分成时间精细结构(接近中心频率的快速振荡)和在图17B中示出的时间包络1728(较慢的振幅变化)。时间包络1728在时间上比时间精细结构更慢地发展，并且需要更低的采样率来被表示。时间包络1728是一维信号，并且可以用单个时变波形来表示。
时间包络1728对于语音理解可以是足够的，因此包括用于使用皮肤致动器1722进行经皮语音传输的足够信息。例如，当时间包络1728降级时，理解受到损害，但当精细结构降级时，理解不受到损害。因此，可以根据时间包络1728来识别语音中的词。当语音信号1706被分解成频带并且在每个频带中的时间模式由每个频带的时间包络所改变的噪声代替时，语音保持是可理解的。
所提取的时间包络1728用于使用载波信号1734来激活皮肤致动器1722。载波信号1734具有周期性波形(例如，正弦波)，其为了经由致动器信号1718来传送语音信息的目的使用时间包络1728的特征而被改变。时间包络1728的特征可以包括振幅、频率、相位、周期性、波长等。在图17B中所示的一个实施例中，载波信号1734可以是描述平滑重复振荡的正弦信号。在其他实施例中，载波信号1734可以是脉冲波或脉冲列、任何非正弦周期性波形或具有规则占空比的方波列。载波信号1734通常具有比时间包络1728更高的频率。在一个实施例中，皮肤致动器1722使用具有周期(例如，正弦波或脉冲波列波形)的载波信号1734被振荡，载波信号1734的频率对人类感知是有利的，例如在10Hz至300Hz之间。可以使用频率调制(FM)或振幅调制(AM)来改变载波信号1734以产生致动器信号1718。
图17C是根据实施例的用于传输到皮肤致动器1722的示例编码的语音信号1706的图示。图17C中所示的信号包括具有变化的振幅(例如，1738和1740)的致动器信号1736和具有变化的频率(例如，1744和1746)的致动器信号1742。可以使用振幅改变方法来产生致动器信号1736以在连续波载波信号1734上传输与时间包络1728相关的信息。载波信号1734的振幅(信号强度)与被传输以产生致动器信号1736的时间包络1728的波形成比例地变化。
可以使用频率改变方法来产生致动器信号1742以通过连续波载波信号1734传输与时间包络1728相关的信息。如图17C所示，可以通过改变载波信号1734的频率、通过将来自时间包络1728的信息编码在载波信号1734中来产生致动器信号1742。频率偏差(在载波信号1734的频率和致动器信号1742的中心频率之间的差异)可以与时间包络1728成比例。
图17D是根据实施例的用于语音信号1706的编码和到皮肤致动器1722的传输的示例包络编码器1716的框图。图17D包括整流器1748、低通滤波器1752、高通滤波器1758、机器学习引擎1760、载波信号发生器1772和致动器信号发生器1776。在其他实施例中，包络编码器1716可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
可以用软件、硬件或其组合来实现包络编码器1716。例如，包络编码器1716可以是PC、平板PC、STB、智能手机、IoT设备或能够执行指令的任何机器的一部分，这些指令指定将由该机器采取的动作。包络编码器1716可以包括一个或更多个处理单元(例如，CPU、GPU、DSP、控制器、状态机、一个或更多个ASIC、一个或更多个RFIC或这些部件的任何组合)和存储器。
整流器1748对周期性地反转方向的交变信号(例如图17B中所示的语音信号1706)进行转换，以引导仅在一个方向上流动的信号。在一个实施例中，整流器1748可以由半导体二极管、可控硅整流器或其他基于硅的半导体开关制成。在一个实施例中，整流器1748可以被实现为DSP的一部分或用软件来实现。整流器1748通过对语音信号1706进行整流来产生整流信号1750。由于输入语音信号1706的交变性质，整流器1748可以产生DC整流信号1750，其虽然是单向的但包括脉冲。整流信号1750可以由电子滤波器平滑化，该电子滤波器可以是一组电容器或扼流器，后面是电压调节器。
如图17D所示，低通滤波器1752将整流信号1750的低频分量1756(具有低于某个阈值频率的频率的分量)传输到致动器信号发生器1776，并且减弱(过滤掉)具有高于阈值频率的频率的整流信号1750的高频分量。可以用希斯(hiss)滤波器、用于在模拟到数字转换之前调节信号的抗混叠滤波器或数字滤波器的形式来实现低通滤波器1752。在一个实施例中，低通滤波器1752通过过滤掉高于阈值频率的整流信号1750的频率分量来产生语音信号1706的时间包络1754。通过过滤掉这些高频分量，剩余信号由跟踪整流信号1750的时间包络1754的缓慢变化的分量组成。如图17D所示，低通滤波器1752还可以直接接收语音信号1706，并且通过过滤掉高于阈值频率的语音信号1706的频率分量来将语音信号1706的低频分量1756传输到致动器信号发生器1776。如下面关于致动器信号发生器1776所述的，语音信号1706的这些低频分量1756由致动器信号发生器1776使用来确定语音信号1706的低频分量1756的低频信号功率并产生致动器信号1718。
如图17D所示，高通滤波器1758接收语音信号1706并将语音信号1706的高频分量1768(具有高于某个阈值频率的频率的分量)传输到致动器信号发生器1776，并且减弱(过滤掉)具有低于阈值频率的频率的语音信号1706的频率分量。可以用通过跨越电容器和电阻器的串联组合放置输入语音信号1706用于在模拟到数字转换之前调节信号的一阶电子高通滤波器的形式、或者作为离散时间washout滤波器或数字滤波器来实现高通滤波器1752。如下面关于致动器信号发生器1776所述的，语音信号1706的高频分量1768由致动器信号发生器1776使用来确定语音信号1706的高频分量1768的高频信号功率并产生致动器信号1718。
载波信号发生器1772以稳定的基础交替频率产生周期性脉冲或波形载波信号1774，并将周期性脉冲或波形载波信号1774传输到致动器信号发生器1776，致动器信号发生器1776可以通过增加信号强度、改变基础频率、改变波相位或其他手段来将来自时间包络1754的信息施加于周期性脉冲或波形载波信号1774。在一个实施例中，载波信号发生器1772可以包括向锁相环(PLL)提供具有已知频率的周期性波的参考振荡器和确定载波信号1774的振幅范围的电平控制器，该锁相环以期望的频率(例如，10Hz-300Hz)产生载波信号1774。
如图17D所示，机器学习引擎1760接收语音信号1706并产生触觉提示1770，该触觉提示1770由致动器信号发生器1776使用来产生致动器信号1718。可以用软件、硬件或其组合来实现机器学习引擎1760。例如，机器学习引擎1760可以包括软件模块、一个或更多个处理单元(例如，CPU、GPU、DSP、控制器、状态机、一个或更多个ASIC或这些部件的任何组合)和存储器。上面关于图4和图13A-图13D详细示出并描述了机器学习引擎1760的操作。
机器学习引擎1760包括特征提取器1762和机器学习模型1766。特征提取器1762从语音信号1706提取特征向量1764，并将特征向量1764传输到如图17D中所示的机器学习模型1766。可以用软件、硬件或其组合来实现特征提取器1762。特征向量1764可以表示语音信号1706的频带的振幅。可以通过由特征提取器1762、机器学习引擎1760或包络编码器1716的另一个部件将语音信号1706分解成频带来获得这些频带。例如，跨越语音频谱的带通滤波器的阵列可以用于将语音信号1706分解成频带。上面参考图4和图13A-图13D详细示出并描述了特征提取器1762和特征向量1764的操作。
机器学习引擎1760可以使用监督机器学习，用来自用作输入的正向训练集和负向训练集的特征向量来对机器学习模型1766进行训练。可以在不同的实施例中使用不同的机器学习技术，例如线性支持向量机(线性SVM)、对其他算法的增强(例如，AdaBoost)、神经网络、逻辑回归、朴素贝叶斯、基于记忆的学习、随机森林、打包树、决策树、提升树或提升树桩。
机器学习模型1766使用特征向量1764来产生触觉提示1770。这些触觉提示1770中的每一个可以指示皮肤致动器1722的触觉输出，并且可以由在机器学习模型1766的最后一层中的一个或更多个节点来表示。例如，机器学习模型1766的每个节点可以为每个皮肤致动器1722指示可以用于确定是否激活皮肤致动器1722的特定状态的百分比值。
机器学习模型1766可以基于重构误差和约束来使用成本函数。成本函数是测量机器学习模型1766多么好地映射目标触觉提示1770的评估函数。此外，成本函数可以确定机器学习模型1766在监督预测或无监督优化中多么好地运转。这些约束使所输出的触觉提示1770的序列具有高压缩性、低熵、低序数(即，更少数量的可能触觉输出)、稀疏性、时间稳定性和空间稳定性。如下面关于致动器信号发生器1776所述的，致动器信号发生器1776通过将触觉提示1770编码成载波信号1774来产生致动器信号1718。上面参考图4和图13A-图13D详细示出描述了机器学习模型1766、触觉提示1770、成本函数、重构误差和约束的操作。
致动器信号发生器1776通过将语音信号1706的时间包络1754、语音信号1706的低频分量1756、语音信号1706的高频分量1758和触觉提示1770的特征编码到载波信号1774中来产生致动器信号1718。可以用软件、硬件或其组合来实现致动器信号发生器1776。例如，致动器信号发生器1776可以包括一个或更多个处理单元(例如，CPU、GPU、DSP、控制器、状态机、一个或更多个ASIC、一个或更多个RFIC或这些部件的任何组合)和存储器。
在一个实施例中，致动器信号发生器1776通过对语音信号执行希尔伯特(Hilbert)变换来直接从语音信号1706提取时间包络1754。希尔伯特变换是获取语音信号1706并产生语音信号1706的分析表示的特定线性操作符。致动器信号发生器1776从语音信号1706的分析表示的幅度(模)提取时间包络1754。
在一个实施例中，致动器信号发生器1776将语音信号1706分解成频带。例如，跨越语音频谱的带通滤波器的阵列可以用于将语音信号1706分解成频带。致动器信号发生器1776从每个频带Fi提取相应的时间包络(“ENVi”)。每个对应的时间包络ENVi表示频带Fi的振幅(例如，1732)的变化。致动器信号发生器1776通过将频带Fi的振幅的变化从每个相应的时间包络ENVi编码到载波信号1774中来产生致动器信号1718。
在一个实施例中，致动器信号发生器1776通过从时间包络1728确定语音信号的振幅(例如，1732)来产生致动器信号(例如，图17C中的信号1736)。例如，致动器信号发生器1776可以通过确定与时间包络1728相关联的分析信号的振幅来确定振幅。为了将时间包络1728的特征编码到载波信号1774中，致动器信号发生器1776与语音信号1706的振幅成比例地增加或减少载波信号1774的振幅。在一个示例中，时间包络1728的特征被叠加到载波信号1774的振幅上。载波信号1774被改变，使得载波信号1774的振幅随着语音信号1706的强度的变化而变化。以这种方式，载波信号1774的振幅携带时间包络1728的特征。所改变的载波信号1774作为致动器信号1736被传输到皮肤致动器1722。
在一个实施例中，致动器信号发生器1776通过与语音信号1706的振幅(例如，1732)成比例地增加或减少载波信号1774的频率来将时间包络1728的特征编码到载波信号1774内。载波信号1774被改变，使得载波信号1774的频率随着语音信号1706的强度的变化而变化。当时间包络1728的特征被编码到载波信号1774中以产生致动器信号(例如，图17C中的信号1743)时，致动器信号1743与语音信号1706的振幅成比例地在频率上增加和减小。致动器信号1743在频率上增加和减小的量被称为偏差。以这种方式，载波信号1774的频率携带时间包络1728的特征。所改变的载波信号1774作为致动器信号(例如，图17C中的信号1743)被传输到皮肤致动器1722。
在一个实施例中，致动器信号发生器1776通过与语音信号的振幅(例如，1732)成比例地增加或减小所激活的皮肤致动器1722的数量来将时间包络1728的特征编码到载波信号1774内。例如，当振幅1732根据时间包络1728而增加时，载波信号1774被改变，使得致动器信号(例如，1718)激活(开启)在触觉通信设备1720上的较大数量的皮肤致动器1722。这可以导致用户的身体1726的更大区域接收来自触觉振动1724的刺激。这也可以在身体1726上产生连续触觉运动(例如，抚摸或移动触摸)的感觉而不是如上面参考图15B所述的离散致动点的感觉。当振幅1732根据时间包络1728减小时，载波信号1774被改变，使得致动器信号1718激活在触觉通信设备1720上的更少数量的皮肤致动器1722。改变所激活的皮肤致动器1722的数量导致更复杂的触觉通信效果。因此可以通过与语音信号的振幅1732成比例地改变所激活的皮肤致动器1722的数量来传递与上面参考图15B描述的社交触摸词汇的词相关的信息。通过改变振动的振幅和模式，可以再现大量的组合、节奏或消息。
在一个实施例中，致动器信号发生器1776将高频信号功率的量(其存在于摩擦音(例如/s/、/f/和/sh/)中)编码到载波信号1774内以产生致动器信号1718。可以使用低通滤波器1752和高通滤波器1758来确定信号功率的分布。滤波器的截止频率可以被设置到对区分高频语音(例如，4kHz)的存在或缺乏有用的中间区域。每个滤波器的功率输出的比率可以用于改变载波信号1774以产生致动器信号1718，以改变皮肤致动器1722的活动。类似地，在语音信号1706中的共振峰结构的存在或缺乏可以被编码到载波信号1774中以产生致动器信号1718。类似地，在语音信号1706中存在的特定共振峰可以被编码到载波信号1774中以产生致动器信号1718。
在一个实施例中，语音信号1706的压缩频谱可以在皮肤致动器1722当中被划分。例如，如上面在图7中所示的，元音对应于低频能量和在多个离散能带(“共振峰”)中的能量的局部化。如从频谱图中可以看到的，元音“A”和“oo”具有在低频区域中的相对高能量的多个频带。相反，“f”、“c”、“b”和“k”是短暂的低能量，并且缺少元音所具有的局部化能带结构。致动器信号发生器1776可以使用缺少元音的频率结构的低能信号的检测来产生致动器信号1718，允许用户有更多的时间来欣赏辅音的更精巧的模式。在一个实施例中，可以产生致动器信号1718来以第一速度传输对应于接收到的语音信号1706的元音的触觉振动1724。皮肤致动器1722可以以低于第一速度的第二速度传输对应于辅音的触觉振动1724。
在一个实施例中，致动器信号发生器1776确定语音信号1706的低频分量1756的低频信号功率。致动器信号发生器1776可以将低频信号功率确定为时域样本的绝对平方和除以信号长度。致动器信号发生器1776类似地确定语音信号1706的高频分量1768的高频信号功率。致动器信号发生器1776确定高频信号功率与低频信号功率的比率。如上所述，致动器信号发生器1776通过将高频信号功率与低频信号功率的比率编码到载波信号1774中来产生致动器信号1718。例如，致动器信号发生器1776可以通过与高频信号功率与低频信号功率的比率成比例地增加或减少载波信号1774的振幅或频率来执行载波信号1774的编码。对语音信号1706的频谱带的功率特性编码使致动器信号1718能够捕获语言单元的更完整描述。
在一个实施例中，致动器信号发生器1776通过改变载波信号1774的频率或者改变基于触觉提示1770而激活的皮肤致动器1722的数量来将触觉提示1770编码到载波信号1774中。致动器信号发生器1776可以使用上面关于图13A-图13D和图17D描述的任何方法来将触觉提示1770编码到载波信号1774中。
在包络编码器1716的可选实施例中，载波信号发生器1772可以位于致动器信号发生器1776内。在这些实施例中，时间包络1754可以由致动器信号发生器1776传输到载波信号发生器1772的PLL部分以改变所产生的载波信号1774的频率值，以产生致动器信号1718。时间包络1754可以由致动器信号发生器1776传输到载波信号发生器1772的电平控制器部分以改变所产生的载波信号1774的振幅值，以产生致动器信号1718。
本文公开的实施例的益处和优点如下。时间包络是一维信号，并且可以被表示为单个时变波形以减少存储器和处理需求并提高传输的效率。因此，所公开的实施例导致优于频率分解方法的在存储器、处理和传输中的效率。所公开的实施例还导致触觉编码的低维方法。由于被处理的较小数量的通道并且因为时间包络提取以比频率分解更小的计算复杂度被执行，所以所需的处理能力降低。所公开的实施例的额外优点和益处(特别是与使用高频信号功率与低频信号功率的比率来驱动致动器活动相关)是，元音相对容易使用自动化技术和在语音的触觉表示中由人识别。辅音在持续时间上较短，并且具有含糊的频谱特征。通过相对于元音被显示的速度减慢在辅音期间的触觉呈现的动态，与均匀减慢相比，感知的准确度将随着速度的较小降低而增加。
图17E是根据实施例的用于语音信号1706的包络编码和到皮肤致动器1722的传输的示例过程的图示。在一个实施例中，图17E的过程由触觉通信系统1700执行。在其他实施例中，其他实体(例如，远程控制台或计算机)可以执行该过程的一些或所有步骤。同样，实施例可以包括不同的和/或额外的步骤，或者以不同的顺序执行步骤。
触觉通信系统1700接收1780语音声音1702或文本消息1710。语音声音1702可以由麦克风1704接收。文本消息1710可以由语音合成器1712接收。
触觉通信系统1700产生1782对应于语音声音1702或文本消息1710的语音信号(例如，1706或1714)。麦克风1704可以通过数字化语音声音1702来产生语音信号1706。语音合成器1712可以通过将文本消息1710映射到所存储的声音信号来产生语音信号1706。
触觉通信系统1700从语音信号1706提取1784时间包络1754。时间包络1754表示语音信号1706的振幅的变化。
触觉通信系统1700产生1786具有周期性波形的载波信号1774。载波信号发生器1772可以以稳定的交替基础频率产生周期性脉冲或波形载波信号1774，来自时间包络1754的信息可以被施加在该周期性脉冲或波形载波信号1774上。
触觉通信系统1700通过将语音信号1706和时间包络1728的特征编码到载波信号1774中来产生1788致动器信号1718。例如，致动器信号发生器1776可以通过与语音信号1706的振幅(例如，1732)成比例地增加或减小载波信号1774的频率或振幅来将时间包络1728的特征编码到载波信号1774中。
触觉通信系统1700通过皮肤致动器1722使用致动器信号1718来产生1790表示语音声音1702或文本消息1710的触觉振动1724。因此，语音消息可以从一个用户被传输到另一个用户，并被转换成触觉消息以用于问候、离别、给予关注、帮助、安慰、平静、愉快和安心的触摸。
使用用于传输到皮肤致动器的宽带致动器信号的触觉通信系统
实施例还涉及包括宽带信号发生器的触觉通信系统。宽带信号发生器从传感器信号发生器(例如触觉传感器或麦克风)接收传感器信号。传感器信号描述消息，例如用于传输给用户的触觉社交触摸或语音。从描述消息的传感器信号提取参数。在一个实施例中，可以通过汇总频率分量来产生具有大量频率的宽带载波信号。通过将来自传感器信号的参数编码到宽带载波信号内来产生用于传输到触觉通信设备的致动器信号。皮肤致动器被嵌在触觉通信设备中，该触觉通信设备通信地耦合到宽带信号发生器以接收致动器信号。触觉振动由对应于在用户的身体上的致动器信号的皮肤致动器产生，以将消息传递给用户。
图18A是根据实施例示出使用用于传输到皮肤致动器1822的宽带致动器信号1818的示例触觉通信系统1800的框图。触觉通信系统1800包括传感器信号发生器1804、宽带信号发生器1816和触觉通信设备1820。在其他实施例中，触觉通信系统1800可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
如图18A所示，触觉通信系统1800包括接收来自发送用户的消息并产生对应于该消息的传感器信号1806的传感器信号发生器1804。在一个实施例中，传感器信号发生器1804可以是接收由发送用户发出的语音声音1802并产生对应于语音声音的语音信号的麦克风。在另一个实施例中，传感器信号发生器1804可以是语音合成器，其接收由发送用户打字输出的文本消息并产生对应于该文本消息的语音信号。在另一个实施例中，传感器信号发生器1804可以是从发送用户接收触觉输入(例如，社交触摸)并产生对应于触觉输入的传感器信号1806的触觉传感器。传感器信号1806可以是模拟信号、数字信号或其组合。此外，传感器信号发生器1804可以包括模数转换器以将消息数字化为传感器信号1806。传感器信号发生器1804通信地耦合到宽带信号发生器1816，并通过有线或无线连接将传感器信号1806传输到宽带信号发生器1816。可以用软件或硬件来实现传感器信号发生器1804的部分。例如，传感器信号发生器1804可以是智能手机、物联网(IoT)设备或者能够执行指令的任何机器的一部分，这些指令指定将由该机器采取的动作。
(下面关于图18C更详细地示出并描述的)宽带信号发生器1816对传感器信号1806的参数进行编码以产生致动器信号1818。在一个实施例中，宽带信号发生器1816从描述用于传输到用户的身体1826的消息的传感器信号1806提取参数。参数可以包括传感器信号1806的振幅或频率随时间推移的变化或者触觉输入的参数，例如触觉触摸的压力、温度、剪切应力、持续时间和空间尺寸。
宽带信号发生器1816通过汇总频率分量来产生宽带载波信号(例如，下面在图18B中示出的宽带载波信号1828)。宽带信号发生器1816通过将来自传感器信号1806的参数编码到宽带载波信号1828中来产生致动器信号1818。致动器信号1818的带宽被限制到在10Hz和300Hz之间的身体1826的机械感受器的响应性的范围。因此，致动器信号1818携带来自在宽带载波信号1828中编码的传感器信号1806的信息。可以用软件或硬件来实现宽带信号发生器1816的部分。例如，宽带信号发生器1816可以是PC、平板PC、STB、智能手机、物联网(IoT)设备或者能够执行指令的任何机器的一部分，这些指令指定将由该机器采取的动作。
如图18A所示，触觉通信设备1820接收致动器信号1818，并产生和传输触觉振动1824以将消息传输到佩戴着触觉通信设备1820的用户的身体1826。触觉通信设备1820可以包括产生触觉振动1824的皮肤致动器1822的阵列。皮肤致动器1822通过有线或无线连接通信地耦合到宽带信号发生器1816以基于致动器信号1818来产生触觉振动1824。触觉通信设备1820可以包括一个或更多个处理单元(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、控制器、状态机、一个或更多个专用集成电路(ASIC)、一个或更多个射频集成电路(RFIC)或这些部件的任何组合)和存储器。
在一个实施例中，皮肤致动器1822可以是将模拟AC耦合信号(致动器信号1818)转换成比例机械运动的音圈。皮肤致动器1822可以布置在以足够的压力将它们靠着身体1826固定在适当位置上的半刚性背衬上，使得触觉振动1824可以由用户感知。在其他实施例中，触觉通信设备1820可以包括压电致动器、电活性聚合物致动器、偏心旋转质量致动器和线性谐振致动器。除了别的附图以外，上面关于图1、图8B、图8E、图9A-图9E、图11A、图11I、图12A-图12B、图15A和图16A-图16L等详细示出并描述了触觉通信设备1820的其他实施例。
图18B是根据实施例示出示例宽带载波信号1828的波形图。图18B中所示的波形包括宽带载波信号1828和宽带载波信号1828的功率谱1862。
如图18B所示，宽带载波信号1828包含许多频率分量，其包括可以被传输、记录和操纵的宽范围的频率。在一个实施例中，宽带载波信号1828可以包括处于不同频率的具有几乎相等的功率或振幅的多个频率分量，因而给宽带载波信号1828提供均匀的功率谱1862。在一个实施例中，宽带载波信号1828可以由多个离散样本构成，这些离散样本是具有零均值和有限方差的一序列连续地不相关的随机变量。样本也可以是独立的，并且具有相同的概率分布。在一个实施例中，宽带载波信号1828可以包含具有功率谱1862的许多频率分量，使得功率谱密度(每频率间隔的能量或功率)与频率分量的频率成反比。
宽带载波信号1828的功率谱1862示出了在组成宽带载波信号1828的不同频率分量当中的信号功率的分布。对于正弦波，信号功率通常集中在正弦波的频率处。然而对于宽带载波信号1828，信号功率散布在一定范围的频率上。宽带载波信号1828的功率谱1862比单个正弦波或几个正弦波之和的功率谱宽。宽带载波信号1828的功率谱1862的峰值(例如，1832)是更均匀的。例如，在频率1830处的峰值1832和在频率1834处的峰值1836之间的差值小于阈值功率值。类似地，在频率1830处的峰值1832和在频率1838处的峰值1840之间的差值小于阈值功率值。
可以以如下关于图18C详细描述的多种方式来产生宽带载波信号1828。在一个实施例中，定义了频率(例如，10Hz至300Hz)的期望频谱。通过采用逆傅立叶变换来将频率分量从平坦功率谱的频域表示变换到时域。在另一个实施例中，通过汇总大量正弦波(例如，10-1000个正弦波)来模拟噪声过程。通过以小步长(例如1Hz-10 Hz)添加连续频率来近似频率的连续体(continuum)。在另一个实施例中，跨越皮肤的响应性的频率范围的较小数量的正弦波(例如，3-10个)被汇总。在另一个实施例中，可以通过采用宽带载波信号1828的每个时间样本作为随机数(例如，独立于在它前面的值而产生的高斯分布随机变量)的实现来在时域中构建宽带载波信号1828。这种方法将导致白高斯噪声过程。在另一个实施例中，周期性低频非正弦信号可以用于产生宽带载波信号1828，因为这种信号具有由基本频率和谐波频率组成的频率谱。
宽带信号发生器1816可以通过以多种方式将来自传感器信号1806的参数编码到宽带载波信号1828中来产生致动器信号1818。在一个实施例中，在用户的身体1826上的被激励的物理位置可以被编码到宽带载波信号1828中。例如，由致动器信号1818驱动的特定的一个或更多个致动器的位置向用户的身体1826传送信息(例如，识别特定音素)。在另一个实施例中，语音信号或传感器信号1806的每个频率分量的振幅可以用于对信息进行编码。在另一个实施例中，不同致动器的激活的序列可以用于对信息进行编码。在另一个实施例中，可以使用功率谱1862的特征。例如，致动器信号1818(其功率集中在较低频率中)可以传送与信号(其功率集中在较高频率处)不同的信息。非语言应用也是可能的。例如，在使用触觉通信设备1820的模拟社交触摸中，宽带致动器信号1818传送比正弦刺激更自然的刺激，该正弦刺激具有强烈的、人工的、机械的感觉。
图18C是根据实施例的示例宽带信号发生器1816的框图。图18C包括参数提取器1842、载波信号发生器1872和致动器信号发生器1876。在其他实施例中，宽带信号发生器1816可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
可以用软件、硬件或其组合来实现宽带信号发生器1816的部分。例如，宽带信号发生器1816可以是PC、平板PC、STB、智能手机、IoT设备或能够执行指令的任何机器的一部分，这些指令指定将由该机器采取的动作。宽带信号发生器1816可以包括一个或更多个处理单元(例如，CPU、GPU、DSP、控制器、状态机、一个或更多个ASIC、一个或更多个RFIC或这些部件的任何组合)和存储器。
参数提取器1842从描述用于传输到用户的身体1826的消息的传感器信号1806提取参数1852。参数提取器1842包括带通滤波器1844和振幅检测器1848。在其他实施例中，参数提取器1842可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
参数提取器1842可以提取与社交触摸相关的参数1852，例如力、振动或运动。参数1852可以用压力、温度、纹理、剪切应力、时间和空间或其子集的大小来表示。这些参数1852(例如，压力)可以由触觉通信设备1820使用以使用参数1852来产生触觉振动1824。例如，参数1852可以被转换成触觉振动1824的持续时间、频率或振幅。
在一个实施例中，如上面关于图15B描述并示出的，参数提取器1842可以从传感器信号1806确定皮肤致动器1822中的哪一个应该在不同的时间被开启(即，激活)或关闭，以创建不同的触觉错觉或向用户的身体1826传送不同的消息。
在一个实施例中，如上面关于图3描述并示出的，参数提取器1842可以将传感器信号1806分成语音子分量。语音子分量可以包括接收到的传感器(语音)信号1806的音素、接收到的传感器信号1806的频率、接收到的传感器信号1806的共振峰以及接收到的传感器信号1806的语义中的一个或更多个。音素是区分开一个词与另一个词的以特定语言的声音的在感知上不同的单位中的任一个，例如在英语词pad、pat、bad和bat中的p、b、d和t。共振峰指确定在传感器信号1806中的元音的语音质量的几个显著频带中的每一个。语义学可以包括含义的逻辑方面，例如意义、参考、蕴涵和逻辑形式、词汇语义学(词关系)或概念语义学(含义的认知结构)。从传感器信号1806提取的与语音音素相关的参数可以用于在身体1826上创建所激活的皮肤致动器1822的不同布置和不同触觉模式，其中每个模式可以与特定音素相关联。
带通滤波器1844将传感器信号1806分解成频带1846。例如，跨越语音频谱的带通滤波器1844的阵列可以用于将传感器信号1806分解成频带1846。每个带通滤波器使在某个范围内的频率通过，并抑制(减弱)在该范围外的频率。可以使用对所采样的传感器信号1806执行数学运算的模拟电阻器-电感器-电容器电路或数字滤波器来构造带通滤波器1844。例如，模数转换器可以用于对传感器信号1806进行采样，后面是微处理器和外围部件(例如存储数据和滤波器系数等的存储器)。最后，数模转换器完成输出级。
振幅检测器1848检测每个频带1846的振幅。振幅检测器1848可以是采用频带1846作为输入并提供输出的电子电路，该输出是每个频带1846的包络。例如，振幅检测器1848可以包括电平控制器以确定每个频带的振幅范围。振幅检测器1848可以包括电容器以在每个频带信号的上升沿上存储电荷，并在信号下降时通过电阻器释放电荷。振幅和频带1846构成用于产生致动器信号1818的参数1852。
载波信号发生器1872通过汇总多个频率分量来产生宽带载波信号1828。载波信号发生器1872包括频率发生器1856和随机振幅发生器1860。在其他实施例中，载波信号发生器1872可以包括额外的部件或比本文描述的更少的部件。类似地，功能可以以不同于这里描述的方式分布在部件和/或不同实体当中。
频率发生器1856产生频率分量1858用于由致动器信号发生器1876使用。频率发生器1856可以以不同的交替频率产生周期性脉冲或波形。在一个实施例中，频率发生器1856可以包括参考振荡器以向锁相环(PLL)提供具有已知频率的周期性波，该锁相环以期望的频率(例如，10Hz-300Hz)产生每个频率分量1858。在一个实施例中，频率分量中的每一个(例如，fi)具有正弦波形，并且在每对相邻频率分量fi、fj之间的频率差(fj-fi)小于阈值频率ft。例如，频率分量可以是具有频率10Hz、10.2Hz、10.4Hz、…、300Hz的正弦信号。在这里，在每对相邻频率分量fi、fj之间的频率差(例如，10.4Hz-10.2Hz)小于阈值频率(例如，0.29Hz)。在一个实施例中，频率分量的数量在10和1000之间，并且频率分量中的每一个具有在10Hz和300Hz之间的频率。例如，如果在10Hz和300Hz之间有1000个均匀间隔开的频率分量，则在相邻频率分量之间的频率差将是(300–10)＝290/1000＝0.29Hz。
在一个实施例中，在具有最高振幅的第一频率分量的振幅a1和具有最低振幅的第二频率分量的振幅a2之间的差(a2-a1)小于阈值振幅aT。类似于上面关于图18B示出并描述的功率谱1862，所产生的载波信号1828的振幅是在不同频率处具有几乎相等振幅的随机信号，给它提供了几乎平坦的振幅谱。
在一个实施例中，具有小于阈值频率ft的频率的每个频率分量fi(fi<ft)的振幅大于具有大于阈值频率ft的频率的每个频率分量fj(fj>ft)的振幅。例如，通过汇总这样的频率分量而产生的宽带载波信号1828将具有功率谱1862，使得功率谱密度可以与频率分量fi的频率成反比。
在一个实施例中，当频率分量fi的频率增加时，每个频率分量fi的振幅减小，并且当频率分量fi的频率减小时，频率分量fi的振幅增加。例如，当频率增加时，这样的频率分量的每Hz功率减小。在另一个示例中，每倍频程的功率可以是相等的。倍频程是频率分量，其最高频率是其最低频率的两倍。例如，从20Hz到40Hz的频带是倍频程，从40Hz到80Hz的频带也是如此。因此，尽管每Hz的功率随着频率的增加而减小，但连续倍频程的宽度增加(它们包含更多的频率)，给频率分量提供相等的每倍频程功率。
在一个实施例中，频率分量具有周期性的低频非正弦波形。频率分量中的每一个具有小于阈值频率ft的基本频率fi。频率分量还具有基本频率fi的谐波频率。例如，基本频率fi可以保持较低(例如，10Hz)，并且谐波频率被包括以产生宽带载波信号1828。基本频率fi的每个谐波有具有是基本频率fi的正整数倍的频率的波形。谐波在基本频率处是周期性的；谐波的和在该频率处也是周期性的。例如，如果基本频率为10Hz，则前三个高次谐波的频率为20Hz(二次谐波)、30Hz(三次谐波)和30Hz(四次谐波)。
在一个实施例中，随机振幅发生器1860可以通过将振幅随机地分配到频率分量中的每一个来产生宽带载波信号1828。例如，随机振幅发生器1860可以产生在持续时间上是T秒的宽带载波信号1828，并且使用Fs样本/秒的采样率。随机振幅发生器1860从频率分量的N个随机数形成序列x[n]，其中N＝T×Fs。随机振幅发生器1860确定序列的平均值mu＝ave(x)。随机振幅发生器1860从序列减去平均值，y＝x-mu。随机振幅发生器1860识别最大偏移(excursion)，m＝max(|y|)(即，y的绝对值的最大值)。随机振幅发生器1860按最大偏移按比例缩放序列以产生宽带载波信号1828，使得缩放后的序列z具有最大偏移1，z＝y/m。因而得到的宽带载波信号1828可以使用Fs的采样率来被传输到数模转换器。模拟输出可以被传输到音频放大器以产生致动器信号1818。在还有其他实施例中，宽带载波信号1828可以被预先产生并存储在载波信号发生器1872中的只读存储器中，并且当载波信号1828由宽带信号发生器1816使用时可以从存储器被读取。
在一个实施例中，载波信号发生器1872通过将相位随机分配到频率分量中的每一个来产生宽带载波信号1828。频率分量的相位是在频率分量的波形周期上的时间点(时刻)的位置。例如，载波信号发生器1872可以通过随机地选择在两个频率分量的两个相应特征(例如，峰值或零交叉)之间的相对位移来将相位随机地分配到频率分量中的每一个。载波信号发生器1872可以通过随机地选择频率分量在它的原点处的初始角度(相位偏移或相位差)来将相位随机地分配到频率分量中的每一个。在另一个示例中，载波信号发生器1872可以通过随机地选择相对于原点消逝的频率分量的波周期的一部分来将相位随机地分配到频率分量中的每一个。
致动器信号发生器1876通过将来自传感器信号1806的参数1852编码到宽带载波信号1828中来产生致动器信号1818。可以用软件、硬件或其组合来实现致动器信号发生器1876。例如，致动器信号发生器1876可以包括一个或更多个处理单元(例如，CPU、GPU、DSP、控制器、状态机、一个或更多个ASIC、一个或更多个RFIC或这些部件的任何组合)和存储器。
在一个实施例中，致动器信号发生器1876通过使用每个频带1846的振幅对频率分量进行调制来产生致动器信号1818。例如，致动器信号发生器1876可以与每个频带1846的振幅成比例地增加或减少宽带载波信号1828的瞬时频率。宽带载波信号1828被改变，使得宽带载波信号1828的频率与每个频带1846的振幅的变化一致地变化。当传感器信号1806的参数被编码到宽带载波信号1828中以产生致动器信号1818时，致动器信号1818与每个频带1846的振幅成比例地在频率上增加和减小。以这种方式，宽带载波信号1828的频率携带传感器信号1806的特征。所改变的宽带载波信号1828作为致动器信号1818被传输到皮肤致动器1822。
在一个实施例中，致动器信号发生器1876通过与每个频带1846的振幅成比例地增加或减少宽带载波信号1828的瞬时振幅来产生致动器信号1818。在一个示例中，传感器信号1806的参数被叠加到宽带载波信号1828的振幅上。宽带载波信号1828被改变，使得宽带载波信号1828的振幅与每个频带1846的振幅的变化一致地变化。以这种方式，宽带载波信号1828的振幅携带传感器信号1806的特征。所改变的宽带载波信号1828作为致动器信号1818被传输到皮肤致动器1822。
在一个实施例中，致动器信号发生器1876通过基于所提取的参数1852增加或减少由致动器信号1818激活的皮肤致动器1822的数量来产生致动器信号1818。例如，致动器信号发生器1876通过与传感器信号1806的振幅成比例地增加或减少所激活的皮肤致动器1822的数量来将传感器信号1806的参数编码到宽带载波信号1828中。当传感器信号1806的瞬时振幅增加时，宽带载波信号1828被改变，使得致动器信号1818激活(开启)在触觉通信设备1820上的大量皮肤致动器1822。这可以导致用户的身体1826的更大区域接收来自触觉振动1824的刺激。这也可以在身体1826上产生连续触觉运动的感觉(例如，轻抚或移动触摸)而不是上面参图15B所述的离散致动点的感觉。当瞬时振幅减小时，宽带载波信号1828被改变，使得致动器信号1818激活在触觉通信设备1820上的较少数量的皮肤致动器1822。改变所激活的皮肤致动器1822的数量导致更复杂的触觉通信效果。因此可以通过与传感器信号1806的瞬时振幅成比例地改变所激活的皮肤致动器1822的数量来传递与上面参考图15B描述的社交触摸词汇的词相关的信息。通过改变振动的振幅和模式，可以再现大量的组合、节奏或消息。
在一个实施例中，致动器信号发生器1876通过基于所提取的参数1852增加或减小在由一对皮肤致动器1822的每个皮肤致动器产生的触觉振动之间的重叠时间来产生致动器信号1818。在由第二皮肤致动器传输第二触觉振动的开始和由第一皮肤致动器传输第一触觉振动的结束之间的重叠时间提供连续的触觉触摸运动，而不是用户在用户的身体1826上的不同位置处经历隔离振动。通过改变在触觉振动之间的重叠时间，可以再现大量的组合、节奏或消息。
在一个实施例中，致动器信号发生器1876通过基于所提取的参数1852增加或减小对应于致动器信号1818的触觉振动1824的持续时间来产生致动器信号1818。皮肤致动器1822可以在时间t1开始传输触觉振动1824，并且在指示触觉振动1824的持续时间的时间间隔之后在时间t2结束。平滑的连续运动可以被建模为触觉振动1824的持续时间t2-t1的函数，用于行程运动。持续时间t2-t1决定行程的速度。触觉振动1824的持续时间t2-t1可以增加或减小以在社交触摸词汇的消息和词中提供触觉感觉的更好传递。
在宽带信号发生器1816的可选实施例中，载波信号发生器1872可以位于致动器信号发生器1876内。在这些实施例中，传感器信号1806可以由致动器信号发生器1876传输到载波信号发生器1872的PLL部分以改变所产生的宽带载波信号1828的瞬时频率值，以产生致动器信号1818。传感器信号或参数1852可以由致动器信号发生器1876传输到载波信号发生器1872的电平控制器部分以改变所产生的宽带载波信号1828的瞬时振幅值，从而产生致动器信号1818。
本文公开的实施例的益处和优点如下。一般来说，人类进化对经皮信息传输的空间和时间密度施加了限制。人类用户的皮肤被优化以传送本质上短暂的且需要立即响应的信息，同时过滤掉稳定的、无威胁的刺激。精确定位不如将注意力快速吸引到刺激的总体区域重要，使得对于有机体来说发展高空间分辨率没有选择性优势。本质上，持续的刺激是不提供信息的和分散注意力的，因此虽然众所周知的感觉适应现象是有益的，但限制了传送刺激的工程信息(engineered information)可以在不变得有刺激性或被感觉适应过滤掉的情况下被传送的持续时间。本文公开的实施例使用皮肤的响应特性的这个知识来产生致动器信号1818，用于消息的更好传输。
本文公开的实施例过滤掉在皮肤敏感性的频率范围之外的信号特征，并且聚焦于皮肤的敏感性的范围上。本文公开的实施例可以进一步预先过滤致动器信号1818，使得功率根据皮肤敏感性的频率相关性来按比例缩放，使得具有差的响应性的频率被放大而具有良好响应性的频率被衰减。因为相同的信号功率以较低的峰值频谱能量被传送，所以刺激是不太有刺激性的，且不太可能引发疲劳和感觉适应。此外，低空间分辨率部分地从穿过组织传播的机械波产生。通过限制峰值频谱振幅，与具有相等功率的窄带信号相比，宽带致动器信号1818较少地从源径向地传播，从而提高空间分辨率。因此，使用宽带致动器信号1818的所公开的实施例使人工和机械刺激感觉更自然且是生理性的。
本文公开的实施例还提高了触觉通信设备1820的维数。维数指编码信息的不同独立参数。例如，刺激的位置、持续时间和强度是可以用于对信息进行编码的不同参数。当更多维(参数)被添加时，更多不同的触觉“符号”是可能的，这增加了信息传递。因为宽带信号比窄带信号引起不同的感知质量，所以它们可以用作信息编码的另一个维。例如，可以使用下面的三种状态来对信息进行编码：具有150Hz频率的正弦波形、具有均匀地分布在150Hz和350Hz之间的信号功率的宽带信号以及具有均匀地分布在25Hz和150Hz之间的信号功率的宽带信号。
图18D是根据实施例的用于使用宽带致动器信号1818进行触觉通信的示例过程的图示。在一个实施例中，图18D的过程由触觉通信系统1800执行。在其他实施例中，其他实体(例如，远程控制台或计算机)可以执行该过程的一些或所有步骤。同样，实施例可以包括不同的和/或额外的步骤，或者以不同的顺序执行步骤。
触觉通信系统1800从描述用于传输到用户的消息的传感器信号1806提取1880参数1852。可以使用上述参数提取器1842来提取参数1852。在一个实施例中，参数提取器1842可以使用跨越语音频谱的带通滤波器1844的阵列来将传感器信号1806分解成频带1846。
触觉通信系统1800通过汇总频率分量来产生1882宽带载波信号1828。宽带载波信号1828可以包括许多频率分量，其包括可以被传输、记录和操纵的宽范围的频率。在一个实施例中，宽带载波信号1828可以包括在不同频率处具有几乎相等的功率或振幅的多个频率分量，因而给宽带载波信号1828提供均匀的功率谱1862。
触觉通信系统1800通过将来自传感器信号1806的参数1852编码到宽带载波信号1828中来产生1884致动器信号1818。在一个实施例中，被致动的在用户的身体1826上的物理位置可以被编码到宽带载波信号1828中。例如，由致动器信号1818驱动的特定的一个或更多个致动器的位置向用户的身体1826传送信息(例如，识别特定音素)。在另一个实施例中，每个频率分量的振幅可以用于对信息进行编码。在另一个实施例中，不同致动器的激活的序列可以用于对信息进行编码。在另一个实施例中，可以使用功率谱1862的特征。
触觉通信系统1800通过通信地耦合到宽带信号发生器1816的皮肤致动器1822来接收1886致动器信号1818。在一个实施例中，皮肤致动器1822可以是将模拟AC耦合信号(致动器信号1818)转换成比例机械运动的音圈。皮肤致动器1822可以布置在以足够的压力将它们靠着身体1826固定在适当的位置上的半刚性背衬上，使得触觉振动1824可以由用户感知。
触觉通信系统1800在用户的身体1826上产生1888对应于致动器信号1818的触觉振动1824以将消息传递给用户。因此，对应于社交触摸词汇的语音消息、文本消息或触觉消息可以从一个用户被传输到另一个用户，包括用于问候、离别、给予关注、帮助、安慰、平静、愉快和安心触摸的触觉消息。
实施例的前述描述为了说明的目的被提出；它并不旨在是无遗漏的或将实施例限制到所公开的精确形式。根据上述公开，许多修改和变化是可能的。
最后，在说明书中使用的语言主要为了可读性和教学目的而被选择，并且它可以不被选择为描述或限制创造性主题。因此，意图是范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开旨在是说明性的而不是限制在所附权利要求中阐述的范围。

Claims (18)

1.一种触觉通信设备，包括：
皮肤致动器的阵列，其被配置成产生对应于致动器信号的触觉感觉，皮肤致动器的所述阵列至少包括放置在用户的身体上的第一位置处的第一皮肤致动器和放置在用户的身体上的第二位置处的第二皮肤致动器，所述第一位置和所述第二位置都是在用户的身体的连续部分上的单独位置；以及
耦合到所述阵列的信号发生器，所述信号发生器被配置成：
产生第一致动器信号，所述第一致动器信号传输到所述第一皮肤致动器以使得所述第一皮肤致动器在第一时间在所述第一位置处开始产生第一触觉感觉；以及
产生第二致动器信号，所述第二致动器信号传输到所述第二皮肤致动器以使得所述第二皮肤致动器在比所述第一时间晚的第二时间在所述第二位置处开始产生第二触觉感觉，所述第二触觉感觉结合所述第一触觉感觉形成沿着用户的身体的所述连续部分从所述第一位置到所述第二位置的平滑的连续触觉运动的感觉，其中，所述第一皮肤致动器和所述第二皮肤致动器对于用户是不可区分的，并且其中，所述信号发生器配置所述第一致动器信号和所述第二致动器信号，使得所述第一触觉感觉与所述第二触觉感觉通过重叠时间在时间上重叠。
2.根据权利要求1所述的触觉通信设备，其中，所述触觉感觉对应于社交触摸词汇的词，所述社交触摸词汇包括问候、离别、给予关注、帮助、安慰、平静、愉快和安心触摸中的一个或更多个。
3.根据权利要求1所述的触觉通信设备，其中，皮肤致动器的所述阵列被配置成通过改变所述第一触觉感觉和所述第二触觉感觉的振幅或频率来产生所述触觉感觉。
4.根据权利要求1所述的触觉通信设备，其中，所述第一皮肤致动器还被配置成在指示所述第一触觉感觉的持续时间的时间间隔之后结束所述第一触觉感觉的产生。
5.根据权利要求1所述的触觉通信设备，其中，所述第一触觉感觉和所述第二触觉感觉的重叠时间随着所述第一触觉感觉的持续时间的增加而增加。
6.根据权利要求1所述的触觉通信设备，其中，所述触觉感觉是触觉振动，并且所述触觉振动的频率在1Hz和300Hz之间。
7.根据权利要求1所述的触觉通信设备，其中，所述触觉感觉是触觉振动，并且所述触觉振动的振幅在15dB感觉水平SL和30dB SL之间。
8.根据权利要求7所述的触觉通信设备，其中，所述触觉振动的频率在20Hz和70Hz之间。
9.根据权利要求1所述的触觉通信设备，其中，分离所述第一皮肤致动器和所述第二皮肤致动器的间隔距离小于40mm。
10.根据权利要求1所述的触觉通信设备，其中，分离所述阵列的所述第一皮肤致动器和最后一个皮肤致动器的距离小于15cm。
11.根据权利要求1所述的触觉通信设备，其中，皮肤致动器的所述阵列是包括一行或更多行皮肤致动器和一列或更多列皮肤致动器的二维阵列。
12.根据权利要求11所述的触觉通信设备，其中，分离第一行皮肤致动器和第二行皮肤致动器的间隔距离小于40mm。
13.一种触觉通信方法，包括：
由皮肤致动器的阵列产生对应于致动器信号的触觉感觉，皮肤致动器的所述阵列至少包括放置在用户的身体上的第一位置处的第一皮肤致动器和放置在用户的身体上的第二位置处的第二皮肤致动器，所述第一位置和所述第二位置都是在用户的身体的连续部分上的单独位置；以及
由耦合到所述阵列的信号发生器产生第一致动器信号，所述第一致动器信号传输到所述第一皮肤致动器以使得所述第一皮肤致动器在第一时间在所述第一位置处开始产生第一触觉感觉；以及
产生第二致动器信号，所述第二致动器信号传输到所述第二皮肤致动器以使得所述第二皮肤致动器在比所述第一时间晚的第二时间在所述第二位置处开始产生第二触觉感觉，所述第二触觉感觉结合所述第一触觉感觉形成沿着用户的身体的所述连续部分从所述第一位置到所述第二位置的平滑的连续触觉运动的感觉，其中，所述第一皮肤致动器和所述第二皮肤致动器对于用户是不可区分的，并且其中，所述信号发生器配置所述第一致动器信号和所述第二致动器信号，使得所述第一触觉感觉与所述第二触觉感觉通过重叠时间在时间上重叠。
14.根据权利要求13所述的触觉通信方法，其中，在所述第一触觉感觉的产生和所述第二触觉感觉的产生之间的重叠时间随着所述第一触觉感觉的持续时间的增加而增加。
15.根据权利要求13所述的触觉通信方法，还包括：
通过改变所述第一触觉感觉和所述第二触觉感觉的重叠时间来将所述第一触觉感觉和所述第二触觉感觉传输给多个用户，每个用户佩戴皮肤致动器的所述阵列；
基于所述重叠时间来从用户接收平滑的连续触觉运动的评价；以及
汇总接收到的评价以确定对应于最高评价的优选重叠时间。
16.根据权利要求13所述的触觉通信方法，还包括：
通过改变所述第一触觉感觉和所述第二触觉感觉的一个或更多个频率来将所述第一触觉感觉和所述第二触觉感觉传输给多个用户，每个用户佩戴皮肤致动器的所述阵列；
基于所述一个或更多个频率来从用户接收平滑的连续触觉运动的评价；以及
汇总接收到的评价以确定对应于最高评价的优选的一个或更多个频率。
17.根据权利要求13所述的触觉通信方法，还包括：
通过改变所述第一触觉感觉和所述第二触觉感觉的振幅来将所述第一触觉感觉和所述第二触觉感觉传输给多个用户，每个用户佩戴皮肤致动器的所述阵列；
基于所述振幅来从用户接收平滑的连续触觉运动的评价；以及
汇总接收到的评价以确定对应于最高评价的优选振幅。
18.一种非暂时性计算机可读存储介质，其存储可执行计算机程序指令，所述计算机程序指令包括用于以下操作的指令：
由皮肤致动器的阵列产生对应于致动器信号的触觉感觉，皮肤致动器的所述阵列至少包括放置在用户的身体上的第一位置处的第一皮肤致动器和放置在用户的身体上的第二位置处的第二皮肤致动器，所述第一位置和所述第二位置都是在用户的身体的连续部分上的单独位置；以及
由耦合到所述阵列的信号发生器产生第一致动器信号，所述第一致动器信号传输到所述第一皮肤致动器以使得所述第一皮肤致动器在第一时间在所述第一位置处开始产生第一触觉感觉；以及
产生第二致动器信号，所述第二致动器信号传输到所述第二皮肤致动器以使得所述第二皮肤致动器在比所述第一时间晚的第二时间在所述第二位置处开始产生第二触觉感觉，所述第二触觉感觉结合所述第一触觉感觉形成沿着用户的身体的所述连续部分从所述第一位置到所述第二位置的平滑的连续触觉运动的感觉，其中，所述第一皮肤致动器和所述第二皮肤致动器对于用户是不可区分的，并且其中，所述信号发生器配置所述第一致动器信号和所述第二致动器信号，使得所述第一触觉感觉与所述第二触觉感觉通过重叠时间在时间上重叠。
CN201880040418.1A 2017-04-17 2018-04-10 使用皮肤致动器模拟连续的人类触摸的触觉通信系统 Active CN110753957B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762486337P 2017-04-17 2017-04-17
US62/486,337 2017-04-17
US201762552791P 2017-08-31 2017-08-31
US62/552,791 2017-08-31
US201762574389P 2017-10-19 2017-10-19
US62/574,389 2017-10-19
US201862621977P 2018-01-25 2018-01-25
US62/621,977 2018-01-25
PCT/US2018/026934 WO2018194884A1 (en) 2017-04-17 2018-04-10 Haptic communication system using cutaneous actuators for simulation of continuous human touch

Publications (2)

Publication Number Publication Date
CN110753957A CN110753957A (zh) 2020-02-04
CN110753957B true CN110753957B (zh) 2022-05-13

Family

ID=63790185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880040418.1A Active CN110753957B (zh) 2017-04-17 2018-04-10 使用皮肤致动器模拟连续的人类触摸的触觉通信系统

Country Status (4)

Country Link
US (15) US11355033B2 (zh)
EP (1) EP3612915A4 (zh)
CN (1) CN110753957B (zh)
WO (1) WO2018194884A1 (zh)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6521460B2 (ja) * 2016-12-28 2019-05-29 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6588421B2 (ja) * 2016-12-28 2019-10-09 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
CN110476206B (zh) * 2017-03-29 2021-02-02 谷歌有限责任公司 将文本转换为语音的系统及其存储介质
US11355033B2 (en) 2017-04-17 2022-06-07 Meta Platforms, Inc. Neural network model for generation of compressed haptic actuator signal from audio input
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
CN107229334B (zh) * 2017-05-27 2019-08-20 东南大学 一种基于有源和无源器件的小型力触觉再现方法
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
CN109427226A (zh) * 2017-09-05 2019-03-05 中兴通讯股份有限公司 分布式振动触发方法、装置、辅助阅读系统及设备
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
US20190122267A1 (en) 2017-10-24 2019-04-25 Kaptivating Technology Llc Multi-stage content analysis system that profiles users and selects promotions
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10395489B1 (en) * 2018-06-15 2019-08-27 Immersion Corporation Generation and braking of vibrations
US11740697B1 (en) 2018-06-19 2023-08-29 Meta Platforms Technologies, Llc Vibrotactile devices, systems, and related methods
WO2020003728A1 (ja) 2018-06-28 2020-01-02 ソニー株式会社 符号化装置、符号化方法、復号装置、復号方法、プログラム
CN113348455A (zh) * 2018-06-29 2021-09-03 泽诺塔控股股份公司 利用数据控制签名提供数据的认证、不可否认性、受管控的访问和孪生分辨的装置和方法
US20220109455A1 (en) * 2018-06-29 2022-04-07 Zenotta Holding Ag Apparatus and method for providing authentication, non-repudiation, governed access and twin resolution for data utilizing a data control signature
US11823557B2 (en) * 2018-07-03 2023-11-21 Sony Corporation Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program
WO2020033110A1 (en) * 2018-08-05 2020-02-13 Pison Technology, Inc. User interface control of responsive devices
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
WO2020044621A1 (ja) * 2018-08-29 2020-03-05 アルプスアルパイン株式会社 入力装置、制御方法及びプログラム
US10332367B1 (en) * 2018-10-17 2019-06-25 Capital One Services, Llc Systems and methods for using haptic vibration for inter device communication
GB201817495D0 (en) * 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10930265B2 (en) * 2018-11-28 2021-02-23 International Business Machines Corporation Cognitive enhancement of communication with tactile stimulation
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
CA3127443A1 (en) * 2019-01-23 2020-07-30 Sound Genetics, Inc. Systems and methods for pre-filtering audio content based on prominence of frequency content
US11280883B2 (en) 2019-01-25 2022-03-22 Veoneer Us, Inc. Apparatus and method for detecting radar sensor blockage using machine learning
JP7127562B2 (ja) * 2019-01-31 2022-08-30 株式会社島津製作所 触覚刺激呈示装置
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11397497B2 (en) * 2019-04-04 2022-07-26 Knowles Electonics, Llc System and method for detecting tactile interaction based on surface variations of a tactile interface
US11194396B1 (en) * 2019-04-23 2021-12-07 Apple Inc. Electronic devices with fabric actuators
US11580382B2 (en) * 2019-04-26 2023-02-14 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus providing a trained signal classification neural network
US11079845B2 (en) 2019-04-29 2021-08-03 Matt Giordano System, method, and apparatus for therapy and computer usage
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
WO2020254788A1 (en) 2019-06-21 2020-12-24 Cirrus Logic International Semiconductor Limited A method and apparatus for configuring a plurality of virtual buttons on a device
RU2708107C1 (ru) * 2019-06-24 2019-12-04 Дмитрий Петрович Герасимук Система тактильного обеспечения коммуникации
JP7313079B2 (ja) 2019-09-09 2023-07-24 国立研究開発法人科学技術振興機構 力覚提示装置及び力覚提示方法
TWI723634B (zh) * 2019-10-01 2021-04-01 創鑫智慧股份有限公司 資料處理系統及其資料處理方法
US20210110841A1 (en) * 2019-10-14 2021-04-15 Lofelt Gmbh System and method for transforming authored haptic data to fit into haptic bandwidth
WO2021076094A1 (en) * 2019-10-14 2021-04-22 Google Llc An audio-to-tactile converter for speech and sound access
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11705109B2 (en) * 2019-11-21 2023-07-18 Cirrus Logic, Inc. Detection of live speech
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11703973B2 (en) * 2019-12-30 2023-07-18 Goertek Technology Co. Ltd. Input apparatus and electronic device applying the same
CN111368251A (zh) * 2020-02-06 2020-07-03 吉林大学 基于均方根误差的振动式触觉再现纹理渲染真实感的定量评估方法
KR20210100368A (ko) * 2020-02-06 2021-08-17 삼성전자주식회사 전자장치 및 그 제어방법
US11533011B2 (en) * 2020-03-04 2022-12-20 Qualcomm Incorporated Actuator driver circuit with self-resonance tracking
WO2021183616A1 (en) * 2020-03-10 2021-09-16 Tactile Solutions, Inc. Capture plate assembly for braille display
US11610459B2 (en) * 2020-04-13 2023-03-21 Google Llc Factory and user calibration of haptic systems
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11806213B2 (en) * 2020-04-30 2023-11-07 Nippon Telegraph And Telephone Corporation Voice transmission compensation apparatus, voice transmission compensation method and program
US20230233931A1 (en) * 2020-05-01 2023-07-27 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, and program
US11537800B1 (en) * 2020-05-08 2022-12-27 Walgreen Co. Automated sig code translation using machine learning
EP4162346A1 (en) 2020-06-06 2023-04-12 Battelle Memorial Institute Non-verbal communications radio and non-verbal communication system using a plurality of non-verbal communication radios
CN111722108B (zh) * 2020-06-24 2023-03-24 瑞声科技(新加坡)有限公司 马达失真测量方法及设备、计算机可读存储介质
WO2022086797A2 (en) * 2020-10-19 2022-04-28 Gojo Industries, Inc. Smart tags for covertly promoting hand hygiene compliance in food service industries
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
CN112388655B (zh) * 2020-12-04 2021-06-04 齐鲁工业大学 一种基于触觉振动信号与视觉图像融合的抓取物识别方法
WO2022123667A1 (ja) * 2020-12-09 2022-06-16 日本電信電話株式会社 触覚システム
CN112729625B (zh) * 2020-12-25 2022-02-08 厦门大学 一种激光织构仿生电容式柔性压力传感器及其制备方法
US11622194B2 (en) * 2020-12-29 2023-04-04 Nuvoton Technology Corporation Deep learning speaker compensation
CN113440139B (zh) * 2021-05-26 2023-06-09 上海交通大学重庆研究院 电生理信号动作电位挑拣方法、装置及生物状态检测方法
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US20230059333A1 (en) * 2021-08-18 2023-02-23 Cirrus Logic International Semiconductor Ltd. Haptics signal generation
US11483330B1 (en) * 2021-09-18 2022-10-25 University Of Tabuk Systems and methods for detecting cyberattacks targeting internet of things environments
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
EP4266156A1 (en) * 2022-04-20 2023-10-25 BIC Violex Single Member S.A. Apparatus and method for haptically augmented display of visual cues
CN115223244B (zh) * 2022-07-12 2024-02-02 中国电信股份有限公司 触觉动作仿真方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4581491A (en) * 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
CN103180802A (zh) * 2010-11-09 2013-06-26 皇家飞利浦电子股份有限公司 具有触觉反馈的用户接口
KR20130086610A (ko) * 2010-09-13 2013-08-02 노키아 코포레이션 햅틱 통신
CN106062837A (zh) * 2014-01-03 2016-10-26 韦尔勒布尔实验有限公司 用于实现身体体验的系统与方法

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4139742A (en) 1977-02-02 1979-02-13 Walker Jay F Cutaneous communication device
IL76865A0 (en) 1984-11-07 1986-02-28 Audiosonics Neural Communicati Method and apparatus for communicating information representative of sound waves to the deaf
EP0883107B9 (en) 1996-11-07 2005-01-26 Matsushita Electric Industrial Co., Ltd Sound source vector generator, voice encoder, and voice decoder
EP0951883B1 (en) 1998-03-18 2005-07-27 Nippon Telegraph and Telephone Corporation Wearable communication device with bone conduction transducer
FR2800966B1 (fr) 1999-11-10 2001-12-21 Jean Max Coudon Dispositif de stimulation tactile destine a etre utilise par une personne sourde
US7027965B2 (en) 2000-09-13 2006-04-11 The University Of Washington Time domain passivity control of haptic interfaces
US6804218B2 (en) 2000-12-04 2004-10-12 Qualcomm Incorporated Method and apparatus for improved detection of rate errors in variable rate receivers
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US8917234B2 (en) 2002-10-15 2014-12-23 Immersion Corporation Products and processes for providing force sensations in a user interface
CA2518105A1 (en) * 2003-03-06 2004-09-23 Afferent Corporation Method and apparatus for improving human balance and gait and preventing foot injury
US20050152325A1 (en) * 2004-01-12 2005-07-14 Gonzales Gilbert R. Portable and remotely activated alarm and notification tactile communication device and system
KR100624255B1 (ko) 2004-09-24 2006-09-19 삼성탈레스 주식회사 피부 자극용 ｒｆ 신호 전달 장치
FR2882881B1 (fr) 2005-03-01 2015-09-25 Commissariat Energie Atomique Procede et dispositifs de transmission d'informations tactiles
US7919945B2 (en) 2005-06-27 2011-04-05 Coactive Drive Corporation Synchronized vibration device for haptic feedback
US9802225B2 (en) 2005-06-27 2017-10-31 General Vibration Corporation Differential haptic guidance for personal navigation
US20090024183A1 (en) 2005-08-03 2009-01-22 Fitchmun Mark I Somatic, auditory and cochlear communication system and method
US7696860B2 (en) * 2005-10-14 2010-04-13 University Of Central Florida Research Foundation, Inc Electromagnetic field tactile display interface and biosensor
US7733224B2 (en) 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US8210942B2 (en) 2006-03-31 2012-07-03 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20070265077A1 (en) 2006-04-27 2007-11-15 Microsoft Corporation Haptic feedback for peripheral devices
JP4921113B2 (ja) 2006-10-25 2012-04-25 キヤノン株式会社 接触提示装置及び方法
CN101355746B (zh) 2007-07-27 2012-05-16 深圳富泰宏精密工业有限公司 无线通信装置
US7639567B2 (en) 2007-09-17 2009-12-29 Ion Geophysical Corporation Generating seismic vibrator signals
WO2009044525A1 (ja) 2007-10-01 2009-04-09 Panasonic Corporation 音声強調装置および音声強調方法
US8031172B2 (en) 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US8362883B2 (en) * 2008-06-10 2013-01-29 Design Interactive, Inc. Method and system for the presentation of information via the tactile sense
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
GB2464117B (en) 2008-10-03 2015-01-28 Hiwave Technologies Uk Ltd Touch sensitive device
US8248376B2 (en) 2008-11-19 2012-08-21 Nokia Corporation User interfaces and associated apparatus and methods
US20100134327A1 (en) 2008-11-28 2010-06-03 Dinh Vincent Vinh Wireless haptic glove for language and information transference
US9402133B2 (en) * 2009-02-12 2016-07-26 Brock Maxwell SEILER Multi-channel audio vibratory entertainment system
US9067097B2 (en) 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
FR2945642A1 (fr) 2009-05-15 2010-11-19 Alcatel Lucent Gant et ecran tactile permettant de lire des informations par le toucher
US9417694B2 (en) 2009-10-30 2016-08-16 Immersion Corporation System and method for haptic display of data transfers
US8279052B2 (en) * 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
CN102214379A (zh) 2010-04-02 2011-10-12 张文 触觉帮助提示器
US9880621B2 (en) * 2010-04-08 2018-01-30 Disney Enterprises, Inc. Generating virtual stimulation devices and illusory sensations using tactile display technology
CN201689509U (zh) 2010-04-16 2010-12-29 睢欣欣 聋哑人用汽车鸣笛提醒装置
EP2385562A1 (en) 2010-05-04 2011-11-09 Koninklijke Philips Electronics N.V. Actuator device with improved tactile characteristics
US8791800B2 (en) 2010-05-12 2014-07-29 Nokia Corporation Detecting touch input and generating perceptible touch stimulus
US8451104B2 (en) 2010-05-25 2013-05-28 Motorola Mobility Llc Passive user input attachment engaging compressible conductive elements and method for using the same
US8659210B2 (en) 2010-11-02 2014-02-25 Immersion Corporation Piezo based inertia actuator for high definition haptic feedback
CA2719659C (en) 2010-11-05 2012-02-07 Ibm Canada Limited - Ibm Canada Limitee Haptic device with multitouch display
US20120206371A1 (en) * 2011-02-10 2012-08-16 Nokia Corporation Direction Sensation Haptic Motion
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US9953494B2 (en) * 2011-02-25 2018-04-24 Leigh M. Rothschild Device, system and method for mobile devices to communicate through skin response
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US20130033366A1 (en) * 2011-08-01 2013-02-07 Mcdonough Colin Albright Method and system for providing haptic feedback of variable intensity
KR101288147B1 (ko) 2011-11-16 2013-07-18 삼성전기주식회사 햅틱 피드백 디바이스
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
WO2013163549A1 (en) 2012-04-26 2013-10-31 The University Of Akron Flexible tactile sensors and method of making
US8552847B1 (en) * 2012-05-01 2013-10-08 Racing Incident Pty Ltd. Tactile based performance enhancement system
WO2014066516A1 (en) 2012-10-23 2014-05-01 New York University Somatosensory feedback wearable object
US9116546B2 (en) 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9282893B2 (en) 2012-09-11 2016-03-15 L.I.F.E. Corporation S.A. Wearable communication platform
NL1040096C2 (en) * 2012-11-14 2014-09-16 Holland Haptics B V Haptic communication system, method and device.
KR20140062893A (ko) 2012-11-15 2014-05-26 삼성전자주식회사 점자를 표현하는 웨어러블 디바이스와 그 제어 방법
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US10528135B2 (en) * 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US20140266570A1 (en) * 2013-03-12 2014-09-18 Anirudh Sharma System and method for haptic based interaction
US20150046828A1 (en) 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
TWI557596B (zh) 2013-08-19 2016-11-11 瑞昱半導體股份有限公司 具有觸感補償功能之音訊裝置及音訊使用方法
US9691237B2 (en) 2013-08-21 2017-06-27 Raven Industries, Inc. Non-visual navigation feedback system and method
US8914752B1 (en) 2013-08-22 2014-12-16 Snapchat, Inc. Apparatus and method for accelerated display of ephemeral messages
WO2015038684A1 (en) * 2013-09-10 2015-03-19 Polyera Corporation Attachable article with signaling, split display and messaging features
DE202014010799U1 (de) 2013-10-29 2016-10-19 Nordin Kouache System zur Übermittlung von taktilen Anweisungen an einen menschlichen Körper
US9189932B2 (en) 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method
US20150205352A1 (en) 2013-12-29 2015-07-23 Immersion Corporation Distributed control architecture for haptic devices
BR112016015426B1 (pt) * 2013-12-31 2022-07-12 Iftech Inventing Future Technology Inc Dispositivos vestíveis, sistemas, métodos e arquiteturas para estimulação e manipulação sensorial e aquisição de dados fisiológicos
US9836123B2 (en) 2014-02-13 2017-12-05 Mide Technology Corporation Bussed haptic actuator system and method
US20170098350A1 (en) * 2015-05-15 2017-04-06 Mick Ebeling Vibrotactile control software systems and methods
AU2014210579B2 (en) 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
US10121335B2 (en) 2014-07-18 2018-11-06 Google Technology Holdings LLC Wearable haptic device for the visually impaired
KR101516604B1 (ko) 2014-08-25 2015-05-08 연합정밀주식회사 자기유변 유체를 포함한 근감각 제공 모듈 및 박막형 촉감 제공 모듈을 이용한 통합 햅틱 피드백 시뮬레이션 장치
US20160062333A1 (en) * 2014-08-28 2016-03-03 Georgia Tech Research Corporation Physical interactions through information infrastructures integrated in fabrics and garments
KR102019505B1 (ko) * 2014-09-02 2019-09-06 애플 인크. 햅틱 통지
US10702171B2 (en) 2014-09-08 2020-07-07 Apple Inc. Systems, devices, and methods for measuring blood pressure of a user
KR102254705B1 (ko) 2014-09-19 2021-05-24 삼성전자주식회사 단말 장치 및 그 제어방법
US9754188B2 (en) * 2014-10-23 2017-09-05 Microsoft Technology Licensing, Llc Tagging personal photos with deep networks
US20160147304A1 (en) * 2014-11-24 2016-05-26 General Electric Company Haptic feedback on the density of virtual 3d objects
US9946350B2 (en) * 2014-12-01 2018-04-17 Qatar University Cutaneous haptic feedback system and methods of use
US9851805B2 (en) * 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
DE102014019582B4 (de) * 2014-12-30 2017-03-30 Philip Zeitler Haptik-Vorrichtungen und -Verfahren
US9612661B2 (en) * 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US10013059B2 (en) 2015-04-03 2018-07-03 Disney Enterprises, Inc. Haptic authoring tool for animated haptic media production
KR20160119966A (ko) 2015-04-07 2016-10-17 엘지전자 주식회사 와치 타입의 이동 단말기
BR112018003553A2 (pt) 2015-08-31 2018-09-25 Koninklijke Philips N.V. dispositivo para acionamento e detecção simultâneos, e método de detecção e atuação simultâneas com o uso de um atuador
IL242106B (en) * 2015-10-15 2019-08-29 Shaie Shvartzberg System and method for translating sound to tactile
EP3157266B1 (en) 2015-10-16 2019-02-27 Nxp B.V. Controller for a haptic feedback element
US20170221336A1 (en) 2016-01-28 2017-08-03 Flex Ltd. Human voice feedback system
US10062302B2 (en) 2016-03-03 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems for orientation and mobility training
US10269223B2 (en) 2016-04-12 2019-04-23 Andrew Kerdemelidis Haptic communication apparatus and method
WO2017190049A1 (en) 2016-04-29 2017-11-02 Lifelens Technologies, Llc Monitoring and management of physiologic parameters of a subject
CN205696110U (zh) 2016-05-10 2016-11-23 陈志强 一种将声音转变为触觉且适合聋哑人佩戴的智能手环
US9829981B1 (en) 2016-05-26 2017-11-28 Apple Inc. Haptic output device
US10199323B2 (en) 2016-08-30 2019-02-05 Apple Inc. Flexible circuit substrate with temporary supports and equalized lateral expansion
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
WO2018071000A1 (en) 2016-10-11 2018-04-19 Hewlett-Packard Development Company, L.P. Providing haptic feedback
US10166167B2 (en) 2016-11-02 2019-01-01 Mating Components, LLC Finger vibrator
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10427039B2 (en) 2016-12-08 2019-10-01 Immersion Corporation Haptic surround functionality
US10297120B2 (en) 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10276002B2 (en) * 2017-01-13 2019-04-30 Intel Corporation Apparatus and method for modifying a haptic output of a haptic device
US11355033B2 (en) * 2017-04-17 2022-06-07 Meta Platforms, Inc. Neural network model for generation of compressed haptic actuator signal from audio input
US10172409B1 (en) 2018-05-31 2019-01-08 Nike, Inc. Intelligent electronic footwear and control logic for automated pedestrian collision avoidance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4581491A (en) * 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
KR20130086610A (ko) * 2010-09-13 2013-08-02 노키아 코포레이션 햅틱 통신
CN103180802A (zh) * 2010-11-09 2013-06-26 皇家飞利浦电子股份有限公司 具有触觉反馈的用户接口
CN106062837A (zh) * 2014-01-03 2016-10-26 韦尔勒布尔实验有限公司 用于实现身体体验的系统与方法

Also Published As

Publication number Publication date
US20180300999A1 (en) 2018-10-18
US11355033B2 (en) 2022-06-07
US20180301140A1 (en) 2018-10-18
US10475354B2 (en) 2019-11-12
US10854108B2 (en) 2020-12-01
US20220343794A1 (en) 2022-10-27
US10943503B2 (en) 2021-03-09
US20180301060A1 (en) 2018-10-18
US10748448B2 (en) 2020-08-18
EP3612915A1 (en) 2020-02-26
US10665129B2 (en) 2020-05-26
US20180301001A1 (en) 2018-10-18
US20180300651A1 (en) 2018-10-18
CN110753957A (zh) 2020-02-04
US10551926B1 (en) 2020-02-04
US10255825B2 (en) 2019-04-09
US10591996B1 (en) 2020-03-17
US20180301000A1 (en) 2018-10-18
US10650701B2 (en) 2020-05-12
US20180299960A1 (en) 2018-10-18
EP3612915A4 (en) 2020-02-26
US20180301002A1 (en) 2018-10-18
US10222864B2 (en) 2019-03-05
US20180300997A1 (en) 2018-10-18
US10388186B2 (en) 2019-08-20
US20180300996A1 (en) 2018-10-18
US10867526B2 (en) 2020-12-15
US11011075B1 (en) 2021-05-18
US20180300998A1 (en) 2018-10-18
WO2018194884A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
CN110753957B (zh) 使用皮肤致动器模拟连续的人类触摸的触觉通信系统
Kimura et al. SottoVoce: An ultrasound imaging-based silent speech interaction using deep neural networks
US20220370803A1 (en) Somatic, auditory and cochlear communication system and method
US20160314781A1 (en) Computer-implemented method, computer system and computer program product for automatic transformation of myoelectric signals into audible speech
Jin et al. EarCommand: " Hearing" Your Silent Speech Commands In Ear
Turcott et al. Efficient evaluation of coding strategies for transcutaneous language communication
Fuchs et al. The new bionic electro-larynx speech system
Vojtech et al. Surface electromyography–based recognition, synthesis, and perception of prosodic subvocal speech
Saikachi et al. Development and perceptual evaluation of amplitude-based F0 control in electrolarynx speech
Seong et al. A study on the voice security system using sensor technology
Stone A silent-speech interface using electro-optical stomatography
US11862147B2 (en) Method and system for enhancing the intelligibility of information for a user
Ifukube et al. Tactile stimulation methods for the deaf and/or blind
Butts Enhancing the perception of speech indexical properties of cochlear implants through sensory substitution
Jian Speech Driven by Artificial Larynx: Potential Advancement Using Synthetic Pitch Contours
Matsui et al. Development of Hand Gesture Controlled Electrolarynx
Rudzicz A thesis submitted in conformity with the requirements for the degree of Doctor of Philosophy Graduate Department of Department of Computer Science
Ifukube A Study of Universal Accessibility for People in Japan with Communicative and Perceptual Disorders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan platform Co.

Address before: California, USA

Applicant before: Facebook, Inc.

GR01 Patent grant
GR01 Patent grant