CN103608749B - 用于记录和重现感觉的系统和装置 - Google Patents

用于记录和重现感觉的系统和装置 Download PDF

Info

Publication number
CN103608749B
CN103608749B CN201280031558.5A CN201280031558A CN103608749B CN 103608749 B CN103608749 B CN 103608749B CN 201280031558 A CN201280031558 A CN 201280031558A CN 103608749 B CN103608749 B CN 103608749B
Authority
CN
China
Prior art keywords
input signal
touch
patient
transducer
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280031558.5A
Other languages
English (en)
Other versions
CN103608749A (zh
Inventor
T.古延
D.王
Y.O.金
W.哈
B.W.刘易斯
S.维舍尼亚科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of California
Original Assignee
University of California
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of California filed Critical University of California
Publication of CN103608749A publication Critical patent/CN103608749A/zh
Application granted granted Critical
Publication of CN103608749B publication Critical patent/CN103608749B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

用于记录和重现感觉的系统和装置。接收一个或多个触觉和嗅觉来生成触摸输入信号和气味输入信号中的至少一个。输入信号被存储和处理，并且可以生成至少一个输出信号。可以生成触摸输出和气味输出中的一个或多个。触摸输入、气味输入或两者可以与视景输入和声音输入中的一个或多个集成。

Description

用于记录和重现感觉的系统和装置
相关申请的交叉引用
本公开要求于2011年4月26日提交的美国临时申请序列号61/479,338的优先权。
技术领域
本发明的领域是数据表示和通信。
背景技术
在很多应用中，例如但不限于娱乐、教学和仿真，视频被广泛地记录、传播和使用。视频大多数以二维（2-D）形式出现，但也存在3-D的形式，并且被展示在从电影屏幕到小型手持装置（例如平板电脑、小型笔记本电脑、电话、手持游戏终端等）的装置上。大多数时候，只有视景和声音在视频中发挥作用。
可以在装置上使用接触（触摸）接口，以通过振动来提升用户体验。例如，移动电话可以根据信号源来不同地振动。游戏中的操纵杆或其他控制器可以根据游戏中的当前场景来振动。由已知为声辐射压的超声现象建立的接触反馈可被用于在用户手上建立压觉，以重建感觉。其他系统例如在3-D建模中使用物理接触反馈装置例如球、棒、触针（stylus）来建立触觉。
发明内容
附图说明
图1示出了根据示例性实施例的用于记录和重现包括触摸和气味在内的感觉的系统，表示感觉输入和输出的流；
图2示出了图1的示例性系统，表示输入和输出感觉换能器的示例性组件；
图3A-3B分别示出了在具有视景、声音、触摸和气味输入和输出换能器的系统中的集成装置的示例性阵列；
图4A-4C示出了根据示例性实施例的触摸输入和输出换能器的示例性阵列。
图5A-5B示出了基于电容（图5A）和压电或压阻材料（图5B）的力和压强输入换能器的示例性阵列；
图6A-6E示出了基于垂直压电纳米线的示例性电容式力或压强传感器，其中，图6示出了PDMS微结构的示例性制造，图6B示出了柔性传感器的示例性光学图像，图6C示出了垂直ZnO纳米线的剖面SEM图像，图6D示出了垂直ZnO纳米线的俯视SEM图像，并且图6E示出了传感器对压强的示例性电流响应。
图7示出了根据示例性实施例的用于读取器和驱动器的TFT装置。
图8A-8E示出了根据示例性实施例的示例性ZnO压强传感器，其中图8A示出了示例性ZnO压强和力传感器（ZnO pressure and force sensor）的结构，其中压电ZnO薄膜同时用作（用于阵列读取器的）TFT通道和压强传感器，图8B和8C分别示出了ZnO压强和力传感器的SEM和光学显微图，图8D示出了示例性透明ZnO装置，并且图8E-8F示出了示例性ZnO TFT装置的性能。
图9A-9B示出了根据示例性实施例的嵌入到透明柔性PDMS中的柔性ZnO传感器，其中图9A示出了从处理（handling）基板剥离，且图9B示出了在镍金属层蚀刻之后的示例性柔性ZnO:N TFT的结构；
图10A示出了示例性实施例测量机制，其中图10B-10E示出了用于单个ZnO:N装置的示例性测量电路，图10F示出了PCB板上的示例性ZnO装置读取电路的布局，其中，转移阻抗放大器被包含在板上以利用Arduino的ADC且数据可以通过USB或无线地发送到PC，并且图10G示出了示例性读取器安装。
图11A-11D示出了示例性实施例ZnO压强传感器，其中图11A示出了电流随重量而变化，图11B示出了电流随重量而变化，图11C示出了电流改变与压强之间的关系，图11D示出了测量噪声级别。
图12示出了8x8ZnO传感器阵列的示例性实施例布局；
图13A-13B示出了用于8x8ZnO传感器阵列的示例性实施例读取电路，其中图13A示出了示例性测量机制，且图13B示出了PCB板上的示例性8x8ZnO传感器读取电路的布局；
图14A-14D示出了示例性8x8ZnO传感器阵列的读取信号，其中图14A-14B示出了传感器阵列的单个像素（点）的压强测量的表面图和2D图，图14C示出了传感器阵列的2个像素（点）的压强测量的表面图和2D图，且图14D示出了传感器阵列的2个像素（点）的压强测量的2D图、局部最大值的2D图和表面图；
图15A-15B示意性地示出了非致动（图15A）和致动（图15B）状态下的示例性静电聚合物致动器；
图16A-16D示出了非致动（图16A和16C）和致动（图16B和16D）状态下的示例性静电聚合物致动器（Qibing Pei，UCLA），其中图16A和16B示出了示例性致动器的俯视图，同时还示出了产生的力方程与电场，并且图16C和16D示出了基于互穿聚合物网络（IPN）薄膜的示例性隔膜致动器的侧视图，其中图16A示出了0MV/m的致动器，且图16B示出了418MV/m的致动器；
图17A-17I示出了触摸输出传感器的阵列（Qibing Pei，UCLA），其中，图17A-17H示出了由布莱叶点字（Braille）表示的阵列中的致动换能器的各种模式，且图17I示出了被包围的致动器阵列；
图18A-18C示出了示例性实施例微型液汽致动器阵列，其中垂直隔膜致动基于加热时液体汽化的体积膨胀，其中，图18A示出了与可寻址微型加热器阵列关联的微流体室的结构（非致动状态），图18B示出了加热时的垂直致动（致动状态），且图18C示出了微型致动器阵列的俯视图；
图19示出了用于8x8电弹性聚合物致动器阵列的示例性驱动器电路；
图20A-20B示出了压强传感和重现的示例性演示，其中图20A示出了压强传感器阵列、计算机执行的数据传输和处理、以及致动器阵列的相应像素的致动的示例性机制，且图20B示出了8x8ZnO传感器阵列（两个像素——(3,6)和(6,7)）的示例性压强传感、计算机执行的数据传输和处理、以及8x8电弹性聚合物PIN致动器阵列中的相应像素的致动；
图21示出了示例性实施例微型湿度传感器像素；
图22A-22C示出了示例性实施例湿度或水汽微室阵列，其中，图18A示出了包含与可寻址微型加热器阵列关联的微流体室（micro fluidic chamber）的结构（冷却状态），图18B示出了在加热且同时打开控制微流体阀门时的水汽释放（加热状态），且图18C示出了微流体室阵列的俯视图；
图23A示出了微型温度传感器技术的总结，包括Si和Ge热敏电阻、电阻温度检测器（RTD）、热电偶、声或光（传感器），关于分辨率或检测敏感度与人类皮肤作对比；
图23B-23G示出了示例性实施例Si微型温度传感器像素，其中图23B示出了SiMOSFET温度传感器的设计，图23C示出了在不同温度下的Id与Vg之间关系的仿真结果，图23D示出了在零栅偏压下的电流与温度之间的关系，表示针对0.01K的传感分辨率的0.725nA的最小可检测电流变化，且图23E-23G是示例性p-Si传感器的能带结构的仿真结果；
图24A-24F示出了示例性实施例设计Si微型温度传感器阵列，其中，图24A示出了到3x3Si MOSFET温度传感器阵列的连接，图24B-24D分别示出了4x4Si MOSFET温度传感器通道、源极和漏极接点、栅极对齐的示例性设计，且图24E-24F示出了到示例性读取电路的连接；
图25示出了基于微型电阻加热器和热电冷却器阵列、具有集成的温度传感器和TFT驱动器以及反馈控制电路的示例性实施例温度输出方法，其中，温度和散热是可控的，以重现触觉，并且其中，所述示例性系统被布置在柔性基板上；
图26示出了使用气味输入和输出换能器的示例性实施例输入和输出方法，其中，电子鼻（e-nose）检测气味，计算机执行信号处理、对库中的特定气味的信号的图像识别、并将信号发送到输出装置——从气味“盒”（集成或单独的装置）释放特定气味的微流体阵列；
图27A-27C示出了通过化学气相沉积（CVD）生长实现的垂直ZnO纳米线阵列（图27A-27B）以及通过简单溶液蚀刻过程实现的垂直Si纳米线（图27C）的扫描电子显微图（SEM）图像；
图27D示出了肺部的纤毛阵列；
图28示出了具有各种表面壳（外壳）涂层的大型阵列的周期性Si纳米线（用NW来表示）的SEM图像；
图29A-29E示出了基于垂直纳米线桥传感器阵列的示例性实施例电子鼻，其中，图29A-29C示出了由干法蚀刻垂直Si纳米线形成的桥，包括在非常大的区域中的垂直纳米线的端部的捆绑（图29A）、表示端部的四条纳米线的周期性捆绑的俯视放大图（图29B）、以及在端部“接触”或配对的两条纳米线（图29C）；
图29D示出了具有纳米线桥的示例性传感器，一条线被布置在阴极板（橙色）上且另一条被布置在阳极板（蓝色）上；并且
图29E示出了具有配色方案的示例性8x8传感器阵列，该配色方案表示不同的表面处理；并且
图30A-30C示出了示例性实施例微流体室阵列，其中，图30A示出了与可寻址微型加热器阵列关联的微流体室的结构（冷却和断开状态），图30B示出了在加热且同时打开控制微流体阀门时的气味释放（加热和接通状态），且图30C示出了微流体室阵列的俯视图，其中，基于来自特定盒子的梯度（gradients）和成分，多个阀门可被打开以“合成”气味。
具体实施方式
尽管大部分人类认知看来依赖于视（视觉）和听（听觉）的感觉，很大一部分依赖于触摸（体感）和气味（嗅觉）的感觉。但是，尽管在本领域中已知通过音频和视频记录和重放来重复视觉（例如图像或颜色或运动）和听觉（例如声音），这还未被用于触觉和嗅觉等额外感觉。此外，本发明人所知道的触觉技术未提供视觉、声觉和触摸信息之间的良好定义的关联性。此外，当视觉或声觉（或两者）和触觉被用于重建物体和环境时，未被认为存在足够的物体合成。
示例性实施例允许以与（例如）视频和音频记录一般类似的方式来记录和重放触觉、嗅觉或两者。示例性实施例尤其包括传感器系统等，其获取和存储视景、声音（或其子集）以及触摸信息，这允许在回放时重建在视、听（或两者）信息之外的触觉体验。在示例性系统中，还可以获取、存储并重现包含接触或力数据的触摸信息。在示例性系统中，可以额外或替代地获取、存储并重现气味数据。示例性装置和系统将当前的视频表示扩展为考虑触觉和嗅觉。
示例性系统可以获取物体、事件或环境的触摸和气味输入信号，并建立新的表示，其中视景和声音中的一个或多个以及触摸和气味中的一个或多个被存储、配准并与物体、事件或环境关联。记录的触摸信号可以包括例如触感、温度、形状、纹理、硬度和湿度。电子鼻也可被集成并用于检测气味，并且这样的数据可被存储和配准。包含视频图像、声音和触摸的数据表示还可以包括气味，以及特定的与触摸相关的细节例如形状、纹理、硬度、温度、湿度等，以允许使用回放装置来重建物体，该回放装置考虑图像、声音、气味和触摸表示中的三种或四种模式。
示例性系统包括感觉输入换能器，其依赖于特定的换能器来接收视景、声音、触摸或气味，并产生感觉的输入信号表示。该输入信号被处理器接收。处理器基于该信号来（至少临时）存储感觉数据。存储可位于临时存储器中或更长期的存储器中，例如但不限于数据库。该感觉数据可以与来自其他感觉换能器的存储的感觉数据关联，包括表示其他感觉的感觉换能器。例如，来自触摸输入换能器的感觉数据可以与来自视景、声音或气味（或两者的子集）输入换能器的感觉数据关联。来自气味输入换能器的感觉数据可以与来自视觉、声觉、触摸输入换能器（或其子集）的感觉数据关联，以提供处理过的数据。该关联可以提供额外的数据（元数据）。其他元数据，例如位置数据、时间数据，作为非限制的例子，可以进一步与感觉数据关联，以提供处理过的数据。
处理器输出一种或多种信号，用于将感觉信息重现到一个或多个输出感觉换能器。在实施例中，处理器基于处理过的数据将信号输出到用于多种感觉的一个或多个输出感觉换能器。输出感觉换能器从处理器接收信号，并响应于该信号来输出感觉（视觉、声觉、触觉、嗅觉或其子集），以重现该特定的感觉。当感觉换能器输出用于多种感觉的相关感觉时，该合成的感觉信息可被用户感受到，该用户可以将该信息用于建立对虚拟物体、事件或环境的感知，其表示原始的物体、事件或环境。
输出感觉换能器可以在示例性装置上与输入感觉换能器集成，以提供交互反馈的集成解决方案（即，接收并且产生感觉信息）。替代地或额外地，输出感觉换能器可以是独立装置的一部分，所述独立装置与输入感觉换能器的装置进行通信。例如，一个用户可以具有移动装置，其通过感觉输入换能器来接收感觉输入，并且在处理之后，在另一用户的移动装置上的感觉输出换能器可以重现或“回放”感觉（包括来自多种感官的感觉）。该处理可以在任一装置上实现。尽管在示例性实施例中感觉输入换能器被布置在相同的装置上，这不是必须的。类似地，感觉输出换能器可以但不是必须被布置在相同的装置上。
在示例性实施例中，在手套（glove）中实现感觉装置，其中，温度和压强输入换能器被填充（populate）以记录温度和纹理和硬度信息。例如可以使用例如（例如基于相机的）计算机视觉系统和定位技术例如全球定位系统（GPS）的组合来计算手套的空间位置（以及手指的相应位置，在示例性实施例中）。示例性手套还可以具有微型相机来记录物体的不同视图。可以使用手套上的压强输入换能器例如压强检测器以及视频输入换能器例如计算机视觉系统的组合来计算物体的触感和形状。此外，可以通过气味输入换能器例如集成的电子鼻来记录气味。使用有线或无线传输技术，这些信号可以被传递（例如发送）到服务器、记录装置或其他通信装置或系统。信号（视频或图像、声音、香气、以及温度、形状、纹理、硬度等）可被配准、关联和存储，并且还可以用数据编码技术来编码，并且被存储、发送到其他装置。
示例性合成装置允许基于从传感装置建立的在存储器（例如数据库）中存储的数据来“回放”物体。实施例中的回放装置还可以是手套，其可以建立与提供的数据关联的、与视频和声音回放同步的触觉。在示例性实施例中，当手套与3-D视频回放交互时，触觉被重现。
嗅觉还不能被记录和“重现”。嗅觉检测主要使用电子鼻来研究，但目前的电子鼻会忍受低敏感度。在示例性实施例中，电子鼻包括大量的传感器（传感器阵列），其检测气味并产生“特征”的2D图，这些信号是通过与“特征库”匹配的特征（图像识别）来采集和识别的。用于电子鼻的传感装置包括MOSFET和金属氧化物化学-FET（其基于结合到表面的气体分子来测量通道电导的调制）、石英晶体微平衡（其用每单位面积的质量改变来测量石英晶体的共振频率）、导电聚合物（其在气体吸附时改变体积和电流）、微机电系统（MEMS）传感器（其测量表面声波的调制）、光吸收（IR）、以及甚至质谱测定或超快气体色谱分析。
应用将数据采集、传输和展示扩展为包括视景和声音之外的触摸、气味或其组合。存储和关联允许多种感觉的合成，以在可选择的时间和位置重现事件、物体和环境。
现在将针对附图来讨论例子。附图包括不成比例的示意图，参考所附描述，其可以被技术人员完全理解。可以为了说明的目的来放大特征。根据下列示例，技术人员将理解额外的特征和更广的方面。
图1示出了示例性系统50。示例性系统50包括一个或多个输入换能器52，其将表示各种感觉（视觉、听觉、触觉和嗅觉）54的输入信号提供给一个或多个处理器56，用于数据处理和集成。处理器56转而将表示各种感觉的输出信号提供给输出或交互装置58，包括用于各种感觉的回放的输出换能器。
例如，在图1-2中，基于包含视觉、听觉、触觉、嗅觉和味觉中一个或多个在内的感觉54的认知，物体和事件60可被人例如人A62感知。在示例性实施例中，视景、声音、触摸和气味被记录和重构，向用户例如人B64提供知识传递，其通过认知可以感知到物体和事件60。通过提供接收视景66、声音68、触摸70和气味72输入的输入换能器并产生表示各种感觉的输入信号74，优选地同时记录视景、声音、触摸和气味。可以通过在一个或多个装置上的集成来提供这样的输入换能器66、68、70、72。在图2所示的用于输入换能器52的非限制示例性输入装置中，手套包括多个电路板，每个包括输入换能器。
来自输入信号换能器66、68、70、72的输入信号74被传递到处理器56并且被该处理器记录为数据。处理器56有线或无线地耦合到输入换能器66、68、70、72以用于通信。作为非限制的例子，处理器56可以是直接耦合到输入换能器66、68、70、72的适当配置的计算机、集成电路、或者联网的计算机（例如，服务器计算机、客户端计算机、云计算机等）中的一种或多种。
在图1-2所示的示例性系统中，通过合适的相机（例如数字相机，并且在特定的实施例中是3-D数字相机，尽管2-D数字相机也可被使用）来提供视景输入换能器66，其接收（并且在需要时预处理）来自物体或事件60的视频或图像输入，并提供表示该视频或图像输入的输入信号74。例如，视景输入信号可以表示形状、颜色、位置、尺寸、移动等。可以通过合适的麦克风（例如立体声录音机）来提供听觉输入换能器68，其接收（并且在需要时预处理）来自物体或事件60的音频输入，并提供表示该音频输入的输入信号74。听觉输入信号74可以表示声音、接近度、位置等。
通过触摸70和气味72输入换能器来提供示例性实施例中的触觉和嗅觉，其接收（并且根据需要在开始时预处理）触摸和气味输入，并提供表示触摸和气味输入的输入信号74。示例性触觉可以表示接触（例如力、压强、硬度、柔性、纹理、形状、湿度）、温度（热、冷、散热）等，并且可以针对不同的触觉来提供不同的触摸换能器70。这些不同的触摸换能器70可被集成在一个或多个触觉模块上。非限制的示例性触觉模块包括基于纳米线的高密度柔性传感器阵列技术，其具有高准确率温度传感器、电容传感器阵列、压电传感器阵列、压阻传感器阵列、ZnO薄膜或基于纳米线阵列的触摸传感器阵列模块、以及用于大面积信息的基板。可以通过气味换能器72例如（基于CMOS FET、共轭聚合物、MEMS、纳米线传感器等的）电子鼻来提供嗅觉。
提供读取电路，用于接收来自感觉换能器66、68、70、72的输入信号74，并且在示例性实施例中预处理该信号以提供来自输入信号的数据。非限制的示例性预处理包括滤波、调节、放大、量化等。示例性实施例包括触摸输入换能器例如（但不限于）触摸输入换能器70和气味输入换能器例如（但不限于）气味输入换能器72中的至少一个。在示例性实施例中可以忽略一个或多个输入换能器66、68、70、72。输入信号74还可以包括有助于进一步处理的信息，例如但不限于包含时间信息、位置信息等在内的元数据。可替代地或额外地，可以从感觉输入换能器以外的源来提供元数据。可以通过处理感觉输入信号74自身的处理器56来提供额外的元数据（例如通过关联信号、将信号与其他数据关联等）。在示例性实施例中，可以通过将输入感觉信号与用于特定感觉的特征库进行比较来确定元数据，以确定特定的物体或事件是否存在。
接收多个输入信号的处理器56至少临时存储该输入信号（即，存储表示输入信号的数据）。存储包括但不限于存储器（例如随机存取存储器（RAM））中的存储，和更为持久化的介质（例如但不限于非易失性存储器、永久机器可读介质、磁盘驱动等）中的存储。作为非限制的例子，输入信号可被存储在数据库中，该数据库与处理器56在一起或者与处理器分离。信号的存储可以有多种不同的格式。一种示例性存储方法可以包括将输入信号包括视景、声音、触摸、气味或其任意组合进行数字化，并且可以根据空间位置、时间帧或帧序列等来存储或组织输入。输入的存储还可以包括输入片段的存储，且可以包括从不同的空间或时间帧重新组装的片段。感觉“数据库”可以在包含多种存储的感觉输入的存储中生成。该感觉数据库可以包括存储视景、声音、触摸或气味（或任意子集）的感觉数据，且可以由用户经合适的接口（移动电话、计算机、终端等）通过用户请求来访问，以重现或回放所存储的感觉数据的任意选中的组合。
示例性处理器56可以处理来自一个或多个感觉换能器66、68、70、72的输入信号74，并将它们与来自一个或多个其他感觉的输入信号进行集成。作为非限制的例子，该集成可以与人类感知类似，尽管还可以考虑以另外的方式来集成感觉输入信号。作为非限制的例子，集成可以基于空间和时间相似度中的至少一个。例如，表示视频和音频信息中一个或多个的输入信号74可以与特定物体的位置关联。表示触摸信息和气味信息中的一个或多个的输入信号74可以与相同的位置或特定的时间关联。基于共同的位置将它们进行关联，这些输入信号可被集成。还可以与来自其他来源的数据进行集成。
其他感觉信息可以通过额外的传感器来提供，并且在示例性实施例中该信息可以与来自输入换能器的其他信息进行集成。例如，额外的接触换能器70例如（但不限于）湿度传感器或传感器阵列也可被集成到手套指尖来采集信息。作为另一个例子，在医学应用中，氧气传感器等可被集成到指尖以从患者采集信息。
通过处理、存储并集成来自输入换能器66、68、70、72的输入信号74，单独或与额外的数据一起，处理器56然后可以重构感觉信息。为了重构或“回放”感觉信息以被人B64接收和感知，处理器56将表示各种感觉的输出信号76提供（例如形成并发送）给用于每种感觉的输出感觉换能器58。在示例性实施例中，这些输出感觉信号76基本上由处理器56一起提供（只要带宽等允许），从而表示多于一种感觉的输出感觉换能器58可以同时提供感觉。
在图1-2的示例性系统50中，在输出感觉换能器58中，通过视频监视器例如电视来提供视景的输出换能器。通过音频监视器例如扬声器来提供听觉的输出换能器。提供触摸和感觉输出换能器，以分别提供触觉和嗅觉。视景、听觉和接触换能器（或其子集）的输出将视觉、听觉和触觉（或其子集）的直接知识发送给用户例如人B64。气味输出换能器提供的嗅觉同时也将与嗅觉相关的直接知识发送给人B64。在示例性实施例中，通过口头描述，味觉也可作为直接知识传输来提供给用户，该口头描述可被处理器56处理、与其他输入信号74关联、同时通过输出装置例如视频和音频监视器来传递给人B64。人B64然后可以处理这些多种感觉（例如通过感知），来重建对虚拟物体或事件的感觉。输出感觉换能器58可被集成在一个或多个装置上，例如如图1-2所示的输出交互装置。
图2示出了输入装置52的示例性组件。输入装置52包括用于视觉66、听觉68、触觉（包括温度、力、湿度等）70和嗅觉72的集成感觉输入换能器，其中每个与处理器56集成。视景输入换能器66包括3-D数字相机，来提供形状信息和包括位置和配准在内的3-D表面图像。听觉输入换能器68包括用于感知声音的立体声录音机。触摸输入换能器70包括用于感知热和冷、散热等的温度传感器78，以及用于感知接触的力传感器80，硬度、柔韧性、纹理、形状传感器，用于检测湿度的湿度传感器等。气味输入换能器72包括用于化学感知的电子鼻。
这些传感器66、68、70、72中的每个（有线或无线地）耦合到处理器56，用于发送和处理传感输入数据74。例如，感觉输入数据74可被处理以提供元数据，或者与额外的元数据组合来集成该数据。集成的数据然后可被处理，以形成并发送传感输出。
为此，感觉输出信号76被处理器56输出（例如发送）到输出换能器58（重现装置）用于重现。可以在示例性实施例中对来自处理器56的输出信号76进行预处理。视景输出换能器包括例如3-D投影仪。声音输出换能器包括例如声觉换能器。气味输出换能器包括具有化学“气味”盒的微流体装置。取决于使用的换能器，示例性触摸输出换能器可以重现热和冷的温度、接触和硬度、纹理、弹性、湿度等。示例性触摸输出换能器包括但不限于用于最佳传感信息传输的基于聚合物的电活性致动器、基于CNT的致动器、柔性触觉传感器、以及用于4-D元媒体数据传输的温度传输模块等。
例如可以通过具有4-D元数据融合引擎技术的3-D图像信息获取模块来提供数据库中的数据集成，以将传感器、听觉和味觉信息与3-D图像信息进行组合。处理器56还可以提供数据压缩、传输，并实现用于4-D元数据的模块开发、用于4-D交互的4-D元媒体再生引擎技术（metamedia regeneration engine technology）以及4-D元媒体标准化。
图3A-3B示出了用于输入装置和输出装置的示例性组件。图3A示出了具有示例性集成装置阵列的系统82，该集成装置包括用于视觉、听觉、触觉和嗅觉的集成感觉输入换能器，其中每个与处理器（例如处理器56）集成。触摸输入换能器5包括压强传感器84，用于感知热和冷、散热等的温度传感器，用于检测湿度等的湿度传感器88，等等。其他力传感器可以包括但不限于用于感知接触的传感器，硬度、柔韧性、纹理、形状传感器等。在示例性实施例中可以提供用于感知气味的电子鼻90，就像用于感知视频的片上相机92。声音也可以通过片上相机92、声音录音机94或者同时通过相机和录音机来记录。作为非限制的例子，集成可以基于电容式压强传感器、电导式传感器、电导式聚合物复合纳米材料（CNT、纳米线等）传感器、压电传感器例如BaTiO3、Pb(ZrxTi1-x)O3或PZT、ZnO、CdS、GaN或PVDF、尼龙和PBLG等聚合物，基于例如Si的压阻传感器，以及基于布拉格（Bragg）光栅、光干涉、波长偏移（光子晶体）等的光压传感器，以及微型温度传感器包括热敏器、电阻温度检测器（RTD）、热偶、声光传感器、MOSFET和金属氧化物化学FET、石英晶体微平衡、微机电系统（MEMS）传感器、纳米线FET等，湿度传感器，以及基于MOSFET、金属氧化物FET、纳米线FET、石英晶体微平衡、导电聚合物、MEMS传感器、IR吸收等的电子鼻，以及本领域普通技术人员所理解的其他（传感器）。
作为非限制的例子，系统82的电源可以由柔性太阳能电池96、电池98、电感耦合天线100中的一个或多个来提供，如本领域普通技术人员所理解，在示例性实施例中，该电源可以基于薄膜或纳米材料（纳米粒子、纳米管、纳米线等）。无线天线102可被用于向/从系统82进行通信。
图3B示出了系统82的示例性组件，包括用于触觉和嗅觉的集成感觉输入换能器，其中的每个与处理器（例如处理器56）集成。触摸输入换能器包括微型加热器和冷却器对或阵列104，用于重现热和冷、散热等感觉；致动器阵列106，以重建接触、硬度、柔韧性、纹理和形状的触感；湿气释放器108，用于释放水汽或其他液汽；以及气味释放器110，作为非限制的例子，其可以包括气味微流体盒来释放气味。薄膜晶体管（TFT）驱动器和控制电路112可被提供，用于驱动和控制感觉输出换能器。组件可被布置在基板上，例如但不限于柔性透明基板114、织物等。作为非限制的例子，集成可以基于压电致动器阵列、（基于介电聚合物、离子EAP例如PVC凝胶的）电活性聚合物（EAP）致动器、碳纳米管（CNT）、有机或聚合FET、气动致动器、形状记忆合金（SMA）装置等，以及使用金属线或线圈例如Pt的电阻，以及基于薄膜的热电阵列冷却器、纳米线阵列或纳米粒子复合材料等。输出换能器104、106、108、110可以使用固态电池98、太阳能电池96和电感充电器100来供电。可以提供无线天线102来接收输出信号或发送信号。
图4A-4C示出了专用于触觉的输入装置和输出装置的额外示例性组件。图4A示出了输出换能器120和输入换能器122在柔性基板上的互相（并且在某些例子中与处理器56的）集成，从而处理器56既输出又接收交互数据。或者，输出换能器120可以远离输入换能器122（例如，通过网络在装置之间发送表示触觉的信号的时候）。如果感觉输入换能器122和感觉输出换能器120位于不同的装置上，处理器56可被放置在任一装置上或者在分离的位置（例如在云中）。
现在将讨论用于触觉和嗅觉的示例性输入和输出换能器。但是，可以理解的是，可以提供、集成并使用其他的触觉和气味输入和输出换能器。此外，用于视觉和声觉的输入和输出换能器可以包括任何合适的装置或系统，用于执行根据示例性方法的视景和声音数据采集和输出。
图4示出了根据实施例的示例性触觉阵列124。图4A中的示例性阵列4A包括（仅作为示例）三个触摸输入换能器126特别是压强和温度传感器，以及三个触摸输出换能器128特别是布置在基板130上的电致动器的阵列。尽管可以考虑其他基板，基板130优选是柔性材料（例如织物、柔性塑料）的相对薄层。图4A中所示的示例性基板130可以是例如对人造皮肤或人类指尖的仿真。在示例性实施例中，通过提供耦合到每个换能器的晶体管例如薄膜晶体管（TFT）的有源矩阵，触摸输入换能器与触摸输出换能器集成。
尽管为了清楚说明的目的在每个阵列中仅包含三个换能器，示例性阵列124可以根据需要来扩展为任意多的换能器，以提供想要的用于感知的像素化表面。此外，尽管图4中示出了一维阵列，对于触摸输入换能器和触摸输出换能器二者来说，阵列还可以是二维的。
该示例性系统中的每个触摸传感器126包括一对装置。（左侧）装置132用于感知压强或力，且右侧装置134用于感知温度。每个电致动器也包括一对装置。（左侧）装置136输出力和压强，且右侧装置138输出温度（热、冷、散热）。
图4B和4C示出了包括输入换能器126在内的分离的传感系统（图4B），以及包括输出换能器128在内的重现系统（图4C）。压强传感器132和温度传感器134耦合到TFT读取电路140用于读取结果。在图4C所示的输出换能器128中，力和压强输出换能器（致动器阵列）136和温度输出换能器（冷却器/加热器）138耦合到驱动电路142用于驱动换能器。
图5A-5B示出了示例性实施例，其中单个传感器连接到TFT装置146，其被连接在大阵列中用于感知大面积的接触。图5A示出了柔性电容式压强传感器144的结构，所述柔性电容式压强传感器具有嵌入在柔性聚合器矩阵148、例如在非限制的例子中嵌入到PDMS中的有源组件。变形垫片144可以是软聚合物，或者具有例如孔、角锥体、柱体之类的纳米或微结构的聚合物。图5B示出了基于柔性聚合物矩阵152中嵌入的压电或压阻有源组件152的压强传感器150的结构，在非限制的例子中，所述柔性聚合物矩阵是由BaTiO3、Pb(ZrxTi1-x)O3或PZT、ZnO、CdS、GaN等氧化物或半导体、或PVDF、尼龙和PBLG等聚合物形成的薄膜、纳米线、纳米管等。
图6A-6E示出了在ZnO纳米线力和压强传感器（压电传感器）中实现的示例性触摸输入换能器160，该传感器可以是力传感器阵列的一部分。耦合到晶体管161的示例性触摸输入换能器160使用纳米结构来发送换能器上的压强。图6A示出了在软聚合物例如聚二甲基硅氧烷（PDMS）柔性基板（还如图6B所示）上实现的示例性装置结构。图6C和图6D分别示出了侧视和俯视图中的垂直对齐的ZnO纳米线的SEM图。图6E示出了TFT通道中的电流随脉冲压强施加而改变（尖峰）。
在图3-6中，所有传感器或致动器由晶体管例如TFT驱动。晶体管是有源矩阵的一部分，其选择性地驱动并接收来自输入装置的信号，并选择性地驱动输出装置。图7示出了TFT装置164的结构，其中，有源通道材料可以是薄膜、纳米线、纳米管、纳米粒子等。其他非限制的例子包括半导体例如Si、Ge、SiGe、III-V、II-VI、金属氧化物、共轭聚合物或有机分子等。处理过程的例子（包括但不限于）CVD、MOCVD、MBE、溅镀、热蒸镀、溶胶-凝胶、旋涂、降涂（drop-coating）、接触传递等。晶体管包括源极接点166、漏极接点168、TFT通道170、被布置在源极接点和漏极接点之间的电介质172（例如Al2O3或SiO2）、以及栅极层174。
图8A示出了基于溅镀ZnO薄膜晶体管的示例性压电传感器176。传感器178包括基板（例如玻璃）、ITO栅极180、电介质182、通道184、源极186、漏极188以及布置在传感器上的钝化层190。示例性溅镀过程在氮气和氩气的混合物中实现。图8B-8C示出了示例性ZnO TFT的SEM和光学显微图。图8D示出了光学照片，其示出了完全透明的示例性装置。图8E示出了源-漏电流（Id）与漏极电压之间的关系。可以在-20V关断示例性装置。图8F示出了对数坐标的Id-Vd曲线，并且ON/OFF比率为大约1000。
可以利用不同的方法来制造柔性装置，包括但不限于将薄膜、溶胶-凝胶、纳米线、纳米管、有机和聚合半导体直接沉积在柔性聚合物基板例如PDMS、PI、PMGI等上。另一例子是使用两个步骤的剥离（lift-off）过程，例如斯坦福大学的Xiaolin Zhang提出的过程，如图9A-9B的例子所示。图9A示出了Ni覆盖的SiO2/Si基板194上的倒置装置结构192，以及由于在Ni和SiO2界面196上形成的溶液氢氧化物而引起的水中剥离。后续的移除Ni层的步骤带来了完全柔性和透明的TFT装置和阵列。
用于驱动电容或压电传感器以及其他输入和输出换能器并且从输入换能器读取结果（输出信号）的示例性TFT优选地由柔性大规模TFT阵列来提供，这产生了有源TFT矩阵。图7示出了示例性TFT读取器和驱动器。优选地，提供了大面积TFT，且每个像素包括FET。
示例性TFT读取器和驱动器允许阵列中的多个装置的集成和单独寻址。此外，示例性阵列结构可以减少所需的电极的数量。例如，对于N x N阵列，对装置单独寻址需要2N2+1个电极（源极接地）。另一方面，示例性阵列寻址需要2Log2N+1个电极（源极接地）。作为非限制的例子，柔性TFT，单个传感器装置可以包括8x8个传感器阵列读取器以及8x8个致动器阵列驱动器。这例如可以在具有100x100μm2传感器尺寸的柔性基板上提供8x8传感器阵列和8x8阵列致动器。另一非限制的示例性实施例在柔性基板上提供8x8传感器阵列，并在250x250μm2上提供8x8致动器。
图10A示出了单个TFT装置的测量流程图。针对电路200来设置Vg，并开始电流积分。电流被转换为电压。微控制器202（例如Arduino Mega）接收结果，并提供电压读取。计算机204（例如运行合适指令的PC）提供实时数据绘制。图10B-10E示出了示例性ZnO TFT装置到栅极输入和微控制器的电路，包括ZnO TFT和栅极输入206（图10B）、输入208（图10C）、栅极电源210（图10D）和微控制器电路212（图10D）。图10F-10G分别示出了PCB板214上的示例性电路布局以及测量设置216。
图11示出了单个示例性ZnO薄膜压强传感器的性能，其中，图11示出了电流随ZnO:N薄膜传感器上的重量增加而改变。图11B示出了电流与压强之间的关系的图。图11C示出了净电流改变百分比与压强之间的关系，这是线性的直线，表示示例性ZnO薄膜传感器的非常高的敏感度。图11D示出了在不同压强下的每次测量的噪声级别。
图12示出了TFT阵列218中的示例性8x8ZnO传感器217的布局，其中，一个公共源极接点（蓝色）和分离的漏极接点（蓝色）在水平方向上（与图12中的阵列朝向一样），且栅极线（红色）在垂直方向上。示例性通道宽度可被设计和制造为5、10、20、50、100微米等。
图13A示出了示例性TFT阵列218的测量流程图，其中，通过选择由处理器例如但不限于Arduino芯片所控制的独立Vds和Vgs来测量单装置。图13B示出了PCB板上的示例性电路布局。
图14A和14B示出了示例性8x8阵列中的一个单像素的测量的电流。同时示出了2D电流图和3D表面图。图14C示出了示例性传感器阵列的2个像素（点）的压强测量的表面图和2D图。图14D示出了示例性传感器阵列的2个像素（点）的压强测量的2D图、局部最大值的2D图以及表面图。
图15A-15B和16A-16B示出了静电聚合物致动器220中实现的示例性触摸输出换能器。在运行中，示例性静电致动器220表现为顺从变体电容器（compliant variablecapacitor），其由于静电力而在电负载下变形。示例性静电致动器包括被夹在上部224和下部226顺从电极（compliant electrode）之间的软的柔性聚合物（例如高弹体）介电材料222，所述顺从电极例如CNT网络分别在顶部和底部表面上。上部电极224耦合到电源V（例如来自驱动器矩阵），且下部电极226接地。当电压关断时，电极224、226保持非变形的状态（图15A和15A）。当电压接通时（图15B和16B），产生静电力，将上部和下部电极224、226互相拉近。这使得柔性介电材料222变形，增加了有源（平面表面）面积并降低了致动器220的高度。
图17A-17I示出了额外的示例性触摸输出换能器的阵列230，用于提供各种致动状态下的触觉反馈，每种在隔膜致动器中实现。在薄的柔性塑料基板例如聚酰亚胺（PI）上布置并制造每个隔膜致动器。示例性隔膜致动器具有1.5mm的点大小，点到点的间隔为2.5mm。与图15-16中的静电致动器220类似，每个隔膜致动器包括上部顺从电极、下部顺从电极、以及在上部和下部电极之间布置的柔性聚合物（例如高弹体）介电材料，以形成一般的点形状。通过将柔性介电聚合物（例如高弹体）阵列沉积在下部的柔性电极以及PI上，可以形成隔膜致动器阵列。示例性致动导致隔膜致动器的有源面积的增加，这导致了垂直位移。
示例性隔膜致动器可以通过合适的致动器（例如TFT有源矩阵）以不同的频率在恒定或脉冲电压下运行，以提供不同的触感。该示例性隔膜致动器能够实现动态的触觉反馈，其中需要快速响应和较小的力（例如0.1-100Hz）。
特定的示例性隔膜致动器例如图17A-17H所示的那些提供了超过0.5mm的垂直位移，这是Braille所需的点高度。通过提供足够数量的示例性隔膜致动器来表示Braille符号以及选择性地致动单独的隔膜致动器，可以提供通信系统。具有合适的驱动器、处理器、电源等的这样的致动器阵列可被布置在多种装置（例如移动电话（包括智能电话））、电子阅读器、计算机、平板电脑等，电子板、标牌等，或者作为另一装置的外围，用于提供反馈。图17I示出了隔膜致动器的示例性封闭阵列。
示例性致动器的响应速度优选为中等到快速，取决于使用的柔性聚合物（例如高弹体）。在非限制的示例性实施例静电致动器中，柔性聚合物实施在高预应变丙烯酸高弹体（highly prestrained acylic elastomer）（例如3M VHB4910/4905系列粘合剂）和硅高弹体中。在下表1中提供了用平面扩张致动器来测量的两种材料的性能峰值。丙烯酸薄膜能够有极高的致动应变，超过面积的300%，以及中等的应力输出（7.2MPa峰值闭锁压强（peakblocking pressure）），尽管某些实施例中的粘弹性效应会将其应用频率范围限制为几十Hz。由于其更高的刚度和更低的介电常数，硅树脂能够有适中的致动应变和应力（例如，分别为～60%面积应变和3MPa），但它们能够在合理的性能水平上在更高的频率下运行，例如，达到几百Hz。致动器的 给出，其中，ε0和εr分别是自由空间的电容率和介电常数，E是穿过薄膜的电场，V是施加的电压，且d是薄膜厚度。
表1介电高弹体材料（3,4）的性能
图16A-16B示出了基于互穿聚合物网络（IPN）薄膜的示例性隔膜致动器，其中，图16A示出了0MV/m的致动器，且图16B示出了418MV/m的致动器。首先通过使主丙烯酸高弹体预应变、用多功能添加剂单体使其膨胀、且然后使该添加剂固化来形成次要网络，来形成IPN薄膜。
在运行中，IPN薄膜在由隔膜腔中的空气压强所维持的恒定的小压强下。在释放薄膜上的预应变之后，主丙烯酸网络将试图回到其放松状态，由此压缩添加剂网络。添加剂网络因此将限制主网络回到其放松状态，且一部分预应变将被保留。产生的独立薄膜可被致动为一定的应变，该应变与使用高预应变丙烯酸高弹体所得到的应变具有可比性，如图16A-16B所示。在上述表1中示出了两种材料的致动属性的比较。在示例性隔膜类型致动器中实现了超过300%的应变。
致动压强将依赖于材料（例如介电常数、泄露电流等）。对于上述表1中的硅树脂，示例性致动器可以在350MV/m下产生3MPa。于是，假设大约5微米厚度的PDMS具有大小为3的介电常数且损耗可被忽略，上述压强等式表示图16A-16B中的示例性致动器可以在10V/μm下产生～10kPa的致动压强（例如大约等于轻柔的触摸）。
大型致动器阵列的另一非限制的例子基于PDMS微室。图18A-18C示出了根据实施例的微型液汽致动器阵列232，其中，由于在加热时微流体室236中的液体（例如水）汽化的体积扩张，可以实现垂直隔膜234致动。图18A示出了与可寻址微型加热器阵列238关联的微流体室236的示例性结构（非致动状态）。在运行中，选中的微型加热器238被接通（例如可被TFT阵列寻址），而液体（例如水）快速汽化并导致很大的体积扩张，这引起隔膜234的垂直致动，如图18B所示（致动状态）。图18C示出了微型致动器阵列232的俯视图。为了有助于实现垂直扩张，每个单元的侧壁可以基本为刚性且不能在水平方向上扩张。其他非限制的示例性阵列包括压电薄膜和聚合物致动阵列、CNT、气动致动器、形状记忆合金（SMA）装置等。
通过将TFT阵列读取器与高电压继电器连接，致动器阵列驱动器可被构建为独立地寻址（例如）8x8电弹性聚合物致动器阵列。图19A-19C是具有0.5mm点直径的示例性半柔性PDMS/丙烯酸聚合物IPN致动器阵列。
图20A示出了用于记录和重现触觉的示例性方法，其中，通过（例如）压强传感器阵列来检测240力和压强并进行数字化242，其最终被用于驱动驱动器阵列（例如）244的致动以实现力的重现。在某些示例性装置中，用耦合到ITO栅极的a-Si和ZnO TFT来制造大规模可寻址传感器阵列，如图8和12所示。大规模可寻址PDMS和PDMS/丙烯酸IPN薄膜致动器可被夹在通过普通电极和图案电极（patterned electrode）之间，例如，以提供传感器阵列和致动器阵列的集成。例如，图20B示出了在运行中通过在8x8ZnO:N传感器/TFT阵列246上同时按下两个特定的像素（点）(3,6)和(6,7)，计算机248采集信号并处理信号以在屏幕250上显示传感结果，而同时将处理过的信号发送到致动器阵列驱动器252并致动在致动器阵列254上的两个特定像素（聚合物致动器上的更亮的点来源于光反射，通过两个红色的圆来强调）。
根据实施例的额外的触摸输入和输出换能器检测并输出与湿度相关的触觉。和上述与力和压强相关的输入和输出换能器一样，示例性湿度相关输入和输出换能器允许捕获（例如采集和记录）、集成并再现或重现对湿度相关感觉的感知。图21示出了基于FET的湿度传感器260，其中，通道例如TFT通道262的电导随着例如来自水汽264的不同的湿度级别而改变。非限制的示例性实施例湿度输入可以来自MOSFET传感器、金属氧化物传感器、纳米线和纳米管传感器、溶胶-凝胶氧化物传感器、有机和聚合物传感器、光学传感器等。
图22A-22C示出了根据实施例的湿气或水汽微室阵列270。图22A示出了包含微流体室272的结构，该微流体室与可寻址微型加热器阵列274关联。在OFF状态（图22A），加热器274在冷却状态下，且微流体阀门276被关闭。在信号从处理器（例如计算机）发送到驱动器278时，它接通各个加热器274，同时开启阀门276。图22B示出了加热且通过同时打开控制微流体阀门276来释放水汽280（ON状态），并允许调整湿度。图22C示出了示例性微流体室阵列272的俯视图。湿度传感器或湿度传感器阵列（图22C中未示出）被集成到输出换能器。传感信号采集湿度信息并将该信息发送到反馈控制处理器，在达到选择的湿度级别时，所述反馈控制处理器关闭阀门276并断开加热器274。在实施例中使用金属线或线圈例如Pt来构造微型电阻加热器274。
根据实施例的额外的触摸输入和输出换能器检测并输出与温度相关的触觉。与上述和力或压强相关的输入和输出换能器一样，示例性温度相关输入和输出换能器允许捕获（例如采集和记录）、集成并再现或重现与温度相关的感觉。尽管存在技术用反馈机制（例如室内环境中的可编程恒温控制器）来一直跟踪温度，示例性温度输入和输出换能器允许在与人类感知更接近的标度（scale）下记录并重现温度感觉。图23A示出了示例性微型温度传感器技术的总结，包括Si和Ge热敏器、电阻温度检测器（RTD）、热电偶、声光（传感器），关于分辨度或检测敏感度与人类皮肤相比较。
在示例性实施例中，温度输入换能器包括用于温度感知的电阻温度检测器（RTD）。RTD具有随温度大幅变化的电阻。它们高度敏感，并具有高可重复的电阻与温度属性之间的关系。非限制的示例性温度输出换能器使用基于薄丝的加热器以用于温度再现。如本领域普通技术人员所理解，可以提供读取电路，用于接收温度输入信号并将它们发送到处理器。
图23B-23G示出了微型温度传感器280中实现的示例性像素，其提供了高分辨率阵列中的一个传感器。温度传感器280，在示例性实施例中是SiMOSFET温度传感器，可以被TFT驱动和寻址，例如但不限于p-Si TFT，其可以是TFT矩阵的一部分。示例性TFT矩阵包括源极、漏极和栅极，其通过介电层从p-Si半导体分离。TFT矩阵可被布置在基板例如在这里的其他地方所示和所述的柔性基板上或其他基板上。在示例性实施例中，Pt可被用作基于（薄膜）RTD的温度传感材料（热敏器材料），尽管可以使用包括ZnO、IGZO、GaAs、共轭聚合物、纳米线等的其他材料。SiO2、SiNx、Al2O3材料的钝化和保护层覆盖TFT的源极和漏极。用于介电层的非限制的示例性材料包括SiO2、SiNx、Al2O3、ZrO2、HfO2等。
示例性TFT矩阵允许单个装置（像素）在给定时间接通（活动）。通过该方式，可以避免目前未被测量的其他像素影响活动像素的测量。在感兴趣的示例性温度范围（-20℃-+40℃）即实际的温度范围中，示例性Si传感器非常线性且表现良好。图23B示出了Si FET传感器的结构。图23C示出了不同温度下的Id与Vg之间关系的仿真结果，且图23D示出了在零栅极偏压下的电流与温度之间的关系，表示在0.01K感知分辨度下的0.725nA的最小可检测电流变化。图23E-23G示出了p-Si传感器的能带结构的仿真结果。
对于微型温度传感器像素的阵列，温度读取可被确定，以提供表面图。图24A-24D示出了Si微型传感器阵列的示例性制造过程。图24A示出了到3x3Si MOSFET温度传感器阵列282的示例性连接。图24B-24D分别示出了4x4Si MOSFET温度传感器通道284、源极和漏极接点286以及栅极对齐288的示例性设计。图24E-24F示出了示例性4x4传感器阵列的示例性测试外部电路290。
图25示出了示例性温度输出系统300。在示例性实施例中，微型加热器（例如电阻加热器）302和冷却器（例如热电冷却器）304的阵列，和温度传感器阵列306（包括但不限于在这里的其他地方所述和所示的温度传感器）一起，被集成到柔性基板307。在示例性运行中，特定位置（即特定像素）的加热器302和冷却器304被驱动器308接通和断开，同时传感器306检测温度并提供对加热器和冷却器的实时反馈控制，以实现特定的温度和散热率。非限制的示例性热电阵列冷却器304可以基于薄膜、纳米线阵列、纳米粒子复合物等。
微型的温度记录和重现例如在很多应用中有用途。在非限制的应用中，提供移动健康系统来远程的监控用户的健康。由于很多人在一天中多次使用移动装置（例如移动电话包括智能电话），将示例性温度记录集成到移动装置中，允许产生与温度相关的生命体征的数据集。如果温度读取超过身体不同位置的特定（温度）范围，例如，将进行报警。作为另一例子，记录的数据集可被用于跟踪流行疾病，因为疾病模式可以和身体不同部位的温度波动相关。其他示例性应用包括通过提供与患者相关的微型级别的温度信息来监控健康指标。这允许监控身体关键区域的感染行为，并提供救生信息和知识（insight）。温度输出换能器还可用于将特定的热疗应用到患者身体的特定区域来进行治疗。
图26示出了使用气味输入和输出换能器的示例性输入和输出系统和方法。示例性气味输入换能器在电子鼻310中实现，并且气味输出换能器在微流体装置312中实现，其可包括或者在一个或多个气味盒中实现。电子鼻包括在传感器阵列例如二维阵列中实现的大量传感器，其检测气味（例如气体和挥发性有机化合物的混合物），并输出表示气味的二维图的信号。
该信号由处理器56采集，其可以（但不是必须）与电子鼻310集成或作为其一部分。在示例性实施例中，处理器56将二维图与在这里被称为特征库的库314进行比较，该特征库包括多个（例如在合适的存储器例如数据库中）存储的二维特征，该特征表示特定的分析物（要识别的化学物质的混合物）。这里使用的特征是指（例如）二维气味模式，与视频中的2D图像的模式类似。这些模式可以但不是必须是数字的。通过将接收到的二维图与存储的特征进行比较，例如通过使用与图像识别类似的特征匹配方法，处理器56可以识别气味并存储结果，作为响应产生合适的输出。非限制的示例性响应包括显示的结果、更新的数据库、或者经由气味输出换能器例如微流体装置312的重现的气味输出。
在示例性实施例中，气味输出换能器输出用从阵列中的单独传感器组装和集成的响应来生成的数字模式所实施的信号。处理器56对该数字模式进行模式识别处理，以将该模式与特征库314中预先记录的信号进行比较，以识别分析物的化学组成。
处理器56然后根据特征打开装置的相关小室的微流体装置312的一个或多个阀门以重现该气味。这允许释放特定的气味梯度来重现或合成该气味。在图26所示的例子中，集成到移动电话（或其他装置或独立的装置）中的电子鼻310检测气味并产生信号316，且处理器56存储信号并如上所述处理该信号以确定气味特征。来自处理器56的表示气味特征的输出信号318作为数字化电子信号被发送到具有微流体装置312的另一移动装置。额外的移动装置（以任意合适的方式来）接收并处理信号，并从其中的微流体装置释放气味。
非限制的示例性电子鼻是模仿人类嗅觉的传感系统，并通过特征匹配以非分离的方式来检测气味。示例性处理器56包括检测单元和模式识别模块，其典型地包括具有数字模式识别软件的信息处理单元。特征库314优选地被预先存储在处理器的存储器中，例如但不限于处理器中（或可被处理器访问）的数据库，且包括气味数据库以提供参考库。
传感单元可以包括对分析物做出响应的（例如）大型传感器阵列。传感器阵列的示例性传感机制包括但不限于MOSFET和金属氧化物化学FET，其基于结合到表面的气体分子来测量通道电导的调制。用于阵列的其他非限制的示例性传感器包括石英晶体微平衡传感器（其随着每单元面积的质量改变来测量石英晶体的共振频率）、微机电系统（MEMS）传感器（例如，其可以测量表面声波的调制）、光吸收传感器（例如红外（IR）传感器）、质谱分析传感器、超快气体色谱分析传感器。
实施例中的电子鼻使用纳米线化学FET传感器。半导体纳米线是设计的一维纳米结构，其被证明在功能电子和光电子装置和纳米系统中有用。由于较大的表面与体积比和较小的尺寸，半导体纳米线可以提供快速超高敏感性生物传感器和化学传感器。尽管可以使用各种材料，Si和金属氧化物特别是ZnO、In2O3和TiO2纳米线由于其独特的表面特征而有利于气体传感应用。纳米线传感器典型地消耗最小的功率，可以以大型阵列来制造，且可以被集成到CMOS电路中用于信号读取和数据处理。
垂直纳米线生物或化学传感器典型地是电容式或电阻式的。在示例性实施例电子鼻中，使用高敏感纳米线化学FET（电阻式）传感器，其中，通过来自环境的分析物分子的表面系统来调制或选通（gate）纳米线中的电流，与纤毛（cilia）类似。示例性实施例中的电子鼻包括垂直Si/氧化物纳米线桥传感器的大型阵列。图27A-27C示出了通过化学气相沉积（CVD）生长实现的垂直ZnO纳米线阵列的扫描电子显微图（SEM）图像（图27A-27B）和通过简单溶液蚀刻处理实现的垂直Si纳米线（图27C），这与肺部的纤毛阵列（图27D）可比较。
图28示出了具有各种表面壳（外壳）涂层的周期性Si纳米线（在图中用NW表示）的大型阵列的SEM图像。示例性涂层包括通过气相溅镀形成的ZnO、In2O3、SiO2（未示出）、SiNx等，以及来自溶液水热生长的分支纳米棒涂层例如ZnO、TiO2和Fe2O3等。表面涂层或调整允许定制表面属性，并且作为与环境中的不同气体或挥发性有机化合物（VOC）的亲和性和敏感度的结果，其可用于制造包含电子鼻的示例性多传感器阵列。
电子鼻实施例包括8x8阵列的垂直纳米线桥传感器。可以理解，传感器阵列不限于8x8，而可以增加或缩小为基本上任意尺寸。如图29A-29D所示，干法蚀刻垂直Si纳米线可以配对并形成桥。图29A示出了在非常大的区域中的垂直纳米线的端部的捆绑，且图9B示出了俯视放大图，表示端部的四条纳米线的周期性捆绑。通过改变纳米线的距离，纳米线可以在端部“接触”或配对，如图29C所示，且可以通过覆盖ZnO氧化物的薄层来进一步永久固定。可以用其他材料来形成涂层，尽管ZnO的半导体涂层允许纳米线之间的导电通道并且还提供独特的气体传感能力。
配对的垂直纳米线桥结构提供模仿气味感受细胞的纳米级传感器阵列的大面积制造，并允许生物和化学传感的显著好处。图29D示出了布置在基板321上的具有纳米线桥的示例性传感器320，一条线在阴极板（橙色）322上且另一条在阳极板（蓝色）324上。每个传感器320可以包括多个纳米线桥。光刻可被用于选择性地使用不同的涂层（为了清楚说明用绿色或浅蓝色来表示）例如ZnO、TiO2、In2O3等氧化物，或者通过微点触机（micro-spottingmachine）使用有机分子通过表面化学调整，来形成图案或调整纳米线桥表面，该微点触机允许针对不同分析物的可变亲和性和敏感度。
图29E示出了具有配色方案的示例性8x8传感器阵列326表示不同的表面处理以及由此不同的传感能力。示例性传感器阵列装置可以耦合到读取电路PCB板并堆积为小型便携单元。在时间t与示例性8x8阵列传感器进行周期性询问所产生的测量结果可被存储在64维的矢量Xt中。Xt表示测量矢量。本领域技术人员所理解的机器学习方法可被用于从矢量集合提取统计信息，尽管其他类型的统计分析也是可能的。更大的传感器阵列可以提升检测准确度。其他非限制的示例性电子鼻技术可以是MOSFET和金属氧化物化学FET、石英晶体微平衡传感器、MEMS传感器、光学传感器等。
示例性纳米线装置可被集成到CMOS电路中用于数据采集。示例性实施例CMOS电路可以采集电子信号并将它们发送到（例如电子鼻内部、本地、远程等）处理器以产生气味的2D图（图像）。处理器使用该2D图用数据库中的特征库来执行示例性图像识别过程。
图30A-30C示出了微流体室阵列330中实现的示例性气味输出换能器，其在被“请求”例如被来自处理器的气味输出信号致动时释放特定的气味。图30A示出了示微流体室332的示例性结构，其包含微型气味盒334并且在OFF状态下与可寻址微型加热器阵列336关联。当基于（例如来自处理器、来自电子鼻或来自两者的）输入将电子信号发送到驱动器时，在图30B中接通加热器336和开启阀门338，以从“气味盒”中释放气味。图30C示出了示例性微流体室阵列330的俯视图。最终，可以开启多个阀门，以基于来自特定盒子的梯度（gradients）和成分来“合成”气味。
针对例如（但不限于）环境和疾病检测的应用，示例性电子鼻可被编程为针对各种周期（例如每15分钟）中的每一个周期来测量并采集并保存数据。处理器存储器可被编程为存储最后若干个（作为非限制的例子，20个）结果。该结果可以与视景、声音和触摸中的一个或多个的其他感觉输入信号集成，包括但不限于这里的其他地方所公开的，以用于处理。在示例性实施例中，位置传感器例如全球定位系统（GPS）装置也可被集成到电子鼻（或者和电子鼻相同的装置上的其他地方）来同时记录位置信息，其可以允许识别特定的环境。其他非限制的示例性应用包括具有气味的电视、电子商务、通信（例如具有气味输出的移动装置）、教育和物理学习、机器人学等。示例性电子鼻在香水和化妆品、食品饮料、环境监控、犯罪预防和国土安全、临床诊断、个人安全和其他行业具有额外的应用。
示例性装置和系统允许捕获、发送并重构触觉、嗅觉或两者。这样的装置和系统在学习、医疗、通信、人机交互等方面具有应用。例如，在电子商务中，使用示例性系统，卖方可以对商品录像并将它与销售信息一起寄出。买方可以在购买之前体验（例如接触）该物体。摄影机可被用于记录并可接触地观看。例如，人们可以对婴儿录像并在几年后体验他或她的感觉。可以提供视频的回放，其中观众可以暂停并接触物体，提供4D电影、电视、游戏等。用户可以体验游戏中的物体。具有触觉的实时通信也变得可能。
其他示例性系统可以提供虚拟电子健康和医疗护理。例如，使用示例性系统，医生或医护工作者可以直接记录温度、触觉、感觉等，并对患者录像以提供记录患者症状的全面信息。其他系统可以提供远程的体检和健康护理；例如，美国的医生或专家可以获取非洲或亚洲的患者的实时记录的信息并进行诊断，该患者正在被本地的医生甚至非医学专业人员检查。医学专业人员可以远程提供治疗要点（point of care）。例如通过为物理治疗、康复以及早产婴儿特殊护理提供按摩板（massage pad）（例如以提供物理接触和触摸），可以改进医疗装置。
其他示例性系统可被用于物品设计。在鞋子设计中，人们可以记录人的行走习惯并设计个性化的鞋子来最大化舒适度。还可被用于服装设计、床设计等。在汽车设计中，可以通过记录坐的位置来设计汽车座位，并设计个性化的汽车座位来最大化舒适度。可以通过记录人的驾车习惯、响应时间等来改进踏板车设计，并设计个性化、优选地可调整的踏板车来改进安全措施。
在通信中，可以提供网站的“接触”版本以允许实时的交互、感觉等。针对教育和物理学习，交互网站可以提供接触、高尔夫球、棒球等（例如，记录最佳运动员的行为，以便学习者身体体验过程，显著减少学习曲线和过程）。对于移动通信，人类下巴具有第二多的感觉神经元。与感觉包括触觉反馈集成的移动电话可以增强通信来使人联络并打破通信壁垒，例如通过移动电话来“握手”。
在又一其他示例性系统中，通过细胞繁殖研究、干细胞研究、对神经元信号的组织工程学（其中，外力会触发细胞分裂并引导细胞繁殖）科学研究、脑机交互和接口等应用，可以改进科学研究。可以提供机器人系统包括工业机器人，其可以抓握各种非刚性、柔性的物体。可以产生有触觉的机器人皮肤。
应该理解，其他调整、替换和替代对于本领域普通技术人员来说是明显的。可以进行这样的调整、替换和替代，而不偏离所附权利要求书中确定的本发明的主旨和范围。
在所附权利要求书中阐明了各种特征。

Claims (32)

1.一种用于记录和重现感觉的系统，包括：
至少一个触摸输入换能器，其被布置和配置为接收触觉并生成至少一个触摸输入信号来表示接收到的触觉；
处理器，其被配置为：接收至少一个触摸输入信号，存储来自至少一个输入信号的数据，并生成至少一个触摸输出信号来表示接收到的触觉；
至少一个触摸输出换能器，其被配置为从处理器接收输出信号并生成触摸输出来表示接收到的触觉，以重现接收到的触觉；
其中，至少一个触摸输入换能器和至少一个触摸输出换能器中的一个或多个耦合到薄膜晶体管(TFT)的有源矩阵，该有源矩阵被布置为集成至少一个触摸输入换能器和至少一个触摸输出换能器。
2.如权利要求1所述的系统，其中，至少一个触摸输入换能器和至少一个触摸输出换能器中的一个或多个可被布置在柔性基板上。
3.如权利要求1所述的系统，其中，所述至少一个触摸输入换能器包括：
多个像素，所述多个像素中的每个包括压强传感器和温度传感器中的至少一个；
其中，所述系统还包括：
与多个像素中的每个相耦合的晶体管读取电路。
4.如权利要求1所述的系统，其中，所述至少一个触摸输出换能器包括：
提供上部基板的上部电极，该上部电极耦合到驱动器；
布置在柔性基板上的下部电极；以及
布置在所述上部电极和所述下部电极之间的柔性介电材料。
5.如权利要求1所述的系统，
其中，所述至少一个触摸输入换能器包括湿度传感器；并且
其中，所述至少一个触摸输出换能器包括水汽微室。
6.如权利要求1所述的系统，其中，所述至少一个触摸输出换能器包括：
微型加热器；
冷却器；以及
驱动器电路，其耦合到微型加热器和冷却器，并被配置为选择性地驱动微型加热器和冷却器中的至少一个。
7.如权利要求1所述的系统，还包括：
至少一个视景输入换能器，其被布置和配置为接收视觉并生成至少一个视景输入信号来表示接收到的视觉；
至少一个视景输出换能器，其被配置为从处理器接收视景输出信号并生成视景输出来表示接收到的视觉；
其中，所述处理器被配置为：接收所述至少一个视景输入信号，存储来自该至少一个视景输入信号的数据，将视景输入信号与所述至少一个触摸输入信号集成，并生成视景输出信号。
8.如权利要求7所述的系统，其中，所述至少一个视景输入换能器包括数字相机，并且其中，所述至少一个视景输出换能器包括监视器。
9.如权利要求7所述的系统，还包括：
至少一个声音输入换能器，其被布置和配置为接收声觉并生成至少一个声音输入信号来表示接收到的声觉；
至少一个声音输出换能器，其被配置为从处理器接收声音输出信号并生成声音输出来表示接收到的声觉；
其中，所述处理器被配置为：接收至少一个声音输入信号，存储来自至少一个声音输入信号的数据，将声音输入信号与所述至少一个触摸输入信号和所述视景输入信号进行集成，并生成声音输出信号。
10.如权利要求1所述的系统，还包括：
至少一个声音输入换能器，其被布置和配置为接收声觉并生成至少一个声音输入信号来表示接收到的声觉；
至少一个声音输出换能器，其被配置为从处理器接收声音输出信号并生成声音输出来表示接收到的声觉；
其中，所述处理器被配置为：接收至少一个声音输入信号，存储来自至少一个声音输入信号的数据，将声音输入信号与至少一个触摸输入信号进行集成，并生成声音输出信号。
11.如权利要求10所述的系统，其中，所述至少一个声音输出换能器包括扬声器。
12.如权利要求10所述的系统，还包括：
至少一个视景输入换能器，其被布置和配置为接收声觉并生成至少一个视景输入信号来表示接收到的视觉；
至少一个视景输出换能器，其被配置为从处理器接收视景输出信号并生成视景输出来表示接收到的视觉；
至少一个气味输入换能器，其被布置和配置为接收嗅觉并生成至少一个气味输入信号来表示接收到的嗅觉；
至少一个气味输出换能器，其被配置为从处理器接收气味输出信号并生成气味输出来表示接收到的嗅觉；
其中，所述处理器被配置为：接收至少一个视景输入信号和至少一个气味输入信号，存储来自至少一个视景输入信号和至少一个气味输入信号的数据，将声音输入信号、气味输入信号和视景输入信号与至少一个触摸输入信号进行集成，并生成视景和气味输出信号。
13.如权利要求1所述的系统，还包括：
至少一个气味输入换能器，其被布置和配置为接收嗅觉并生成至少一个气味输入信号来表示接收到的嗅觉；
至少一个气味输出换能器，其被配置为从处理器接收气味输出信号并生成气味输出来表示接收到的嗅觉；
其中，所述处理器被配置为：接收至少一个气味输入信号，存储来自至少一个气味输入信号的数据，将气味输入信号与至少一个触摸输入信号进行集成，并生成气味输出信号。
14.如权利要求13所述的系统，
其中，所述至少一个气味换能器包括气味换能器的二维阵列，其中，所述气味换能器被配置为检测一种或多种化学物质；
其中，所述处理器被配置为处理来自气味换能器阵列的输入气味信号，以提供二维图；
其中，所述处理器还包括存储器，所述存储器包含多个预存储的二维气味特征来表示各种分析物；
其中，所述处理器还包括模式识别模块，其被配置为将提供的二维图与多个预存储的二维气味特征进行比较以确定分析物。
15.如权利要求13所述的系统，其中，每个气味输出换能器包括：
微流体装置，其包含多个小室，该多个小室中的每个能够被选择性可操作的阀门访问并且在其中布置了气味盒；
其中，响应于气味输出信号，选择性可操作的阀门中的每个被选择性地打开。
16.一种触摸输出换能器，包括：
微室，其被布置在基板上并具有柔性材料的上部隔膜；
流体，其被布置在微室中；
加热器，其被布置在微室中并被配置为选择性地致动以加热流体并使流体膨胀；以及
驱动器，其耦合到加热器以选择性地致动该驱动器；
其中，流体的膨胀使上部隔膜上升以增加微室的高度。
17.如权利要求16所述的触摸输出换能器，其中，所述柔性材料包括柔性聚合物。
18.一种如权利要求16所述的触摸输出换能器的阵列。
19.一种记录和重现感觉的方法，包括：
用至少一个触摸输入换能器来接收触觉并生成多个触摸输入信号来表示接收到的触觉，其中所述多个触摸输入信号在空间上和时间上变化；
存储来自多个输入信号的数据，其中从空间上和时间上组织所存储的数据；
生成多个触摸输出信号来表示接收到的触觉；以及
生成触摸输出来表示接收到的触觉，以重现接收到的触觉。
20.如权利要求19所述的方法，
其中，在第一装置上接收触觉；
其中，在第二装置上生成触摸输出。
21.如权利要求19所述的方法，
其中，在相同的装置上接收触觉并生成触摸输出，以提供可交互的反馈。
22.如权利要求19所述的方法，还包括：
接收视觉并生成至少一个视景输入信号来表示接收到的视觉；
存储来自至少一个视景输入信号的数据；
将视景输入信号与触摸输入信号中的至少一个进行集成；以及
基于该集成来生成视景输出和触摸输出。
23.如权利要求19所述的方法，还包括：
接收声觉并生成至少一个声音输入信号来表示接收到的声觉；
存储来自至少一个声音输入信号的数据；
将声音输入信号与触摸输入信号中的至少一个进行集成；以及
基于该集成来生成声音输出和触摸输出。
24.如权利要求19所述的方法，还包括：
接收视觉并生成至少一个视景输入信号来表示接收到的视觉；
存储来自至少一个视景输入信号的数据；
将视景输入信号与触摸输入信号中的至少一个进行集成；以及
基于该集成来生成视景输出和触摸输出。
25.如权利要求19所述的方法，还包括：
接收嗅觉并生成至少一个气味输入信号来表示接收到的嗅觉；
存储来自至少一个气味输入信号的数据；
将气味输入信号与触摸输入信号中的至少一个进行集成；以及
基于该集成来生成气味输出信号和触摸输出信号。
26.如权利要求19所述的方法，还包括：
接收视觉和声觉，并生成至少一个视景输入信号和至少一个声音输入信号来分别表示接收到的视觉和声觉；
存储来自至少一个视景输入信号和至少一个声音输入信号的数据；
将视景输入信号和至少一个声音输入信号与触摸输入信号中的至少一个进行集成；以及
基于该集成来生成视景输出、声音输入和触摸输出。
27.一种记录和重现感觉的方法，包括：
用至少一个气味输入换能器来接收嗅觉，并生成多个气味输入信号来表示接收到的嗅觉，其中所述多个气味输入信号在时间上变化；
存储来自多个输入信号的数据，其中从时间上组织所存储的数据；
生成至少一个气味输出信号来表示接收到的嗅觉；以及
生成气味输出来表示接收到的嗅觉，以重现接收到的嗅觉。
28.如权利要求27所述的方法，还包括：
接收视觉并生成至少一个视景输入信号来表示接收到的视觉；
存储来自至少一个视景输入信号的数据；
将视景输入信号与气味输入信号中的至少一个进行集成；以及
基于该集成来生成视景输出和气味输出。
29.如权利要求27所述的方法，还包括：
接收声觉并生成至少一个声音输入信号来表示接收到的声觉；
存储来自至少一个声音输入信号的数据；
将声音输入信号与气味输入信号中的至少一个进行集成；以及
基于该集成来生成声音输出和气味输出。
30.一种存储感觉的方法，包括：
接收触摸输入和气味输入中的一个或多个以生成触摸输入信号和气味输入信号中的一个或多个作为感觉数据，其中所述感觉数据在空间上和时间上变化；
在非临时存储的数据库中存储该感觉数据，其中从空间上和时间上组织所存储的感觉数据；
接收请求；以及
响应于该请求来重现至少一部分感觉数据。
31.如权利要求30所述的方法，包括：
将一部分存储的感觉数据与来自不同时间或空间帧的另一部分存储的感觉数据进行组合；以及
响应于请求来至少重现该组合部分。
32.一种存储感觉的设备，包括：
非临时存储介质；以及
在该存储介质中存储的数据库；
其中，所述数据库包括多个存储的感觉数据；
其中，所述存储的感觉数据包含在空间上和时间上变化的这样的数据，所述数据表示接收到的触摸输入和气味输入中的一个或多个；
其中从空间上和时间上组织所述感觉数据。
CN201280031558.5A 2011-04-26 2012-04-26 用于记录和重现感觉的系统和装置 Expired - Fee Related CN103608749B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161479338P 2011-04-26 2011-04-26
US61/479,338 2011-04-26
PCT/US2012/035305 WO2012149225A2 (en) 2011-04-26 2012-04-26 Systems and devices for recording and reproducing senses

Publications (2)

Publication Number Publication Date
CN103608749A CN103608749A (zh) 2014-02-26
CN103608749B true CN103608749B (zh) 2016-12-07

Family

ID=47073073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280031558.5A Expired - Fee Related CN103608749B (zh) 2011-04-26 2012-04-26 用于记录和重现感觉的系统和装置

Country Status (3)

Country Link
US (1) US10152116B2 (zh)
CN (1) CN103608749B (zh)
WO (1) WO2012149225A2 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
WO2012149225A2 (en) * 2011-04-26 2012-11-01 The Regents Of The University Of California Systems and devices for recording and reproducing senses
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9494995B2 (en) 2013-06-03 2016-11-15 Qualcomm Incorporated Devices and methods of sensing
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
CN105579928A (zh) 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
US9928950B2 (en) 2013-09-27 2018-03-27 Apple Inc. Polarized magnetic actuators for haptic response
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US9317118B2 (en) * 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
CN105814510B (zh) 2013-12-10 2019-06-07 苹果公司 具有触觉响应的带体附接机构
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
US20150208016A1 (en) * 2014-01-21 2015-07-23 Kevin Rymer Flexible video display in use with a sheet of transparent material
KR101564065B1 (ko) * 2014-01-23 2015-10-29 광주과학기술원 나노 와이어 어레이를 포함하는 터치센서 및 이의 제조방법
DE112014006608B4 (de) 2014-04-21 2024-01-25 Apple Inc. Verfahren, Systeme und elektronische Vorrichtungen zum Bestimmen der Kräfteaufteilung für Multi-Touch-Eingabevorrichtungen elektronischer Vorrichtungen
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
SG11201701255VA (en) * 2014-08-20 2017-03-30 Touchgram Pty Ltd A system and a method for sending a touch message
KR102019505B1 (ko) 2014-09-02 2019-09-06 애플 인크. 햅틱 통지
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US9507383B2 (en) 2014-09-30 2016-11-29 Microsoft Technology Licensing, Llc Computing device bonding assemblies
CN106796693A (zh) * 2014-10-31 2017-05-31 诺基亚技术有限公司 用于处理环境气味的装置和方法
US10534333B2 (en) * 2014-12-31 2020-01-14 University-Industry Cooperation Group Of Kyung Hee University Space implementation method and apparatus therefor
CN107407969B (zh) 2015-02-20 2020-09-11 超级触觉资讯处理有限公司 操纵触觉场以产生所期用户感知的方法
EP3259654B1 (en) 2015-02-20 2021-12-29 Ultrahaptics Ip Ltd Algorithm improvements in a haptic system
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US10394363B2 (en) * 2015-04-07 2019-08-27 Brian Shuster Device for physical interaction between remotely located users
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10694155B2 (en) * 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
CN106066732B (zh) * 2016-05-30 2019-01-25 京东方科技集团股份有限公司 触摸屏及触摸显示装置
CN105913747A (zh) * 2016-06-12 2016-08-31 深圳体感音悦科技有限公司 一种孕妇孕期胎儿感觉信号的仿真装置
US10531212B2 (en) 2016-06-17 2020-01-07 Ultrahaptics Ip Ltd. Acoustic transducers in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10755538B2 (en) 2016-08-09 2020-08-25 Ultrahaptics ilP LTD Metamaterials and acoustic lenses in haptic systems
RO131752A3 (ro) * 2016-10-06 2018-04-27 Dumitru Bădilă Ecran tactil
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10497358B2 (en) 2016-12-23 2019-12-03 Ultrahaptics Ip Ltd Transducer driver
US20190011988A1 (en) * 2017-07-07 2019-01-10 Immersion Corporation Active matrix haptic feedback
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
CN107634102B (zh) * 2017-09-12 2020-04-24 京东方科技集团股份有限公司 薄膜晶体管及其制造方法及驱动方法、显示装置
CN107764944A (zh) * 2017-10-18 2018-03-06 广东工业大学 一种气味复现的方法及装置
CN107976469A (zh) * 2017-11-16 2018-05-01 吉林大学 一种基于人工嗅觉的土壤养分快速检测装置
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
CN107832803A (zh) * 2017-11-27 2018-03-23 胡明建 一种机械视觉和机械嗅觉以时间相互映射的设计方法
CN108108437A (zh) * 2017-12-20 2018-06-01 胡明建 一种机械视觉听觉嗅觉以时间相互映射的设计方法
US11360546B2 (en) 2017-12-22 2022-06-14 Ultrahaptics Ip Ltd Tracking in haptic systems
EP3729418A1 (en) 2017-12-22 2020-10-28 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
CN108032302A (zh) * 2017-12-22 2018-05-15 胡明建 一种机械视觉触觉嗅觉以时间相互映射的设计方法
CN108115728A (zh) * 2017-12-24 2018-06-05 胡明建 一种机械听觉触觉嗅觉以时间相互映射的设计方法
CN107891448A (zh) * 2017-12-25 2018-04-10 胡明建 一种机械视觉听觉触觉以时间相互映射的设计方法
KR20210002703A (ko) 2018-05-02 2021-01-08 울트라햅틱스 아이피 엘티디 개선된 음향 전송 효율을 위한 차단 플레이트 구조체
CN112119622B (zh) * 2018-05-23 2022-04-01 索尼公司 信息处理装置、信息处理方法和存储介质
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
US11049528B2 (en) * 2018-10-18 2021-06-29 International Business Machines Corporation Multichannel tape head module having thermoelectric devices for controlling span between transducers
EP3906462A2 (en) 2019-01-04 2021-11-10 Ultrahaptics IP Ltd Mid-air haptic textures
WO2020145386A1 (ja) * 2019-01-11 2020-07-16 ダイキン工業株式会社 環境条件記憶装置、環境条件記憶方法、操作装置、及び環境認識装置
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
CN110252079B (zh) * 2019-05-08 2022-03-15 天津大学 一种气味远程传输的方法
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
CN114631139A (zh) 2019-10-13 2022-06-14 超飞跃有限公司 利用虚拟麦克风进行动态封顶
US11169610B2 (en) 2019-11-08 2021-11-09 Ultraleap Limited Tracking techniques in haptic systems
US11087552B2 (en) * 2019-11-26 2021-08-10 Rufina Shatkina Collaborative on-demand experiences
WO2021119205A1 (en) 2019-12-09 2021-06-17 Cleverpet, Inc. Use of semantic boards and semantic buttons for training and assisting the expression and understanding of language
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
US11409797B2 (en) * 2020-08-31 2022-08-09 MS∧2 Inc. Systems and methods for generating smell data and a database thereof
US11886639B2 (en) 2020-09-17 2024-01-30 Ultraleap Limited Ultrahapticons
FR3116923B1 (fr) * 2020-12-01 2024-02-09 Commissariat Energie Atomique Dispositif haptique multimodal
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
WO2022236653A1 (zh) * 2021-05-11 2022-11-17 中国科学院深圳先进技术研究院 一种气味传感器及其制备方法
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
CN115065415B (zh) * 2022-04-24 2023-04-11 南昌航空大学 一种基于调制光信号得到微质量谱的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206750A (zh) * 2006-12-18 2008-06-25 国际商业机器公司 提供感觉增强型远程购物体验的方法和自动系统接口
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2411603A2 (fr) 1977-12-19 1979-07-13 Zarudiansky Alain Dispositif et procede d'enregistrement de restitution et de synthese de sensations tactiles
US20020167003A1 (en) * 2001-04-18 2002-11-14 Campbell Ian H. Chemical and biological sensor using organic self-assembled transitors
US7575959B2 (en) * 2004-11-26 2009-08-18 Semiconductor Energy Laboratory Co., Ltd. Manufacturing method of semiconductor device
US7673528B2 (en) * 2005-05-12 2010-03-09 Euisik Yoon Flexible modular sensor systems
US7868874B2 (en) * 2005-11-15 2011-01-11 Synaptics Incorporated Methods and systems for detecting a position-based attribute of an object using digital codes
KR20080029676A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 접촉 감각 정보 제공 장치
GB2445363B (en) * 2007-01-04 2009-07-22 Motorola Inc Equipment and method for controlling a wireless communication terminal
JP2009064964A (ja) 2007-09-06 2009-03-26 Toshiba Corp 不揮発性半導体記憶装置及びその製造方法
US20090125641A1 (en) * 2007-11-09 2009-05-14 Zachary Adam Garbow Method and Apparatus for Managing an Olfactory Device
US8154527B2 (en) * 2008-01-04 2012-04-10 Tactus Technology User interface system
US8456438B2 (en) * 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
JP2009264964A (ja) * 2008-04-25 2009-11-12 Kyowa Hakko Chemical Co Ltd 多目的センサー用チップおよびそれを用いたセンサー
EP2187290A1 (en) * 2008-11-18 2010-05-19 Studer Professional Audio GmbH Input device and method of detecting a user input with an input device
US8041516B2 (en) * 2008-11-24 2011-10-18 International Business Machines Corporation Identifying and generating olfactory cohorts based on olfactory sensor input
US8161137B2 (en) * 2009-01-16 2012-04-17 At&T Intellectual Property I., L.P. Environment delivery network
TW201038303A (en) * 2009-04-23 2010-11-01 Inventec Appliances Corp Odor generating device
TW201039145A (en) * 2009-04-23 2010-11-01 Inventec Appliances Corp Situation simulation method and electronic apparatus with situation simulating function
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
WO2011082178A1 (en) * 2009-12-29 2011-07-07 Nanosense Inc. Fet - based nanotube sensor array
CN102844726A (zh) * 2010-02-26 2012-12-26 惠普发展公司，有限责任合伙企业 用于提供触摸反馈的触觉显示器
US9112058B2 (en) * 2010-09-10 2015-08-18 The Board Of Trustees Of The Leland Stanford Junior University Interface apparatus and methods
WO2012149225A2 (en) * 2011-04-26 2012-11-01 The Regents Of The University Of California Systems and devices for recording and reproducing senses
KR101181505B1 (ko) * 2012-02-28 2012-09-10 한국과학기술원 다양하고 정교한 정보전달을 위한 입력 지점과 출력 지점이 분리된 햅틱 인터페이스
US20170136301A1 (en) * 2015-11-17 2017-05-18 Lunatech, Llc Electronic vapor device enabled exercise system
US20170185364A1 (en) * 2015-12-28 2017-06-29 Lunatech, Llc Methods and Systems For a Dual Function Multimedia Device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206750A (zh) * 2006-12-18 2008-06-25 国际商业机器公司 提供感觉增强型远程购物体验的方法和自动系统接口
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events

Also Published As

Publication number Publication date
US20150220199A1 (en) 2015-08-06
CN103608749A (zh) 2014-02-26
WO2012149225A3 (en) 2013-03-28
WO2012149225A2 (en) 2012-11-01
US10152116B2 (en) 2018-12-11

Similar Documents

Publication Publication Date Title
CN103608749B (zh) 用于记录和重现感觉的系统和装置
Sun et al. Augmented tactile-perception and haptic-feedback rings as human-machine interfaces aiming for immersive interactions
Zhu et al. Haptic-feedback smart glove as a creative human-machine interface (HMI) for virtual/augmented reality applications
JP6875010B2 (ja) 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
JP6703688B2 (ja) 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体
Chi et al. Recent progress in technologies for tactile sensors
Sun et al. Progress in the triboelectric human–machine interfaces (HMIs)-moving from smart gloves to AI/haptic enabled HMI in the 5G/IoT era
Xue et al. Multimodal human hand motion sensing and analysis—A review
Silvera-Tawil et al. Artificial skin and tactile sensing for socially interactive robots: A review
Parida et al. Emerging thermal technology enabled augmented reality
US20180188850A1 (en) Sensorized Spherical Input and Output Device, Systems, and Methods
Larson et al. A deformable interface for human touch recognition using stretchable carbon nanotube dielectric elastomer sensors and deep neural networks
CN107111374A (zh) 触觉效果的覆盖
Rakkolainen et al. Technologies for multimodal interaction in extended reality—a scoping review
CN103257783A (zh) 用于在移动设备上共享反馈的交互模型
Qiu et al. Nondestructive identification of softness via bioinspired multisensory electronic skins integrated on a robotic hand
Gao et al. Tactile and vision perception for intelligent humanoids
Duan et al. Multimodal Sensors and ML‐Based Data Fusion for Advanced Robots
Gabardi et al. A high performance thermal control for simulation of different materials in a fingertip haptic device
Huang et al. A skin-integrated multimodal haptic interface for immersive tactile feedback
Edwards et al. Extracting textural features from tactile sensors
Zhang et al. Recent advances in artificial intelligence sensors
Lee et al. Flexible pyroresistive graphene composites for artificial thermosensation differentiating materials and solvent types
Sim et al. Electronic skin to feel “pain”: detecting “prick” and “hot” pain sensations
He et al. Review of bioinspired vision-tactile fusion perception (VTFP): From humans to humanoids

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207

Termination date: 20190426

CF01 Termination of patent right due to non-payment of annual fee