CN109688990A - 用于向用户提供附属感觉信息的方法和系统 - Google Patents

用于向用户提供附属感觉信息的方法和系统 Download PDF

Info

Publication number
CN109688990A
CN109688990A CN201780054653.XA CN201780054653A CN109688990A CN 109688990 A CN109688990 A CN 109688990A CN 201780054653 A CN201780054653 A CN 201780054653A CN 109688990 A CN109688990 A CN 109688990A
Authority
CN
China
Prior art keywords
user
input signal
tactile
phoneme
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780054653.XA
Other languages
English (en)
Inventor
大卫·M·伊格尔曼
斯科特·D·诺维奇
丹尼·古德曼
阿比普雷·萨霍
迈克尔·佩罗塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Perception Co
Neosensory Inc
Original Assignee
New Perception Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Perception Co filed Critical New Perception Co
Publication of CN109688990A publication Critical patent/CN109688990A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense
    • A61F11/045—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense using mechanical stimulation of nerves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00—Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08—Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142—Hidden Markov Models [HMMs]
    • G10L15/144—Training of HMMs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Neurology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Vascular Medicine (AREA)
  • Educational Administration (AREA)
  • Animal Behavior & Ethology (AREA)
  • Business, Economics & Management (AREA)
  • Psychology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于向用户提供信息的方法，所述方法包括：从与用户的感觉模态相关联的感测设备接收输入信号；在用一组预处理操作预处理该输入信号时生成预处理信号；从预处理信号中提取一组特征；使用神经网络系统处理该一组特征；将神经网络系统的输出映射到与设备相关联的设备域，该设备包括用户附近的触觉致动器的分布；以及，在触觉致动器的该分布处，协作地产生表示输入信号的至少一部分的触觉输出，从而向用户提供信息。

Description

用于向用户提供附属感觉信息的方法和系统
相关申请的交叉引用
本申请要求于2016年9月6日提交的序列号为62/384,036的美国临时申请的权益，其通过此引用以其整体并入。
技术领域
本申请大致涉及感觉刺激技术领域，并且更具体地涉及用于向用户提供信息的新的且有用的系统和方法。
附图简述
图1A是用于向用户提供信息的方法的实施例的流程图；
图1B是用于向用户提供信息的方法和系统的实施例的示意图；
图2A和图2B是用于向用户提供信息的系统的实施例的示意图；
图3A-3C描绘了与用于向用户提供信息的方法和系统相关联的示例性刺激提供设备；
图4A-4B描绘了用于向用户提供信息的方法的变型；
图5描绘了与用于向用户提供信息的方法相关联的神经网络架构的示例；
图6描绘了触觉输出的示例，该触觉输出在用于向用户提供信息的方法的实施例中表示语音内容信息；
图7描绘了用于向用户提供信息的方法的一部分；以及
图8A-8B描绘了方法流程的变型，其涉及机器学习辅助的系统更新，以用于改善到用户的信息提供。
优选实施例的描述
本发明的优选实施例的以下描述并非旨在将本发明限制于这些优选实施例，而是旨在使本领域的任何技术人员能够制造并且使用本发明。
1.概要
如图1A和图1B所示，用于向用户提供信息的方法100包括：从与用户的感觉模态相关联的感测设备接收输入信号S110；在用一组预处理操作预处理输入信号时生成预处理信号S120；从预处理信号中提取一组特征S130；使用神经网络系统处理该一组特征S140；将神经网络系统的输出映射到与设备相关联的设备域，该设备包括用户附近的触觉致动器的分布S150；以及，在触觉致动器的分布处，协作地产生表示输入信号的至少一部分的触觉输出，从而向用户提供信息S160。然而，方法100可以附加地或替代地包括任何其他合适的元素，并且可以以任何合适的方式执行。
方法100优选地用于将与至少一种感觉模态相关联的输入信号(例如，包含通信相关信息的音频信号、包含其他信息的音频信号、包含与视觉相关联的信息的信号、包含与触摸感觉相关联的信息的信号、包含与味觉相关联的信息的信号、包含与嗅觉相关联的信息的信号等)变换成使用用户附近或以其他方式由用户佩戴的设备提供的刺激，其中该刺激与信号处理输出相关联，该输出具有不同于输入信号的域、维度和/或速率。方法100可用于没有感觉条件(例如，具有典型范围内的感觉灵敏度)但希望从多个感觉源接收信息(例如，以增强对信息的感知和/或享受)的用户。方法100可以附加地或替代地允许具有一种或更多种感觉条件(例如，降低的感觉灵敏度、增强的感觉灵敏度、在一种或更多种感觉模态中缺乏灵敏度等)的用户接收信息，这些信息将以其他方式通过一个或更多个感官接收。
在变型中，方法100因此可操作以提供用于感觉交叉增强的装置，以允许用户接收和处理信息，由此感觉交叉增强包括将信息的子集从一种感觉模态(例如，用来听的听觉信息)转换成另一种感觉模态(例如，触觉)。这样，感觉交叉增强可以用作对于用户的感觉附件或用于部分感觉替代(例如，关于丧失部分感觉的用户)，由此通常与一种感觉模态相关联的信息可以通过用户的多种感觉模态被提供给用户。附加地或替代地，该方法可以用于感觉替代，由此通常与一种感觉模态相关联的信息(例如，听觉信息)被转换成与另一种感觉模态相关联的刺激(例如，触摸感觉)，使得用户可以通过一种感觉模态来感知信息的内容，而该感觉模态通常不用于感知该信息的内容。
在特定示例中，方法100可用于通过可操作为向用户提供触觉刺激的可佩戴设备(例如，躯干耦合的可佩戴设备、四肢携带的可佩戴设备、头部耦合的可佩戴设备等)向用户提供信息的实时(或接近实时)的理解，该信息使用音频传感器(例如，麦克风)获取。更详细地说，输入信号(例如，音频信号)的处理可适用于特定的人口统计(例如，年龄人口统计、性别人口统计、物种人口统计等)或感觉条件，并且在特定应用中，可以包括处理输入音频信号，以允许具有高频听力损失的用户使用他们的触摸感觉感知高频听觉信息。
因此，方法100可以使用下面更详细描述的系统部件和/或使用2015年6月25日提交的且题为“Providing Information to a User Through Somatosensory Feedback”的美国申请第14/750，626号中所描述的系统的实施例、变型或示例来实现，该申请通过引用以其整体并入本文。然而，方法100可以附加地或替代地使用任何其他合适的系统或系统部件来实现，用于通过反馈设备向用户提供信息。
2.益处
方法100可以带来许多益处。首先，方法100的实施例可用于将具有特征维度和/或速度的输入信号变换成具有不同维度和/或速度的刺激(例如，使用一个或更多个设备提供给用户的刺激作为对用户的感觉输入)(例如，将诸如语音信息的低维高速的输入信息变换成诸如触觉输出的高维低速的输出；将高维和/或高速的输入信息变换成低维和/或低速的输出等)。在示例中，这种关系可以成反比(例如，如在对于语音处理中的声音-触摸中，其将低维且高速的流处理成高维且低速的流)。
第二，方法100的实施例可以实现耦合到一个或更多个用户的触觉刺激提供设备，以基于将与一种感觉模态相关联的输入信号变换到与另一种感觉模态相关联的刺激，向用户提供信息丰富的刺激。在一些实施例中，这种交叉感觉变换可以诸如通过使用经由第二感觉模态(例如触觉)传递的相关的(例如，互补的、代表性的等)信息来补充和/或替代输入信号(例如，与用户具有降低的灵敏度的感觉模态相关联的输入信号)，帮助感知和/或理解输入信号。例如，如果输入信号包括不容易经由原始感觉模态提供给用户的信息(例如，由于感觉限制、输出设备限制等)，方法100可以包括经由第二感觉模态提供信息，使得用户能够感知和/或理解该信息。在示例中，这种变换可适用于与人口统计因素(例如，年龄、性别、种族等)、健康状况、和/或任何其他合适的因素相关联的用户特定需求，由此与输入信号相关联的信息分量(例如，语音的高频分量)不太容易被感兴趣的用户感知，而由设备提供的刺激可以被调制以适合用户的感觉灵敏度(例如，触觉灵敏度)。此外，在一些实施例中，与这种刺激相关联的系统(例如，刺激输出设备)可以具有有益的形状因数(form factor)和/或与用户交互的模态。在其中方法100包括将听觉输入信号变换成触觉输出的特定示例中，触觉输出可以由分离佩戴的系统(例如，佩戴在衣服下面、佩戴在身体肢体上等)提供给用户，而被配置为提供听觉输出的一些系统可以包括较少的离散元件。
第三，方法100的实施例可以减少向用户发送信息的延迟，这通过选择输入信号中所包含信息的子集用于进一步处理，并最终变换成提供给用户的刺激来实现，从而提高与方法100相关联的处理系统的性能。
因此，方法100的实施例能够用于提供平台和设备，用于以适用于特定用户需求的方式补充和/或替代一种或更多种感觉模态的功能。然而，方法100可以附加地或替代地带来任何其他合适的益处。
3.系统
该系统优选地从适当的传感器接收或生成一个或更多个输入信号，并且(例如，通过用户附近的感觉输出设备)提供刺激，并且可选地，可以包括一个或更多个通信模块、功率模块和/或计算模块(例如，如图2A-2B所示)。与刺激相关联的设备部件优选地设置在单个设备中，但是可以附加地或替代地在多个设备当中设置，和/或以任何其他合适的方式设置。
刺激可以由空间分布(例如，多维空间分布)中的多个触觉接口设备(例如，触觉致动器、电刺激器等)提供，每个设备可以提供具有不同刺激参数的各种可用输出刺激(例如，如图3A-3B所示)。设备可以通过触觉接口设备提供触觉刺激，并且在特定的示例中，可以包括可操作以向用户提供可配置的触觉刺激的触觉接口设备的阵列。触觉接口设备可以包括振动马达(例如，偏心旋转质量(ERM)设备)、线性谐振致动器(LRA)、压电设备和/或任何其他合适的设备(和/或它们的组合，如结合ERM和LRA元件的混合设备)。
设备可以附加地或替代地可操作以提供以下刺激中的一种或更多种：听觉刺激、电刺激(例如，周围刺激等)、嗅觉刺激，味觉刺激，以及任何其他合适形式的刺激。
触觉接口设备的空间分布(例如，阵列)可以具有从每平方厘米5个设备到每平方厘米50个设备的密度，或者任何其他合适的密度。此外，触觉接口设备的空间分布可以使用任何合适的形态方面进行配置。触觉接口设备优选地布置在一个或更多个阵列(例如，高密度阵列)中，但是附加地或替代地布置在任何合适密度的阵列中。阵列可以包括多维阵列(例如，平面阵列、三维体积阵列、基本上沿一个或更多个设备表面限定的阵列等)、单维阵列(例如，线性阵列、曲线阵列等)、和/或任何其他合适的阵列。例如，设备可以包括二维阵列(例如，基本上限定在平面上、限定在弧形的和/或弯曲的表面上等等)。阵列可以被配置为以下阵列中的一种或更多种：圆形阵列、椭圆形阵列、多边形阵列(例如，三角形阵列、矩形阵列、五边形阵列、六边形阵列等)、外接阵列，无定形阵列、基本上跨越与阵列集成的支撑结构的阵列、以及任何其他合适的阵列类型。附加地或替代地，设备可以包括触觉接口设备的不规则分布(例如，基本上布置在设备的表面上和/或体积内)和/或触觉接口设备的任何其他合适的布置。此外，空间分布(例如，阵列)可以被配置成在耦合到用户的总设备的不同层上。
在第一实施例中，如图3A所示，触觉接口设备的阵列与可佩戴在腕部区域的带设备集成，其中该阵列围绕带表面周向分布，并耦合到便于提供触觉刺激的电子器件。在这个实施例中，系统包括壳体，该壳体可操作以1)包含电子器件，以用于给触觉接口设备供电并在不同模式之间转换触觉接口设备，以及2)支持触觉接口设备的阵列，同时以使得用户能够感测由阵列提供的刺激的方式来定位触觉接口设备的阵列。因此，壳体可以耦合到用户或以其他方式包括将系统耦合到用户的紧固件。紧固件和壳体可以是整体结构或者以其他方式在物理上同延，或者可以以其他方式连接、耦合或可耦合。紧固件优选地可操作以使用户通过手动容易地和/或重复地紧固和松开，并且在特定示例中，紧固件可以包括闩锁、卡扣、带扣、扣环、钩环紧固机构和/或任何其他合适的紧固机构，和/或能够可操作以膨胀和收缩(例如，包括弹性元件，如膨胀带；包括部署扣(deployment clasp)、蝶形扣或在松开时物理上同延的其他扣等)。
在第二实施例中，触觉接口设备被配置为由用户携带(例如，由用户佩戴、在用户附近)。在这种实施例中，触觉接口设备优选地集成到可穿戴服装中，其中服装可以包括上衣(例如，衬衫、背心等)、下装(例如，裤子、短裤、裙子等)、头套(例如，头带、耳罩、帽子等)、背包、内衣、袜子和任何其他合适形式的服装。附加地或替代地，触觉接口设备可以被配置为机械地耦合到可穿戴服装(例如，保持在服装的一个或更多个口袋中、通过诸如钮扣、夹子、磁体和/或钩环紧固件之类的紧固件附接、通过粘合物附接等)。附加地或替代地，触觉接口设备可以被配置为直接附接到用户(例如，通过吸力、粘合物等)，优选地附接到用户的一个或更多个皮肤表面。附加地或替代地，触觉接口设备可以被结合到一个或更多个可佩戴设备(例如，头戴式可佩戴设备等)和/或植入设备中。附加地或替代地，触觉接口设备可以结合到假体设备中(例如，下肢假体、上肢假体、面部假体等)。在示例中，如图3B所示，触觉接口设备的阵列可以与背心服装集成，该背心服装可操作以当用户在他/她的日常生活中走动时由用户穿着。
在第三实施例中，如图3C所示，触觉接口设备被配置为通过支撑用户的支撑设备机械地耦合到用户(例如，通过支撑设备的支撑元件)。例如，触觉接口设备可以集成到支撑元件中和/或布置在用户和支撑元件之间(例如，搁置在支撑元件的顶部上)。支撑设备可以包括座椅、沙发、床、平台(例如，用于坐和/或站在上面的平台)、墙壁、倾斜表面(例如，配置成支撑斜靠的用户的表面)、和/或如在2017年7月27日提交的且题为“Method and Systemfor Determining and Providing Sensory Experiences”的美国申请第15/661，934号中所描述的任何其他合适的支撑设备，该申请通过引用以其整体并入本文。
附加地或替代地，触觉接口设备可以设置在被配置为由用户保持的设备中(例如，手持、保持在用户的手臂和躯干之间、保持在用户的腿之间等)。附加地或替代地，触觉接口设备可以设置在被配置为搁置在用户身上(例如，通过重力保持对抗用户)的设备中，如毯子。然而，触觉接口设备可以附加地或替代地以任何其他合适的方式可耦合到用户(和/或以其他方式配置为与用户交互)。
每个触觉接口设备(和/或其他输出单元)优选地由独立信号控制，并且被配置为独立于其他输出单元来致动。可替代地，可以独立地控制一组输出单元(例如，输出单元的集群或子集)，使得该一组输出单元可以独立于其他输出单元操作。每个受控子集(例如，单个的输出单元或集群)可以包括相同或不同类型的一个或更多个输出单元。在变型中，除了控制致动器的子集(例如，重叠和/或不相交的子集)以传递作为特征的函数的信息(例如，在针对第一音位的第一组中；在针对第二音位的第二组中，该第二组仅包括不包括在第一组中的致动器；在针对第三音位的第三组中，该第三组包括第一组和第二组致动器的子集)或者作为对其的替代物，子集可用于将数值输入映射到多致动器输出。在示例中，为了对“扫描”(例如，快速连续地打开和关闭致动器)产生印象，可以分析音乐的帧，并跟踪最强/最响的频率，并且根据频率是从先前分析的帧增大还是减小来控制致动器产生向上/向下的“扫描”。
每个受控子集优选地被单独地标识，使得其具有本地唯一的标识符(例如，索引值)，但是可以替代地与设备的第二受控子集共享标识符，或者以其他方式被标识。每个受控子集(或各自的标识符)优选地与设备上已知的、已存储的空间位置(受控子集位置)相关联。受控子集位置可包括弧形位置、径向位置、沿轴线(例如，横轴、纵轴等)的位置、坐标集、网格位置、关于另一设备部件(例如，传感器、不同输出单元等)的位置，或者可以是任何其他合适的位置。受控子集位置可以由设备存储(例如，在易失性或非易失性存储器上)，可以通过重索引模块(例如，重索引阵列)进行编码(例如，隐式地、显式地)，和/或由任何其他合适的系统存储(和/或以其他方式可用)。然而，索引和/或存储可以附加地或替代地以任何其他合适的方式实现。
每个受控子集优选地相对于设备的其他受控子集并联布线，但是可替代地可以串联布线、并联和串联组合布线，或者以任何其他合适的方式布线(或者不布线)。设备的受控子集优选地由处理器控制，但是可以附加地或替代地由远程计算系统(例如，服务器系统)、外部设备(例如，移动设备、电器等)、和/或任何其他合适的计算系统控制。
与方法100相关联的输入信号可以从系统100的传感器(例如，其中包括传感器与提供刺激的相同设备，其中传感器不同于提供刺激的设备，等等)导出。输入信号可以从本地传感器(例如，用于感测设备和/或用户的环境)、远程传感器(例如，用于感测分离的环境)、虚拟输入(例如，与虚拟环境相关联)、和/或任何其他合适配置中的任何其他合适的传感器导出。
输入信号优选地包括音频和/或音乐输入信号。例如，输入信号可以从麦克风(例如，可用于执行波束形成操作以去除环境伪像的多个麦克风，如以下所描述的)和/或其他音频传感器、音频数据流的源(例如，模拟电连接器，如连接器中的音频线路；被配置为接收音频和/或音乐信息的数字电子和/或光学连接器，如HDMI、TOSLINK、MIDI等；通用计算机数据连接器，如USB、以太网等；诸如由系统的无线通信模块启用的无线连接等)、和/或任何其他合适的音频输入导出。与输入信号相关联的传感器可以附加地或替代地包括与其他感觉体验(例如，视觉、触觉、嗅觉、味觉等)、其他环境信息(例如，位置、位置类型、速度、温度、湿度等)、和/或任何其他合适信息相关联的传感器。
传感器可以附加地或替代地包括以下中的一个或更多个：照相机(例如，CCD、CMOS、多光谱、可视范围、高光谱、立体的等)、空间传感器(例如，惯性测量传感器、加速度计、陀螺仪、高度计、磁力计等)、位置传感器(例如，GPS、GNSS、三角测量、三边测量等)、音频传感器(例如，换能器、麦克风等)、气压计、光传感器、温度传感器、电流传感器(例如，霍尔效应传感器)、空气流量计、电压表、触摸传感器(例如，电阻的、电容的，等等)、接近传感器、力传感器(例如，应变仪、测压元件)、振动传感器、化学传感器、声纳传感器和/或任何其他合适的传感器。然而，系统可以附加地或替代地包括任何其他合适的传感器。
通信模块可以包括有线通信模块(例如，被配置为通过如以太网、USB、电力线等的有线数据连接进行通信)和/或无线通信模块(例如，无线电)。无线通信模块优选地支持(例如，允许使用)一种或更多种无线通信协议(如WiFi、蓝牙、BLE、NFC、RF、IR、Zigbee、Z波等)(进行通信)。然而，系统可以附加地或替代地包括任何其他合适的通信模块。
功率模块可以包括一个或更多个功率输入元件、功率储存元件、和/或任何其他合适的元件。功率模块优选地是具有电输入(例如，电功率连接，如有线连接器或感应回路)和/或电储存元件(例如，电池、超级电容器等)的电功率模块，但是可以附加地或替代地包括任何其他合适的功率输入和/或储存元件。功率模块可以包括电池，该电池优选地电耦合(例如，通过导线连接)到被供电的系统部件，其中计算模块优选地控制电力供应(例如，如以下所描述的)，但是电力供应和/或电池管理可以附加地可替代地由任何其他合适的部件执行。
计算模块可以包括一个或更多个处理器(例如，CPU或其他微处理器、控制电路、中继系统等)、计算机存储器模块(例如，RAM)、计算机储存模块(例如，硬盘驱动器、闪存等)、和/或任何其他合适的元件。计算模块优选地被配置为控制和/或接收来自输出端、输入端、通信模块、功率模块、和/或系统的任何其他合适元件的信息。计算模块可以分布在多个系统(例如，远程服务器、个人计算设备、可佩戴计算设备、移动计算设备等)上和/或分布在云中，或者可替代地可以在单个计算系统中实现。
计算模块优选地被配置为单独地控制受控子集(例如，输出单元，如触觉接口设备、输出单元组等)。在第一示例中，处理器被配置为向每个受控子集(例如，向每个受控子集的控制元件，如致动器控制电路)提供控制信号。附加地或替代地，在第二示例中，处理器被配置为从功率模块向每个受控子集选择性地提供电力(例如，通过调节提供给每个输出单元的电流)，或者，选择性地命令每个受控子集进入模式或获得设定点参数值(例如，通过向每个输出单元的集成控制器传送命令)。然而，计算模块可以附加地或替代地被配置为以任何其他合适的方式控制受控子集，或者可以被配置为不控制受控子集。
如前所述，系统可以包括2015年6月25日提交的且题为“Providing Informationto a User Through Somatosensory Feedback”的美国申请第14/750，626号中所描述的设备的实施例、变型和示例。然而，系统可以附加地或替代地包括任何其他合适的设备和/或设备元件。
4.方法
4.1接收输入信号
如以上关于方法100所描述的，块S110记载：从与用户的感觉模态相关联的感测设备接收输入信号。块S110用于提供信号，该信号可以变换成在方法100的下游步骤中被提供给用户的刺激。输入信号优选地由以上章节3中所描述系统的一个或更多个传感器接收和/或从其导出。特别地，输入信号可以从系统的传感器(例如，由传感器采样的信息)、其他传感器(例如，如通过通信模块连接到系统的传感器)、计算系统(例如，来自计算机储存器、由计算系统生成等)、其他系统、和/或任何其他合适的源接收。
输入信号可以捕获与一种或更多种感觉模态(例如，音频、视觉、触觉、嗅觉等)相关联的信息、和/或与(例如，与系统和/或用户的环境、远程环境、虚拟环境等相关联的)(例如，指示和/或代表、基于采样的等)感觉体验相关联的任何其他信息。输入信号可以附加地或替代地捕获非感觉信息，如与环境(例如，系统和/或用户的环境、远程环境、虚拟环境等)相关联的信息。例如，输入信号可以包括位置、速率、加速度、方位(例如，相对于用户或用户所占用的车辆的参考方位和/或位置)、电场和/或磁场信息(例如，强度、方位、梯度、旋度等)、导航信息(例如，路线规划方向)、和/或任何其他合适的信息，如以上章节3中关于系统部件所描述的。
在块S110中接收的输入信号优选地包括当前信息(例如，以接近实时的方式发送到系统，如基本上在采样的同时以流的方式发送)。在块S110中接收的输入信号可以附加地或替代地包括提前信息(例如，与预期在稍后时间处发生的感觉体验相关联，优选地与预期发生的时间同时)，但是可以附加地或替代地包括历史信息和/或与任何其他合适的时间(或不与时间)相关联的信息。
在第一种变型中，块S110包括接收从用户环境中的实体和/或对象导出的音频信号(例如，来自麦克风系统等)。在这种变型中，接收音频信号可包括在耦合到用户或以其他方式靠近用户的系统的一个或更多个麦克风处采样音频信息，如以上关于章节3的系统实施例所描述的，其中使用来自多个麦克风的信号可用于下游处理步骤，如以下更详细描述的。
在一个示例中，音频信号可以捕获人类通信内容，来自这些内容的语音分量(例如，发音分量)可以被处理、提取和变换以向用户提供刺激，其中刺激通过另一种感觉模态向用户传递语音信息(或从通信信息中导出的信息)。在另一示例中，音频信号可以捕获来自非人实体的通信，来自这些通信的通信分量可以被处理、提取和变换以向用户提供刺激，其中刺激通过另一种感觉模态向用户传递信息。在另一示例中，音频信号可以捕获与用户环境中的实体或对象相关联的非通信信息，来自这些信息的特征可以被处理、提取和变换以向用户提供刺激，其中刺激通过另一种感觉模态向用户传递信息(或从语音信息导出的信息)。在这种示例的第一特定示例中，信息可以与环境危险(例如，警报、车辆交通、用户附近的危险状况)、通知(例如，门铃声、设备通知等)、和/或感知后对用户有用的任何其他合适的环境信息相关联。在第二特定示例中，信息可以与环境声音的连续表示相关联(例如，与诸如声音频率的特征相关联)。
在变型中，音频信号可以以模拟电表示(例如，线路接入)、数字音频编码(例如，计算机音频流或文件)、和/或任何其他合适的形式被接收。在这些变型中，块S110可以附加地或替代地包括接收与音频信息相关联的时序信息(例如，同步信息，如从用户环境捕获音频信息的部分的时间等)。然而，块S110可以附加地或替代地以任何其他合适的方式接收任何其他合适的输入信息(例如，嗅觉刺激、味觉刺激等)。
4.2预处理输入信号
块S120记载了：在使用一组预处理操作预处理输入信号时生成预处理信号，该操作用于处理掉来自在块S110中接收的输入信号的不希望的信号分量，和/或对输入信号执行合适的预处理操作以促进方法100的下游部分。块S120优选地在处理系统部件上实现，这些处理系统部件与和块S110相关联并在以上章节3中所描述的传感器部件通信或以其他方式耦合到该传感器部件；然而，块S120可以附加地或替代地使用任何其他合适的系统部件来实现。
在变型中，块S120可以包括滤除与噪声相关联的信号分量和/或以任何其他合适的方式衰减或加重信号分量，以提高输入信号的信噪比(SNR)。块S120可以附加地或替代地包括滤除或以其他方式处理与所涉及用户的特定听力条件相关联或不相关联的输入信号的频率分量。例如，块S120可以包括隔离输入信号的高频分量，以便根据方法100的后续块进行下游处理，从而向具有高频听力损失的用户提供信息。更详细地说，频率分量(或频率分量的范围)的隔离可以实现一种算法，该算法对用户感兴趣的特征进行优先排序(例如，基于感觉条件细节、基于典型的用户偏好、基于个人兴趣、基于专业兴趣等)，或者降低用户不感兴趣的特征的优先级(例如，针对在高频带中缺乏听觉灵敏度但在低频带中具有强听觉灵敏度的用户，包括与高频带中的输入相关联的许多或所有特征，但排除与低频带中的输入相关联的一些或所有特征)。然而，块S120可以包括以任何其他合适的方式对特征集进行后处理或预处理。
在变型中，块S120可以实现一种或更多种数字技术，包括无限脉冲响应(IIR)滤波器、有限脉冲响应(FIR)滤波器、高通滤波器、低通滤波器和带通滤波器操作中的一种或更多种，用于处理感兴趣的频率范围内的信号。
关于降噪，块S120可以实现一种或更多种降噪技术，包括门控操作、扩展操作、去除哼哼声的操作(例如，与市电频率和相关联的谐波有关)、去除嗡嗡声的操作(例如，与市电电源、波形失真和/或谐波有关)、去除滴答声的操作、去除爆裂声的操作、去除嘶嘶声的操作以及任何其他合适的降噪操作。在特定示例中，块S120可以实现谱减法操作和自适应滤波操作中的一个或更多个，以对输入音频信号进行去噪。在与其他类型的输入信号相关的变型中，块S120可以使用任何其他合适的滤波技术/降噪技术。如图4A和图4B所示，数字化可以发生在滤波/衰减操作的上游或下游。
块S120可以附加地或替代地实现分离操作，以将输入信号分成与不同源相关联的多个信号。在捕获语音内容的信号的上下文中，分离可以包括将输入信号分成包括语音内容的第一部分和包括非语音内容的至少一个其他部分。在捕获环境音频的信号的上下文中，分离可以包括将输入信号分成与对象的第一分类(例如，运输相关的对象)相关联的第一部分、与对象的第二分类(例如，宠物/动物)相关联的第二部分、与对象的第三分类(例如，电器)相关联的第三部分、与对象的第四分类(例如，人)相关联的第四部分、以及任何其他合适数量的部分。在捕获音乐内容的信号的上下文中，分离可以包括将输入信号分成第一部分，其包括第一部分(例如，与旋律相关联)、第二部分(例如，与人声相关联)、第三部分(例如，与乐器相关联)、和任何其他合适数量的部分。然而，与任何其他合适类型的输入信号相关联的分离操作可以以任何其他合适的方式实现。
附加地或替代地，在一些变型中，块S120可以利用多个麦克风实现波束形成操作，以去除由用户的环境引入的伪像(例如，混响伪像)。波束形成操作可以包括空间滤波技术，其产生来自多个传感器(例如，麦克风、加速度计等)的期望的信号分量(例如，与语音相关联的)的相长干涉，和/或产生来自多个传感器(例如，麦克风、加速度计等)的不期望的信号分量(例如，来自周围环境的)的相消干涉。波束形成操作可以包括控制来自处理中所涉及的每个传感器/麦克风的信号的相位、相对幅度和/或任何其他合适的方面。波束形成操作可以是常规的(例如，使用固定或切换的波束形成器)，或者可以是自适应的(例如，使用相控阵列)。然而，可以使用任何合适数量或类型的传感器/麦克风以任何其他合适的方式实现波束形成操作。
块S120可以包括对输入信号实现分帧操作，以有助于延迟方面，并且有助于以高效和高度精确的方式处理输入信号。分帧操作可以实现任何合适的分段处理，以从输入信号生成帧，使得帧可以被处理以识别感兴趣的特征(即，从块S130)，和/或，帧可以关于机器学习操作被相应地标记，这提高了针对特定用户人口统计的输入信号处理的效率。帧可以是均匀尺寸的，或者可替代地是非均匀尺寸的。此外，帧可以重叠，或者替代地，帧可以不重叠。方法100可以包括对每一帧执行该方法的元素(例如，对每一帧重复块S120-S160)，和/或以任何其他合适的方式对帧进行分析。在示例中，分帧操作将16kHz的输入音频信号处理成20ms帧，其中20ms帧与相邻帧重叠10ms。然而，在变型中，输入信号可以具有任何合适的特征频率，帧可以具有任何其他合适的尺寸，并且帧可以具有任何其他合适的重叠或非重叠的配置。
块S120中的预处理可以附加地或替代地包括实现开窗操作(例如，在分帧操作之后)。在特定示例中，开窗处理包括AKB窗口、Hann窗口和/或Kaiser窗口。块S120中的预处理可以附加地或替代地实现以下步骤中的一个或更多个：补零、归一化、帧内或帧间的二次采样、以及任何其他合适的预处理步骤，以便有助于根据方法100进行下游处理步骤。
块S120中的预处理可以附加地或替代地包括对分帧操作和/或任何其他预处理步骤的输出实现变换操作(例如，函数分解操作，如傅立叶相关变换)，所述变换操作包括以下中的一种或更多种：离散余弦变换(DCT)操作、修改的离散余弦变换(MDCT)操作、快速傅立叶变换(FFT)操作、离散傅立叶变换(DFT)操作、梅尔频率倒谱系数(MFCC)操作、小波变换操作、McAulay-Quatieri(MQ)操作、快速Hartley变换操作、以及任何其他合适的变换操作，在块S130中，可以从这些变换操作提取感兴趣的特征。
4.3提取特征
块S130记载了：从预处理信号提取一组特征，该预处理信号用来生成可用一种或更多种神经网络进行处理的特征，如以下关于块S140所描述的。更详细地，块S130从预处理操作提取特征，这些特征可以被提供给块S140的神经网络系统，以生成或有效促进输入信号的分量的识别，用于最终编码并映射到触觉设备输出。块S130优选地在处理系统部件上实现，这些处理系统部件与和块S110相关联并在以上章节3中被描述的传感器部件通信或以其他方式耦合到该传感器部件；然而，块S130可以附加地或替代地使用任何其他合适的系统部件来实现。
在来自输入信号的语音信息的上下文中，块S130和S140可以促进特征的生成，这些特征最终可用于在块S150和S160中传输将由用户感知的语音分量(例如，音位、单词、多元音素、子音素、双音素、三音素、五音素、话语、填充词等)的信息。然而，在其他输入信号的上下文中，块S130和S140可用于从输入信号识别任何其他合适的信息分量，用于在块S150和S160中向用户传输适当的刺激。
块S130可以包括从块S120的预处理操作生成与频谱/频率相关联的导出特征。在变型中，导出特征可以与以下中的一个或更多个相关联：频谱峰值频率、频谱峰值幅度、频谱滚降方面(spectral rolloff aspects)、频谱质心方面、频带特征(例如，能量比)、伽马通(gammatone)变换(例如，伽马通变换系数)、频谱变形的测量、频谱宽度的测量、过零特征(例如，过零率)、交叉间隔的矩、空隙度、白化变换(例如，白化变换矩阵的元素)、以及任何其他合适的导出特征。
附加地或替代地，关于任何其他合适的输入信号类型和/或与方法100的后续块中所提供的刺激相关联的编码信息，块S130可以包括生成任何其他合适的特征。
4.4神经网络操作
块S140记载了：用神经网络系统处理该一组特征，该神经网络系统用于将块S130的特征变换成输出，该输出可以以提供刺激的方式进行编码和映射，如以下关于块S150和S160所描述的。块S140优选地在以上章节3中所描述的处理系统部件上实现。在一种变型中，块S140在(例如，刺激设备的、包括用于生成输入信号的传感器的设备的)嵌入式硬件上/或在与系统的一个或更多个设备通信的移动计算设备等上实现，使用或不使用补充数字信号处理器(DSP)。然而，块S130可以附加地或替代地使用任何其他合适的系统部件来实现。
在块S140中，神经网络操作可以包括完全连接的配置、卷积配置、和递归配置、多个网络配置的组合(例如，如在批量归一化设计、跳过连接设计、乘法集成设计(multiplicative integration design)等中)中的一个或更多个。在变型中，在块S140中实现的神经网络可以包括以下中的一种或更多种：递归神经网络(例如，具有长期短期记忆设计、具有门控递归单元设计等)、卷积神经网络、前馈神经网络、深度神经网络、以及任何其他合适的神经网络的变型。附加地或替代地，在块S140中实现的神经网络可以使用统计模型进行补充，用于加强对来自输入信号的感兴趣分量的学习和模式识别，其中这种统计模型可以包括以下模型中的一种或更多种：隐马尔可夫模型(HMM)、语言模型、混合模型(例如，高斯混合模型)、和/或任何其他合适的统计模型。在图5所展示的特定示例中，块S140可以实现卷积神经网络，其中卷积层的维度小于输入层的维度，其中递归神经网络设计和隐马尔可夫模型用于学习/识别语音分量(例如，音位、单词、多元音素、子音素、双音素、三音素、五音素、话语、填充词等)。关于特定示例，神经网络可以包括对任何层的附加输入和/或对与网络部件相关联的权重的修改。附加地或替代地，神经网络可以结合以下项中的一个或更多个：网络选择器、音量归一化器、来自附加传感器的信息用于学习与输入信号相关联的噪声环境、以及任何其他合适的数据/信息。
关于附加传感器，其用来增强由神经网络辅助进行的学习和识别，块S140可以借助于来自以下一个或更多个的数据：用于波束形成以学习信号源方面的运动传感器(例如，加速度计、陀螺仪)；用于选择网络(例如，定位到与语音内容相关联的口音)的位置识别模块(例如，GPS系统)；用于学习环境压力特性的气压计；用于学习环境光特性的光传感器；用于学习环境温度特性的温度传感器；空气流量计；电流传感器(例如，霍尔效应传感器)；电压表、触摸传感器(例如，电阻的、电容的等)；接近传感器；力传感器(例如，应变仪、测压元件)；振动传感器；化学传感器；和/或任何其他合适的传感器，用于学习与语音内容、用户环境和/或任何其他合适的输入信号分量相关联的信号分量。
神经网络可以被训练(例如，利用“抛弃”(dropout)技术和基于随机梯度的技术)，并且在特定的示例中，可以使用以下一种或更多种方法进行训练：基于Adam的一阶梯度高效随机优化方法；二阶拟牛顿方法(例如，Broyden-Fletcher-Goldfarb-Shanno方法、有限记忆Broyden-Fletcher-Goldfarb-Shanno方法、KFAC方法等)、以及其他方法(例如，梯度下降法、牛顿法、共轭梯度法、Levenberg-Marquardt法等)。可以使用输入信号的特征来增强训练数据，其中可以导出或学习这些特征。在示例中，训练数据特征可以包括或从以下一个或更多个导出：频谱峰值频率、频谱峰值幅度、频谱滚降方面、频谱质心方面、频带特征(例如，能量比)、伽马通变换(例如，伽马通变换系数)、频谱变形的测量、频谱宽度的测量、过零特征(例如，过零率)、交叉间隔的矩、空隙度、白化变换(例如，白化变换矩阵的元素)、以及任何其他合适的导出特征。
关于网络配置，块S140可以实现压缩技术(例如，如以上所指示的，以允许这样的神经网络在没有补充信号处理硬件的情况下高效运行)。网络压缩技术可以包括以下的一种或更多种：权重的二值化、训练的量化、霍夫曼编码、剪枝、散列以利用神经网络中的冗余来实现模型尺寸的减小、以及任何其他合适的压缩技术。在特定示例中，块S140中所使用的神经网络的压缩涉及深度压缩过程，包括剪枝、训练的量化和霍夫曼编码，以降低储存需求而不影响精度。这种方法提供了增加的处理效率和速度，并增加了可运行这种神经网络的灵活性。
在方法100的针对语音识别、编码和映射的变型中，神经网络的输出可以包括使用语音分量特征进行标记的帧，该语音分量特征与以下一种或更多种相关联：音位、子音位分量、超音位总成(super-phoneme assemblies)、非音位分量(例如，音素、双音素、三音素、双元音、三元音等)、单词、句子、和/或任何其他合适的语言分量。关于导出特征，输出可以包括所识别的语音分量的逐帧(frame-wise)概率、与识别出的语音分量相关联的准确度度量、以及任何其他合适的导出特征(这些特征可以在机器学习反馈回路中进行处理，在以下章节4.6中进行了详细描述)。神经网络的输出可以附加地或替代地包括环境对象的特征(例如，运动特性、形态特性、分类方面、状态特性)、与对用户的危害指示相关联的特征、与其他环境信息相关联的特征(例如，关于可能与危害无关的环境状态的改变)、以及任何其他合适的特征。神经网络的输出可以附加地或替代地包括任何其他合适的神经网络输出。
块S140可以附加地或替代地包括其他特征输出变换技术(例如，不使用神经网络)。
4.5映射并产生触觉输出
4.5.1编码和映射
块S150记载了：将神经网络系统的输出映射到与设备相关联的设备域，该设备包括用户附近的触觉致动器的分布。块S150用于对块S140的神经网络系统的从特征和/或参数值导出的输出进行编码和映射，用于控制快S160的刺激设备的输出。这样，块S150有助于将来自块S140的神经网络系统的语音分量输出(或与输入信号相关联的其他输出)变换成可以在用户附近的设备处传递给用户的刺激。
在特定示例中，块S150优选地包括将语音分量(例如，频率系数幅度、峰值频率值、音位、单词等)编码并映射到特定的设备元素和/或刺激参数。语音分量(或从输入信号提取的其他感兴趣的分量)之间的映射可以以1∶1的方式或者替代地不以1∶1的方式与触觉接口设备的阵列的致动器相关联。由此，块S150可以包括对复波形进行编码和/或映射，该复波形与触觉刺激设备的阵列的子集的刺激参数相关联(例如，以创建与不同感兴趣的分量相关联的刺激“纹理”)。然而，块S150可以包括以任何其他合适的方式进行编码和/或映射。
在一个变型中，块S150将块S140的神经网络系统的输出编码为使用以上章节3中所描述的触觉接口设备的阵列可执行的触觉模式，其中该触觉模式与激活触觉接口设备的阵列的设备的控制信号相关联，并且其中该控制信号可在方法100的块S160中执行。在与语音分量相关输出相关联的块S150的变型中，块S150可以包括使用触觉接口设备的阵列的设备刺激参数和/或空间方面来对输出中的每一个进行编码。关于所描述的语音分量，块S150可以对从块S140的神经网络操作所导出的输出进行变换、编码或以其他方式映射到以下中的一个或更多个：触觉接口设备的阵列的子域(例如，子区域、子集群、子层等)；与触觉接口设备的阵列相关联的不同刺激方面；以及触觉刺激设备的阵列的任何其他合适的方面。
块S140的语音分量可以映射到触觉接口设备的阵列的域(例如，层、区域、集群、面积等)，其示例如图6中所示。这样，不同的语音分量(例如，共振峰的频率位置、峰值频率幅度、音位、子音位分量、超音位总成、音素、双音素、三音素、双元音、三元音等)可以映射到触觉接口设备的阵列的不同域。例如，在具有围绕可佩戴腕带配置的触觉刺激设备的阵列的分布的设备变型中：触觉刺激设备的阵列的每个设备可以与对应的音位或单词相关联，使得触觉刺激设备的阵列的不同设备可以以特定模式“播放”音位/单词，该特定模式对应于块S110的通信数据的消息，并且触觉刺激设备的阵列的每个设备可以在用户的手腕区域处被检测到。
在另一个示例中，在具有与可佩戴系统或用户附近的其他支撑系统集成的触觉刺激设备的阵列的分布的设备变型中：触觉刺激设备的阵列的每个设备可以与对应的音位或单词相关联，使得触觉刺激设备的阵列的不同设备可以以特定模式“播放”音位/单词，该特定模式对应于块S110的通信数据的消息，并且该设备可以在乐于接收触摸感觉的用户的身体区域处被检测到。然而，示例的变型可以以任何其他合适的方式将触觉刺激设备的阵列的设备与语音分量相关联。
在以上所描述的示例和变型中，触觉刺激设备的阵列的域/区域可以是固定的或动态可修改的。例如，可以根据在块S150中执行的编码动态地修改子域，以使用有限的物理设备空间向用户传递更广泛的信息和/或更复杂的信息。
附加地或替代地，在与以上块S140中所描述的语音分量相关的变型中，变换模型可以附加地或替代地对语音分量标签进行变换、编码或以其他方式将该语音分量标签与触觉接口设备的阵列的一组刺激参数相关联。在变型中，变换操作可以将不同的语音分量(例如，音位音高、音位能量、音位声调、音位重音等)映射到一系列的刺激类型。在变型中，刺激参数可以包括以下中的一种或更多种：输出类型(例如，间歇、脉冲、连续等)；脉冲模式；脉冲波形特性(例如，正弦、方波、三角波、波长等)、输出幅度、输出强度；输出持续时间；输出脉冲持续时间等)、输出中涉及的设备域(例如，使用多个设备的扫描模式)、以及任何其他合适的刺激参数。例如，在具有围绕可佩戴腕带配置的触觉刺激设备的阵列的分布的设备变型中：触觉刺激设备的阵列的每个设备可以输出对应于语音分量的特定刺激参数，使得设备不仅可以将信息中继到语音分量标签(例如，音位标签)，还可以中继到更复杂的语言方面(例如，音位音高、音位能量、音位声调、音位重音等)，并且设备可以在用户的手腕区域处被检测到。
在另一个示例中，在具有与可佩戴设备或用户附近的其他支撑结构集成的触觉刺激设备的阵列的分布的设备变型中：触觉刺激设备阵列的每个设备可以输出对应于语音分量的特定刺激参数，使得设备不仅可以将信息中继到语音分量标签(例如，音位标签)，还可以中继到更复杂的语言方面(例如，音位声调、音位重音等)，并且该设备可以在对触摸敏感的用户的身体区域处被检测到。然而，示例的变型可以以任何其他合适的方式将触觉刺激设备的阵列的刺激参数与语音分量相关联。
在与以上块S140中所描述的语音分量相关的变型中，变换模型可以附加地或替代地对块S140的语音分量输出进行变换、编码，或以其他方式将块S140的语音分量输出与触觉接口设备的阵列的复杂或组合的输出相关联。在变型中，变换操作可以导致编码的生成，该编码与子域和使用触觉刺激设备的阵列可获得的刺激输出都相关。
在与英语相关联的第一示例中，块S150可以将47个音位标签中的每一个分配给触觉接口设备的阵列中的特定设备(例如，分布在腕带周围、分布在背心上等)，使得触觉接口设备的阵列可以按照对应于在块S110中所接收的输入信号的部分的顺序“回放”与不同音位相关联的刺激。如图6所示，腕带可以包括触觉接口设备的阵列，每个设备映射到特定音位，可以用信号通知设备根据对应于块S110中的输入信号的模式播放该音位。在与普通话相关联的第二示例中，块S150可以将41个音位标签中的每一个分配给触觉接口设备的阵列的特定设备和与四种说话声调相关联的四种刺激模式(例如，脉冲模式)，使得触觉接口设备的阵列可以按照对应于在块S110中所接收的输入信号的部分的顺序“回放”与不同音位和不同音位声调相关联的刺激。
块S150中的编码和映射可以附加地或替代地以任何其他合适的方式实现，如在2015年6月25日提交的且题为“Providing Information to a User ThroughSomatosensory Feedback”的美国申请第14/750，626号中所描述的。
4.5.2刺激传递
块S160记载了：在触觉致动器的分布处，协作地产生表示输入信号的至少一部分的触觉输出，从而向用户提供信息。块S160优选地包括执行控制信号，该控制信号可操作以通过触觉接口设备的阵列传递刺激(例如，在块S150中确定的输出参数等)，其中触觉接口设备的分布耦合到用户。根据块S120-S140的变换和编码算法，块S150优选地用于使输出能够通过触觉接口设备传递给用户。控制信号可以根据题为“Providing Information to aUser Through Somatosensory Feedback”的美国申请第14/750，626号中所描述的方法执行；然而，控制信号可以附加地或替代地以任何其他合适的方式执行。例如，块S160可以包括接收一个或更多个用户输入，这些用户输入可操作来调整增益水平、均衡器水平和/或输出刺激的其他方面，使得用户可以定制通过触觉接口设备的阵列所提供的刺激的强度(例如，所有刺激的强度、与特定输入和/或输出特性相关联的刺激的强度等)。然而，块S150可以附加地或替代地包括以任何其他合适的方式控制输出设备。
在以上所描述的变型和示例中，在块S140中生成并对应于块S110的输入信号的音位输出可以以类似于语音的自然时序(natural timing)的方式被编码、映射并通过触觉接口设备的阵列传递。更详细地，块S160中的刺激提供优选地实时或接近实时地发生(例如，在时间阈值内，如100ms、90ms、75ms、50ms、110ms、125ms、150ms、200ms、300ms等)，如图7所示，使得用户基本上在块S110中接收输入信号的同时以最小的延迟感知到触觉反馈(例如，无法察觉输入信号与触觉反馈之间的延迟)。然而，触觉刺激的传递能够可替代地以不模仿自然语言时序的方式实现。这样，触觉刺激的传递可以利用任何合适的速度、频率、节奏、停顿(例如，与语言的语法分量相关联)、增益(例如，对应于“响度(loudness)”或标点符号的刺激的幅度)、模式(例如，使用触觉接口设备的阵列的子阵列播放的时空模式等)、和任何其他合适的输出分量来实现。
然而，块S160中的刺激提供可以以任何其他合适的方式实现。
4.6附加的机器学习方面和反馈回路
虽然神经网络操作在以上的块S140中被描述，但是方法100可以附加地或替代地实现附加的或替代的机器学习技术，用于优化输入信号中语音分量或其他分量的提取。方法100可以附加地或替代地实现具有目标函数的机器学习算法，用于优化触觉接口设备的阵列的功率消耗，从而改善整体设备和/或系统性能。附加地或替代地，机器学习算法可用于针对用户特定条件(例如，用户特定的听力损失)优化刺激输出，如以下更详细描述的。
在一种变型中，给定触觉接口设备的阵列中的N个触觉接口设备和语音分量(例如，音位)的独热(one-hot)编码，可以表示N+1个类(包括与所有的触觉接口设备的阵列的失活相关联的“BLANK”状态)。在这种变型中，用于机器学习操作的目标函数可以包括优化预测的语音分量(例如，音位)注释之间的逐帧交叉熵；然而，与输入信号数据的帧有关的参数优化可以以任何其他合适的方式实现。附加地或替代地，目标可以包括生成与语音分量注释相关联的准确度度量，其中在特定示例中，基于对一组帧中每一帧的正确注释的分析，可以确定输入信号数据的该一组连续帧之间的音位级准确度度量的对数似然性。更详细地说，如果预测每个帧都是正确的或BLANK，并且预测至少一个帧是正确的，则在输入信号数据的该一组帧中所捕获的整体音位可以表现出高水平的准确度度量。然后，这种准确度分析可用于在处理输入信号数据的后续帧时改进(refine)音位(或其他语音分量)的注释。附加地或替代地，关于以上的块S160，准确度分析可用于调制触觉接口设备的阵列的刺激输出方面。例如，触觉反馈可以被缩放以表示与输入信号数据的帧中的音位的预测有关的准确度水平。然而，针对优化的准确度度量的生成和使用可以以任何其他合适的方式实现。
附加地或替代地，在一些变型中，用于机器学习操作的目标函数可以包括与触觉接口设备的阵列相关联的功耗特性的优化(例如，与特定的设备约束有关)。在一个特定示例中，这种操作可以在激活触觉接口设备的阵列中的一个或更多个时，对语音分量输出的编码表示关于刺激参数的传递的稀疏性进行优化，其中稀疏性被优化以降低功耗，同时仍然允许用户感知刺激。关于这些变型，运动激活(motor activation)的动态范围可以从用户的心理物理分析中学习(例如，关于最小感觉感知阈值，关于最大感觉感知阈值)；然而，在用户的刺激感知的约束下优化功耗可以以任何其他合适的方式实现。
附加地或替代地，关于对特定用户或环境条件的刺激传递的优化(例如，关于用户特定的听力损失、关于噪声环境、关于口音等)，示例方法流程如图8A所示。更详细地，可以向用户提供原始系统状态(例如，在“工厂”条件下)，包括设备(例如，腕带)和基于原始状态神经网络的算法。然后，当用户根据他/她的条件并在他/她的环境中使用该设备时，在使用期间收集的数据可以被发送回(例如，用于聚集和处理用户数据的基于云的系统的)远程处理器，以将基于原始状态神经网络的算法更新为用户数据通知的算法。设备(例如，腕带)然后可以被更新(例如，在远程固件更新操作中)，并且当用户继续使用该设备时该循环可以继续。在替代的配置中，如图8B所示，可以省略远程处理器，并且设备可以被配置为在用户使用设备时更新自身。
此外，方法100可以包括任何其他合适的块，这些块可操作以促进通过触觉接口设备的阵列以任何其他合适的方式向用户提供信息。例如，方法100可以包括通过经由触觉接口设备的阵列提供具有时间锁定触觉输出的预记录语音，快速地训练用户学会正确识别与经由触觉接口设备的阵列提供的触觉输出相关联的语音分量。在特定的应用中，这种训练方案可以与经由触觉接口设备的阵列的刺激提供相协调，允许患有高频听力损失的用户帮助他们区分通常混淆的高频音位(例如，/th/，/f/，/s/，/h/，/k/，/z/，/b/，/dh/，/t/，/d/，/v/，等等)。例如，该方法可以包括提供表示音位分量的触觉输出(例如，在触觉接口设备的阵列处)，该音位分量与患有高频听力损失(例如，老年性耳聋)的用户可能难以感知的音位有关。在第一特定示例中，该方法包括提供表示音位分量(例如，高频音位分量)的触觉输出，包括/f/、/z/、/b/、/th/、/dh/、/t/、/d/、/s/、和/或/v/。在第二特定示例中，该方法包括提供表示音位分量(例如，高频音位分量)的触觉输出，包括/th/、/f/、/s/、/h/、和/或/k/。然而，训练方案的变型可替代地针对具有其他缺陷的用户、没有缺陷的用户和/或任何其他它合适的音位或语音分量来实现。
虽然以上描述了机器学习技术的一些变型，但是关于以上方法100的步骤，方法100可以附加地或替代地利用任何其他合适的机器学习算法。在变型中，机器学习算法可以通过包括以下中的任何一种或更多种的学习方式来表征：监督式学习(例如，利用逻辑回归、利用反向传播神经网络)、非监督式学习(例如，利用Apriori算法、利用K-均值聚类)、半监督式学习、强化学习(例如，利用Q学习算法、利用时间差分学习)和任何其他合适的学习方式。此外，机器学习算法可以实现以下中的任何一种或更多种：回归算法(例如，普通最小二乘法、逻辑回归、逐步回归、多元自适应回归样条(multivariate adaptive regressionspline)、局部估计的散点平滑(locally Estimated Scatterplot Smoothing)，等等)、基于实例的方法(例如，k最近邻、学习向量量化、自组织映射，等等)、正则化方法(例如，岭回归、最小绝对收缩和选择算子(least absolute shrinkage and selection operator)、弹性网络等等)、决策树学习方法(例如，分类和回归树、迭代二叉树3代、C4.5、卡方自动交互检测、决策桩(decision stump)、随机森林、多元自适应回归样条、梯度推进机(gradientboosting machines)，等等)、贝叶斯方法(例如，朴素贝叶斯(Bayes)、平均单依赖估计(averaged one-dependence estimator)、贝叶斯置信网络(Bayesian beliefnetwork)，等等)、核方法(例如，支持向量机、径向基函数、线性判别分析，等等)、聚类方法(例如，k-均值聚类、期望最大化等等)，关联规则学习算法(associated rule learningalgorithm)(例如，Apriori算法、Eclat算法等等)、人工神经网络模型(例如，感知器方法(Perceptron method)、反向传播方法(back-propagation method)、Hopfield网络方法、自组织映射方法、学习向量量化方法等等)、深度学习算法(例如，受限玻尔兹曼机(restricted Boltzmann machine)、深度置信网络方法(deep belief network method)、卷积网络方法(convolution network method)、栈式自编码器方法(stacked auto-encoder method)，等等)、降维方法(例如，主成分分析、偏最小二乘回归、Sammon映射、多维标度(multidimensional scaling)、投影寻踪等等)、集成方法(例如，推进(boosting)、引导聚集(boostrapped aggregation)、AdaBoost、堆叠泛化(stacked generalization)、梯度推进机方法(gradient boosting machine method)、随机森林法等等)和任何合适形式的机器学习算法。
4.7替代特征-输出变换
方法100可以附加地或替代地包括其他的特征-输出变换技术(例如，不使用神经网络，对以上关于块S140所描述的神经网络技术进行补充等)。在一个这样的变型中，该方法包括将输入信号的频率相关特征变换成输出信号。
这种变型的第一示例包括：将输入信号分割成窗口(例如，如以上关于块S120所描述的)，并且对每个窗口：执行变换(例如，DCT和/或其他函数分解，如以上关于块S120描述的)；可选地，丢弃变换输出的无关部分(例如，针对具有高频听力损失的用户，丢弃与低频输入信号特征相对应的DCT系数，如用户容易感知的频率)；以及将剩余的(例如，未丢弃的)变换输出(例如，DCT系数幅度)映射到致动器输出(例如，如以上关于块S150所描述的)。这种示例可以可选地包括执行降维过程。例如，如果剩余DCT系数的数量大于触觉输出设备的数量，则系数可以被分仓(binned)(例如，分成更大的频带)，并且每个分仓中的系数的平均幅度可以被映射到致动器输出。分仓可以是均匀的或非均匀的(例如，预定的和/或动态确定的分仓；基于个人用户需求、典型偏好等确定的)。
这种变型的第二示例包括：可选地，执行输入信号的时域滤波以丢弃无关频率(例如，对于具有高频听力损失的用户，使用高通滤波器来丢弃输入信号的低频，如用户容易感知的频率)；从滤波的输入信号中提取多个频带(例如，对于每个致动器或受控子集一个频带)(例如，对信号执行并行带通滤波处理)；确定与每个频带相关联的度量(例如，每个频带的包络)；以及，将该度量映射到致动器输出。为致动器提取的频带优选地是连续的频率范围，但是可以附加地或替代地包括任何合适的频带。
然而，方法100可以附加地或替代地包括任何其他合适的特征-输出变换技术。
4.8重复
方法100可以可选地包括重复任何或所有的方法块(例如，块S110-S160)。在一个示例中，方法100包括在块S110中接收输入信息(例如，实时音频信号，如在设备的麦克风系统处采样的)的连续流，并且基于输入信息(例如，基于最近接收的信息的子集)连续执行块S120-S160。在第二示例中，方法100包括在块S110中接收大量输入信息，将输入信息分割成连续的时间窗口，并对每个时间窗口执行块S120-S160。然而，方法100和/或其任何元素可以以任何其他合适的方式重复。
虽然为简明起见而省略，但是优选实施例包括各种系统部件和各种方法过程的每种组合和排列。此外，优选的方法的各个过程可以至少部分地作为被配置为接收存储计算机可读指令的计算机可读介质的机器被体现或实现。优选地，指令由计算机可执行部件来执行，该计算机可执行部件优选地与系统集成。计算机可读介质可存储在任何合适的计算机可读媒介上，诸如RAM、ROM、闪存、EEPROM、光学设备(CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的设备。计算机可执行部件优选地是通用或专用处理子系统，但是任何合适的专用硬件设备或硬件/固件组合设备可以另外地或可选地执行指令。
附图例证了根据优选的实施例、示例配置及其变型的系统、方法和计算机程序产品的可能的实施的架构(architecture)、功能和操作。在这方面，流程图或框图中的每个块可以代表模块、分段、步骤或部分代码，其包括用于实施指定的逻辑功能的一个或更多个可执行的指令。还应当指出的是，在一些可选的实施方案中，在模块中提到的功能可以以在附图中指出的顺序以外的顺序发生。例如，连续地显示的两个块事实上可以基本上同时执行，或者块有时可以以相反的顺序执行，这取决于所涉及的功能。还应当注意，框图和/或流程图图示的每个块以及框图和/或流程图图示中的块的组合可以被进行指定的功能或动作的专用的基于硬件的系统或专用的硬件和计算机指令的组合实施。
如本领域的技术人员从先前的详细描述及从附图和权利要求应了解的，可以对本发明的优选地实施例做出修改和变化，而不脱离在权利要求中界定的本发明的范围。

Claims (20)

1.一种用于向用户提供信息的方法，所述方法包括：
从音频感测设备接收输入信号，所述输入信号与语音相关联；
在使用针对所述输入信号的一组帧的一组预处理操作预处理所述输入信号时，生成预处理信号；
从所述预处理信号提取一组特征；
使用神经网络系统处理所述一组特征；
将所述神经网络系统的输出映射到与肢体佩戴设备相关联的设备域，所述设备包括用户附近的触觉致动器的分布；以及
接近实时地并且在所述触觉致动器的分布处，协作地产生表示所述输入信号的语音分量的触觉输出，从而在所述肢体佩戴设备处向用户提供语音信息。
2.根据权利要求1所述的方法，其中，接收所述输入信号与产生所述触觉输出并利用所述触觉输出向用户传递刺激同时执行，从而允许用户接近实时地通过触摸接收器感知通过所述输入信号捕获的语音内容。
3.根据权利要求2所述的方法，其中，产生表示语音分量的触觉输出包括将与高频语音分量相关联的神经网络系统的输出映射到所述设备域，并将表示所述高频语音分量的触觉刺激传递给用户。
4.根据权利要求1所述的方法，其中，在所述触觉输出中表示的语音分量包括以下中的至少一项：音位相关联的分量和单词相关联的分量。
5.根据权利要求1所述的方法，其中，在所述触觉致动器的分布与语音分量之间的映射包括1∶1映射。
6.根据权利要求1所述的方法，其中，接收所述输入信号包括从所述音频感测设备的一组麦克风接收输入信号，并且实现噪声去除操作，所述噪声去除操作对来自所述一组麦克风的输入信号应用波束形成操作。
7.根据权利要求1所述的方法，还包括改进以下中的至少一项：生成所述预处理信号，从所述预处理信号中提取所述一组特征，使用所述神经网络系统处理所述一组特征，将所述神经网络系统的输出映射到所述设备域，以及利用训练数据集产生所述触觉输出，其中改进包括在用户触觉感知约束下改善所述触觉致动器的分布的功耗。
8.一种用于向用户提供信息的方法，所述方法包括：
从与用户的感觉模态相关联的感测设备接收输入信号；
在使用一组预处理操作预处理所述输入信号时生成预处理信号；
从所述预处理信号中提取一组特征；
使用神经网络系统处理所述一组特征；
将所述神经网络系统的输出映射到与设备相关联的设备域，该设备包括用户附近的触觉致动器的分布；以及
在所述触觉致动器的分布处，协作地产生表示所述输入信号的至少一部分的触觉输出，从而向用户提供信息。
9.根据权利要求8所述的方法，其中，所述感测设备包括麦克风系统、运动感测单元和位置识别单元中的至少两个，并且其中所述感测设备耦合到包括所述触觉致动器的分布的所述设备。
10.根据权利要求9所述的方法，其中，包括所述触觉致动器的分布的所述设备包括腕戴形状因数和躯干耦合形状因数中的至少一个，用于在使用期间将所述触觉致动器的分布保持在用户的身体区域附近。
11.根据权利要求8所述的方法，其中，生成所述预处理信号包括将所述输入信号分割成一组帧，并且其中所述方法还包括a)生成对于在所述一组帧的至少一个子集中所捕获的预测语音分量的准确度度量，以及b)基于所述准确度度量调制所述触觉输出的刺激参数。
12.根据权利要求8所述的方法，其中，所述神经网络系统包括卷积层和递归架构，并且实现用于从所述输入信号中识别语音分量的统计模型。
13.根据权利要求8所述的方法，其中，使用所述神经网络系统处理所述一组特征包括：用网络压缩技术压缩所述神经网络系统，以及在所述设备的嵌入式硬件和用户的移动设备中的至少一个上执行压缩的神经网络系统；所述网络压缩技术包括深度压缩过程，所述深度压缩过程包括剪枝、训练量化和霍夫曼编码。
14.根据权利要求8所述的方法，其中，所述一组特征包括频谱峰值频率、频谱峰值幅度、频谱滚降导出的特征、频谱质心导出的特征、频带能量比、伽马通变换、频谱变形的测量、过零率、空隙度和交叉间隔的矩。
15.根据权利要求8所述的方法，其中，所述一组预处理操作包括在所述输入信号的一组帧上实现的下列操作：去除环境伪像的滤波操作、开窗操作和变换操作。
16.根据权利要求8所述的方法，其中，所述触觉输出表示高频音位分量，所述高频音位分量包括以下中的至少一项：/f/音位、/z/音位、/b/音位、/th/音位、/dh/音位、/t/音位、/d/音位、/s/音位以及/v/音位。
17.根据权利要求8所述的方法，其中，接收所述输入信号包括从所述感测设备的一组麦克风、所述感测设备的运动感测单元，接收所述输入信号；并且其中所述方法还包括实现噪声去除操作，所述噪声去除操作基于来自所述一组麦克风和所述感测设备的数据对所述输入信号应用波束形成操作。
18.根据权利要求8所述的方法，其中，产生所述触觉输出包括针对在所述输入信号中捕获的一组音位中的每一个，使用所述触觉致动器的分布的子集传递唯一的波形。
19.根据权利要求8所述的方法，其中，接收所述输入信号与产生所述触觉输出并利用所述触觉输出向用户传递刺激同时执行，从而允许所述用户接近实时地通过触摸接收器感知通过所述输入信号捕获的内容。
20.根据权利要求8所述的方法，其中，所述触觉致动器的分布围绕带支撑结构周向布置，所述带支撑结构可操作以在所述方法的操作期间定位在用户的腕区域。
CN201780054653.XA 2016-09-06 2017-09-06 用于向用户提供附属感觉信息的方法和系统 Pending CN109688990A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662384036P 2016-09-06 2016-09-06
US62/384,036 2016-09-06
PCT/US2017/050288 WO2018048907A1 (en) 2016-09-06 2017-09-06 Method and system for providing adjunct sensory information to a user

Publications (1)

Publication Number Publication Date
CN109688990A true CN109688990A (zh) 2019-04-26

Family

ID=61280439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780054653.XA Pending CN109688990A (zh) 2016-09-06 2017-09-06 用于向用户提供附属感觉信息的方法和系统

Country Status (4)

Country Link
US (4) US10198076B2 (zh)
EP (1) EP3509549A4 (zh)
CN (1) CN109688990A (zh)
WO (1) WO2018048907A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396178A (zh) * 2020-11-12 2021-02-23 江苏禹空间科技有限公司 一种提高cnn网络压缩效率的方法
CN112675010A (zh) * 2020-12-03 2021-04-20 未来穿戴技术有限公司 振动控制电路、按摩设备及按摩设备的控制方法
CN112716504A (zh) * 2020-12-22 2021-04-30 沈阳东软智能医疗科技研究院有限公司 心电数据的处理方法、装置、存储介质和电子设备
CN112965595A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种神经电刺激模拟触觉的建模和预测方法
CN113744591A (zh) * 2021-09-06 2021-12-03 张朔 一种神经中枢病理反射检测训练装置

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017073100A (ja) * 2015-10-05 2017-04-13 株式会社ミライセンス 触力覚情報提示システム
US20140379588A1 (en) 2013-03-15 2014-12-25 Compology, Inc. System and method for waste managment
WO2017096141A1 (en) * 2015-12-02 2017-06-08 Gavin Kimberly A System and method for wearable technology
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10866631B2 (en) * 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
KR102419492B1 (ko) * 2017-03-28 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 송신 전력 제어 방법
US10255825B2 (en) * 2017-04-17 2019-04-09 Facebook, Inc. Calibration of haptic device using sensor harness
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
CN111492327A (zh) 2017-11-07 2020-08-04 多特布利斯有限责任公司 带有触感反馈的电子服装
US10943580B2 (en) * 2018-05-11 2021-03-09 International Business Machines Corporation Phonological clustering
US11755902B2 (en) * 2018-06-01 2023-09-12 The Charles Stark Draper Laboratory, Inc. Co-adaptation for learning and control of devices
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US10854051B2 (en) 2018-06-07 2020-12-01 Lofelt Gmbh Systems and methods for transient processing of an audio signal for enhanced haptic experience
WO2020008108A1 (en) * 2018-07-05 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for training a neural network
US10572802B1 (en) * 2018-11-15 2020-02-25 University Of South Florida Learning state-dependent sensor measurement models for localization
WO2020149428A1 (ko) * 2019-01-15 2020-07-23 엘지전자 주식회사 학습 장치
US10798522B1 (en) 2019-04-11 2020-10-06 Compology, Inc. Method and system for container location analysis
US11079845B2 (en) 2019-04-29 2021-08-03 Matt Giordano System, method, and apparatus for therapy and computer usage
CN110265002B (zh) * 2019-06-04 2021-07-23 北京清微智能科技有限公司 语音识别方法、装置、计算机设备及计算机可读存储介质
US20210089867A1 (en) * 2019-09-24 2021-03-25 Nvidia Corporation Dual recurrent neural network architecture for modeling long-term dependencies in sequential data
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
WO2021076094A1 (en) * 2019-10-14 2021-04-22 Google Llc An audio-to-tactile converter for speech and sound access
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
WO2021142162A1 (en) 2020-01-07 2021-07-15 Neosensory, Inc. Method and system for haptic stimulation
US11478606B1 (en) 2020-01-08 2022-10-25 New Heights Energy, LLC Wearable devices and methods for providing therapy to a user and/or for measuring physiological parameters of the user
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
CN112710988B (zh) * 2020-12-30 2022-06-21 中国人民解放军32212部队 一种坦克装甲车辆声振人工智能探测定位方法
US11862147B2 (en) * 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
CN113948085B (zh) * 2021-12-22 2022-03-25 中国科学院自动化研究所 语音识别方法、系统、电子设备和存储介质
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
WO2024068005A1 (en) 2022-09-30 2024-04-04 CereGate GmbH Tinnitus suppression device, system and computer program

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06168381A (ja) * 1992-05-08 1994-06-14 Agency Of Ind Science & Technol 聴覚障害者用緊急警報伝達装置
CN101124617A (zh) * 2005-01-21 2008-02-13 L·凯茨 用于耳聋的人的管理和辅助系统
CN102426839A (zh) * 2011-08-25 2012-04-25 陕西科技大学 一种听障人群的语音辨识方法
CN102597914A (zh) * 2009-10-29 2012-07-18 伊梅森公司 用于语音到文本转换的触觉增加的系统和方法
CN103365415A (zh) * 2012-04-04 2013-10-23 英默森公司 使用多执行器的声音-触觉效应转换系统
CN104011794A (zh) * 2011-12-21 2014-08-27 杜比国际公司 具有并行架构的音频编码器
US20140363138A1 (en) * 2013-06-06 2014-12-11 Keevio, Inc. Audio-based annnotatoion of video
US20160012688A1 (en) * 2014-07-09 2016-01-14 Baylor College Of Medicine Providing information to a user through somatosensory feedback
CN105278682A (zh) * 2009-11-04 2016-01-27 意美森公司 用于对命令进行触觉确认的系统和方法
CN105739674A (zh) * 2014-12-24 2016-07-06 意美森公司 高带宽触觉效果的音频增强仿真

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3324923A (en) 1967-06-13 Fuel supply system for volatile fluids
US3342923A (en) 1964-09-03 1967-09-19 M P Moller Inc Stereophonic electronic musical instrument
GB1574730A (en) 1976-07-26 1980-09-10 Citizen Watch Co Ltd Electronic watch
US4354064A (en) * 1980-02-19 1982-10-12 Scott Instruments Company Vibratory aid for presbycusis
EP0113275B1 (en) 1982-12-17 1989-03-01 Victor Company Of Japan, Limited Spectrum display device for audio signals
US4581491A (en) * 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US4926879A (en) * 1988-06-13 1990-05-22 Sevrain-Tech, Inc. Electro-tactile stimulator
US5027463A (en) 1990-05-07 1991-07-02 Daub Craig C Toothbrush
US5272466A (en) 1991-11-20 1993-12-21 Freedom Fence, Inc. Method and apparatus for defining a perimeter
US5553148A (en) 1994-06-20 1996-09-03 Werle; Ben Apparatus and method for producing vibratory sensations to accompany audible sounds in a properly phased relationship
US5655271A (en) 1996-05-07 1997-08-12 Maxwell-Trumble; Susan Pinless clothing attachable image holder button
US6027463A (en) 1996-12-27 2000-02-22 Moriyasu; Hiro Music massager
JP3112254B2 (ja) * 1997-03-04 2000-11-27 富士ゼロックス株式会社 音声検出装置
DE29718503U1 (de) 1997-10-17 1999-02-18 Lux-Wellenhof, Gabriele, 65830 Kriftel Gerät zur Behandlung von Tinitus und Hyperakusis
US6155971A (en) 1999-01-29 2000-12-05 Scientific Learning Corporation Computer implemented methods for reducing the effects of tinnitus
US6155995A (en) 1999-08-05 2000-12-05 Lin; Pin-Hung Structure of a multifunctional eye mask
US7222075B2 (en) 1999-08-31 2007-05-22 Accenture Llp Detecting emotions using voice signal analysis
US6295703B1 (en) 1999-09-07 2001-10-02 Clip It 2, Inc. Device for attaching objects to fabric
DE10046099A1 (de) 2000-09-18 2002-04-04 Siemens Ag Berührungssensitive Anzeige mit taktiler Rückkopplung
US6816599B2 (en) 2000-11-14 2004-11-09 Topholm & Westermann Aps Ear level device for synthesizing music
US6594524B2 (en) 2000-12-12 2003-07-15 The Trustees Of The University Of Pennsylvania Adaptive method and apparatus for forecasting and controlling neurological disturbances under a multi-level control
GB2370353A (en) 2000-12-20 2002-06-26 Nokia Mobile Phones Ltd Navigation system
US20030025595A1 (en) 2001-06-22 2003-02-06 Edwin Langberg Tactile interface
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7352356B2 (en) 2001-12-13 2008-04-01 United States Of America Refreshable scanning tactile graphic display for localized sensory stimulation
US7009595B2 (en) 2002-01-03 2006-03-07 United States Of America Extended refreshable tactile graphic array for scanned tactile display
US7232948B2 (en) 2003-07-24 2007-06-19 Hewlett-Packard Development Company, L.P. System and method for automatic classification of music
EP1533678A1 (en) 2003-11-24 2005-05-25 Sony International (Europe) GmbH Physical feedback channel for entertaining or gaming environments
US20050192514A1 (en) 2004-03-01 2005-09-01 Kearby Gerald W. Audiological treatment system and methods of using the same
US20060017691A1 (en) 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US20070041600A1 (en) * 2005-08-22 2007-02-22 Zachman James M Electro-mechanical systems for enabling the hearing impaired and the visually impaired
US20130218456A1 (en) * 2006-02-16 2013-08-22 John S. Zelek Wearable tactile navigation system
US20080120029A1 (en) 2006-02-16 2008-05-22 Zelek John S Wearable tactile navigation system
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US9474683B1 (en) 2006-04-14 2016-10-25 Bruce J. P. Mortimer Apparatus for generating an enhanced vibrational stimulus using a rotating mass motor
EP1902906B1 (en) * 2006-09-22 2017-07-26 Harman Becker Automotive Systems GmbH Add-on module for externally controlling a speech dialog system
US8288059B2 (en) 2006-12-15 2012-10-16 3M Innovative Properties Company Processing methods and systems for assembling fuel cell perimeter gaskets
US8588464B2 (en) 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US20080221876A1 (en) 2007-03-08 2008-09-11 Universitat Fur Musik Und Darstellende Kunst Method for processing audio data into a condensed version
US7921069B2 (en) 2007-06-28 2011-04-05 Yahoo! Inc. Granular data for behavioral targeting using predictive models
US8140331B2 (en) 2007-07-06 2012-03-20 Xia Lou Feature extraction for identification and classification of audio signals
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
AU2008335400A1 (en) 2007-12-05 2009-06-18 The Regents Of The University Of California Devices and methods for suppression of tinnitus
DE102008015259B4 (de) 2008-03-20 2010-07-22 Anm Adaptive Neuromodulation Gmbh Vorrichtung und Verfahren zur auditorischen Stimulation
US20100249637A1 (en) 2008-05-08 2010-09-30 Lotus Magnus, Llc Systems, devices, and methods for treating restless leg syndrome and periodic limb movement disorder
JP2011523364A (ja) * 2008-05-09 2011-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 感情を伝達する方法及びシステム
KR101380297B1 (ko) 2008-07-11 2014-04-02 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 상이한 신호 세그먼트를 분류하기 위한 판별기와 방법
US8068025B2 (en) * 2009-05-28 2011-11-29 Simon Paul Devenyi Personal alerting device and method
US20100318007A1 (en) 2009-06-10 2010-12-16 O'brien Donald J Electromechanical tactile stimulation devices and methods
US9317116B2 (en) 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
DK2485644T3 (en) 2009-10-09 2016-12-05 Auckland Uniservices Ltd Tinnitus treatment system and method
US9298260B2 (en) * 2010-03-12 2016-03-29 Broadcom Corporation Tactile communication system with communications based on capabilities of a remote system
US20120023785A1 (en) 2010-06-05 2012-02-02 Nathaniel K. Barnes Wireless remote controlled massaging footwear system
US20110319796A1 (en) 2010-06-25 2011-12-29 Actervis Gmbh Dual therapy exercise device with tethered control panel
US20120046579A1 (en) 2010-08-18 2012-02-23 Boehringer Laboratories Llc Mechanical stimulation wrap and method of use
ES2628356T3 (es) 2010-11-23 2017-08-02 National University Of Ireland, Maynooth Procedimiento y aparato de sustitución sensorial
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9104271B1 (en) 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
US20130163797A1 (en) 2011-06-21 2013-06-27 Tinnix, Inc. Systems and Methods for Diagnosis and Treating Tinnitus
AU2012325893B2 (en) 2011-10-19 2015-04-16 Sympara Medical Inc. Methods and devices for treating hypertension
WO2013158208A2 (en) 2012-04-17 2013-10-24 Regents Of The University Of Minnesota Multi-modal synchronization therapy
US8724841B2 (en) 2012-08-30 2014-05-13 Apple Inc. Microphone with acoustic mesh to protect against sudden acoustic shock
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
EP2912644A4 (en) 2012-10-23 2016-05-25 Univ New York PORTABLE OBJECT RETRIEVING SOMATIC SENSOR INFORMATION
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9728059B2 (en) 2013-01-15 2017-08-08 Fitbit, Inc. Sedentary period detection utilizing a wearable electronic device
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9338566B2 (en) 2013-03-15 2016-05-10 Cochlear Limited Methods, systems, and devices for determining a binaural correction factor
EP2968010B1 (en) 2013-03-15 2018-01-31 The Regents of The University of Michigan Personalized auditory-somatosensory stimulation to treat tinnitus
CN104080024B (zh) 2013-03-26 2019-02-19 杜比实验室特许公司 音量校平器控制器和控制方法以及音频分类器
US20140350441A1 (en) 2013-05-27 2014-11-27 Iman Shafieloo Vibratory neural stimulation
CN105473108B (zh) 2013-06-28 2017-08-25 欧拓声学公司 用于耳鸣治疗的系统和方法
US20150038887A1 (en) 2013-07-31 2015-02-05 Baby Soothe Inc. Baby soothing devices
WO2015028479A1 (en) 2013-08-28 2015-03-05 Koninklijke Philips N.V. Stimulating system with vestibular-tactile and auditory stimulation
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US20150230524A1 (en) 2013-10-01 2015-08-20 Gerbings, LLC. Thermal-Regulated Apparel and Wireless Control System Therefor
US9613619B2 (en) 2013-10-30 2017-04-04 Genesys Telecommunications Laboratories, Inc. Predicting recognition quality of a phrase in automatic speech recognition systems
US9147328B2 (en) 2013-11-04 2015-09-29 Disney Enterprises, Inc. Creating tactile content with sound
US9721561B2 (en) * 2013-12-05 2017-08-01 Nuance Communications, Inc. Method and apparatus for speech recognition using neural networks with speaker adaptation
US10360901B2 (en) 2013-12-06 2019-07-23 Nuance Communications, Inc. Learning front-end speech recognition parameters within neural network training
US20150351999A1 (en) 2014-01-15 2015-12-10 Getting in the Mood, LLC Heating and vibrating personal massager with accompanying cover
US9836123B2 (en) 2014-02-13 2017-12-05 Mide Technology Corporation Bussed haptic actuator system and method
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150272815A1 (en) 2014-03-25 2015-10-01 David R. Kitchens Therapeutic Garment Assembly
US20150305974A1 (en) 2014-04-24 2015-10-29 Sympara Medical, Inc. Methods and devices for treating hypertension
US9786201B2 (en) 2014-05-16 2017-10-10 Not Impossible LLC Wearable sound
US20150356889A1 (en) 2014-06-06 2015-12-10 David Todd Schwartz Wearable vibration device
CN104157791A (zh) 2014-08-05 2014-11-19 京东方科技集团股份有限公司 一种oled显示器件及其制作方法、显示装置
US9324320B1 (en) 2014-10-02 2016-04-26 Microsoft Technology Licensing, Llc Neural network-based speech processing
US9659384B2 (en) 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality
WO2016061056A1 (en) 2014-10-13 2016-04-21 Vu Sonny X Systems, devices, and methods for dynamic control
US9616222B2 (en) 2014-12-03 2017-04-11 Neurohabilitation Corporation Systems for providing non-invasive neurorehabilitation of a patient
US9468399B2 (en) 2014-12-09 2016-10-18 SensaRx, LLC Detection of changes from a seated or lying body position by sensing body angle
US9781984B2 (en) 2015-03-08 2017-10-10 Apple Inc. Dynamic fit adjustment for wearable electronic devices
US9443410B1 (en) * 2015-03-25 2016-09-13 Anelto, Inc. Personal safety response system and method
US10115194B2 (en) 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
US9327397B1 (en) 2015-04-09 2016-05-03 Codeshelf Telepresence based inventory pick and place operations through robotic arms affixed to each row of a shelf
US20160367190A1 (en) 2015-06-16 2016-12-22 Mondevices Inc. Method and system of continuous monitoring of body sounds via wearable wireless body sound monitor
US9714075B2 (en) 2015-07-29 2017-07-25 Yamaha Motor Corporation, U.S.A. Jet boat including articulating keel
US9781392B2 (en) 2015-09-16 2017-10-03 Intel Corporation Facilitating personal assistance for curation of multimedia and generation of stories at computing devices
IL242106B (en) 2015-10-15 2019-08-29 Shaie Shvartzberg System and method for translating sound to tactile
US10235848B2 (en) * 2015-12-09 2019-03-19 Immersion Corporation Public network transmission of haptic effect signals
US10438609B2 (en) 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
US20170290736A1 (en) 2016-04-08 2017-10-12 Vibrating Therapeutic Apparel Llc Vibrating Therapeutic Apparel
US10269223B2 (en) 2016-04-12 2019-04-23 Andrew Kerdemelidis Haptic communication apparatus and method
US10123937B2 (en) 2016-06-06 2018-11-13 Perumala Corporation Cold/heat-assisted distributed wave vibration therapy
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
DE102016009874A1 (de) 2016-08-12 2018-02-15 Forschungszentrum Jülich GmbH Vorrichtung und Verfahren zur Hörschwellen-adaptierten akustischen Stimulation
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
IL267082B2 (en) 2016-12-06 2024-09-01 Nocira Llc Systems and methods for the treatment of neurological disorders
US9987962B1 (en) 2017-03-09 2018-06-05 Ford Global Technologies, Llc Vehicle haptic feedback as a function of sensed capacitance
US20180284894A1 (en) 2017-03-31 2018-10-04 Intel Corporation Directional haptics for immersive virtual reality
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10740973B2 (en) 2017-06-23 2020-08-11 Dell Products, L.P. Ultrasonic collision management in virtual, augmented, and mixed reality (xR) applications
US10455320B2 (en) 2017-08-02 2019-10-22 Body Beats, Llc System, method and apparatus for translating, converting and/or transforming audio energy into haptic and/or visual representation
US10685666B2 (en) 2018-04-06 2020-06-16 Intel Corporation Automatic gain adjustment for improved wake word recognition in audio systems
US20190337451A1 (en) 2018-05-02 2019-11-07 GM Global Technology Operations LLC Remote vehicle spatial awareness notification system
US10854051B2 (en) 2018-06-07 2020-12-01 Lofelt Gmbh Systems and methods for transient processing of an audio signal for enhanced haptic experience
KR101963871B1 (ko) 2018-11-28 2019-04-01 주식회사 라스텔 소리 제어를 통한 지각 능력 향상 장치 및 방법
WO2020128053A2 (en) 2018-12-21 2020-06-25 My Tinnitus Has Gone Ag Device for providing an audio signal
US10739852B2 (en) 2019-01-01 2020-08-11 Logan Amstutz Systems, devices, and/or methods for wristbands
US20200222276A1 (en) 2019-01-13 2020-07-16 Cofactor Systems, Inc. Therapeutic vibration device
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
EP4046001A1 (en) 2019-10-14 2022-08-24 Lofelt GmbH Systems and methods for authoring an audio signal and for transforming the authored audio signal into a haptic data file
WO2021142162A1 (en) 2020-01-07 2021-07-15 Neosensory, Inc. Method and system for haptic stimulation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06168381A (ja) * 1992-05-08 1994-06-14 Agency Of Ind Science & Technol 聴覚障害者用緊急警報伝達装置
CN101124617A (zh) * 2005-01-21 2008-02-13 L·凯茨 用于耳聋的人的管理和辅助系统
CN102597914A (zh) * 2009-10-29 2012-07-18 伊梅森公司 用于语音到文本转换的触觉增加的系统和方法
US20150084752A1 (en) * 2009-10-29 2015-03-26 Immersion Corporation Systems and Methods for Haptic Augmentation of Voice-to-Text Conversion
CN105278682A (zh) * 2009-11-04 2016-01-27 意美森公司 用于对命令进行触觉确认的系统和方法
CN102426839A (zh) * 2011-08-25 2012-04-25 陕西科技大学 一种听障人群的语音辨识方法
CN104011794A (zh) * 2011-12-21 2014-08-27 杜比国际公司 具有并行架构的音频编码器
CN103365415A (zh) * 2012-04-04 2013-10-23 英默森公司 使用多执行器的声音-触觉效应转换系统
US20140363138A1 (en) * 2013-06-06 2014-12-11 Keevio, Inc. Audio-based annnotatoion of video
US20160012688A1 (en) * 2014-07-09 2016-01-14 Baylor College Of Medicine Providing information to a user through somatosensory feedback
CN105739674A (zh) * 2014-12-24 2016-07-06 意美森公司 高带宽触觉效果的音频增强仿真

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396178A (zh) * 2020-11-12 2021-02-23 江苏禹空间科技有限公司 一种提高cnn网络压缩效率的方法
CN112675010A (zh) * 2020-12-03 2021-04-20 未来穿戴技术有限公司 振动控制电路、按摩设备及按摩设备的控制方法
CN112716504A (zh) * 2020-12-22 2021-04-30 沈阳东软智能医疗科技研究院有限公司 心电数据的处理方法、装置、存储介质和电子设备
CN112716504B (zh) * 2020-12-22 2023-12-15 沈阳东软智能医疗科技研究院有限公司 心电数据的处理方法、装置、存储介质和电子设备
CN112965595A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种神经电刺激模拟触觉的建模和预测方法
CN112965595B (zh) * 2021-02-26 2023-09-05 清华大学深圳国际研究生院 一种神经电刺激模拟触觉的建模和预测方法
CN113744591A (zh) * 2021-09-06 2021-12-03 张朔 一种神经中枢病理反射检测训练装置
CN113744591B (zh) * 2021-09-06 2023-03-14 张朔 一种神经中枢病理反射检测训练装置

Also Published As

Publication number Publication date
WO2018048907A1 (en) 2018-03-15
US20180067558A1 (en) 2018-03-08
US20200209975A1 (en) 2020-07-02
US11644900B2 (en) 2023-05-09
EP3509549A1 (en) 2019-07-17
US10198076B2 (en) 2019-02-05
US10642362B2 (en) 2020-05-05
US20190121439A1 (en) 2019-04-25
EP3509549A4 (en) 2020-04-01
US20210318757A1 (en) 2021-10-14
US11079851B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
CN109688990A (zh) 用于向用户提供附属感觉信息的方法和系统
US10019912B2 (en) Providing information to a user through somatosensory feedback
CN110531860B (zh) 一种基于人工智能的动画形象驱动方法和装置
US10699538B2 (en) Method and system for determining and providing sensory experiences
Su et al. Activity recognition with smartphone sensors
CN108334583A (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
US20230045064A1 (en) Voice recognition using accelerometers for sensing bone conduction
Nakano et al. Effect of dynamic feature for human activity recognition using smartphone sensors
CN108227932A (zh) 交互意图确定方法及装置、计算机设备及存储介质
CN110276235A (zh) 通过感测瞬态事件和连续事件的智能装置的情境感知
CN109394258A (zh) 一种肺部呼吸音的分类方法、装置及终端设备
WO2021248916A1 (zh) 一种基于智能声学设备的步态识别与情绪感知方法和系统
Luo et al. Human–machine interaction via dual modes of voice and gesture enabled by triboelectric nanogenerator and machine learning
Li et al. Deep learning of smartphone sensor data for personal health assistance
CN105919591A (zh) 一种基于表面肌电信号的手语识别发声系统及方法
CN107591196A (zh) 一种听觉认知功能障碍评测和康复训练装置
KR20140006665A (ko) 단위 행동 인식을 기반으로 사용자의 대표 행동을 인식하는 장치 및 방법
JP2023058446A (ja) 無線センシング、モニタリング及びトラッキングのための方法、装置及びシステム
CN112289338B (zh) 信号处理方法及装置、计算机设备以及可读存储介质
CN110520935A (zh) 从无线电信号学习睡眠阶段
CN108882851A (zh) 频率分析反馈系统和方法
EP3676823A1 (en) Wearable vibrotactile speech aid
Khan et al. iHearken: Chewing sound signal analysis based food intake recognition system using Bi-LSTM softmax network
Yan et al. MM-HAT: Transformer for millimeter-wave sensing based human activity recognition
Xu et al. Attention-based walking gait and direction recognition in Wi-Fi networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Houston, Texas, USA

Applicant after: NEOSENSORY INC Co. TMC 260

Address before: California, USA

Applicant before: NEOSENSORY INC Co. TMC 260

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190426

WD01 Invention patent application deemed withdrawn after publication