CN111026271A - 用于编码和解码多媒体文件中的触觉信息的方法和设备 - Google Patents

用于编码和解码多媒体文件中的触觉信息的方法和设备 Download PDF

Info

Publication number
CN111026271A
CN111026271A CN201911250930.1A CN201911250930A CN111026271A CN 111026271 A CN111026271 A CN 111026271A CN 201911250930 A CN201911250930 A CN 201911250930A CN 111026271 A CN111026271 A CN 111026271A
Authority
CN
China
Prior art keywords
haptic
frequency
encoding
audio stream
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911250930.1A
Other languages
English (en)
Inventor
A·瑟恩
C·J·乌尔里奇
J·M·克鲁兹-埃尔南德斯
A·莫达里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN111026271A publication Critical patent/CN111026271A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于编码和解码多媒体文件中的触觉信息的方法和设备。一种用于编码具有内容的多媒体文件内的触觉信息的方法，包括：改变多媒体文件中的内容的一部分，以及将触觉信息加入内容的改变部分，触觉信息对应于用于在重放多媒体文件时生成触觉效果的触觉信号。一种用于从具有内容的多媒体文件内解码触觉信息的方法，该方法包括：定位多媒体文件内的触觉信息，和在重放多媒体文件的内容期间基于定位的触觉信息生成触觉信号。一种方法，包括：利用触觉装置的接收器接收包括音频信号和触觉信号的多媒体信号，以及利用触觉装置的触觉输出装置基于多媒体信号中的触觉信号输出触觉效果。

Description

用于编码和解码多媒体文件中的触觉信息的方法和设备
本申请是申请日为2014年3月14日、申请号为201410096022.2、题为“用于编码和解码多媒体文件中的触觉信息的方法和设备”的发明专利申请的分案申请。
技术领域
本发明涉及用于编码在诸如音频和/或视频文件的多媒体文件中的触觉信息的方法和设备，以及用于解码多媒体文件中的触觉信息的方法和设备。
背景技术
普遍认为将触觉反馈增加到媒体对象(例如图像、视频或音频剪辑)可以在某些情况下，增强媒体对象的用户体验。例如，一只猫的照片可以具有与它相关联的咕噜触感知觉。在与媒体对象关联触感反馈方面的关键挑战是，大多数呈现(rendering)引擎没有提供明确的触觉效果信息。可以具有与这个信息分离的文件或与流，但是这第二内容源复杂化现有内容递送机制，例如超文本传输协议(“HTTP”)。
一种针对这个挑战的潜在解决方案是在呈现端点从媒体对象自动生成触觉内容。现有的算法和方法可以通过使用音频和视频媒体对象作为输入来完成这种类型的内容创建。其它的算法和方法可以从图像提取空间纹理信息和对此局部呈现。这些方法中两者仅适合于机械性明显的触觉显示器。不能利用这种方法生成内容产生器期待的新颖内容。
发明内容
期望将更多的真实性和生活增加到多媒体对象。根据本发明的方面，水印或隐写算法或方法可被用于将数字信息直接编码到媒体内容本身中。
根据本发明的一个方面，提供了一种用于编码具有内容的多媒体文件内的触觉信息的方法。该方法包括改变多媒体文件中的内容的一部分，和将触觉信息加入内容的改变部分，触觉信息对应于用于在重放多媒体文件时生成触觉效果的触觉信号。
根据本发明的一个方面，提供了一种用于从具有内容的多媒体文件内解码触觉信息的方法。该方法包括：定位多媒体文件内的触觉信息；以及在重放多媒体文件的内容期间基于定位的触觉信息生成触觉信号。
根据本发明的一个方面，提供了一种触觉装置，包括被配置成输出媒体文件中媒体内容的媒体输出装置，处理器，被配置成打开该媒体文件，解码在媒体文件中编码的触觉信息，和基于从媒体文件解码的触觉信息输出触觉信号，以及触觉输出装置，被配置成基于从处理器接收到的触觉信号输出触觉效果。
根据本发明的一个方面，提供了一种方法，包括：利用触觉装置的接收器接收包括音频信号和触觉信号的多媒体信号，以及利用触觉装置的触觉输出装置基于多媒体信号中的触觉信号输出触觉效果。
根据本发明的一个方面，提供了一种触觉装置，包括接收器，被配置成接收多媒体信号；处理器，被配置成处理多媒体信号和识别多媒体信号中的触觉信号；以及触觉输出装置，被配置成基于触觉信号输出触觉效果。
附图说明
以下图的组件被示出是为了强调本公开的总原理，而不一定是按比例绘制的。为了一致和清晰，必要时在所有图中重复指定相应组件的参考字符。
图1是根据本发明实施例的电子装置的示意图；
图2是图1的电子装置的处理器的示意图；
图3是示出方法的一个实施例的流程图，该方法用于生成触觉内容和在媒体文件中包括触觉内容以及利用媒体文件的内容重放触觉内容；
图4示出多媒体文件的音频流的一个实施例，其包括射击和要在射击音频文件中编码的触觉触发标记的六个可能位置；
图5示出触觉效果触发标记将被增加到其中的单音音频信号的一个实施例；
图6示出在图5的单音音频信号中的编码的触觉效果触发标记；
图7A示出图6的单音音频信号的20毫秒帧的一个实施例，其不包含编码的触觉信息；
图7B示出图6的单音音频信号的20毫秒帧的另一个实施例，其包含被编码的触觉信息；
图8示出图7A和图7B的过滤后的信号的功率谱的一个实施例；
图9示出用于在重放期间编码触觉触发和解码触觉触发的方法的一个实施例，以及
图10示出用于基于多媒体信号中接收的触觉信息生成触觉效果的方法的一个实施例，。
具体实施方式
图1是根据本发明的一个实施例的电子装置10的示意图。如所示，电子装置100包括处理器110、存储器装置120、和输入/输出装置130，这些装置经由总线140互连。在一个实施例中，输入/输出装置130可以包括触摸屏装置150或其它人机界面装置。
触摸屏装置150可以被配置成任何合适的人机界面或触摸/接触表面组件。触摸屏装置150可以是任何触摸屏、触控板、触摸敏感结构、计算机监视器、膝上型电脑显示装置、工作簿显示装置、电脑亭屏幕、便携式电子装置屏幕、或其它合适的触摸敏感装置。触摸屏装置150可以被配置为与用户控制的装置(诸如触笔、手指等)进行物理交互。在一些实施例中，触摸屏装置150可以包括至少一个输出装置和至少一个输入装置。例如，触摸屏装置150可以包括视觉显示器和叠加在视觉显示器上以从用户的手指接收输入的触摸敏感屏。视觉显示器可以包括高清晰显示屏幕。
在各种实施例中，触摸输出装置160被配置成向电子装置100的至少一部分提供触觉反馈，该触觉反馈可以被传达给与电子装置100接触的用户。具体地，触摸输出装置160可以向触摸屏本身提供触觉反馈，以当用户与该屏幕接触时施加触觉效果。如以下更详细讨论的，触觉效果可以用于当观看媒体文件中的内容时增强用户体验。
触觉效果可以按创建触觉的任何方法创建，例如振动、变形、运动知觉、静电型或超声波摩擦等。在一个实施例中，触觉输出装置160可以包括致动器，例如偏心旋转质量(“ERM”)的电磁致动器，其中偏心质量块被电机驱动，线性谐振执行器(“LRA”)，其中附连到弹簧的质量块被来回驱动，或“智能材料“，例如压电材料、电活性聚合物或形状记忆合金、宏复合纤维致动器、静电致动器、电触感致动器和/或另一种类型致动器，其提供诸如触觉(诸如振动触觉)反馈的物理反馈。触觉输出装置160可以包括非机械或非振动装置，例如使用静电摩擦(ESF)、超声表面摩擦(USF)的那些、或者利用超声波触觉传感器诱发声辐射压力的那些，或使用触觉基板和柔性或可变形表面的那些，或者提供投射触觉输出(例如空气喷射的一股空气)的那些等等。在一个实施例中，多个触觉输出装置可以被用于产生不同的触觉效果。
电子装置100可以是任何装置，诸如台式电脑、膝上型电脑、电子工作簿、电子手持装置(诸如移动电话、智能手机、游戏装置、个人数字助理(“PDA”)、便携式电子邮件装置、便携式互联网接入装置、计算器等)、电脑亭(诸如自动柜员机、定时购买机等)、打印机、销售点装置、游戏控制器、可佩戴装置或其它电子装置。
处理器110可以是用于管理或控制电子装置100的操作和功能的通用或专用处理器或微控制器。例如，处理器110可以被专门设计为专用集成电路(“ASIC”)，其控制到输入/输出装置130的驱动器的输出信号以提供触觉效果。处理器110可以被配置成基于预定义因素来决定基于处理器110接收到或确定的触觉信号要产生什么触觉效果、产生触觉效果的次序、以及触觉效果的幅度、频率、持续时间和/或其它参数。处理器110还可以被配置成提供可以用于驱动用于提供特定触觉效果的触觉输出装置160的流传输命令。在一些实施例中，处理器装置110实际上可以包括多个处理器，每个处理器被配置成执行电子装置100内的某些功能。下面更详细描述处理器110。
存储器装置120可以包括一个或多个内部固定存储单元、可移除存储单元、和/或可远程访问存储单元。各种存储单元可以包括易失性存储器和非易失性存储的任何组合。存储单元可以被配置成存储信息、数据、指令、软件代码等的任何组合。更具体地，存储装置可以包括触觉效果配置文件、关于要如何驱动输入/输出装置130的触觉输出装置160的指令、和/或用于产生触觉效果的其它信息。
除了触摸屏装置150之外，输入/输出装置130还可以包括特定的输入机构和输出机构。例如，输入机构可以包括诸如键盘、键区、光标控制装置(例如，计算机鼠标)、其它数据输入装置或诸如麦克风的音频接收器180的装置。输出机构可以包括计算机监视器、虚拟现实显示装置、诸如扬声器190的音频输出装置、打印机或其它外设装置。输入/输出装置130可以包括被设计为不仅从用户接收输入、而且还向用户提供反馈的机构，诸如触摸屏装置的许多例子。输入/输出装置130可以包括按钮、键区、光标控制装置、触摸屏组件、触笔相应组件或其它数据输入组件的任何合适的组合和构造。
在实施例中，触摸屏装置150包括显示表面170(可以是刚性的)，显示表面170被配置成通过(包括，但不限于)由触觉输出装置160生成的静电摩擦或超声表面振动对其摩擦性质进行调制，以当用户在整个显示器上运行手指或触笔时给予用户与显示图像相应的表面浮凸(例如，山丘和谷地)的感觉。
图2更详细地示出处理器110的实施例。处理器110可以被配置成执行一个或多个计算机程序模块。所述一个或多个计算机程序模块可以包括一个或多个内容提供模块112、编码模块114、解码模块116、触觉输出装置控制模块118、和/或其它模块。该处理器110可以被配置成由软件，硬件，固件，软件、硬件、和/或固件的某种组合，和/或用于在处理器110上配置处理能力的其它机构执行模块112、114、116、和/或118。
应当理解，虽然图2中示出的组件112、114、116和118为被共同位于单个处理单元内，但是在实施例中，处理器110包括多个处理单元，模块112、114、116、和/或118中的一个或多个可以位于远离其它模块。由下面描述的不同模块112114、116、和/或118提供的功能性的描述是为了例示的目的，而不旨在限制，因为112、114、116和/或118中的任何模块可以提供比描述的更多或更少的功能。例如，模块112、114、116和/或118中的一个或多个可以被消除，而功能的某些或全部可以由其它模块112、114、116、和/或118提供。作为另一个示例，处理器110可以被配置成执行一个或多个附加的模块，其可以执行下面归于模块112、114、116、和/或118中的一个的功能一些或全部。
内容提供模块112被配置成控制经由触摸屏装置150向电子装置100的用户提供内容。如果内容包括含有计算机生成的图像(例如，在视频游戏中、虚拟世界、加强现实的虚拟世界、模拟等)的媒体文件，则内容提供模块112被配置成生成图像和/或视图以通过触摸屏装置150向用户显示。如果内容包括含有视频和/或静止图像或图片的媒体文件，则内容提供模块112被配置成访问(access)该视频和/或静止图像或图片以及生成视频和/或静止图像或照片的视图以显示在触摸屏装置150上。如果内容包括含有音频内容的媒体文件，则内容提供模块112被配置成生成电子信号，该电子信号将驱动扬声器190以输出对应的声音。内容或从中导出内容的媒体文件，可以由内容提供模块112从电子存储器119获得，该电子存储器119可以是处理器110的一部分，如图2中所示，或者可以是存储器装置120的一部分。
编码模块114被配置成编码媒体文件中的触觉信号，其可被存储在电子存储器119中并且随后由内容提供模块112访问。例如，水印或隐写算法或方法可以被用于将数字信息直接编码到媒体内容本身中。通过将版权或其它不可移除的和不可感知的数字签名信息直接编码到媒体内容中，隐写通常用于提供数字版权管理(DRM)。用于数字隐写的算法对于图像、音频和视频内容格式是已知的。
编程到编码模块114中的算法也可以由内容产生器使用以将创作的、明确的触觉信息编码到内容本身中。这种触觉信息的实例包括一个或多个触觉效果、触觉效果和呈现提示的组合，例如，第一触觉效果可以与图像中的暗像素相关联，和与第一触觉效果不同的第二触觉效果可以与图像中更亮的像素相关联，以及将触觉与内容和/或与和内容交互的用户相关联的算法。下面将进一步详细描述用于编码媒体文件中的触觉信息。
解码模块116被配置成识别内容中何时有触觉信息以及对媒体文件解码，使得媒体文件中已被编码的触觉信息可利用触觉输出装置160重放。下面将进一步详细描述用于解码媒体文件内的触觉信息的方法。
基于由解码器模块116从媒体文件内解码触觉信息，触觉输出装置控制模块118被配置成确定要由触觉输出装置160生成的触觉效果，以及控制触觉输出装置160生成所确定的触觉效果。确定触觉效果可包括确定触觉效果的一个或多个参数，包括幅度、频率、持续时间等，其会增强由内容向用户提供的体验的一个或多个方面。
触觉效果可以被确定以增强以下中的一个或多个：内容真实性、内容娱乐性、用户对内容的感知，和/或经由触摸屏150和/或扬声器190传达给用户的内容提供的体验的其他方面。例如，当图像被首次呈现时，显示在触摸屏150上的猫图像可以播放呼噜知觉，当用户选择该图像时，猫图像可以播放呼噜知觉，和/或猫图像可以具有其中编码的皮毛纹理，以及电子装置100的用户可以体验通过在触摸屏150上显示的图像上拖动手指或手写笔毛皮的纹理。
图3示出方法的一个实施例，该方法用于生成触觉内容和在媒体文件包括触觉内容以及利用媒体文件的内容重放触觉内容。更具体地，图3例示方法300的实施例，用于编码具有文件内容的多媒体文件内的触觉信息和用于从具有内容的多媒体文件内解码触觉信息。在310，作为编码触觉信息的一部分，该多媒体文件的内容的至少一部分被改变。多媒体文件的内容可以包括图像、视频和/或音频内容。在一个实施例中，多媒体文件的内容的一部分被去除。在一个实施例中，多媒体文件的内容的一部分被重排。在320，触觉信息被增加到该内容的改变部分中的多媒体文件。触觉信息对应于用于在重放多媒体文件时生成触觉效果的触觉信号。在一个实施例中，多媒体文件的内容的一部分被去除，触觉信息被增加代替内容的去除部分。在一个实施例中，该多媒体文件的内容的一部分被重排，触觉信息被增加到重排的部分。在330，作为解码触觉信息的部分，触觉信息在多媒体文件内被定位，并且在340，在重放多媒体文件内容期间生成基于定位的触觉信息的触觉信号。
在一个实施例中，用于在重放期间要生成的触觉效果的触发被编码在多媒体文件中，诸如音频文件。通过编码对应于音频文件中的预定的触觉效果的重放的触发标记(mark)，当触发标记在重放音频文件期间被播放时，触觉信号可以被发送到触觉输出装置，使得触觉效果将在期望的时间生成。在一个实施例中，触发标记可以是相对高频信号的形式，例如奈奎斯特(Nyquist)频率，具有数个振荡小于一毫秒。在复杂音频流中的这种触发标记不应该被注意到，并因此是编码触发标记的好位置，以指示在重放多媒体文件期间应该播放触觉效果的位置。图4示出多媒体文件中音频流的一个实施例，包括射击和要在射击音频文件中编码的触觉触发标记的六个可能位置。
图5示出由500表示的单音音频信号(在100赫兹)，将在第四周期期间向其增加触觉效果触发标记。图6示出图5的单音音频流500中的编码的触觉效果触发标记600，其位于0.03秒时间处。假定音频数据流500由s(t)表示，并且触发标记或信号600由Tr(t)表示，则
Tr(t)＝sin(2πfenct),其中t∈[0,n/fenc] (1)
在等式(1)，fenc是高频信号，用于音频流的采样频率fs，fenc＝fs/2，或者可替代地，fenc＝fs/4。在等式(1)中的n值是一个整数，其确定编码的信号具有的振荡的数量。所产生的编码信号通过期望触发的特定位置将Tr(t)增加到s(t)而获得。
senc(t)＝s(t)+Tr(t),其中t∈[tinit,tinit+n/fenc] (2)
在等式(2)，tinit是期望触发的起始位置。在第四振荡(在0.03秒)使用fenc＝fs/4的触发的编码产生在图7A-8所示的图表。
图7A示出单音音频信号500的初始20毫秒帧，其不包含编码的触觉信息，以及图7B示出第二20毫秒帧，其包含被编码的触觉信息600。原始音频信号由500表示，并且在fenc使用带通过滤器时的过滤后的信号由700表示。图8示出图7A和7B的过滤后信号的功率谱。表800对应于图7A第一帧中过滤后的音频信号700，以及表810对应于图7B第二帧中具有编码的fenc信号的过滤后的音频信号。
图9示出用于在重放期间编码触觉触发和解码触觉触发的方法900的一个实施例。在910，来自原始音频信号的内容被在fenc去除。从原始音频信号去除fenc内容可以确保触觉信息被正确编码，而频率没有遮蔽原音频流。可以使用具有中心频率fenc的阻带过滤器去除该内容。在920，触觉触发标记可使用fenc被增加到内容位置。为了解码触觉信息，可以使用逆方法。例如，在930，每个帧可使用带通过滤器在fenc过滤，并且在940，如果fenc频率被发现，触觉效果将被创建、播放、输出等。
当效果被存储在诸如上述电子存储器119的库中时，可被编码的其它信息包括效果的幅度和频率、效果持续时间、效果类型和效果的数量。本文讨论的方法可使用一个以上的频率以编码信息来完成，和一组以上的过滤器来编码/解码数据。使用一个以上的振荡将使信号在编码时更强，但可能会导致听觉失真。如果音频能被实时处理，则在音频流被发送到扬声器190之前，编码后的触觉信息被从音频数据流去除，使得收听者检测到没有听觉失真。
根据本发明的实施例，与电子装置100分离的扬声器可将叠加在音频信号上的触觉信息发送到配备有音频接收器的触觉装置，诸如麦克风、在扬声器附近，并生成触觉效果。通过使用音频信号来承载触觉输出信号和扬声器以经由接收器将触觉信息传送到触觉装置，可以消除对用于传送承载触觉信息的信号到便携式装置的数据网络连接性(例如，WiFi、蓝牙、蜂窝网络等)的需要。
在一个实施例中，使用在例如图10所示的方法1000，触觉信号形式的触觉信息可以通过使用扬声器和接收器(例如麦克风)之间的高频听不见范围而被传送到触觉装置。在1010，利用触觉装置的接收器接收包括音频信号和触觉信号的多媒体信号。接收器可以是位于触觉装置上的麦克风。触觉信号可以具有比音频信号高的频率。在1020，基于多媒体信号中的触觉信号的触觉效果由触觉装置的触觉输出装置输出。
触觉装置可以是收听者在收听音频信号时与之接触的任何电子装置，诸如智能电话、或可佩戴在手腕、手、头上、脖子周围、腰部周围的可佩戴装置等。例如，触觉装置可以是上述的电子装置100，其包括触觉输出装置160和音频接收器180。在一个实施例中，触觉装置可以是收听者在收听音频信号时与之接触的一件家具的一部分，如椅子、沙发等。
在一个实施例中，当例如打进一球、运动员跑的步速等某些事件发生时，体育场中的扬声器可广播相关的触觉信号。对应于事件的触觉效果可在观看者的智能手机、可佩戴装置、座位等上生成，由此使观看比赛的体验更加沉浸。在一个实施例中，观看者可以选择接收针对与以下相关的事件专用/设计的触觉提示，如队中的一个、某运动员、或场地中的对象/设备，诸如球网、足球中门柱或横木等。在一个实施例中，专为电影院中播放的电影的某些场景设计的触觉提示可以包含在声轨上并触发观众的听筒或座位上的触觉效果。在一个实施例中，安静的触觉效果，对应于整个管弦乐队播放的音乐或单个音乐家，在音乐会期间可以被传达到观众成员的听筒、可佩戴装置或座位以增强/加强体验。在一个实施例中，在演示期间，当讨论演示的一个重要部分时，演示者的膝上型电脑可以发送触觉警示以捕捉观众的注意力。在一个实施例中，各种类型的触觉效果可传送到在商场中某店铺附近的人们。在一个实施例中，看电视或收听收音机的人可以通过诸如智能电话、可佩戴装置的手持电子装置或人接触的家具接收触觉效果。
本文中所描述的实施例表示多个可能的实现和例子，而非意图一定使本公开限于任何特定实施例。相反，如本领域的普通技术人员将理解的，可以对这些实施例进行各种修改。任何这种修改意在于包括在本公开的精神和范围内并且受到下面权利要求书的保护。

Claims (20)

1.一种用于在包括音频流的音频文件内编码触觉信息的方法，所述方法包括：
以编码频率对触觉触发标记进行编码，所述触觉触发标记与表示存储在电子存储库中的触觉效果的触觉信号相对应；
将所述触觉触发标记在一位置处加入所述音频流，使得在重放所述音频流时在与所述位置对应的时间生成所述触觉效果。
2.根据权利要求1所述的方法，其中，所述编码频率是听不见的高频。
3.根据权利要求1所述的方法，其中，所述音频流具有采样频率，并且所述编码频率是所述采样频率的奈奎斯特频率。
4.根据权利要求1所述的方法，其中，所述触觉触发标记的持续时间小于一毫秒。
5.根据权利要求1所述的方法，其中，所述编码频率包括多于一个的频率。
6.根据权利要求1所述的方法，其中，所述音频流具有采样频率，并且所述编码频率是所述采样频率的函数。
7.根据权利要求1所述的方法，还包括以所述编码频率去除所述音频流的部分。
8.一种用于重放音频文件内的触觉信息的方法，所述音频文件包括音频流，所述方法包括：
使用带通过滤器以触觉触发标记的编码频率对所述音频流进行过滤，以定位所述触觉触发标记；
从电子存储库中检索表示触觉效果并对应于所述触觉触发标记的触觉信号；
在所述音频文件的重放期间，在与所述音频流中所述触觉触发标记的位置相对应的时间生成所述触觉效果。
9.根据权利要求8所述的方法，其中，所述编码频率是听不见的高频。
10.根据权利要求8所述的方法，其中，所述音频流具有采样频率，并且所述编码频率是所述采样频率的奈奎斯特频率。
11.根据权利要求8所述的方法，其中，所述触觉触发标记的持续时间小于一毫秒。
12.根据权利要求8所述的方法，其中，所述编码频率包括多于一个的频率。
13.根据权利要求8所述的方法，其中，所述音频流具有采样频率，并且所述编码频率是所述采样频率的函数。
14.一种触觉输出系统，包括：
音频输出设备，被配置为输出来自音频文件的音频流；
触觉输出设备，被配置为基于触觉信号输出触觉效果；
处理器，配置为：
访问所述音频文件，
使用带通过滤器以触觉触发标记的编码频率对所述音频流进行过滤，以定位所述触觉触发标记；
从电子存储库中检索表示所述触觉效果并对应于所述触觉触发标记的触觉信号；以及
在所述音频文件的重放期间，在与所述音频流中所述触觉触发标记的位置相对应的时间将所述触觉信号输出到所述触觉输出设备以生成所述触觉效果。
15.根据权利要求14所述的触觉输出系统，其中，所述编码频率是听不见的高频。
16.根据权利要求14所述的触觉输出系统，其中，所述音频流具有采样频率，并且所述编码频率是所述采样频率的奈奎斯特频率。
17.根据权利要求14所述的触觉输出系统，其中，所述触觉触发标记的持续时间小于一毫秒。
18.根据权利要求14所述的触觉输出系统，其中，所述编码频率包括多于一个的频率。
19.根据权利要求14所述的触觉输出系统，其中，所述音频流具有采样频率，并且所述编码频率是所述采样频率的函数。
20.一种用于将创作的触觉信息编码到多媒体文件的内容中的方法，所述方法包括：
获得创作的触觉信息，所述创作的触觉信息包括将在重放所述多媒体文件时生成的至少一个触觉效果以及将所述至少一个触觉效果与所述多媒体文件的方面相关联的至少一个呈现提示；
通过改变所述多媒体文件的内容的部分以包括所述创作的触觉信息，将所述创作的触觉信息编码到所述多媒体文件中。
CN201911250930.1A 2013-03-15 2014-03-14 用于编码和解码多媒体文件中的触觉信息的方法和设备 Pending CN111026271A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/842,912 US9992491B2 (en) 2013-03-15 2013-03-15 Method and apparatus for encoding and decoding haptic information in multi-media files
US13/842,912 2013-03-15
CN201410096022.2A CN104049889B (zh) 2013-03-15 2014-03-14 用于编码和解码多媒体文件中的触觉信息的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410096022.2A Division CN104049889B (zh) 2013-03-15 2014-03-14 用于编码和解码多媒体文件中的触觉信息的方法和设备

Publications (1)

Publication Number Publication Date
CN111026271A true CN111026271A (zh) 2020-04-17

Family

ID=50342181

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911250930.1A Pending CN111026271A (zh) 2013-03-15 2014-03-14 用于编码和解码多媒体文件中的触觉信息的方法和设备
CN201410096022.2A Expired - Fee Related CN104049889B (zh) 2013-03-15 2014-03-14 用于编码和解码多媒体文件中的触觉信息的方法和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410096022.2A Expired - Fee Related CN104049889B (zh) 2013-03-15 2014-03-14 用于编码和解码多媒体文件中的触觉信息的方法和设备

Country Status (5)

Country Link
US (3) US9992491B2 (zh)
EP (2) EP2778901B1 (zh)
JP (2) JP2014182816A (zh)
KR (1) KR20140113567A (zh)
CN (2) CN111026271A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113206912A (zh) * 2021-04-26 2021-08-03 瑞声光电科技(常州)有限公司 信息处理方法、装置、电子设备及存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6667987B2 (ja) * 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US20150293590A1 (en) * 2014-04-11 2015-10-15 Nokia Corporation Method, Apparatus, And Computer Program Product For Haptically Providing Information Via A Wearable Device
JP2017531930A (ja) 2014-07-07 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ セカンドスクリーン触覚
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10427040B2 (en) 2015-06-03 2019-10-01 Razer (Asia-Pacific) Pte. Ltd. Haptics devices and methods for controlling a haptics device
US20160366450A1 (en) * 2015-06-12 2016-12-15 Immersion Corporation Broadcast haptics architectures
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
WO2017020115A1 (en) * 2015-08-05 2017-02-09 Eski Inc. Methods and apparatus for communicating with a receiving unit
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
US9883235B2 (en) 2015-10-28 2018-01-30 At&T Intellectual Property I, L.P. Video motion augmentation
US9847000B2 (en) * 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
US9788152B1 (en) 2016-04-01 2017-10-10 Eski Inc. Proximity-based configuration of a device
WO2018061528A1 (ja) * 2016-09-30 2018-04-05 ソニー株式会社 コンテンツ提供システム、制御装置及び受信装置
JP2018092012A (ja) 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018101243A (ja) * 2016-12-20 2018-06-28 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび電気刺激提示方法
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
JP2018185704A (ja) * 2017-04-27 2018-11-22 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび生体電気刺激方法
US10541005B2 (en) * 2017-05-17 2020-01-21 Cypress Semiconductor Corporation Distributed and synchronized control system for environmental signals in multimedia playback
US11069206B2 (en) * 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
JP7155643B2 (ja) * 2018-06-18 2022-10-19 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
US10916105B2 (en) 2018-09-06 2021-02-09 Bank Of America Corporation Processing system for providing enhanced reality interfaces at an automated teller machine (ATM) terminal platform
US10462425B1 (en) 2018-09-07 2019-10-29 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US10755250B2 (en) 2018-09-07 2020-08-25 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
CN109451154B (zh) * 2018-10-31 2021-04-23 维沃移动通信有限公司 一种设置多媒体文件的方法及终端设备
US10984638B1 (en) * 2019-10-17 2021-04-20 Immersion Corporation Systems, devices, and methods for encoding haptic tracks
US20230004340A1 (en) 2019-12-25 2023-01-05 Sony Group Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
WO2023018309A1 (en) * 2021-08-13 2023-02-16 Samsung Electronics Co., Ltd. A method and an apparatus for generating localized vibrations

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1240984A (zh) * 1995-01-25 2000-01-12 Dva公司 具有检查可读盘上空白扇区电路的光盘系统及其操作方法
US20020033795A1 (en) * 2000-01-19 2002-03-21 Shahoian Erik J. Haptic interface for laptop computers and other portable devices
US20030067440A1 (en) * 2001-10-09 2003-04-10 Rank Stephen D. Haptic feedback sensations based on audio output from computer devices
CN101292211A (zh) * 2005-10-19 2008-10-22 伊默生公司 媒体传输流中的触觉效果数据的同步
CN101771869A (zh) * 2008-12-30 2010-07-07 深圳市万兴软件有限公司 一种音视频编解码装置及方法
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
US20120062491A1 (en) * 2010-09-14 2012-03-15 Thales Haptic interaction device and method for generating haptic and sound effects
US20120306631A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP3879510B2 (ja) * 2001-10-11 2007-02-14 セイコーエプソン株式会社 立体表示装置
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US8745132B2 (en) * 2004-09-10 2014-06-03 Silver State Intellectual Technologies, Inc. System and method for audio and video portable publishing system
US10741089B2 (en) * 2004-12-23 2020-08-11 Carl Wakamoto Interactive immersion system for movies, television, animation, music videos, language training, entertainment, video games and social networking
US10152124B2 (en) * 2006-04-06 2018-12-11 Immersion Corporation Systems and methods for enhanced haptic effects
US20090079690A1 (en) * 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US20170188940A9 (en) * 2007-11-26 2017-07-06 Whispersom Corporation Device to detect and treat Apneas and Hypopnea
US8674941B2 (en) * 2008-12-16 2014-03-18 Dell Products, Lp Systems and methods for implementing haptics for pressure sensitive keyboards
JP5094930B2 (ja) * 2009-08-10 2012-12-12 韓國電子通信研究院 イメージに触覚情報を符号化する方法、イメージから触覚情報を復号化する方法、およびこのための触覚情報処理装置
US8624839B2 (en) * 2009-10-15 2014-01-07 Synaptics Incorporated Support-surface apparatus to impart tactile feedback
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8837900B2 (en) * 2010-05-11 2014-09-16 Cisco Technology, Inc. Unintended video recording detection in a video recording device
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
EP2659337B1 (en) 2010-12-31 2021-07-28 Nokia Technologies Oy A display apparatus producing audio and haptic output
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1240984A (zh) * 1995-01-25 2000-01-12 Dva公司 具有检查可读盘上空白扇区电路的光盘系统及其操作方法
US20020033795A1 (en) * 2000-01-19 2002-03-21 Shahoian Erik J. Haptic interface for laptop computers and other portable devices
US20030067440A1 (en) * 2001-10-09 2003-04-10 Rank Stephen D. Haptic feedback sensations based on audio output from computer devices
CN101292211A (zh) * 2005-10-19 2008-10-22 伊默生公司 媒体传输流中的触觉效果数据的同步
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
CN101771869A (zh) * 2008-12-30 2010-07-07 深圳市万兴软件有限公司 一种音视频编解码装置及方法
US20120062491A1 (en) * 2010-09-14 2012-03-15 Thales Haptic interaction device and method for generating haptic and sound effects
US20120306631A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Audio Conversion To Vibration Patterns
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113206912A (zh) * 2021-04-26 2021-08-03 瑞声光电科技(常州)有限公司 信息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20140270681A1 (en) 2014-09-18
US9992491B2 (en) 2018-06-05
JP2014182816A (ja) 2014-09-29
EP3561661A1 (en) 2019-10-30
CN104049889A (zh) 2014-09-17
CN104049889B (zh) 2020-01-03
US10477202B2 (en) 2019-11-12
KR20140113567A (ko) 2014-09-24
EP2778901B1 (en) 2019-06-12
US20200128236A1 (en) 2020-04-23
EP2778901A1 (en) 2014-09-17
JP2019032888A (ja) 2019-02-28
US20180255294A1 (en) 2018-09-06

Similar Documents

Publication Publication Date Title
CN104049889B (zh) 用于编码和解码多媒体文件中的触觉信息的方法和设备
US10909821B2 (en) Spatialized haptic feedback based on dynamically scaled values
US11137828B2 (en) Haptic sensation recording and playback
US9786287B2 (en) Low-frequency effects haptic conversion system
Lee et al. Real-time perception-level translation from audio signals to vibrotactile effects
US20150054727A1 (en) Haptically enabled viewing of sporting events
JP2017005709A (ja) ブロードキャスト用ハプティクスアーキテクチャ
WO2021262453A1 (en) Methods and systems for decoding and rendering a haptic effect associated with a 3d environment
CN113508354A (zh) 显示环境的表示
Li et al. Towards context-aware automatic haptic effect generation for home theatre environments
CN113632060A (zh) 用于指示在虚拟空间中呈现的音频内容的可听性的设备、方法、计算机程序或系统
CN112912822A (zh) 在混合现实环境中控制支持音频的连接设备的系统
JP2016213667A (ja) 感覚提示装置
CN114647306A (zh) 触觉内容呈现和实现
Danieau et al. Enhancing audiovisual experience with haptic feedback: A review on HAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200417

WD01 Invention patent application deemed withdrawn after publication