CN101828382B - 媒体传输流中的触觉效应数据的同步 - Google Patents

媒体传输流中的触觉效应数据的同步 Download PDF

Info

Publication number
CN101828382B
CN101828382B CN2008801119824A CN200880111982A CN101828382B CN 101828382 B CN101828382 B CN 101828382B CN 2008801119824 A CN2008801119824 A CN 2008801119824A CN 200880111982 A CN200880111982 A CN 200880111982A CN 101828382 B CN101828382 B CN 101828382B
Authority
CN
China
Prior art keywords
frame
data
haptic
timestamp
media file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801119824A
Other languages
English (en)
Other versions
CN101828382A (zh
Inventor
克里斯托弗·J·乌尔里希
史蒂芬·D·兰克
穆尼波·M·巴克尔哲奥卢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN101828382A publication Critical patent/CN101828382A/zh
Application granted granted Critical
Publication of CN101828382B publication Critical patent/CN101828382B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047—Vibrating means for incoming calls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/048—Arrangements providing optical indication of the incoming call, e.g. flasher circuits

Abstract

识别媒体文件的一系列帧中的触觉信息，并根据嵌入在媒体文件前面或后面的标签中的信息来确定与其相对应的时间戳。基于在标签的一个或多个帧中的信息来使触觉效应信息自动地与媒体文件同步，由此，致动器以与媒体文件的相应音频和/或视频内容同步的方式来输出标签中所定义的触觉效应。

Description

媒体传输流中的触觉效应数据的同步
技术领域
在此描述的主题涉及使触觉效应与媒体文件中的音频和/或视频内容数据同步。
背景技术
为改进用户和机器间的接口，近年来，将触觉效应并入接口连同音频和/或视频媒体内已经变得越来越普遍。诸如振动的触觉效应能由用户感受到，以及通常可能与事件触发有关，诸如按压设备上的按键或播放通知来电的振铃音或在手机上接收到文本消息等等。通常，媒体重放能与振动互补。然而，当播放触觉信号和媒体信号超过一段时间时，实现触觉效应的常规方法具有一些问题。
一个这样的问题是需要使触觉信号和诸如视频和/或音频信号的其他媒体信号之间的同步重放。通常，音频引擎、视频引擎和触觉引擎在不同时钟上操作。在触觉、视频和/或音频信号的重放期间，通常没有内置同步机制。尽管例如在重放开始时，触觉信号和媒体信号可以在彼此的几毫秒内开始，并且同样充分地同步，但在相当短的时间段中，这些信号通常会偏离同步。
另一个这样的问题是可能难以随机地接入具有媒体和触觉信号两者的媒体传输流中的点。换句话说，当用户在任意点开始媒体传输流的一部分的重放，而不接入在媒体传输流中的该点前可能出现的任何数据时，难以使触觉信号与媒体信号同步。
同样地，所需要的是一种使触觉效应与其他媒体(例如，音频和/或视频)同步的解决方案，该方案能在或从包含触觉和媒体信息两者的媒体传输流中的任何点操作。
发明内容
识别在媒体文件的一系列帧中的触觉信息，以及根据嵌入媒体文件前、媒体文件内或附接媒体文件上的标签中的信息来确定与其相对应的时间戳。基于在标签的一帧或多帧中的信息，使触觉效应信息与媒体文件同步，由此，致动器以与媒体文件的相应的音频和/或视频内容同步的方式来输出在标签中定义的触觉效应。
从下面阐述的详细描述、附图和权利要求，附加特征和益处将变得显而易见。
附图说明
并入该说明书中并构成该说明书的一部分的附图图示了一个或多个实施例，并且与详细的描述一起用来解释实施例的原理和实现。
在图中：
图1是图示根据实施例的用于编码、传送和解码包括触觉信息的媒体传输流的系统的框图；
图2是图示根据实施例的用于从媒体传输流识别媒体和触觉组件的系统的框图；
图3是图示根据实施例的用于使触觉组件与其他媒体组件同步的设备的框图；
图4是图示根据实施例的使视频、音频和触觉信号的重放同步的方法的时序图；
图5是图示根据实施例的解析成连续帧的触觉信号的图；
图6是图示根据实施例的包含触觉信息的触觉帧的框图；
图7是图示根据实施例的引起触觉效应的波形的图；
图8是图示根据实施例的用于使触觉效应与媒体组件同步的过程的流程图；
图9是图示根据实施例的用于与该系统一起使用的文件的标记方案的图；以及
图10是图示根据实施例的系统的框图的图。
具体实施方式
在用于传送包括触觉信息的媒体传输流的方法、系统和装置的背景下，在此描述了各实施例。本领域的普通技术人员将意识到下面的描述仅是说明性的，并不意在以任何方式限制。受益于本公开的这样的技术人员将容易想到其他实施例。现在，将详细地参考如在附图中图示的示例实施例的实现。在整个附图和下面的描述中，将使用相同的参考指示符来表示相同或类似的项目。
为了清楚，没有示出和描述在此所述的实现的所有例行特征。当然，将理解到，在任何这样的实际实现的开发中，必须做出许多实现特定的决定，以便实现开发者的特定目标，诸如遵守应用和商业相关约束，并且这些特定目标将因实现方法不同和开发者不同而改变。此外，将理解到，这样的开发努力可能复杂且耗时，但对受益于本公开的本领域的普通技术人员来说，不过是例行工程任务。
根据该公开，可以使用各种类型的操作系统、计算平台、计算机程序和/或通用机来实现在此描述的组件、过程步骤和/或数据结构。另外，本领域的普通技术人员将意识到，在不背离在此公开的本发明概念的范围和精神的情况下，也可以使用不太通用性质的设备，诸如硬布线设备、现场可编程门阵列(FPGAs)、专用集成电路(ASICs)等等。应当理解，短语“实施例”包含不止一个实施例，并且因此不仅限于一个实施例。在由计算机或机器实现包括一系列过程步骤的方法并且那些过程步骤能存储为可由机器读取的一系列指令的情况下，可以将它们存储在有形介质上，诸如计算机存储设备(例如，ROM(只读存储器)、PROM(可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、闪存、跳线驱动等等)、磁存储介质(例如，磁带、磁盘驱动等等)、光存储介质(例如，CD-ROM、DVD-ROM、纸卡、纸带等等)和其他类型的程序存储器。
在实施例中，该系统针对使触觉效应轨与包含在多轨媒体传输流中的其他媒体轨同步，以生成同步的多媒体效应。在实施例中，该系统利用在媒体文件的头部中的同步数据来确保使触觉效应与文件中的媒体内容同步。将单独地描述这些实施例以确保清楚，但应当注意到，该系统及其组件对所有实施例是公用的，并且所描述的说明书的细节适用于所有实施例。
通常，实施例针对在终端单元或设备处接收具有触觉数据的媒体数据的多轨数据流，由此识别流中的一系列帧中的触觉信息的系统。另外，根据嵌入媒体传输流中的主时间码信号，确定与其相对应的时间戳。向包含触觉信息的每个媒体传输流分配时间戳，使得它将用于响应于该时间戳而在适当时间激活致动器，以根据该触觉信息生成触觉效应。时间戳允许使触觉帧与媒体流中的音频和/或视频数据同步，使得相对于媒体数据在适当的时间感到触觉效应。
图1是图示根据实施例的用于编码、传送和解码流线化媒体传输文件的系统100的框图。系统100包括发射机102、接收机104和通信介质106。在示例中，发射机102是移动电话、个人数字助理(“PDA”)、个人计算机(“PC”)、服务器、家庭娱乐中心、数码相机或能够在有线或无线陆地或蜂窝网络上传送媒体文件的任何其他数字处理设备。应当注意，在实施例中，媒体流存储在有形媒介上，诸如DVD、CD、CDROM、硬驱动、闪速驱动、RAM或其他存储设备，由此，通过接收机104从所存储的信息中检索数据。
媒体帧包括但不限于视频、音频和/或触觉帧。还应当注意，视频和/或音频帧可以包括在媒体流中，并不一定限于嵌入媒体流中的两种类型的内容。如下所述，在实施例中，系统能够利用写在音频文件(例如MP3)的标签中的触觉事件数据，由此终端单元能够在读取所接收到的音频文件的标签后输出触觉反馈。在另一实施例中，系统能够利用写在音频和视频文件(例如MP4)的标签中的触觉事件数据，由此终端单元能够在读取所接收到的文件的标签后输出触觉反馈。
在实施例中，如图1中所示，将音频、视频和触觉数据单独地从发射机102流送到接收机104。如图1所示，在实施例中，发射机102包括编码器116、视频块110、音频块112和触觉块114。在一实施例中，发射机102不包括视频块110，而是只有音频块112和触觉块114。视频块110源自一系列视频帧，并且音频块112源自一系列音频帧。触觉块114源自一系列触觉帧。在一实施例中，视频和/或音频块源自一个位置，而触觉帧源自另一位置。在另一实施例中，所有音频/视频和触觉帧源自一个位置。
在实施例中，编码器116例如能够从视频块110生成视频帧，从音频块112生成音频帧，以及从触觉块114生成触觉帧，并且根据例如诸如运动图像专家组压缩标准版本4(“MPEG-4”)、MP3(仅音频)等等的市售媒体传输协议将它们集成到媒体传输流中。换句话说，视频帧和/或音频帧以及触觉帧被编码或封装到媒体传输流中，并且随后在通信介质106上将媒体传输流传送到用户指定的目的地或终端单元。尽管对所有块示出了一个编码器，但是预期将每个块或者一个或多个块耦合到各自的编码器。应当注意，将定时的触觉信息集成到各个帧中可以适用于任何媒体传输流格式，并且不限于特定文件类型、协议、软件环境或媒体层硬件环境。
媒体传输流是从发射机102传送的并且由接收机104连续接收的一系列数据分组，由此数据分组不一定存储在接收端中。该示例是来自远程服务器的视频和/或音频的典型互联网流送。在另一实施例中，压缩或加密由媒体传输流传输的触觉信号以增强数据安全。
通信介质106可以是线路(有线)通信介质、无线通信介质或混合有线和无线通信介质。来自视频块110的视频帧和来自音频块112的音频帧分别形成视频组件和音频组件，或共同形成媒体传输流的媒体组件。触觉帧形成媒体传输流的触觉组件。
接收机104能够在通信介质106上接收媒体传输流。在示例中，接收机104或终端单元是移动电话、个人数字助理(“PDA”)、个人计算机(“PC”)、服务器、麦克风、家庭娱乐中心，或能够在有线或无线网络上接收媒体文件和输出触觉反馈的任何其他数字处理设备。在实施例中，接收机104包括一个或多个解码器126、视频块120、音频块122和触觉块124。在一实施例中，视频块120、音频块122和触觉块124用于分别存储视频帧、音频帧和触觉帧。再次地，在一实施例中，接收机104不包括视频块120，而仅包括音频块122和触觉块124。
在接收到媒体传输流后，接收机104解析来自媒体传输流的视频帧、音频帧和触觉帧，并将视频帧发送到视频块120，将音频帧发送到音频块122，以及将触觉帧发送到触觉块124。应当注意，视频块110中的视频帧、音频块112中的音频帧、以及触觉块114中的触觉帧基本上包含分别与视频块120中的视频帧、音频块122中的音频帧、以及触觉块124中的触觉帧类似的信息。应当进一步注意，视频块110中的视频帧、音频块112中的音频帧、以及触觉块114中的触觉帧在适当的情况下可以具有与相应的视频块120中的视频帧、音频块122中的音频帧，以及触觉块124中的触觉帧不同的数据格式，尽管它们可以包含类似的信息。应当注意，尽管在图1中示出了一个解码器，但预期每个块可以耦合到它自己的各个解码器或与另一块共享解码器。应当注意，将定时的触觉信息与各种帧集成可以适用于任何媒体传输流格式并且不限于特定文件类型、协议、软件环境或媒体播放硬件环境。还应当注意，发射机102和接收机104可以是都包含用于发射和接收的类似能力的类似设备。
图2是图示根据实施例的用于识别媒体传输流的媒体组件和触觉组件的接收系统200的一部分的框图。系统200包括媒体播放器202、媒体同步(sync)层204和数据库或存储贮存器220。总线230用于在媒体播放器202和数据库220之间传输数据，并且总线232用于在媒体播放器202和媒体同步层204之间传递信息。媒体同步层204经由各个总线234-238进一步耦合到视频编解码器206和/或音频编解码器208以及触觉单元210。视频编解码器206和音频编解码器208可以是用于压缩和解压缩数字信息的软件组件、硬件设备或硬件和软件组件的组合。在一个实施例中，设备200是终端单元本身(例如移动电话)。在另一实施例中，设备200存储在远程服务器或其他组件上，由此设备200充当提供媒体流的源和终端单元之间的中间节点。
在实施例中，包括视频和/或音频以及触觉信息以及用于整个时间线的主时间码的帧集合被传送到系统200，由此数据流至少临时存储或缓存在存储器220中。媒体播放器202从存储器220接收所存储的数据，并提取在媒体传输流中传送的音频和/或视频数据和触觉数据或帧。媒体播放器202可以被编程以处理特定媒体传输流格式或多种预定义的流和扩展，诸如MP3、MP4、AAC、Ogg Vorbis、asx等等。
在由媒体播放器202提取了媒体数据和触觉数据后，媒体同步层204接收内容，并通过在由主时间码或在传输媒体流中接收到的定时表指定的时间将每个媒体类型的帧递送到适当的编解码器，使所提取的媒体内容同步。媒体同步层204读取每个触觉帧的时间戳或初始时间。这些时间戳与主时间码进行比较，并用于将触觉效应定时和定义发送到触觉单元210，以在适当的时间激活致动器(或多个致动器)。每个触觉帧被分配有应当由媒体播放器根据主时间码510在适当时间播放相关联触觉效应(多个)的初始时间或时间戳520。在一实施例中，时间戳520没有被分配给不包含触觉信息的帧。例如，数据(基)省略不包含触觉信息的帧。在一实施例中，基于其他媒体组件，根据预定义的算法来生成与触觉信息相关联的时间戳。在另一实施例中，鉴于其他媒体组件，根据来自用户的组合输入和预定义算法可以生成与触觉信息相关联的时间戳。
图3是图示根据实施例的系统200的另一部分的框图。图3中所示的设备300优选是终端单元104中的媒体同步层202的一部分，并且确保与时间戳触觉组件相关联的物理触觉效应对应于媒体组件。在一实施例中，设备300与图2中的部分200分开。在一实施例中，设备300是基于硬件和基于软件的。在一实施例中，设备300包括应用编程接口(“API”)306、内核308和触觉电路314。内核308示为进一步包括振动发生器(“VG”)312、触觉重放引擎(“HPE”)310。尽管振动发生器312和触觉重放引擎310示为内核308的一部分，但是预期振动发生器312和触觉重放引擎310是与内核308分开的模块。另外，部分300包括耦合到触觉电路314的一个或多个致动器。预期任何类型的致动器346可以用于该系统中。应当注意，尽管设备300示为包括以上组件，但是附加和/或替代组件是可预期的。
API 306向内核30825传送最终用来以与在帧中定义的触觉信息一致的方式来操作致动器346的低级别命令。在实施例中，HPE 310经由总线358、经由API 306，根据从触觉单元210接收到的数据，在触觉事件中调度。VG 312根据从API 306接收到的触觉信息使触觉效应同步，并且将用来操作致动器346的控制信号提供给触觉电路314。内核308经由连接360进一步耦合到触觉电路314。在示例中，触觉电路314是配置成经由连接362来驱动致动器346的放大器。触觉电路314可以是模拟或数字电子电路和/或可以是基于软件的。
API 306的功能是相对于相应的音频和/或视频数据在正确的时间启动触觉效应。这是由于每个触觉帧是不依赖于其前或其后的其他触觉帧的自包含触觉效应。具有自包含触觉帧的优点是当使用设备300时允许用户随机地接入触觉帧或媒体帧，并确保系统将仍然能够生成包括图像、声音和触觉效应的同步的多媒体输出。这在下文更详细地进行讨论。
图4是图示根据实施例的使视频、音频和触觉信号的重放同步的方法的时序图400。时序图400图示了嵌入媒体传输流中的主时间码402、媒体传输流的视频组件404、媒体传输流的音频组件406和媒体传输流的触觉组件408。主时间码402嵌入媒体传输流中并可以由媒体播放器从媒体传输流中提取。在实施例中，主时间码402是具有一系列时间戳的时间线，诸如t0，t1，t2等等，该时间线与音频和/或视频数据无关。然而，预期媒体文件中的音频和/或视频组件包括可以用作主时间码402的时间戳。
图4中的视频组件404包括多个顺序视频帧，诸如帧40V...nV。音频组件406包括多个顺序音频帧，诸如帧40A、42A...nA。触觉组件408也包括多个顺序触觉帧，诸如帧40H、42H、44H、46H...nH。应当注意，“n”是整数值。如图4中所示，使视频组件404、音频组件406和触觉组件408均与主时间码402同步。特别地，40V的视频帧从时间t0持续到t4。比较起来，音频帧40A和42A出现在从时间戳t0到t4的流中。另外，触觉帧40H、42H、44H和46H出现在从时间戳t0到t4的流中。
尽管在视频、音频和触觉帧之间帧格式可能不同，但是将根据公用协议来配置组件内的帧。在一个实施例中，触觉帧40H基本上与触觉帧42H有相同的数据大小。在另一实施例中，由40H和42H覆盖的时间间隔分别是例如200ms，但它们的物理存储范围可能不同。预期除200ms外的其他时间间隔也是预期的。应当注意，在实施例中，与物理数据容量相比，触觉帧大小由时间长度来确定。应当注意，尽管音频帧406示为具有相等长度，但音频帧可以具有不同长度。同样也适用于视频和触觉帧。
返回参考图4，在时间戳t0处，触觉帧40H、音频帧40A和视频帧40V基本上同时开始重放。尽管触觉帧40H在时间戳t1完成播放，但在触觉帧40H中定义的触觉效应可以被配置成在时间t1后继续播放。例如，帧40H中的触觉效应可以是时间长于时间t0和t1间的时间的振动。如果这种情况发生，则一个或多个致动器继续输出先前的触觉效应，同时以重叠方式输出后面的触觉效应。
在时间戳t1处，触觉帧42H开始输出。应当注意，播放触觉帧42H的初始时间或时间戳对应于从主时间码确定的时间。将时间戳分配给触觉帧允许触觉帧(例如帧42H)开始重放，而与诸如帧40H的在前触觉帧完成播放的时间无关。因此，如果在时间戳t1之前触觉帧40H已经完成播放，则将不播放触觉效应，直到在时间戳t1播放触觉帧42H为止。在时间戳t2，将播放触觉帧44H和音频帧42A。在时间戳t3处，将输出触觉帧46H，尽管已经播放视频帧40V和音频帧42A。
将时间戳编码到内容数据404-408使得用户能够在时间线中的任何点接入特定一条内容，并且仍然经历与所选择的内容相关联的同步触觉效应。因此，在用户选择音频帧nA后，系统将自动地播放与该音频帧nA相对应的关联触觉效应nH。在用户转发文件以收听特定音频曲调(例如大鼓)或查看特定视频图像(例如爆炸)的情形下，这将是有利的，由此系统播放分配给该特定一条内容帧的触觉效应(例如摇动)。
在实施例中，如果用户要快进到图4中的时间tn，则系统将等待直到播放下一触觉帧nH之前的时间tH为止。在那之前，在那一实施例中将不播放触觉效应。类似地，播放器将等待直到在播放下一音频帧nA之前的tA为止，在这一实例中，tA等同于tH。类似地，播放器将等待直到tV为止，以播放下一视频帧nV。
在实施例中，设备允许媒体同步层204指定在确切的时间tn开始重放，在这种情况下，媒体同步层204向触觉单元210传送触觉帧(n-1)H并指定tn-(t-1)H的时间偏移。然后，当尝试重放帧(n-1)H时，触觉单元210将该时间偏移传送给API 306。预期该系统可以被配置成通过将设置的帧数存储在缓冲器中来播放所选择的帧的一个或多个正好在前触觉帧(或其一部分)，由此用户能够在确切的重放点体验触觉效应或触觉效应的一部分。
在实施例中，触觉帧被配置成包含在此定义的一个或多个触觉效应。在触觉帧中提供定义和调度这些触觉效应的参数，由此系统解译触觉参数并指示致动器从所定义的参数来播放触觉效应。例如，所定义的参数能够使播放器偏移帧内待重放的至少一个触觉效应。换句话说，触觉效应之间的时间偏移相对于定义它们的参数的特定帧的开头，而不是文件或媒体传输流的开头。调度帧内的各个效应是播放声音、图像和触觉效应的设备的责任。例如，媒体播放器的类型、网络连接、致动器的类型和/或设备的大小可以基于终端设备的细节来规定应当如何调度触觉效应。由于设备的同步层调度视频、音频和触觉帧的重放，所以可以在每个帧的开始而不是整个文件或流的开始来校正不同媒体之间的任何偏差。
图5是图示根据实施例的在一系列连续帧上解析的触觉效应的图500。图500包括主时间码510和与主时间码510同步的触觉组件512。触觉组件512进一步包括多个触觉帧502，504，506等等。每个触觉帧表示和占用固定长度的时间，并且封装与该固定长度的时间相关联的多个触觉效应。由主时间码510来确定诸如t0和t1的时间线和时间戳。
在实施例中，由设备使用主时间码510来协调对文件所接收到的所有帧或数据分组的接收和重放。在实施例中，在用户的正常操作期间，可以选择和固定帧的时间长度。在实施例中，根据数据的性质和用户的偏好来使用100至300ms(毫秒)的帧长度的范围。在一些具体操作中，可以使用1ms帧长度来满足一些极其严格的同步要求。应当注意，与1ms帧长度相关联的成本可能很高，因为它要求明显增加的带宽使用。在实施例中，在文件中设置和嵌入主时间码的帧长度，并且因此用户或设备300不能改变该帧长度。应当注意，帧长度可以预期并且不限于上述的那些值。
通常，更长的帧长度意味着更少的帧需要与媒体效应同步，这暗示更大可能使触觉效应不与音频和/或视频同步。另一方面，尽管更短的帧长度提供与音频和/或视频更好和更严格同步，但要求更多的处理能力和更高的网络带宽来处理触觉和媒体效应之间的增加的同步过程。
在实施例中，触觉帧大小可以是8，16，25，32，64，128或256字节，取决于触觉效应的复杂性。例如，一些触觉帧分别包括振动声和/或与特定声音有关的振动-视频数据和/或视频帧。在一实施例中，触觉帧包含再现至少一个触觉效应所需要的信息和指示触觉效应的起始时间的时间戳。应当注意，如果触觉信息未出现在帧中，则可以省略触觉帧。
图6是图示根据实施例的包含触觉信息的触觉帧600的框图。在实施例中，使用触觉信息来定义将在帧内播放的每个触觉效应。触觉信息包括在帧长度的持续时间期间实现触觉效应或一系列触觉效应所需要的各种参数，诸如强度/幅度、持续时间、周期性、开始-延迟、攻击强度、攻击定时、衰减强度、衰减定时等等。持续时间参数用于指定致动器将播放触觉效应多长时间。触觉效应的开始-延迟参数指示从帧或时间戳开始触觉效应将等待多久才能播放。在示例中，触觉效应可以是周期性的，并且周期性参数定义了这样的周期性。在实施例中，触觉效应信息使用非参数编码。在实施例中，这样的编码可以包括一系列8位致动器控制值，以应用于在每8位值5ms的持续时间中控制施加在致动器引线两端的瞬时电压的脉宽调制器。如果每个触觉帧表示200ms的触觉重放时间，那么每个触觉帧将包含正好40个字节的数据。触觉信息也可以包括包络信息，它用于通过设置用于一些触觉效应的边界来控制触觉效应。
图6中所示的触觉帧600是触觉帧的示例性布局，它包含触觉效应定义部610和一系列调用触觉效应指令612-616。在实施例中，触觉效应定义部610包括控制信息，诸如持续时间参数、停止时间、起始时间和起始-延迟参数。每个调用触觉效应612-616可以包含有关幅度、攻击强度、衰减强度和将播放的特定类型的触觉效应的信息。因此，每个触觉帧600提供与分配的时间戳相对应的起始和停止时间，并且还保持有关将由致动器输出什么类型的触觉效应(多个)的信息。应当注意，触觉帧能够同时启动一个或多个触觉效应。应当进一步注意，在触觉帧的帧长度或时间间隔外，触觉效应还可以继续播放。在实施例中，触觉效应定义部610可以通过指示控制触觉效应开始进入帧中多远的偏移参数来指定将播放触觉效应的时间偏移(例如，时间戳后，开始振动5ms)。
图7是图示根据实施例的与触觉效应相关联的波形701的图700。特别地，x轴表示时间，而y轴表示致动器输出的力的幅度或强度。波形701使用几种不同的频率来使用户感觉到触觉感觉。波形701的触觉效应持续如702所示的持续时间，在此期间，存在攻击时间704、正常时间708和衰减时间706。在一个实施例中，持续时间702等于或小于触觉帧的时间间隔。在另一实施例中，持续时间702长于触觉帧的时间间隔。开始时的触觉效应的强度由“攻击级”709指定。从正常时间708开始，触觉效应的强度改变成“幅度”级710，并且在衰减时间706结束时，它变成衰减级712。替代地，还可以从0幅度触觉效应测量衰减级712。应当注意，图中所示的波形是示例，并且可以预期几种不同类型的已知波形。
频率周期或周期类型可以是恒力、方波、三角波、正弦波、锯齿波、倒锯齿波或上述波形的任何组合。应当注意，不同频率周期提供不同的触觉反馈。例如，波形701可以在0.1Hertz至1000Hertz的范围内，其中不同频率提供不同的触觉感觉。
操作中，根据它的攻击级709、攻击时间704、衰减级712和衰减时间706来定义由波形701引起的触觉效应。当到了执行波形701的时间时，执行过程指定基本强度或触觉效应的“幅度”、它的持续时间，是否周期性地播放，并且如果是，则多久将重新开始。定义触觉效应的信息出现在每个触觉帧中，并且如在实施例1-3中，当触觉和内容数据被单独流送时，被顺序地下载到播放设备。在下述另一实施例中，将触觉效应存储在内容文件的文件头部的帧中。应当注意，波形701仅是示例，并且本领域的普通技术人员将易于理解到可以以多种方式来定义这样的触觉效应。
对图1-3中所述的实施例，该系统利用各种处理步骤来使触觉帧的输入流与内容帧同步。在此描述的步骤可以嵌入机器或计算机可执行指令中。这些指令进而可以用于使通过这些指令编程的通用或专用系统执行在此描述的各步骤。替代地，可以由包含用于执行步骤的硬布线逻辑的特定硬件组件，或由编程的计算机组件和定制的硬件组件的任何组合来执行在此描述的各步骤。尽管参考无线通信网络描述了实施例，但是在此描述的方法和装置同样适用于包括有线的其他网络基础设施或其他数据通信环境。
图8是图示根据一实施例的用于使触觉效应与其他媒体组件同步的过程的流程图。在框802，该过程识别在媒体传输流中的至少一个触觉帧中的触觉信息。在一实施例中，该系统识别接收时的一系列视频、音频和触觉帧。在一实施例中，这由媒体播放器来执行。
在框804，该系统根据主时间码来确定时间戳以分配给帧。如上所述，在一实施例中，主时间码可以嵌入媒体传输流中。在一实施例中，与视频和/或音频流相关联的时间码可以用作主时间码。如上所述，时间戳是系统用来触发执行在触觉帧中定义的触觉效应的时间点。
在框806，系统将时间戳分配给触觉帧，其中，时间戳指示何时激活一个或多个致动器以根据存储在触觉帧中的触觉信息来生成触觉效应。优选的是，使分配给触觉帧的时间戳与相应的音频和/或视频帧同步和对齐。而且，如上所述，系统能够分配子时间戳，它们是单一触觉帧内的时间戳的偏移。在一实施例中，在将触觉效应设计成媒体文件时，执行框804-806。
在框808，该过程解译在每个触觉帧中存储的触觉效应信息，以确定对特定帧要输出的触觉效应的类型。在一个实施例中，系统响应于视频和/或音频信息来编码触觉效应信息。在另一实施例中，该过程响应于几个预定义算法中的一个来编码触觉效应信息。应当注意，每个触觉帧可以包含在特定触觉帧内的不同时间开始的多个触觉效应。应当进一步注意，系统能够根据触觉效应信息来激活一个或多个致动器，并且还根据它的关联的时间戳来保持触觉效应。
如上所述，系统被配置成接收媒体数据和触觉数据的多个流，由此系统将时间戳分配给触觉帧并且使触觉帧与即时数据流同步以产生连带性(cohesive)触觉体验。在另一实施例中，系统能够从嵌入媒体传输流的头部标签中的触觉信息来输出触觉效应，由此使触觉效应与文件中的音频和/或视频同步。特别地，系统可以被配置成利用嵌入媒体传输流中的现有的标记方案，一个示例是ID3V2标记方案。系统能够解译存储的触觉信息，以及从读取优选地在文件中的数据前面的头部标签来使触觉信息与文件中的其他媒体信息同步。本说明书使用ID3V2标记方案来描述发明实施例，但是应当注意，可以预期其他标记方案和解决方案(例如ID3V1，Lyrics3)。
通常，标记方案使用作为前置于媒体文件的数据块的标签，由此标签保持一个或多个更小的帧块。如图9所示，标签可以包括任何类型的信息，诸如标题、相册、表演者、网站、lyric、均衡器预置、图片等等。在实施例中，每个帧可以是16MB，并且整个标签可以是256MB，尽管帧大小不限于这些值。在实施例中，标签的格式是允许添加新的帧的容器格式(例如IFF、PNG扩展)。另外，当文件流送到终端单元时，将标签放在内容数据前面或之前允许系统利用该标签及其嵌入信息。在实施例中，标签位于数据内容之后，由此，系统能够从标签数据有效地再现同步的触觉效应。
在实施例中，使用软件程序，通过编程员或管理员将具有触觉信息的标签直接嵌入其中。将所嵌入的标签连同相应的媒体文件902发送到接收终端单元(图1)或服务器或其他存储装置，用于以后下载到接收终端单元104。在实施例中，包括触觉信息和同步信息的标签的相关部分或标签本身存储在与Gracenote的Compact Disc DataBase CDDB类似的远程数据库上，然后在从终端设备104请求之后递送到接收终端单元104。在实施例中，终端设备104可以将来自所接收到的头部帧的信息与存储在终端设备104上的内容数据组合，由此由终端设备处理和输出该组合，以产生与媒体数据同步的触觉效应。
图9图示了根据实施例的媒体文件的标签的示意图。图9中的媒体文件900包括媒体内容数据902，媒体内容数据902包括音频和/或视频数据。在实施例中，所示的附接到媒体数据文件902的前面的是头部标签904，由此头部标签904可以包括专用帧906、信息帧908、lyrics帧910、图片帧912、注释帧914和编程人员希望插入的任何其他附加帧916。应当注意，标签不限于所示的帧，预期附加和/或替代帧与媒体文件900一起使用。另外，预期不止一个特定帧可以出现在头部标签904中(例如，两个lyrics帧910，两个图片帧912等等)。尽管在此主要将标签描述为在音频/视频数据前，但预期可以将标签放在音频/视频数据后或在音频和视频数据的分组之内或之间。
以二进制格式存储专用帧906，由此可以编程专用帧以通知终端单元中的媒体播放器将输出用于相应附加媒体文件902的触觉效应。在实施例中，可以编程专用帧以在其中直接包括同步信息和用于每个触觉帧的触觉信息。同步信息可以包括时间戳信息，由此，媒体播放器读取专用帧中的数据，并且输出与音频和/或视频数据同步的相应触觉效应。在实施例中，用于每个帧的同步信息被存储在元数据中，由此，每个帧包含用于在帧中存储的每个参数化振动定义的时间偏移。例如，特定帧(例如帧A)可以具有在600ms设置的时间戳。同步信息可以指示相对于用于帧A的时间戳的开始，触觉效应的偏移将在50ms和185ms开始。因此，当播放帧A时，将指示致动器分别在650ms和785ms输出触觉效应(或触觉效应的预定义特性)。
另外，专用帧将包括识别其中的信息来提醒终端设备该专用帧其中包括触觉信息。因此，终端单元被配置成在所有专用帧中搜索识别帧的所有者的数据。在实施例中，专用帧包括所有者标识符字段，诸如具有URL的空终止串，该URL包含负责该帧的组织的电子邮件地址。另外和/或替代地，所有者标识符字段包括表示负责组织的身份的链接。在终端单元肯定地识别出属于其所有者(例如ImmersionCorporation)的专用帧后，系统将进一步处理该帧，并使用它来进行同步帧的触觉处理。应当注意，专用帧可以包括用于提供允许系统识别标签的信息的其他手段，并且因此并不限于上述配置。
头部标签还包括携带上述触觉信息和时间戳信息的同步帧。该同步帧包括用于编程该帧的几个字段。在实施例中，在该同步帧中使用的字段是编码字符集是包括Unicode，ISO-8859-1或是其他编码字符。同步帧可以是图9中所示帧中的任何一个，诸如Lyrics帧910。进一步地，同步帧包括时间格式字段，该时间格式字段允许时间戳单位是毫秒、MPEG帧等等。
在示例中，同步帧可以被设置成Unicode格式，将触觉事件数据放在“事件”帧中，并且将时间戳格式设置成毫秒。在示例中，数据字段中的第一项是作为在新行字符之前的串给出的项计数。由于空字符用作同步标识符，因此项计数和数据大小表示为串。如在图6中所述，对每个样本，帧包括触觉定义帧和调用触觉效应帧。另外，帧包括同步标识符信息以及时间戳信息(如果需要的话)。
图10图示了根据使用头部标签来提供触觉信息的实施例的系统的框图。图10中示出了系统1000，系统1000包括媒体播放器1002、同步层1004、应用可编程接口(API)1006、内核1008、触觉重放引擎1010、振动发生器1012、致动器驱动电路1014和一个或多个致动器1016。应当注意，系统1000不限于该配置，并且可以使用替代和/或附加组件。
如图10所示，将媒体文件1018加载到软件程序接口1020，其中，如上所述，媒体文件1018嵌入有触觉信息以及头部标签中内的标识符和同步信息。可以在Immersion的专有VibeTonz Studio软件上或由其他适当的软件程序来完成该信息的嵌入。在媒体文件嵌入有同步和触觉信息数据后，修改的媒体文件1022可以直接发送到设备1000或可以存储在存储器或服务器中，用于以后检索。在实施例中，修改的媒体文件可以存储在流送服务器上，用于流送到终端设备1000。
在下载到终端设备1000后，由媒体播放器1002接收修改的媒体文件1022，由此，媒体播放器1002识别文件1022是否包括触觉标识符数据。在另一实施例中，媒体文件1022被流送到终端设备1000，由此，在流的开始检索头部信息并存储头部信息。然后，处理所存储的头部信息以及以后接收到的流送媒体文件，以确保触觉效应与流送的媒体同步。如果文件1022不包括触觉标识符数据，则不将触觉效应信息中继到API 1006。然而，如果文件1022在专用帧中不包括触觉标识符数据，则同步层1004读取同步帧，并将必需的提取的信息提供给API 1006。API 1006在正确的时间启动触觉效应，因为每个触觉帧是不依赖于同步帧中的其他帧的自包含触觉效应。API 1006指示内核1008向触觉重放引擎1010提供低级别命令，由此触觉重放引擎指示振动发生器1012激活驱动电路1014以控制和/或放大输出到致动器1016的控制信号。然后，致动器1016通过在同步层中定义的特定触觉效应，在所指示的时间戳，自动地输出所指示的触觉效应。应当注意，可以按任何适当的顺序来完成以上步骤，并且以上步骤不限于所提出的顺序。还应当注意，在不背离在此的发明概念的情况下，可以使用附加/替代步骤。
尽管已经示出和描述了各实施例和应用，但是对受益于该公开的本领域的技术人员将显而易见的是，在不背离在此的发明概念的情况下，很多比上述更多的修改是可能的。

Claims (19)

1.一种用于媒体传输流中的触觉效应数据的同步的方法，包括：
接收媒体文件，所述媒体文件具有在该媒体文件中的内容数据前面的标签中的嵌入的触觉事件数据，所述触觉事件数据具有嵌入所述触觉事件数据的一个或者多个帧中的时间戳信息；
通过向所述触觉事件数据的所述一个或者多个帧分配一个或者多个时间戳，使所述媒体文件中的所述嵌入的触觉事件数据与所述内容数据同步，其中每个时间戳与所述内容数据的相应帧同步，其中，每个时间戳被嵌入到在所述媒体文件中的内容数据前面的标签中，并且，其中，所述一个或者多个时间戳的至少一个时间戳是子时间戳，所述子时间戳是在所述触觉事件数据的单一帧中的另一时间戳的偏移；以及
经由重放设备中的致动器来输出一个或者多个触觉效应，其中，每个所输出的触觉效应与所述内容数据的相应媒体事件同步，每个媒体事件与相应的触觉事件在基本上相同的时间戳出现，并且，其中，基于在所述触觉事件数据中指示的偏移参数，至少一个触觉效应在所述偏移被输出。
2.如权利要求1所述的方法，其中，所述嵌入的触觉事件数据的所述帧在所述标签的专用帧中。
3.如权利要求1所述的方法，其中，所述嵌入的触觉事件数据的所述帧在所述标签的lyrics帧中。
4.如权利要求1所述的方法，其中，所述内容数据包括音频数据。
5.如权利要求1所述的方法，其中，所述内容数据包括视频数据。
6.如权利要求1所述的方法，其中，所述嵌入的触觉事件数据进一步包括起始时间、幅度、频率和持续时间。
7.如权利要求1所述的方法，其中，所述媒体文件在所述重放设备处被接收之前先被存储。
8.如权利要求1所述的方法，其中，所述媒体文件从源流出并由所述重放设备接收。
9.如权利要求1所述的方法，进一步包括根据与所述媒体文件相关联的主时间码来从所述媒体文件提取所述嵌入的触觉事件数据。
10.一种用于媒体传输流中的触觉效应数据的同步的设备，包括：
接收装置，所述接收装置用于接收媒体文件，所述媒体文件具有在该媒体文件中的内容数据前面的标签中嵌入的触觉事件数据，所述触觉事件数据具有嵌入所述触觉事件数据的一个或者多个帧中的时间戳信息；
同步装置，所述同步装置用于通过向所述触觉事件数据的所述一个或者多个帧分配一个或者多个时间戳，来使所述媒体文件中的所述嵌入的触觉事件数据与所述内容数据同步，其中每个时间戳与主时间码同步，并且，其中，每个时间戳被嵌入到在所述媒体文件中的内容数据前面的标签中，并且，其中，所述一个或者多个时间戳的至少一个时间戳是子时间戳，所述子时间戳是在所述触觉事件数据的单一帧中的另一时间戳的偏移；以及
输出装置，所述输出装置用于经由致动器来输出一个或者多个触觉效应，其中，每个触觉效应与所述触觉事件数据的每个时间戳相关联，并且，其中，基于在所述触觉事件数据中指示的偏移参数，至少一个触觉效应在所述偏移被输出。
11.如权利要求10所述的设备，其中，所述嵌入的触觉事件数据的所述帧在所述标签的专用帧中。
12.如权利要求10所述的设备，其中，所述嵌入的触觉事件数据的所述帧在所述标签的lyrics帧中。
13.如权利要求10所述的设备，其中，所述内容数据包括音频数据。
14.如权利要求10所述的设备，其中，所述内容数据包括视频数据。
15.如权利要求10所述的设备，其中，所述媒体文件的格式是MP3。
16.如权利要求10所述的设备，其中，所述嵌入的触觉事件数据进一步包括起始时间、幅度、频率和持续时间。
17.如权利要求10所述的设备，其中，所述媒体文件在所述接收装置处被接收之前先被存储。
18.如权利要求10所述的设备，其中，所述媒体文件从源流出并由所述接收装置接收。
19.如权利要求10所述的设备，进一步包括用于根据与所述媒体文件相关联的所述主时间码来从所述媒体文件提取所述嵌入的触觉事件数据的装置。
CN2008801119824A 2007-10-16 2008-10-16 媒体传输流中的触觉效应数据的同步 Expired - Fee Related CN101828382B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/975,120 US9019087B2 (en) 2007-10-16 2007-10-16 Synchronization of haptic effect data in a media stream
US11/975,120 2007-10-16
PCT/US2008/080218 WO2009052322A2 (en) 2007-10-16 2008-10-16 Synchronization of haptic effect data in a media transport stream

Publications (2)

Publication Number Publication Date
CN101828382A CN101828382A (zh) 2010-09-08
CN101828382B true CN101828382B (zh) 2013-07-31

Family

ID=40533649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801119824A Expired - Fee Related CN101828382B (zh) 2007-10-16 2008-10-16 媒体传输流中的触觉效应数据的同步

Country Status (6)

Country Link
US (2) US9019087B2 (zh)
EP (2) EP2605499B1 (zh)
JP (1) JP5266327B2 (zh)
KR (1) KR101515664B1 (zh)
CN (1) CN101828382B (zh)
WO (1) WO2009052322A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850139A (zh) * 2013-11-25 2016-08-10 汤姆逊许可公司 用于使用自回归模型生成触觉系数的方法、用于再现这种系数的信号和设备

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US20090157743A1 (en) * 2007-12-12 2009-06-18 Aten International Co., Ltd. Media file generation method and media playback method
US8831402B2 (en) * 2008-06-16 2014-09-09 Telefonaktiebolaget Lm Ericsson (Publ) Media stream processing
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US7974314B2 (en) * 2009-01-16 2011-07-05 Microsoft Corporation Synchronization of multiple data source to a common time base
US20100207895A1 (en) * 2009-02-16 2010-08-19 Samsung Electro-Mechanics Co., Ltd. Tactile interface device and method for controlling the same
WO2011007289A2 (en) * 2009-07-17 2011-01-20 Koninklijke Philips Electronics N.V. A method and a system for a generation of an excitation effect
JP5094930B2 (ja) * 2009-08-10 2012-12-12 韓國電子通信研究院 イメージに触覚情報を符号化する方法、イメージから触覚情報を復号化する方法、およびこのための触覚情報処理装置
KR101324687B1 (ko) * 2009-08-10 2013-11-04 한국과학기술원 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치
US9358689B2 (en) 2009-11-10 2016-06-07 Immersion Corporation Systems and methods for minimal haptic implementation
KR20110063297A (ko) * 2009-12-02 2011-06-10 삼성전자주식회사 휴대용단말기 및 그 제어방법
WO2011100480A1 (en) * 2010-02-10 2011-08-18 Brian Lamb Automatic motion tracking, event detection and video image capture and tagging
US9699431B2 (en) 2010-02-10 2017-07-04 Satarii, Inc. Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US9502073B2 (en) * 2010-03-08 2016-11-22 Magisto Ltd. System and method for semi-automatic video editing
CN103003775A (zh) * 2010-06-28 2013-03-27 Tp视觉控股有限公司 增强内容观看体验
US11314344B2 (en) * 2010-12-03 2022-04-26 Razer (Asia-Pacific) Pte. Ltd. Haptic ecosystem
KR101121785B1 (ko) 2011-10-05 2012-03-09 (주)이미지스테크놀로지 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
EP2839360A4 (en) * 2012-04-19 2016-01-20 Nokia Technologies Oy DISPLAY DEVICE
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
EP2904811A4 (en) * 2012-10-01 2016-05-25 Internet Services Llc SYSTEM AND METHOD FOR SYNCHRONIZING HAPTIC DATA AND MEDIA DATA
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US20140172985A1 (en) * 2012-11-14 2014-06-19 Anton G Lysenko Method and system for forming a hierarchically complete, absent of query syntax elements, valid Uniform Resource Locator (URL) link consisting of a domain name followed by server resource path segment containing syntactically complete e-mail address
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
EP2962172B1 (en) * 2013-03-01 2020-04-29 Nokia Technologies Oy Control apparatus for a tactile audio display
US9189098B2 (en) * 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
WO2015137997A1 (en) 2013-03-15 2015-09-17 Compology, Inc. System and method for waste management
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP2806353B1 (en) * 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US9703379B2 (en) 2013-08-20 2017-07-11 Xsync Technologies Llc Systems and methods for multimedia tactile augmentation
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9317120B2 (en) 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
CN103607395A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 一种传输触觉数据的方法及装置
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
CN110891188B (zh) * 2013-12-11 2021-11-05 瑞典爱立信有限公司 用于同步媒体流的方法和系统
US10067566B2 (en) * 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
CN104932681B (zh) * 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9330547B2 (en) * 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US10133351B2 (en) 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US10031582B2 (en) 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US9635440B2 (en) 2014-07-07 2017-04-25 Immersion Corporation Second screen haptics
AU2014210579B2 (en) * 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US10613628B2 (en) 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
EP3054451A1 (en) * 2015-02-03 2016-08-10 Thomson Licensing Method, apparatus and system for synchronizing audiovisual content with inertial measurements
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
US10140822B2 (en) 2015-08-05 2018-11-27 Dolby Laboratories Licensing Corporation Low bit rate parametric encoding and transport of haptic-tactile signals
US10200332B2 (en) 2015-12-14 2019-02-05 Immersion Corporation Delivery of haptics to select recipients of a message
US10102722B2 (en) 2015-12-18 2018-10-16 Immersion Corporation Wearable article having an actuator that performs non-haptic and haptic operations
US9928696B2 (en) * 2015-12-30 2018-03-27 Immersion Corporation Externally-activated haptic devices and systems
US10698485B2 (en) * 2016-06-27 2020-06-30 Microsoft Technology Licensing, Llc Augmenting text narration with haptic feedback
JP2018019393A (ja) * 2016-07-15 2018-02-01 株式会社Ｃｒｉ・ミドルウェア 再生制御システム、情報処理装置およびプログラム
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
CN109845249B (zh) * 2016-10-14 2022-01-25 森兰信息科技（上海）有限公司 用外部信息同步midi文件的方法和系统
KR101879445B1 (ko) * 2016-11-03 2018-07-18 재단법인 실감교류인체감응솔루션연구단 데이터 유형별 패키지 처리를 위한 센싱 데이터 전송 장치 및 센싱 데이터 수신 장치
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
CN106547357B (zh) * 2016-11-22 2018-06-29 包磊 体感传感数据的通信处理方法及装置
CN106527730B (zh) * 2016-11-22 2018-05-11 包磊 体感控制数据的生成、输出控制方法及装置
CN106534142B (zh) * 2016-11-22 2018-04-20 包磊 多媒体数据的实时传输方法及装置
WO2018151770A1 (en) 2017-02-16 2018-08-23 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US10541005B2 (en) * 2017-05-17 2020-01-21 Cypress Semiconductor Corporation Distributed and synchronized control system for environmental signals in multimedia playback
US10743087B2 (en) * 2017-06-21 2020-08-11 Z5X Global FZ-LLC Smart furniture content interaction system and method
US20190007726A1 (en) * 2017-06-30 2019-01-03 Intel Corporation Audio, video, and actuation (a/v/a) synchronization for mixed reality
JP7040527B2 (ja) 2017-07-10 2022-03-23 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN110892734B (zh) * 2017-07-10 2021-11-05 索尼公司 信息处理装置、信息处理方法和存储介质
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US20190041987A1 (en) * 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US10750229B2 (en) 2017-10-20 2020-08-18 International Business Machines Corporation Synchronized multi-media streams including mood data
CN108235099B (zh) * 2018-01-12 2021-06-15 瑞声科技(新加坡)有限公司 一种媒体与振动的同步播放方法及其装置
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
KR101941947B1 (ko) * 2018-07-13 2019-01-24 주식회사 유니브이알 가상현실 체험 기기를 이용한 가상현실 영상 제공 시스템
CN109600665B (zh) * 2018-08-01 2020-06-19 北京微播视界科技有限公司 用于处理数据的方法和装置
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US20200076866A1 (en) * 2018-08-30 2020-03-05 Immersion Corporation Systems, devices, and methods for streaming haptic effects
WO2020045044A1 (ja) * 2018-08-30 2020-03-05 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11197074B2 (en) * 2018-09-24 2021-12-07 Brian Sloan Synchronized video annotation and control system for sexual stimulation devices
US10638174B2 (en) * 2018-09-24 2020-04-28 Brian Sloan Synchronized video control system for sexual stimulation devices
US11412298B1 (en) * 2018-10-02 2022-08-09 Wells Fargo Bank, N.A. Systems and methods of interactive goal setting tools
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10798522B1 (en) 2019-04-11 2020-10-06 Compology, Inc. Method and system for container location analysis
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
WO2020254788A1 (en) 2019-06-21 2020-12-24 Cirrus Logic International Semiconductor Limited A method and apparatus for configuring a plurality of virtual buttons on a device
JP2021015488A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 制御装置、呈示装置、およびデータ
US11946744B2 (en) 2019-07-26 2024-04-02 Hewlett-Packard Development Company, L.P. Synchronization of a gyroscope in a virtual-reality environment
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
FR3103667A1 (fr) * 2019-11-27 2021-05-28 Sagemcom Broadband Sas Equipement décodeur transmettant des métadonnées à un équipement auxiliaire pour le piloter
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
WO2021142162A1 (en) 2020-01-07 2021-07-15 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11503405B2 (en) * 2020-06-03 2022-11-15 Bose Corporation Capturing and synchronizing data from multiple sensors
JP2022541968A (ja) * 2020-06-30 2022-09-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体
CN111897524B (zh) * 2020-07-06 2022-04-29 瑞声新能源发展(常州)有限公司科教城分公司 实现Haptics触觉效果的方法及系统
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
CN117813573A (zh) 2021-10-12 2024-04-02 索尼集团公司 信息处理系统、控制方法和控制程序
WO2023099133A1 (en) * 2021-12-02 2023-06-08 Interdigital Ce Patent Holdings, Sas Timeline based representation for haptic signal
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
US20230214020A1 (en) * 2022-01-06 2023-07-06 Qualcomm Incorporated Audio-video-haptics recording and playback

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1102238A2 (en) * 1999-11-19 2001-05-23 Yamaha Corporation Apparatus providing information with music sound effect
EP1326228A1 (en) * 2002-01-04 2003-07-09 DBTech Systems and methods for creating, modifying, interacting with and playing musical compositions
CN1434947A (zh) * 2000-06-30 2003-08-06 伊梅森公司 包含触觉反馈功能的聊天界面
CN1621874A (zh) * 2003-11-25 2005-06-01 三星电子株式会社 差分偏振移位键控光传输系统

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4334280A (en) 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
US4768412A (en) 1986-05-09 1988-09-06 Sanderson Stephen N Low profile keyboard device and system for recording and scoring music
US4771344A (en) 1986-11-13 1988-09-13 James Fallacaro System for enhancing audio and/or visual presentation
US5172092A (en) 1990-04-26 1992-12-15 Motorola, Inc. Selective call receiver having audible and tactile alerts
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US5739811A (en) 1993-07-16 1998-04-14 Immersion Human Interface Corporation Method and apparatus for controlling human-computer interface systems providing force feedback
US5438529A (en) 1994-01-26 1995-08-01 Immersion Human Interface Corporation Percussion input device for personal computer systems
US6160489A (en) 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
JPH10504920A (ja) 1994-08-18 1998-05-12 インターヴァル リサーチ コーポレイション ビデオ用の内容に基づく感覚入力装置
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6859819B1 (en) 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US5627936A (en) * 1995-12-21 1997-05-06 Intel Corporation Apparatus and method for temporal indexing of multiple audio, video and data streams
US5675511A (en) * 1995-12-21 1997-10-07 Intel Corporation Apparatus and method for event tagging for multiple audio, video, and data streams
DE69725172T2 (de) 1996-03-08 2004-04-08 Motorola, Inc., Schaumburg Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch
US6686911B1 (en) 1996-11-26 2004-02-03 Immersion Corporation Control knob with control modes and force feedback
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US7472047B2 (en) 1997-05-12 2008-12-30 Immersion Corporation System and method for constraining a graphical hand from penetrating simulated graphical objects
GB2329300B (en) 1997-09-16 2002-07-17 Nokia Mobile Phones Ltd Mobile telephone with handwritten data input
US6659773B2 (en) * 1998-03-04 2003-12-09 D-Box Technology Inc. Motion transducer system
US7809138B2 (en) * 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
JP3173591B2 (ja) 1998-06-09 2001-06-04 日本電気株式会社 光送信器と光伝送システムおよび信号光変調方法
US6292776B1 (en) 1999-03-12 2001-09-18 Lucent Technologies Inc. Hierarchial subband linear predictive cepstral features for HMM-based speech recognition
JP2000262971A (ja) * 1999-03-18 2000-09-26 Akuubu Lab:Kk 振動効果装置
US6424356B2 (en) 1999-05-05 2002-07-23 Immersion Corporation Command of force sensations in a forceback system using force effect suites
US6353173B1 (en) * 1999-06-17 2002-03-05 Roxio, Inc. Compressed audio data format and file system structures
US7050955B1 (en) 1999-10-01 2006-05-23 Immersion Corporation System, method and data structure for simulated interaction with graphical objects
US7065779B1 (en) * 1999-10-13 2006-06-20 Cisco Technology, Inc. Technique for synchronizing multiple access controllers at the head end of an access network
US6710764B1 (en) 2000-05-09 2004-03-23 Logitech Europe S.A. Method and system for processing force feedback effects generated at a host for playback at a physical interaction device
TW548943B (en) 2000-09-25 2003-08-21 Yamaha Corp Portable terminal device
US20020165720A1 (en) * 2001-03-02 2002-11-07 Johnson Timothy M. Methods and system for encoding and decoding a media sequence
FR2822006B1 (fr) * 2001-03-08 2003-04-25 France Telecom Procede et systeme de transmission de flux de donnees entre deux postes distants
US7567232B2 (en) 2001-03-09 2009-07-28 Immersion Corporation Method of using tactile feedback to deliver silent status information to a user of an electronic device
US6885876B2 (en) 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
JP3564501B2 (ja) 2001-03-22 2004-09-15 学校法人明治大学 乳幼児の音声解析システム
US7283954B2 (en) 2001-04-13 2007-10-16 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
US7171466B2 (en) * 2001-09-27 2007-01-30 Koninklijke Philips Electronics N. V. Method and system and article of manufacture for IP radio stream interception for notification of events using synthesized audio
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP2005523612A (ja) * 2002-04-22 2005-08-04 インテロシティ ユーエスエー，インコーポレイテッド データ受信器と制御装置の方法及び装置
US7161580B2 (en) * 2002-04-25 2007-01-09 Immersion Corporation Haptic feedback using rotary harmonic moving mass
JP2004139710A (ja) 2002-08-21 2004-05-13 Monolith Co Ltd ディスク記録媒体および音楽再生装置
GB2414319A (en) * 2002-12-08 2005-11-23 Immersion Corp Methods and systems for providing haptic messaging to handheld communication devices
JP3825416B2 (ja) * 2003-04-14 2006-09-27 国立大学法人北陸先端科学技術大学院大学 データ同期方法、データ同期システム及びデータ同期プログラム
KR100581060B1 (ko) * 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
JP4581698B2 (ja) 2005-01-21 2010-11-17 ソニー株式会社 制御装置および制御方法
US8442126B1 (en) * 2005-06-14 2013-05-14 Apple Inc. Synchronizing audio and video content through buffer wrappers
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US20080136608A1 (en) * 2006-12-11 2008-06-12 Research In Motion Limited Sensory effects in a mobile device and an accessory thereof
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1102238A2 (en) * 1999-11-19 2001-05-23 Yamaha Corporation Apparatus providing information with music sound effect
CN1434947A (zh) * 2000-06-30 2003-08-06 伊梅森公司 包含触觉反馈功能的聊天界面
EP1326228A1 (en) * 2002-01-04 2003-07-09 DBTech Systems and methods for creating, modifying, interacting with and playing musical compositions
CN1621874A (zh) * 2003-11-25 2005-06-01 三星电子株式会社 差分偏振移位键控光传输系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850139A (zh) * 2013-11-25 2016-08-10 汤姆逊许可公司 用于使用自回归模型生成触觉系数的方法、用于再现这种系数的信号和设备

Also Published As

Publication number Publication date
KR101515664B1 (ko) 2015-04-27
WO2009052322A2 (en) 2009-04-23
EP2605499B1 (en) 2016-12-07
US20150199015A1 (en) 2015-07-16
US9019087B2 (en) 2015-04-28
CN101828382A (zh) 2010-09-08
JP2011501575A (ja) 2011-01-06
US20090096632A1 (en) 2009-04-16
KR20100087715A (ko) 2010-08-05
EP2605499A1 (en) 2013-06-19
JP5266327B2 (ja) 2013-08-21
EP2213024A2 (en) 2010-08-04
US10088903B2 (en) 2018-10-02
EP2213024B8 (en) 2013-10-30
EP2213024B1 (en) 2013-04-10
WO2009052322A3 (en) 2009-11-05

Similar Documents

Publication Publication Date Title
CN101828382B (zh) 媒体传输流中的触觉效应数据的同步
JP6290829B2 (ja) メディアトランスポートストリームにおけるハプティック効果データの同期
CN101416139B (zh) 用于增强的触觉效果的系统和方法
KR20140138087A (ko) 햅틱 데이터 인코딩 및 스트리밍을 위한 방법 및 시스템
CN103535027A (zh) 处理编码视频帧的序列的方法
RU2282254C2 (ru) Устройство и способ декодирования данных для обеспечения пролистываемого слайд-шоу и запоминающий данные носитель для них
CN101802818A (zh) 用于提供待被存储的元数据的方法和设备
CN112188256A (zh) 信息处理方法、信息提供方法、装置、电子设备及存储介质
CN105187862B (zh) 一种分布式播放器流量控制方法及系统
CN105392040A (zh) 一种多设备同步暂停和播放的控制方法及控制系统
KR101656102B1 (ko) 컨텐츠 파일 생성/제공 장치 및 방법
JP2005159878A (ja) データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: YIMEISEN CO., LTD.

Free format text: FORMER NAME: IMMERSION CORP.

CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Immersion Corp.

Address before: California, USA

Patentee before: IMMERSION Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130731

CF01 Termination of patent right due to non-payment of annual fee