CN110399041A - 触觉感知记录和回放 - Google Patents

触觉感知记录和回放 Download PDF

Info

Publication number
CN110399041A
CN110399041A CN201910688656.XA CN201910688656A CN110399041A CN 110399041 A CN110399041 A CN 110399041A CN 201910688656 A CN201910688656 A CN 201910688656A CN 110399041 A CN110399041 A CN 110399041A
Authority
CN
China
Prior art keywords
data
haptic
video
media
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910688656.XA
Other languages
English (en)
Inventor
R·拉克罗伊克斯
J·M·克鲁兹-埃尔南德斯
J·萨布恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN110399041A publication Critical patent/CN110399041A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及触觉感知记录和回放。一种系统包括：视频记录器，被构造为记录视频数据；传感器，被构造为感测对象的移动，并输出表示该对象的移动的传感器数据；变换器，被构造为将传感器数据变换为触觉输出信号；触觉输出装置，被构造为基于触觉输出信号来向用户产生触觉效果；显示器，被构造为显示视频；以及处理器，被构造为使视频数据和触觉输出信号同步，并且将视频数据输出到显示器并将触觉输出信号输出到触觉输出装置，以使得触觉效果与显示在显示器上的视频同步。

Description

触觉感知记录和回放
本申请是申请日为2014年1月24日、发明名称为“触觉感知记录和回放”的中国专利申请2014100326453的分案申请。
技术领域
本发明涉及一种用于提供触觉感知记录和回放的系统和方法。
背景技术
电子装置允许用户记录可以捕捉事件的视觉方面和音频方面这两个方面的视频。电子装置还可以被编程为在用户正在观看电子装置上播放的视频时提供触觉感知。触觉感知预先被编程为使得当视频被播放时，用户可以结合视频体验触觉效果，以为该用户提供更加身临其境的体验。现有装置仅允许触觉效果在视频被记录之后才被确定。目前，创建触觉效果和感知是非实时进行的劳动密集型处理。
发明内容
期望能够在记录事件的实时方面的同时记录该事件的视频，以使得该事件的实时方面可以作为触觉感知与视频一起回放，以为观看该视频并感觉触觉感知回放的用户提供更加真实的、更加身临其境的体验。与离线地用编程工具进行艺术编辑并编写试图使触觉效果与视频同步的同步代码相比，记录场景中的对象的实时数据并通过触觉再现其体验是“捕捉”体验的一种更加直观的方式。期望简化这样的内容的创建。
根据本发明的一方面，提供一种系统，该系统包括：视频记录器，被构造为记录视频数据；传感器，被构造为感测对象的移动，并输出表示该对象的移动的传感器数据；变换器，被构造为将传感器数据变换为触觉输出信号；触觉输出装置，被构造为基于触觉输出信号向用户产生触觉效果；显示器，被构造为显示视频；以及处理器，被构造为使视频数据和触觉输出信号同步，并且将视频数据输出到显示器并将触觉输出信号输出到触觉输出装置，以使得触觉效果与显示器上显示的视频同步。
在实施例中，所述系统还包括被构造为记录音频数据的音频记录器和被构造为放映(project)声音的扬声器。处理器可以被进一步构造为：接收音频数据，使音频数据与视频数据和触觉输出信号同步，并将音频数据输出到扬声器，以使得声音与显示器上显示的视频和触觉输出装置产生的触觉效果同步。
在实施例中，视频记录器、音频记录器和传感器是同一电子装置的部分。在实施例中，触觉输出装置、显示器和扬声器是同一电子装置的部分。在实施例中，视频记录器、音频记录器、传感器、触觉输出装置、显示器、扬声器和处理器是同一电子装置的部分。在实施例中，触觉输出装置和显示器是同一电子装置的部分。
在实施例中，处理器包括变换器，并且还包括被构造为使视频数据和触觉输出信号同步的解码器。
在实施例中，传感器选自由以下构成的组：加速度计、陀螺仪和接触压力传感器。
在实施例中，所述系统包括多个传感器，并且所述多个传感器选自由以下构成的组：加速度计、陀螺仪和接触压力传感器。
根据本发明的一方面，提供一种系统，该系统包括：显示器，被构造为显示视频；视频记录器，被构造为记录视频数据；传感器，被构造为感测对象的移动，并输出代表该对象的移动的传感器数据；变化器，被构造为将传感器数据变换为触觉输出信号；以及电子手持装置。电子手持装置包括：触觉输出装置，被构造为基于触觉输出信号向手持装置的用户产生触觉效果；以及处理器，被构造为使视频数据和触觉输出信号同步，并且将视频数据输出到显示器并将触觉输出信号输出到触觉输出装置，以使得触觉效果与显示在显示器上的视频同步。
根据本发明的一方面，提供一种方法，该方法包括：用视频记录器记录视频；用传感器感测视频中正在记录的对象的移动；将所感测的移动变换为触觉输出信号；并使视频和触觉速出信号同步。
在实施例中，所述方法包括：基于触觉输出信号产生至少一种触觉效果，并与触觉效果同步地在显示器上显示视频。
在实施例中，所述方法包括用音频记录器记录音频并使音频与视频和触觉输出信号同步。
在实施例中，所述方法包括：基于触觉输出信号产生触觉效果；在显示器上显示视频；用扬声器放映音频，以使得触觉效果与显示在显示器上的视频和扬声器放映的音频同步。
附图说明
以下图的组件被示出是为了强调本公开的总原理，不一定是按比例绘制的。为了一致和清晰，必要时在所有图中重复指定相应组件的参考字符。
图1示出用于记录并提供触觉效果的系统的实施例；
图2示出可以用作图1的系统的部分的可佩戴传感器的实施例；
图3示出表示可以被图2的传感器测量的、作为时间的函数的垂直加速度的信号；
图4示出表示可以被图2的传感器测量的、作为时间的函数的加速度的信号；和
图5是根据本发明的实施例的方法的流程图。
具体实施方式
图1示出根据本发明的实施例的系统100。如所示，系统100包括一个或多个传感器102、视频记录器104和音频记录器106，传感器102被构造为感测对象的移动，并将所感测的移动转换为传感器数据，视频记录器104被构造为捕捉并记录图像，音频记录器106被构造为捕捉并记录声音。在实施例中，传感器102(一个或多个)、视频记录器104和音频记录器106可以是同一电子装置的部分。在实施例中，视频记录器104和音频记录器106可以是同一电子装置的部分，传感器102(一个或多个)可以与包括视频记录器104和音频记录器106的电子装置分离。在实施例中，传感器102(一个或多个)、视频记录器104和音频记录器106可以是单独的独立装置或单独的独立装置的部分。
如以下更详细地讨论的，处理器110被构造为对传感器102(一个或多个)、视频记录器104和音频记录器输出的信号和数据进行处理。系统100还包括输入变换器112、输出变换器114和解码器116，输入变换器112、输出变换器114可以是处理器110的部分，解码器116也可以是处理器110的部分。以下更详细地讨论输入变换器112、输出变换器114和解码器116的各方面。
如图1所示，系统100还包括触觉输出装置118、显示器120和扬声器122，触觉输出装置118被构造为向系统的用户输出触觉效果，显示器120被构造为显示图像，诸如视频记录器104捕捉的图像，扬声器122被构造为输出声音，该声音可以是音频记录器106捕捉的声音。如以下更详细地讨论的，触觉输出装置118、显示器120和扬声器122可以是电子回放装置130的部分。在实施例中，触觉输出装置118、显示器120和扬声器122可以是被构造为彼此通过例如无线连接进行通信的单独的装置。在实施例中，触觉输出装置118可以是可佩戴装置的部分，显示器120可以是电视的部分，以及扬声器122可以是与显示器120分离的无线扬声器。
触觉输出装置118可以包括致动器，例如，电磁致动器(诸如其中通过电机使偏心质量移动的偏心旋转质量(“ERM”)、其中附连到弹簧的质量被来回驱动的线性谐振致动器(“LRA”))、或“智能材料”(诸如压电、电活性聚合物或形状记忆合金、微复合纤维致动器、静电致动器、电触感致动器)、和/或提供物理反馈(诸如触觉(例如，振动触感)反馈)的任何类型的致动器。触觉输出装置118可以包括非机械或非振动装置，诸如使用静电摩擦(ESF)、超声表面摩擦(USF)的那些装置、或用超声触觉换能器引起声辐射压力的那些装置、或使用触觉基板和柔性的或可变形的表面的那些装置、或使用空气喷射提供投射触觉输出(诸如一阵空气)的那些装置、等等。
电子存储器124可以用于存储感测器102(一个或多个)所感测的数据，电子存储器126可以用于存储视频记录器104所记录的数据，电子存储器128可以用于存储音频记录器106所记录的数据。存储器124、126、128可以包括一个或多个内部固定存储单元、可移动存储单元、和/或可远程访问存储单元。各种存储单元可以包括易失性存储器和/或非易失性存储的任何组合。存储单元可以被构造为存储信息、数据、指令、软件代码等的任何组合。在传感器102(一个或多个)、视频记录器104和音频记录器106是同一电子装置的部分的实施例中，存储器124、126、128可以位于同一位置上。在视频记录器104和音频记录器106是同一电子装置的部分的实施例中，存储器126、128可以位于同一位置上。
在实施例中，用户可以使用视频记录器104和/或音频记录器106来记录场景或事件的视频和/或音频。在实施例中，视频记录器104和音频记录器106可以是同一电子装置(诸如便携式摄像机、智能电话等)的部分。如以上所讨论的，被记录的视频和音频可以被存储在电子存储器126中。在实施例中，传感器102(一个或多个)可以被放置在感兴趣对象(诸如视频中正在记录的对象)上。
如以上所讨论的，传感器102(一个或多个)所产生的数据可以被存储在电子存储器124中。另外，如图1所示，传感器102(一个或多个)所产生的数据可以在被存储在电子存储器124中之前被输入变换器112变换。传感器数据的变换被认为是可选步骤，是否需要变换可以取决于所使用的传感器的性质。以下更详细地讨论传感器102的实施例的细节。
解码器116(可以是被构造为回放视频(即，媒体文件)的媒体播放器的部分)被构造为：从电子存储器124读取传感器102(一个或多个)所产生的数据，并在时间上将该数据与被记录并且被存储在电子存储器126中的音频数据和视频数据相关联。在媒体回放期间，解码器116可以使传感器数据通过输出变换器114，输出变换器114被构造为将传感器数据变换为触觉输出信号或触觉感觉命令，包括，但不限于，振动、表面摩擦调制、皮肤拧捏、皮肤挤压等。解码器116可以被构造为使从传感器数据变换的触觉输出信号与视频数据和音频数据同步，以使得在回放期间触觉效果与视频和音频同步。在实施例中，可以通过在回放期间确保时间在视频数据、音频数据和触觉效果中相同来完成同步。
处理器110可以是用于管理或控制系统100的操作和功能的通用或专用处理器或微控制器。例如，处理器110可以被专门设计为控制将提供触觉效果的信号输出到触觉输出装置118的专用集成电路(“ASIC”)。处理器110可以被构造为基于预定义因素来决定要产生什么触觉效果、产生触觉效果的次序、以及触觉效果的幅度、频率、持续时间和/或其他参数。处理器110还可以被构造为提供可以用于驱动用于提供特定触觉效果的触觉输出装置118的流传输命令。在一些实施例中，处理器110实际上可以包括多个处理器，每个处理器被构造为执行系统100内的某些功能。处理器110还可以包括包括一个或多个存储器件的存储器，这些存储器件可以包括触觉效果配置文件、关于要如何驱动触觉输出装置118的指令、和/或用于产生触觉效果的其他信息。在图1中所示的整个系统100是单个电子装置的部分的实施例中，存储器124、126可以是处理器110的部分。
然后可以将触觉输出信号从处理器110(例如，从处理器110的解码器116)发送到触觉输出装置118，以使得通过包括触觉输出装置118的电子回放装置130体验媒体的人(一个或多个)可以更充分地体验正在回放的事件。电子回放装置130可以是任何装置，诸如电子手持装置(诸如移动电话)、游戏装置、个人数字助理(“PDA”)、便携式电子邮件装置、便携式互联网接入装置、计算器、平板等。电子回放装置130可以包括，但不限于，具有显示媒体的显示器120(可以是高清晰显示器)的手持装置、能够生成触觉感知或效果的手持对象、或附连到用户的身体、搭靠在用户的身体上、或以其他方式将触感感知和触觉效果发送到用户的对象。
在实施例中，处理器110和触觉输出装置118可以是电子手持装置(可以是电话或平板)的部分，并且电子手持装置被构造为将视频数据输出到单独的显示器120(可以是电视)。
在实施例中，系统100可以包括具有陀螺仪、指南针和用于传感器102的三轴加速度计传感器、以及用于视频记录器104的内置照相机的移动电话。在这种情况下，图1中所示的所有组件(包括数据记录传感器102、视频记录器104、音频记录器106、包括解码器116和输出变换器114的处理器110、触觉输出装置118、显示器120、扬声器122、输入变换器112以及电子存储器124、126)可以是自备的，并且整个系统100可以被贴附到进行感兴趣的活动的人或一件装备。
在实施例中，第一人称视角摄像机可以被安装到进行感兴趣的活动的头盔或一件装备，并且摄像机可以合并若干个数据传感器102(诸如加速度计、全球定位系统(“GPS”)和陀螺仪)、输入变换器112(如果需要的话)、电子存储器124、视频记录器104、音频记录器106和电子存储器126。如以上所讨论的，系统100的其余部分(诸如包括解码器116和输出变换器114的处理器110、触觉输出装置118、显示器120和扬声器122)可以被安置在单独的回放装置(诸如电子回放装置130)中。
在实施例中，传感器102(一个或多个)(可以包括诸如加速度计、GPS等的一个或多个数据传感器)可以被贴附到进行感兴趣的活动的人或装备。传感器102(一个或多个)可以容纳在传感器盒或被构造为保护传感器102(一个或多个)的某一其他容器中。传感器盒可以具有内置的数据记录装置(诸如输入变换器112和电子存储器124)，或者可以依赖于与在活动期间记录数据的辅助装置(诸如移动装置)的数据连接。
在实施例中，传感器102(一个或多个)可以被安装在作为视频的对象的人上，视频记录器104(可选地，还有音频记录器106)可以由另一个人操作。例如，作为视频的对象的人可以是滑雪者，至少一个传感器102可以被附连到该滑雪者的靴子上和/或其他件衣服或装备(诸如该滑雪者的滑雪板)上。传感器102(一个或多个)可以包括被构造为提供滑雪板所体验的重力加速度的加速度计、被构造为提供滑雪板的方位的陀螺仪传感器、以及被构造为提供由滑雪者的靴子施加于滑雪板的负载的接触压力传感器。在实施例中，音频记录器106可以被附连到一件衣服或装备(诸如滑雪者的头盔)，以使得滑雪板越过雪的声音可以被捕捉。
在实施例中，可以发起记录会话，在记录会话中，与视频和音频数据一起记录加速度数据、陀螺仪数据和接触压力数据的流。视频记录器104和/或音频记录器106可以被安装到滑雪者的头盔。在实施例中，视频记录器104和/或音频记录器106可以是安装在冰雪公园的在其要进行滑雪活动的半管滑雪道中的各个地方的摄像机的阵列。在实施例中，如上所述，视频记录器104可以是被安置在冰雪公园的半管滑雪道中的各个地方的摄像机的阵列，并且音频记录器106可以被安装到滑雪者的一件衣服或装备。可以使用传感器102(一个或多个)、视频记录器104和音频记录器106的位置的其他组合，这些其他组合可以取决于被记录的活动，以使得电子回放装置130的用户在回放期间可以实现最佳触觉/音频/视觉体验。可以通过可以驻存在图1中所示的系统100的处理器110中的记录软件来管理所有这些数据流的同步。
在实施例中，可以使用允许将除了视频和音频之外的数据存储在单个文件容器中的灵活容器格式，诸如MPEG-4。在这样的实施例中，在记录期间可能需要一组特定的编码器来将传感器数据放置到MPEG-4文件中。在实施例中，可以编写将非音频和视频(A/V)传感器数据存储在单独的文件中的特殊软件，但是该传感器数据中具有使得可以在回放时适当同步的特殊标记。在本实施例中，除了将传感器数据成形为符合所设计的记录格式之外，可能需要应用极少的输入变换。确切格式可以由实现者确定。一旦滑雪者已经完成他或她的活动，就可以停止记录。可以关闭MPEG-4文件，并且所有的传感器数据都可以驻存在MPEG-4文件中。
在实施例中，回放装置可以是图1的电子回放装置130，并且可以是具有显示器120、扬声器122和作为提供触觉效果的触觉输出装置118的振动装置的移动电话或平板的形式。在实施例中，回放装置可以是游戏机，该游戏机与具有显示器120和扬声器122的电视连接，并且还与包括提供触觉效果的触觉输出装置118的游戏外设(诸如游戏手柄)连接。
在以后的时间或与进行活动同时地，一个或多个观看者可能对体验该活动感兴趣。为了回放活动，观看者可以启动他们的回放装置上的以体验执行者的活动为目的的合适的回放软件。在实施例中，回放软件可以包括合并解码器116所执行的传感器解码方案的播放器软件应用程序、以及可以由输出变换器114运行以便将传感器数据变换为适合于回放装置中的触觉输出装置118的触觉输出信号的输出变换软件。在实施例中，播放器软件应用程序可以合并传感器解码方案。播放器软件可以依赖于驻存在回放装置上或以其他方式预装在回放装置上的输出变换软件，并且这样的输出变换软件可以将传感器数据变换为适合于回放装置中的触觉输出装置118的触觉输出信号。换句话讲，输出变换器114和/或解码器116可以被安置在回放装置中。
在实施例中，播放器软件应用程序可以依赖于回放装置的、执行媒体回放的、合并传感器解码方案的操作系统软件。该操作系统软件可以依赖于驻存在回放装置上或以其他方式预装在回放装置上的输出变换软件，这样的输出变换软件将传感器数据变换为适合于回放装置中的触觉输出装置118的触觉输出信号。观看者于是可以体验与表演的观看相关联的触觉感知，这样的触觉感知由输出变换软件生成。
在实施例中，输出变换软件可以包括传感器数据中的一些，而其他传感器数据则可以被忽略。例如，可以包括陀螺仪数据，而接触压力传感器数据则可以被忽略。可以通过计算X-Y-Z加速度分量的矢量幅度来计算加速度数据的幅度。然后可以对该加速度幅度信号进行带通滤波，以使得仅输出20-200Hz范围内的加速度幅度信号，其他频率内容被滤除。然后可以对滤波的加速度信号进行软拐点压缩算法以缓和地将输出幅度裁剪在+6与-6gees之间，然后使所有负信号归零/被忽略，所得的压缩的单边的输出信号可以用于将触觉输出装置所提供的振动的幅度控制在0–100％振动之间。这样，观看者可以感觉到执行者的滑雪板感觉到的加速度变量的表示。
在实施例中，可以以以下方式将加速度数据、陀螺仪数据和接触压力传感器数据组合为触觉输出信号。每当接触压力低时，滑雪者可以被假定为正在跳跃，因此，所有的触觉输出都归零。当接触压力非常大时，可以将接触压力与加速度幅度相乘。然后可以将该输出与方位信号的变化(从陀螺仪信号推导的方位前进方向的一阶时间导数)相乘以获得“活动强度”信号。然后可以以获得执行者在滑雪活动期间所体验的感知范围的合理表示的这样的方式对该信号进行滤波和压缩，并且可以将该信号应用于回放装置的触觉输出装置118。
在实施例中，每当接触压力低时，滑雪者可以被假设为正在跳跃，因此，所有的触觉输出都归零。当接触压力非常大时，可以将加速度幅度带通滤波在例如100-200Hz范围内，并且可以使用硬拐点压缩器对其输出范围进行高度压缩。该信号可以应用于回放装置的触觉输出装置118。
握住触觉输出装置118或以其他方式与触觉输出装置118接触的观看者于是可以感觉到由输出变换器114生成并且由触觉输出装置118输出的感知。
例子
通过使用视频和同时获取的传感器读数来产生足够的触觉效果/感知。如图2所示，三轴加速度计被用于传感器102，并且通过使用皮带而被固定到第一滑雪者的靴子。如图2所示，三轴加速度计被定向为使得相对于滑雪者的靴子的方位，X轴从上到下大致对齐，Y轴从后到前大致对齐，Z轴从右到左大致对齐。便携式摄像机被用于视频记录器104和音频记录器106，并且由第二滑雪者操作，第二滑雪者跟随第一滑雪者，以便当第一滑雪者产生传感器数据时产生视频和音频数据。
在所有数据都被记录之后，使来自传感器102(加速度计)的寄存数据与视频记录器104和音频记录器106所记录的视频图像和音频数据同步。要求第一滑雪者在开始下降之前实现四次跳跃。通过逐个图像地对来自视频记录器104的视频馈送进行分析来检测这四次跳跃的时序。另外，如图3所示，当这些跳跃转变为四个连续峰值时，通过对来自传感器102的垂直加速度信号Ax进行分析来检测跳跃的时序。因为加速度计读数带有时间戳，所以可以提取加速度并使这些加速度与整个视频同步。
在使数据同步之后，自动地检测与在空中跳跃之后或在任何对象(例如，轨道)上弹跳时的降落的时刻相关的、被称为“撞击”的特定事件。可以通过在与降落方向相关的加速度信号中创建一个突然的峰值来表征这些撞击。在滑雪时，降落可以是垂直的或“倾斜的”，所以计算用于每个加速度采样的矢量Ax+Ay的幅度。每当幅值高于某一阈值时，就认为该采样表示撞击。对于每个检测到的撞击，在触觉踪迹中在该撞击发生时将撞击效果作为触觉效果引入。效果强度与撞击幅度相关。
捕捉滑雪板在其上滑动的表面的纹理，并使用以下方法在触觉踪迹中表示该纹理。使用快速傅里叶变换(“FFT”)将分别由图4中的401、402、403表示的三个加速度信号Ax、Ay和Az中的每个从时域变换到频域。然后将这三个频域信号作为矢量相加以形成单个信号Atransf。如图4中404所表示的，这后一个信号最后被转变回频域中变为Atrans信号。将三个信号变换为一个信号的这种技术在本领域中是已知的，因此，本文中不提供该变换的具体细节。
然后通过线性插值将单个Atrans信号404从其原始采样速率(即，400Hz)上采样到8000Hz。在这个插值信号中，所有对应于撞击的值都被拟合为0。然后将所得的信号与具有120Hz与270Hz之间的随机频率的正弦波相乘，然后对该信号进行规范化并直接复制在触觉踪迹中，触觉踪迹从而将包含纹理效果和撞击效果。触觉输出装置118然后在回放装置中回放触觉踪迹。在实施例中，当加速度信号被欠采样(例如，以采样速率<100Hz)时，可以通过在捕捉的数据采样之间添加贝叶斯白噪声，而不是进行插值来将变换的信号上采样到8000Hz。
在实施例中，可以检测滑雪板的“摆动”(即，左到右方向的变化或“s曲线”)，并且可以创建相关的触觉效果并将该触觉效果与纹理和撞击相加。在实施例中，可以使用滑雪板本身、而不是滑雪者的加速度。在实施例中，可以在将加速度信号与Atransf信号相加之前使这些加速度信号在频域中偏移150Hz。
图5示出根据本文中所描述的本发明的实施例的方法500。方法500从502开始。在504，用视频记录器(诸如上述视频记录器104)记录视频，并用传感器(诸如上述传感器102)感测视频记录器正在记录的对象的移动。在506，将传感器所感测的移动变换为触觉输出信号，并且在508，使视频和触觉输出信号同步。该方法可以在512结束。在实施例中，该方法还可以包括：用例如上述触觉输出装置118来基于触觉输出信号产生触觉效果，并在显示器(诸如上述显示器120)上显示视频，以使得在回放装置(诸如上述电子回放装置130)上回放期间触觉效果与显示在显示器上的视频同步。在实施例中，在回放装置上回放期间，还可以记录音频、使音频同步并放映音频。
本文中所描述的实施例允许内容创建者记录媒体(诸如视频和/或音频)和其他数据，可能对它进行变换，并发送与内容创建者所体验和记录的媒体相关联的触觉感知。记录和变换真实世界的传感器数据以生成触觉输出是产生触觉内容的一种成本更加有效的方式(当手工创作触觉信号的合成时相比)，并且可以通过适当的输出变换生成上下文合适的“现实的”感知。
本文中所描述的实施例表示若干种可能的实现和例子，而非意图一定使本公开限于任何特定实施例。例如，在上述实施例中，共同的能力是除了典型的视频和音频馈送之外还收集和记录传感器数据中的一个。如本领域的普通技术人员将理解的，可以对这些实施例进行各种修改。任何这样的修改意在于包括在本公开的精神和范围内并且受到权利要求书的保护。

Claims (16)

1.一种用于播放触觉编码的媒体的方法，所述方法包括：
接收媒体数据，所述媒体数据至少包括在远程捕捉设备处记录的视频数据或音频数据；
接收触觉数据，所述触觉数据至少包括在所述远程捕捉设备处记录的加速度分量或幅度分量；
对所述加速度分量或幅度分量进行滤波以创建滤波的触觉数据；
使所述媒体数据和所述滤波的触觉数据同步以创建触觉编码的媒体；以及
在包括触觉输出设备的电子回放设备上播放所述触觉编码的媒体。
2.根据权利要求1所述的方法，其中所述电子回放设备是移动电话或平板设备。
3.根据权利要求1所述的方法，其中所述电子回放设备包括被配置为使所述媒体数据和所述触觉数据同步的编解码器。
4.根据权利要求1所述的方法，其中所述远程捕捉设备包括传感器，所述传感器包括加速计、陀螺仪或接触压力传感器。
5.根据权利要求1所述的方法，其中所述媒体数据是在呈现同步的媒体数据和触觉数据期间接收的。
6.根据权利要求1所述的方法，其中从所述远程捕捉设备接收的媒体数据是实时呈现的。
7.根据权利要求1所述的方法，其中所述媒体数据和所述触觉数据是同时接收的。
8.一种存储被配置为由处理器执行的一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括用于实现方法权利要求1-7中的任一项的指令。
9.一种系统，包括：
处理器；
存储器，存储用于由处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
接收媒体数据，所述媒体数据至少包括在远程捕捉设备处记录的视频数据或音频数据；
接收触觉数据，所述触觉数据至少包括在所述远程捕捉设备处记录的加速度分量或幅度分量；
对所述加速度分量或幅度分量进行滤波以创建滤波的触觉数据；
使所述媒体数据和所述滤波的触觉数据同步以创建触觉编码的媒体；和
在包括触觉输出设备的电子回放设备上播放所述触觉编码的媒体。
10.根据权利要求9所述的系统，其中所述电子回放设备是移动电话或平板设备。
11.根据权利要求9所述的系统，其中所述电子回放设备包括被配置为使所述媒体数据和所述触觉数据同步的编解码器。
12.根据权利要求9所述的系统，其中所述远程捕捉设备包括传感器，所述传感器包括加速计、陀螺仪或接触压力传感器。
13.根据权利要求9所述的系统，其中在呈现同步的媒体数据和触觉数据期间接收媒体数据。
14.根据权利要求9所述的系统，其中从所述远程捕捉设备接收的媒体数据是实时呈现的。
15.一种系统，包括：
处理器；和
存储器，存储用于由处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
接收媒体数据，所述媒体数据至少包括在远程捕捉设备处记录的视频数据或音频数据；
接收触觉数据，所述触觉数据包括所述远程捕捉设备的用户从外部经历的一个或多个力的力信息，所述力信息具有在视频数据或音频数据被记录的同时在所述远程捕捉设备处记录的加速度分量或幅度分量；
对所述加速度分量或幅度分量进行滤波以创建滤波的触觉数据；
同步所述媒体数据和所述滤波的触觉数据以创建触觉编码的媒体；和
在电子回放设备上播放所述触觉编码的媒体，所述电子回放设备包括再现所述力信息的触觉输出设备。
16.一种系统，包括：
视频记录器，配置为记录视频数据；
传感器，被配置为感测物体的运动并且输出表示所述物体的运动的传感器数据，其中所述传感器数据包括X-Y-Z加速度分量；
变换器，被配置为将所述传感器数据变换为触觉输出信号，其中所述变换器被配置为基于XYZ加速度分量生成加速度幅度信号并且对所述加速度幅度信号进行滤波以使得在20赫兹-200赫兹的预定范围之外的频率内容被滤除；
触觉输出设备，被配置为基于所述触觉输出信号向用户生成触觉效果，其中所述触觉输出信号基于滤波的加速度幅度信号；
显示器，用于显示视频；以及
处理器，被配置为使所述视频数据和所述触觉输出信号同步，并且被配置为将所述视频数据输出到所述显示器并且将所述触觉输出信号输出到所述触觉输出设备，使得所述触觉效果与在所述显示器上显示的所述视频同步。
CN201910688656.XA 2013-01-24 2014-01-24 触觉感知记录和回放 Pending CN110399041A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361756418P 2013-01-24 2013-01-24
US61/756,418 2013-01-24
US13/804,692 US9261960B2 (en) 2013-01-24 2013-03-14 Haptic sensation recording and playback
US13/804,692 2013-03-14
CN201410032645.3A CN103970266B (zh) 2013-01-24 2014-01-24 触觉感知记录和回放

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410032645.3A Division CN103970266B (zh) 2013-01-24 2014-01-24 触觉感知记录和回放

Publications (1)

Publication Number Publication Date
CN110399041A true CN110399041A (zh) 2019-11-01

Family

ID=50112682

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910688656.XA Pending CN110399041A (zh) 2013-01-24 2014-01-24 触觉感知记录和回放
CN201410032645.3A Expired - Fee Related CN103970266B (zh) 2013-01-24 2014-01-24 触觉感知记录和回放

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410032645.3A Expired - Fee Related CN103970266B (zh) 2013-01-24 2014-01-24 触觉感知记录和回放

Country Status (5)

Country Link
US (2) US9261960B2 (zh)
EP (1) EP2759908B1 (zh)
JP (2) JP6411029B2 (zh)
KR (1) KR20140095976A (zh)
CN (2) CN110399041A (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015020670B1 (pt) * 2013-02-27 2021-12-28 Interdigital Madison Patent Holdings, Sas Método e dispositivo de reprodução de pelo menos uma sequência de um conteúdo de vídeo filmado usando uma câmera e mídia de armazenamento legível por computador
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
EP3090417B1 (en) * 2014-02-24 2020-04-29 Sony Corporation Smart wearable devices and methods for acquisition of sensorial information from smart devices
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US10133351B2 (en) * 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
KR20170030510A (ko) 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
KR102073227B1 (ko) * 2014-09-25 2020-02-04 한국과학기술원 촉감 서비스 제공 장치
KR102249479B1 (ko) * 2014-10-28 2021-05-12 엘지전자 주식회사 단말기 및 그 동작 방법
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9812165B2 (en) * 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
EP3054451A1 (en) * 2015-02-03 2016-08-10 Thomson Licensing Method, apparatus and system for synchronizing audiovisual content with inertial measurements
JP6523038B2 (ja) * 2015-05-08 2019-05-29 日本放送協会 感覚提示装置
US20160378186A1 (en) * 2015-06-23 2016-12-29 Intel Corporation Technologies for controlling haptic feedback intensity
US9711015B2 (en) * 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
WO2017102026A1 (en) 2015-12-18 2017-06-22 Telefonaktiebolaget Lm Ericsson (Publ) Immersive video with haptic feedback
CN106534142B (zh) * 2016-11-22 2018-04-20 包磊 多媒体数据的实时传输方法及装置
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
CN110476437B (zh) * 2017-01-26 2022-04-15 迪宝克技术公司 捕获运动并使运动与记录的音频/视频同步
US20180288364A1 (en) * 2017-03-30 2018-10-04 Zen-Me Labs Oy Method and system for sensory environment replication
WO2018191169A1 (en) * 2017-04-09 2018-10-18 4D Reality, Inc. Synchronous capture and playback of 4d content
JP6837921B2 (ja) * 2017-06-02 2021-03-03 任天堂株式会社 ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6613267B2 (ja) 2017-06-02 2019-11-27 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
JP6653293B2 (ja) 2017-06-05 2020-02-26 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法
US20190121433A1 (en) * 2017-10-20 2019-04-25 Immersion Corporation Determining a haptic profile using a built-in accelerometer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
FR3103667A1 (fr) * 2019-11-27 2021-05-28 Sagemcom Broadband Sas Equipement décodeur transmettant des métadonnées à un équipement auxiliaire pour le piloter
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN113206912B (zh) * 2021-04-26 2023-07-04 瑞声光电科技(常州)有限公司 多媒体信息处理方法、装置、电子设备及存储介质
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
CN114115538A (zh) * 2021-11-23 2022-03-01 瑞声开泰声学科技(上海)有限公司 一种触觉反馈数据处理方法、装置及计算机可读存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205607A (ja) * 1996-01-25 1997-08-05 Sony Corp ビデオ記録装置および再生装置
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20050062841A1 (en) * 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
JP4923420B2 (ja) * 2005-03-15 2012-04-25 日本電気株式会社 動画撮影・再生システム、その撮影・再生方法、その携帯装置およびその撮影、再生方法
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
EP3287874A1 (en) 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
EP2277096A1 (en) 2008-05-09 2011-01-26 Koninklijke Philips Electronics N.V. Method and system for conveying an emotion
JP2010015551A (ja) * 2008-06-03 2010-01-21 Univ Of Electro-Communications 触覚情報提示装置及び触覚情報提示システム
CN102473172A (zh) * 2009-07-24 2012-05-23 数字标记公司 改进的音频/视频方法和系统
KR101295147B1 (ko) 2011-01-06 2013-08-09 한국과학기술원 충격량 제공장치, 햅틱 피드백 제공장치, 이를 이용한 진동 제공방법, 및 그 기록매체
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US20130198625A1 (en) * 2012-01-26 2013-08-01 Thomas G Anderson System For Generating Haptic Feedback and Receiving User Inputs
US20130222565A1 (en) * 2012-02-28 2013-08-29 The Johns Hopkins University System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture
US8842969B2 (en) * 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video

Also Published As

Publication number Publication date
US20140205260A1 (en) 2014-07-24
EP2759908B1 (en) 2020-08-05
US9261960B2 (en) 2016-02-16
CN103970266B (zh) 2019-08-27
JP2018198444A (ja) 2018-12-13
KR20140095976A (ko) 2014-08-04
CN103970266A (zh) 2014-08-06
JP2014160529A (ja) 2014-09-04
US11137828B2 (en) 2021-10-05
JP6411029B2 (ja) 2018-10-24
US20160162028A1 (en) 2016-06-09
JP6664137B2 (ja) 2020-03-13
EP2759908A1 (en) 2014-07-30

Similar Documents

Publication Publication Date Title
CN103970266B (zh) 触觉感知记录和回放
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US10444843B2 (en) Systems and methods for converting sensory data to haptic effects
US8711118B2 (en) Interactivity model for shared feedback on mobile devices
US20180268667A1 (en) Offline haptic conversion system
EP2779672A2 (en) Systems and methods for enhanced television interaction
EP3575933A1 (en) Systems and methods for recording haptic data for use with multi-media data
WO2010087920A3 (en) Generating a three-dimensional model using a portable electronic device recording
US11553103B2 (en) Image capture device for generating time-lapse videos
US11696045B2 (en) Generating time-lapse videos with audio
CN110476437B (zh) 捕获运动并使运动与记录的音频/视频同步
US20210223867A1 (en) Signal generation device, signal generation method, program, reproduction device
CN115516770A (zh) 解码装置、解码方法、程序、编码装置以及编码方法
WO2009030891A2 (en) Karaoke system
JP2013228486A (ja) 電子機器及び抽出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191101