CN105721814A - 用于记录与多媒体数据一起使用的触觉数据的系统和方法 - Google Patents

用于记录与多媒体数据一起使用的触觉数据的系统和方法 Download PDF

Info

Publication number
CN105721814A
CN105721814A CN201510955744.3A CN201510955744A CN105721814A CN 105721814 A CN105721814 A CN 105721814A CN 201510955744 A CN201510955744 A CN 201510955744A CN 105721814 A CN105721814 A CN 105721814A
Authority
CN
China
Prior art keywords
recorder
sensor
contact sensor
data
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510955744.3A
Other languages
English (en)
Other versions
CN105721814B (zh
Inventor
C·J·乌尔里克
R·拉克鲁瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN105721814A publication Critical patent/CN105721814A/zh
Application granted granted Critical
Publication of CN105721814B publication Critical patent/CN105721814B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开的一个方面涉及用于记录与多媒体数据一起使用的触觉数据的系统和方法，具体公开了一种系统，包括被配置为记录关注主体的音频和/或视频并且输出关注主体的记录的记录器，以及与记录器相关联的非接触传感器。非接触传感器被构造和布置为从与记录器基本上相同的视角并且与记录器同时地测量关注主体的移动和/或振动。系统包括控制器，所述控制器被配置为将由非接触传感器进行测量所测得的关注主体的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与记录器对关注主体的记录一起回放，并且将与所测得的移动和/或振动相对应的触觉效果与记录同步地提供给触觉显示设备的用户。

Description

用于记录与多媒体数据一起使用的触觉数据的系统和方法
技术领域
本发明涉及用于记录与多媒体数据一起使用的触觉数据的系统和方法。
背景技术
在现场和前期制作内容的生成中，均存在用于建立和获取动作的完善的技术。在基于位置的现场体育赛事的情况下，例如，现场制作人通常在赛事之前提前一周到两周到达，设置各个摄像机的位置以便生成引人注目的、对来自拍摄现场的多媒体数据流的现场制作(播送)。对于现场制作团队来说正常的是，对一组现场麦克风进行预混，以针对每个摄像机位置生成“以自我为中心”的声场，用于丰富播送内容的接收者的体验。
例如，在体育场上，被架置在看台以上的摄像机可以包括均匀混合的观众声音效果与赛场声音效果。赛场侧的摄像机可以具有抛物线麦克风或聚焦式麦克风以生成更强的赛场存在感。在运动员处架置的摄像机可以具有在运动员处架置的麦克风，并且可以与赛场侧摄像机混合以提供以运动员为中心的体育场体验。虽然类似的策略被用于针对电影和电视的前期制作的内容，但要进行显著更多的音频后期制作编辑以生成最终的产品。
发明内容
理想的是，通过将触觉内容添加到可以被流式传输并且被回放给电子设备用户的播送内容，生成针对观众在电子设备上观看现场体育赛事和其他娱乐活动的更沉浸式的体验。同样理想的是，通过使得真实世界的触觉数据更容易获得、并且在尽可能少的人为介入的情况下变换真实世界的触觉数据，使得触觉内容更普遍，以便促进体验的传播和用户对体验的接受。
根据本发明的方面，提供了一种系统，所述系统包括被配置为对关注主体的音频和/或视频进行记录并且输出对关注主体的记录的记录器，所述系统还包括与记录器相关联的非接触传感器。非接触传感器被构造和布置为从与记录器基本上相同的视角并且与记录器同时地测量关注主体的移动和/或振动。所述系统包括控制器，控制器被配置为将由非接触传感器进行测量所测得的关注主体的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与记录器对关注主体的记录一起回放，并且将与测得的移动和/或振动相对应的触觉效果与记录同步地提供给触觉显示设备的用户。
在实施例中，非接触传感器包括激光测振仪。在实施例中，非接触传感器包括跟踪设备。
在实施例中，非接触传感器包括视频流分析算法。
在实施例中，记录器和非接触传感器位于相同的位置。
在实施例中，系统包括第一伺服机构，其被控制器控制并且被构造和布置为将非接触传感器移动到具有与记录器基本上相同的视角的位置和/或取向。在实施例中，系统具有第二伺服机构，其被控制器控制并且被构造和布置为移动记录器。第一伺服机构与第二伺服机构同步，以使得非接触传感器的移动同步于记录器的移动。
在实施例中，系统包括第二传感器，其被构造和布置为与被记录器记录的主体相接触并且感测主体的移动和/或振动。控制器还被配置为将从非接触传感器和第二传感器接收到的数据进行组合，并且将组合得到的数据变换为触感数据流。在实施例中，控制器包括变换器，其被构造和布置为对具有不同的采样率和/或灵敏度的传感器信号进行混合，并且输出经变换的组合数据。
根据本发明的方面，提供了一种包括以下步骤的方法：用记录器对关注主体的音频和/或视频进行记录，以及用非接触传感器测量关注主体的移动和/或振动，此非接触传感器与记录器相关联并且具有与记录器基本上相同的视角。所述方法包括，用控制器将测量得到的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与关注主体的音频和/或视频的记录一起回放，并且将与测得的移动和/或振动相对应的触觉效果与记录同步地提供给触觉显示设备的用户。
在实施例中，方法包括随着记录器移动和改变视角，用由控制器控制的第一伺服机构将非接触传感器移动到具有与记录器基本上相同的视角的位置。在实施例中，方法包括用由控制器控制的第二伺服机构移动记录器。第一伺服机构与第二伺服机构同步，以使得非接触传感器的移动同步于记录器的移动。
在实施例中，方法包括用与关注主体接触的第二传感器感测关注主体的移动和/或振动，对从非接触传感器和第二传感器接收到的数据进行组合，并且将组合得到的数据变换为触感数据流。
在实施例中，方法包括对具有不同的采样率和/或灵敏度的传感器信号进行变换，并且输出经变换的组合数据。
本发明的这些和其他方面、特征和特性，以及操作方法和结构的相关元件的功能和部分的组合和制造的经济性，在参考附图考虑以下的描述和附加的权利要求后将变得更加清晰，以下的描述、权利要求和附图都构成说明书的一部分。但是要明确理解的是，附图仅仅出于说明和描述的目的，并且不旨在作为对本发明的限制的定义。当在说明书和权利要求中被使用时，除非上下文清楚地陈述，“一个”、“一”、和“该”的单数形式包括复数的指代物。
附图说明
以下附图中的组件被说明为强调本公开的通用原理，并且不一定按比例绘制。为了一致和清晰的目的，必要时贯穿附图重复使用指定对应组件的引用字符。
图1A示意性地说明根据本发明的实施例的系统；
图1B示意性地说明图1A的系统中的控制器的进一步细节；
图2A示意性地说明根据本发明的实施例、图1中的系统的实施方式；
图2B示意性地说明图2A所说明的本发明的实施例的进一步细节；
图3示意性地说明根据本发明的实施例从非接触传感器和视频/音频记录器到回放设备的数据流；
图4示意性地说明根据本发明的实施例从非接触传感器、接触传感器和视频/音频记录器到回放设备的数据流；以及
图5示意性地说明根据本发明的实施例的方法。
具体实施方式
图1A示意性地说明了根据本发明的实施例的系统100。如图所说明，系统100包括一个或多个传感器102，传感器102被配置为感测在一定距离处的事件中的关注主体所体验的移动和/或振动，并且将感测到的移动和/或振动转换为触感效果数据，而触感效果数据用于作为触觉效果回放给电子回放设备130的用户，如下进一步详细所述。在实施例中，传感器102是非接触传感器，如下进一步详细所述。
在实施例中，传感器102被构造和布置为感测选手和/或装置或其他作为体育赛事一部分的关注主体等的运动和/或振动。在实施例中，在运动场/溜冰场/球场上以及运动场/溜冰场/球场的边界等上的周围运动和振动可以被传感器102感测到。下面进一步详细地描述传感器102的实施例。由传感器102感测到的振动可以处于任何频率范围中，即使该振动频率范围可以通常不被人体的机械感受器感受到。在这样的实施例中，然后在传感器数据的转换期间，振动可以被转换或转变到机械感受的范围。下面进一步详细地描述从传感器数据到触感效果数据的变换。
系统100还包括一个或多个摄像机104，其被构造和布置为获取关注主体的图像和声音。摄像机104可以包括作为整体的视频/音频记录器，或可以包括在图1A中分别以106和108表示的分开的视频和音频记录器。音频记录器108可以包括被构造和布置为获取与事件相关联的声音的一个或多个麦克风。例如，如果事件是足球比赛，则一个或多个麦克风可以被放置在现场级的比赛场地的边线上，一个或多个麦克风可以被放置在比赛场地以上的位置处，如目前在足球比赛的播送期间所做的那样。本文中所使用的“摄像机”指的是视频记录器106和音频记录器108的组合，即使这两个记录器不位于同一位置并且物理上是分开的。在实施例中，传感器102、视频记录器106以及音频记录器108可以是相同的电子设备的一部分。在实施例中，传感器102、视频记录器106以及音频记录器108可以是分开的、独立的设备或分开的、独立的设备的一部分。
如图1A所说明，系统100还包括控制器110，控制器110被构造和布置为将控制信号输出给传感器102、视频记录器106以及音频记录器108，并且控制器110被构造和布置为还从传感器102、视频记录器106以及音频记录器108接收数据信号，以用于进一步的处理和最终向电子回放设备130的传输。控制器110包括一个或多个被构造和布置为处理从传感器102、视频记录器106以及音频记录器108输出的信号和数据的处理器112。处理器112可以被编程以执行计算机程序模块，计算机程序模块包括用于实施控制器110的各种功能的可执行指令，如下进一步详细所述。在实施例中，传感器102可以包括与处理器112分开的处理器，或处理器112可以是传感器的一部分。
电子回放设备130包括触觉输出设备132、显示器134和扬声器136。触觉输出设备132被配置为向电子回放设备130的用户输出触觉效果，显示器134被配置为显示诸如视频记录器106获取的图像之类的图像，而扬声器136被配置为输出可以是音频记录器108获取的声音的声音。在实施例中，触觉输出设备132可以是可穿戴设备的一部分，可穿戴设备诸如手环、手表、臂带、头带、头戴式显示器等。在实施例中，触觉输出设备132、显示器134、以及扬声器136可以是例如被配置为通过无线连接互相通信的分开的设备。在实施例中，触觉输出设备132可以是可穿戴设备的一部分，显示器134可以是电视机的一部分，而扬声器136可以是与显示器134分开的无线扬声器。
触觉输出设备132可以包括致动器，例如，诸如在其中由电机移动偏心质量的偏心转动质量(“ERM”)、在其中与弹簧附接的质量被来回驱动的线性谐振致动器(“LRA”)之类的电磁致动器，或诸如压电、电活性聚合物或形状记忆合金之类的“智能材料”，宏观纤维复合材料致动器，静电致动器，电触觉致动器，和/或其他类型的提供诸如触觉(例如，振动触感)反馈之类的物理反馈的致动器。触觉输出设备132可以包括诸如那些使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备，或那些用超声触觉换能器引起声辐射压力的设备，或那些使用触觉衬底和柔性或可变形的表面的设备，或那些提供诸如使用空气喷射的一股空气之类的投射触觉输出的设备等之类的非机械或非振动设备。
图1B说明控制器110的实施例的进一步的细节。控制器110可以是用于管理或控制系统100的操作和功能的通用或专用的微处理器。例如，控制器110可以被专门设计为专用集成电路(“ASIC”)以控制到触觉输出设备132以提供触觉效果的输出信号。控制器110可以被配置为基于预定义的因素决定要产生什么触觉效果、产生触觉效果的顺序、以及触觉效果的幅值、频率、持续时间和/或其他参数。控制器110还可以被配置为提供流式传输命令，流式传输命令可以被用于驱动触觉输出设备132以用于提供特定的触觉效果。在实施例中，控制器110可以包括多于一个的处理器112，即，多个处理器112，每个处理器可以被配置为执行系统100内的某些功能。控制器110还可以包括电子存储器，电子存储器包括一个或多个可以包括触觉效果简档、要如何驱动触觉输出设备132的指令、和/或用于产生触觉效果的其他信息的存储设备。在实施例中，电子存储器114可以是处理器112的一部分。
电子存储器114可以被用于存储由传感器102感测到的数据、由视频记录器106记录的数据、以及由音频记录器108记录的数据。电子存储器114可以包括一个或多个内部固定的存储单元、可移除的存储单元、和/或远程可访问的存储单元。各种存储单元可以包括易失性存储器和非易失性存储器的任何组合。存储单元可以被配置为存储信息、数据、指令、软件代码等的任何组合。
如图所说明，控制器110还包括输入变换器116、传感器数据编码器118、视频/音频数据编码器120、解码器122、以及输出变换器124。如上所讨论，由传感器102产生的数据可以被存储到电子存储器114。另外，由传感器102产生的数据在被存储到电子存储器114之前可以由输入变换器116进行变换。对传感器数据的变换被认为是可选的步骤，并且是否需要进行变换可以依赖于所使用的传感器的性质。例如，在使用多个传感器102并且其中每个传感器使用不同的采样频率等的实施例中，输入变换器116可以被用于变换数据，以使得数据可以被组合到具有相同频率的单个数据流等。
在实施例中，传感器数据编码器118可以被配置为将记录期间的传感器数据放入灵活的容器格式，诸如MPEG-4文件，这使得在单个容器文件中对除了视频和音频之外的数据进行存储。类似地，视频/音频数据编码器120可以被配置为将记录期间的视频和音频数据放入容器格式，诸如MPEG-4文件。在实施例中，软件可以被编写以在单独的文件中存储传感器数据，但传感器数据中带有特别的标记以实现在回放时间与视频/音频数据进行合适的同步。在这样的实施例中，除了改变传感器数据以符合所设计的记录格式的限制之外，可能需要应用非常小的输入变换。准确的格式可以由实施者确定。一旦记录事件的用户已经完成他的或她的活动，可以停止记录。MPEG-4文件可以被关闭，而所有的传感器数据可以与视频/音频数据一起存在于电子存储器114中的MPEG-4文件中。
解码器122，可以是所说明的控制器110的一部分，或可以是被配置为回放媒体文件的电子回放设备130的媒体播放器的一部分，解码器122被配置为从电子存储器114读取传感器102产生的数据，并且临时地将此数据与被记录并且存储在电子存储器114中的音频数据和视频数据相关联。在媒体回放期间，解码器122可以使传感器数据通过输出变换器124，输出变换器124被配置为将传感器数据变换为触觉输出信号，以产生一个或多个触觉效果或触觉感官命令，包括但不限于振动、表面摩擦调制、皮肤捏夹、皮肤挤压等。解码器122可以被配置为将从传感器数据变换而来的触觉输出信号与视频/音频数据同步，以使得触觉效果在回放期间与视频和音频同步。在实施例中，可以通过确保在回放期间视频数据、音频数据和触觉效果中的时间相同，完成同步。
然后触觉输出信号可以从解码器122被传送到触觉输出设备132，以使得通过包括触觉输出设备132的电子回放设备130体验媒体的人可以更完全地体验被回放的事件。电子回放设备130可以是任何设备，诸如电子手持式设备、诸如移动电话、游戏设备、个人数字助理(“PDA”)、便携式邮件设备、便携式因特网访问设备、平板计算机等。电子回放设备130可以包括但不限于手持式设备或可穿戴设备，其带有显示媒体、可以是高清晰度显示器的显示器134，和能够产生触觉感觉或效果的手持对象，或与用户的身体附接、依靠用户的身体、或以其他方式能够将触感感觉和触觉效果传送到用户的对象。对包含振动、视频和音频数据的所有数据流的同步可以被记录软件管理，记录软件可以存在于图1A和图1B所说明的系统100的处理器112中。
或在活动被执行之后稍晚的时间、或在活动被执行的同时，一个或多个观看者可以对体验此活动产生兴趣。为了回放此活动，观看者可以在他们个人的电子回放设备130上启动适合的回放软件。在实施例中，回放软件可以包括包含由上面描述的解码器122执行的传感器解码方案的播放器软件应用，以及可以由输出变换器124运行的输出变换软件，以便将传感器数据变换为适合于电子回放设备130中的触觉输出设备132的触觉输出信号。在实施例中，播放器软件应用可以包含传感器解码方案。播放器软件可以依赖于存在于或以其他方式预安装在电子回放设备130上的输出变换软件，并且这样的输出变换软件可以将传感器数据变换为适合于电子回放设备130中的触觉输出设备132的触觉输出信号。换句话说，输出变换器124和/或解码器122可以位于电子回放设备130上。
在实施例中，电子回放设备130可以被配置为对视频流和触感效果数据进行解码，并且保持视频和触感效果数据之间的同步。在电子回放设备130中的单个微处理器可以例如，基于视频和触感效果数据流控制视频显示器134和触觉输出设备132两者。在实施例中，播放器软件应用可以依赖于包含传感器解码方案的、回放设备的操作系统软件来执行媒体回放。操作系统软件可以依赖于存在于或以其他方式预安装在电子回放设备130上的输出变换软件，这样的输出变换软件将传感器数据变换为适合于电子回放设备130中的触觉输出设备132的触觉输出信号。观看者然后可以体验与观看事件或表演相关联的触觉效果，这样的触觉效果由输出变换软件产生。在实施例中，输出变换可以发生在电子回放设备130以外，并且替代地可以发生在由播送装置所有并且存储在云中的服务器上。在这样的实施例中，针对不同的设备和/或设备类型的多个版本的触觉轨道可以被产生，并且合适的触觉轨道可以被选择并且被传送到电子回放设备130中的触觉输出设备132。
在实施例中，视频、音频和传感器数据流可以被同步、合并并且传送到回放设备130。例如，考虑到获取可以发生在通过有线或无线网络进行通信的独立设备上，可以通过在每个视频帧和传感器测量结果上包括时间戳来进行同步。记录设备因此可以需要获得共享的时间参考，例如来自GPS系统的时间参考。在实施例中，可以通过执行在视频和传感器数据流中均可检测的特定动作来执行同步。
所获得的数据可以作为结合振动和视频、还包括音频的单个数据流被传送，或作为具有同步信息的两个数据流被传送。数据流可以逐渐被传送到电子回放设备130，或被存储在文件中以用于随后的回放。在实施例中，可以通过使用编辑工具在线下产生触觉效果并且在后期制作中将触觉效果添加到视频中。
视频可以在稍晚的时间被回放或实时被流式传输，在这两种情况下视频均呈现给一个或多个接收者。视频可以在若干设备上被回放，这些设备包括但不限于智能电话或平板计算机、计算机、家庭影院系统等。可以通过使用不同的触觉输出设备132类似地产生触觉效果，触觉输出设备132位于智能电话或平板计算机，诸如头戴式显示设备、腕带、戒指或手套之类的可穿戴设备，或诸如椅子或桌子之类的一件家具上。
图2A示意性地说明了作为上面参考图1A和1B所描述的系统100的实施例的系统200。在图2A所说明的实施例中，传感器102可以包括移动/振动获取设备210，其可以包括被构造和布置为测量关注主体的移动和/或振动的非接触测量设备212，和/或被构造和布置为测量关注主体的移动和/或振动的跟踪设备214。虽然非接触测量设备212和跟踪设备214均被说明为移动/振动设备210的一部分，但在一些实施例中，移动/振动设备210可以包括非接触测量设备212或跟踪设备214中的仅仅一个设备。系统200还包括视频/音频记录器220、变换器230和电子回放设备240，电子回放设备240包括被配置为产生代表由移动/振动获取设备210获取的移动和/或振动的触觉效果HE的至少一个触觉输出设备242，以及被配置为显示由视频/音频记录器220获取的图像的显示器244。
在实施例中，非接触测量设备212可以是被配置为测量关注主体的振动的激光测振仪。如本领域所知，使用中的激光测振仪以第一频率发射指向关注主体的激光束，并且测量由关注主体反射并且被光电探测器检测到的激光束的第二频率。如果主体的表面在移动，例如振动，则将存在使得第二频率不同于第一频率的频率的偏移。频率的偏移然后可以与关注主体的振动相关。跟踪设备214可以被配置为在多达三个维度中跟踪关注主体的移动，因此关注主体的振动可以通过用已知方法进行的图像分析而确定。在实施例中，可以通过使用图像分析软件从两维或三维视频流中导出移动和/或振动。
在实施例中，诸如加速度计之类的、被配置为感测移动和/或振动的一个或多个附加传感器216可以置于关注主体上。这样的传感器216不同于本文中所描述的非接触传感器，因为传感器216与主体相接触，而不是与关注主体不接触。
在实施例中，一个或多个附加传感器(未示出)可以包括被配置为跟踪关注主体周围特定范围内的光场的变化的光学传感器，而光场的变化可以作为表示移动/振动的传感器数据被使用。
同样如图2A所说明，可以是摄像机的视频/音频记录器220可以被实施为上面参考图1A所描述的视频记录器106和音频记录器108，并且被配置为从关注主体获取图像和声音。虽然视频/音频记录器220被说明为一个整体设备，但本发明的实施例涵盖在其中视频记录器与音频记录器分开的布置，如上所述。在实施例中，移动/振动获取设备210和视频/音频记录器220可以位于相同的电子设备上相同的位置。
由移动/振动获取设备210和接触传感器216获取的数据可以被变换器230处理，并且作为用于传输到电子回放设备240的触感效果数据被输出。在实施例中，触感效果数据可以与音频-视觉数据一起或交错地被存储以用于随后的呈现或用于针对现场赛事观众消费而进行的即时播送。
在实施例中，例如，如果不同的传感器212、214、216使用不同的采样率和/或具有不同的灵敏度，则诸如卡尔曼滤波(Kalmanfiltering)之类的传感器数据融合技术可以被变换器230使用。由变换器230输出的触感效果数据可以在被传输到电子回放设备240之前被编码，并且当在电子回放设备240上回放时被解码。由视频/音频记录器220获取的媒体数据还可以作为视频/音频数据被传送到电子回放设备240，并且可以在被传输之前如上所讨论地被编码，并且当在电子回放设备上回放时被解码。
在图2A所说明的实施例中，被系统记录的事件是曲棍球比赛，而此时的关注主体是被曲棍球棍HS击打的曲棍球HP。当曲棍球HP被曲棍球棍HS击打时，非接触移动/振动获取设备210记录曲棍球HP的移动/振动。同时，与曲棍球HP相接触的接触传感器216测量由用曲棍球棍HS击打曲棍球HP所产生的振动。由移动/振动获取设备210和接触传感器216记录的数据被变换器230处理和变换为触感效果数据，并且与视频/音频数据一起或交错地被传送到电子回放设备240。在接收到传输的数据时，电子回放设备240可以将数据存储到电子存储器，以用于在随后的时间进行回放，或电子回放设备240可以转到在显示器244上显示视频图像，并且用触觉输出设备242显示与所感测到的振动相对应的触觉效果HE，因此持有电子回放设备240的用户可以感受到与曲棍球棍HS打击曲棍球HP相关联的振动。
在实施例中，电子回放设备240可以是图1中的电子回放设备130，并且可以采用具有显示器134、扬声器136以及作为提供触觉效果的触觉输出设备132的振动设备的移动电话或平板计算机的形式。在实施例中，触觉输出设备242可以是被构造和布置为由设备的用户持有或与设备的用户相附接的电子设备的一部分。例如，触觉显示设备242可以是移动电话的一部分，诸如智能电话、平板计算机、手柄、诸如智能手表、腕带、臂带、头带、头戴式显示器之类的可穿戴设备等。
为了维持自我为中心的视频/音频记录器(即，摄像机104)的视角，传感器102应当以感知上有意义的方式跟踪摄像机104的观看角度。例如，如果在足球比赛期间摄像机104跟随足球，则传感器102应当被移动以维持与摄像机104同步的视角。这种在摄像机104和传感器102之间的同步可以以不同的方式被实现。在实施例中，使用标记或基于视频的跟踪技术进行的对象跟踪可以被使用。在实施例中，摄像机104和传感器102的位置和取向可以由摄像机104和传感器102的操作者手动地控制。
在图2B所说明的实施例中，对视频/音频记录器220(即，摄像机)的位置和取向与移动/振动获取设备210(即，非接触传感器)的伺服匹配可以被使用。如图所说明，系统还包括控制器250，被控制器250控制的并且被构造和布置为控制非接触测量设备212的位置和/或取向的第一伺服机构(“伺服”)252，被控制器250控制的并且被构造和布置为控制跟踪设备214的位置和/或取向的第二伺服机构(“伺服”)254，以及被控制器250控制的并且被构造和布置为控制视频/音频记录器220的位置和/或取向的第三伺服机构(“伺服”)256。控制器250可以包括被配置为执行三维图像分析软件的处理器，三维图像分析软件向控制器250提供可以被转变为针对伺服252、254、256的伺服位置命令的主体标记。在实施例中，三维图像分析软件可以包括确定主体的移动/振动并且输出信号的算法，其中此信号可以被变换为要显示给电子回放设备用户的触觉效果。在实施例中，控制器250可以由位置跟踪系统260命令，位置跟踪系统260通过使用类似于已有的信标和三角(beacon&triangulation)系统的技术在三维空间中跟踪关注主体。位置跟踪系统260提供可以被转变为针对控制器250的伺服位置命令的主体标记。
图3说明从非接触传感器310和视频/音频记录器320到电子回放设备330的数据流300的实施例。如图所说明，由传感器310输出的数据在312处经历校准映射，在314处被重新采样，并且在316处通过使用诸如上面讨论的格式之类的本领域技术人员已知的格式由编码器进行编码。在数据被编码之后，编码器输出要被包含到媒体340的信号318，媒体340可以经由因特网被流式传输，例如，用于作为在电子回放设备330上的回放媒体350进行的消费。同时或基本上同时，在322处由编码器使用诸如上面讨论的格式之类的本领域技术人员已知的格式对来自视频/音频记录器320的数据进行编码，以准备要被包含到媒体320的编码信号324，媒体320被流式传输到回放设备330。编码信号318、324可以在被流式传输(或以其他方式被传递)到回放设备330之前被同步，或编码信号318、324可以在被传递到回放设备330之后在回放设备330本地被同步，如上所讨论的那样。编码信号318、324可以一起被流式传输或可以被交错成单个信号。
图4说明从多于一个的传感器和记录关注主体的视频/音频记录器430到电子回放设备440的数据流400的实施例，其中多于一个的传感器诸如测量关注主体的振动的非接触传感器410，和与关注主体相接触的接触传感器420。在实施例中，传感器数据可以被处理以确保校准和采样率的一致性。然后通过使用诸如状态估计、混合、平均等之类的各种技术，多个传感器数据信道可以被组合，以便生成单个触觉信号。在图4所说明的实施例中，由非接触传感器410输出的数据在412处经历校准映射，并且在414处被重新采样。由接触传感器420输出的数据在422处经历校准映射并且在424处被重新采样。在414和424处被重新采样后的数据在416处被变换以用于状态估计，因此例如，如果在两个数据流中的数据处于不同的频率，则数据信号可以被估计和变换为单个数据信号，以用于在418处由编码器使用诸如上面讨论的格式之类的本领域技术人员已知的格式进行编码。在实施例中，在两个数据流中的数据可以被变换为可以包含一个或多个触觉数据信道的触觉输出流。编码器输出要被包含到媒体436的信号426，媒体436可以经由因特网被流式传输，例如用于作为在回放设备440上的回放媒体438进行的消费。同时或基本上同时，在432处由编码器使用诸如上面讨论的格式之类的本领域技术人员已知的格式对来自视频/音频记录器430的数据进行编码，以准备要被包含到媒体436的编码信号434，媒体436被流式传输到回放设备440。编码信号426、434可以在被流式传输或以其他方式被传递到回放设备440之前被同步，而编码信号426、434可以在被传递到回放设备440之后但在作为回放媒体438被回放之前，在回放设备440本地被同步，如上所讨论的那样。编码信号426、434可以一起被流式传输或可以被交错成单个信号。
在图3和图4所说明的两个实施例中，对基于场的触感感测的输出均可以包括两个不同类型的数据编码，诸如包括来自场传感器源的完全和未混合的传感器数据的RAW主记录(masterrecording)，以及包括混合的并且准备好播送的触感轨道的缩混记录(downmixrecording)，缩混记录是播送的所有触感传感器的最终的混合产物。在一些实施例中，针对事件中的每个摄像机，缩混记录可以都是可用的。由于在传感器技术上存在不同，RAW记录可以具有不同的采样率，而缩混可以符合标准采样率(例如，200Hz)以便促进下游混合和终端设备的呈现。
根据本发明的实施例，上面描述的系统100和200可以是媒体服务器驱动的。媒体服务器可以是诸如之类的云视频流服务，诸如NBC之类的提供播送网络的服务，诸如微软的Xbox之类的游戏控制台，或任何其他类型的服务器。触感效果数据可以作为从媒体服务器有线或无线地被通信传送到电子回放设备130、240的信号被提供。信号可以是从直接的触感效果流或命令集到对触觉输出设备132、242做出的任何抽象指示的任何信号，其中抽象指示为若干动作必须被执行，其中被执行的动作中的一个动作是基于触感效果数据对触觉效果的呈现。
根据本发明的实施例，系统100、200可以是PVD驱动的。PVD可以被配置为识别触感效果数据信号，然后将或相同的触感效果数据信号或从触感效果数据信号变换而来的不同的信号发送出去，最终使得触觉效果被触觉输出设备132、242产生。
图5说明根据本发明的实施例的方法500。在510处，视频和/或音频被记录设备记录，记录设备诸如上面所描述的视频记录器106和/或音频记录器108或视频/音频记录器220。在520处，移动和/或振动被至少一个非接触传感器感测，诸如上面所描述的移动/振动获取设备210。在实施例中，移动/振动数据可以被变换为触感数据流。在530处，通过使用诸如上面描述的处理器112之类的处理器，使视频与在触感数据流中的振动同步。在540处，通过使用诸如上面所描述的包括显示器134、扬声器136和触觉输出设备132的电子回放设备130或上面所描述的电子回放设备240，回放同步的视频和/或音频与振动。
上面所描述的本发明的实施例获取关注主体的移动和/或振动，意图是使用移动/振动获取产生要与多媒体数据流中的视频和/或音频数据一起被使用的触感效果数据。移动/振动获取涉及对关注主体的非接触观察。
上面所描述的本发明的实施例提供生成对事件的现场播送的能力，包含至少一个非接触触感传感器。上面所描述的本发明的实施例针对可能具有不适于基于接触的触感感测的、精密或极端的环境条件的事件可以是特别有用的。
上面所描述的本发明的实施例提供一种基于摄像机的自我为中心的声场，所述声场可以被延伸以使得音频和触感反馈均可以作为体育播送或前期制作拍摄的一部分被获取和呈现。上面所描述的本发明的实施例提供了在主体上的与非接触的触感感测技术的组合，其可以被混合以生成针对每个摄像机的观看角度合适的终端用户体验。
本文所描述的实施例代表了若干可能的实施方式和示例，并且不意图必须将本公开限制到任何特定的实施例。相反地，如本领域普通技术人员所理解的那样，可以对这些实施例做出各种修改。任何这样的修改意图被包括在本公开的精神和范围内，并且被以下的权利要求所保护。

Claims (14)

1.一种系统，包括：
记录器，被配置为记录关注主体的音频和/或视频，并且输出对关注主体的记录；
与所述记录器相关联的非接触传感器，所述非接触传感器被构造和布置为从与所述记录器基本上相同的视角并且与所述记录器同时地测量关注主体的移动和/或振动；以及
控制器，被配置为将由所述非接触传感器测量所测得的关注主体的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与所述记录器对关注主体的记录一起回放，并且将与测得的移动和/或振动相对应的触觉效果与所述记录同步地提供给所述触觉显示设备的用户。
2.如权利要求1所述的系统，其中所述非接触传感器包括激光测振仪。
3.如权利要求1所述的系统，其中所述非接触传感器包括跟踪设备。
4.如权利要求1所述的系统，其中所述非接触传感器包括视频流分析算法。
5.如权利要求1所述的系统，其中所述记录器和所述非接触传感器位于相同的位置。
6.如权利要求1所述的系统，还包括第一伺服机构，第一伺服机构被所述控制器控制，并且被构造和布置为将所述非接触传感器移动到具有与所述记录器基本上相同的视角的位置和/或取向。
7.如权利要求6所述的系统，还包括第二伺服机构，第二伺服机构被所述控制器控制，并且被构造和布置为移动所述记录器，其中所述第一伺服机构与所述第二伺服机构同步，以使得所述非接触传感器的移动同步于所述记录器的移动。
8.如权利要求1所述的系统，还包括第二传感器，第二传感器被构造和布置为与所述记录器记录的主体相接触，并且感测主体的移动和/或振动，其中所述控制器还被配置为对从所述非接触传感器和所述第二传感器接收到的数据进行组合，并且将组合得到的数据变换为触感数据流。
9.如权利要求8所述的系统，其中所述控制器包括变换器，变换器被构造和布置为对具有不同的采样率和/或灵敏度的传感器信号进行混合，并且输出经变换的组合数据。
10.一种方法，包括：
用记录器记录关注主体的音频和/或视频；
用非接触传感器测量关注主体的移动和/或振动，所述非接触传感器与所述记录器相关联，并且具有与记录器基本上相同的视角；以及
用所述控制器将测得的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与对关注主体的音频和/或视频的记录一起回放，并且将与测得的移动和/或振动相对应的触觉效果与所述记录同步地提供给所述触觉显示设备的用户。
11.如权利要求10所述的方法，还包括随着所述记录器移动和改变视角，用由所述控制器控制的第一伺服机构将所述非接触传感器移动到具有与所述记录器基本上相同的视角的位置。
12.如权利要求11所述的方法，还包括用由所述控制器控制的第二伺服机构移动所述记录器，其中所述第一伺服机构与所述第二伺服机构同步，以使得所述非接触传感器的移动同步于所述记录器的移动。
13.如权利要求10所述的方法，还包括：
用与关注主体接触的第二传感器感测关注主体的移动和/或振动；
对从所述非接触传感器和所述第二传感器接收到的数据进行组合；
将组合得到的数据变换为所述触感数据流。
14.如权利要求13所述的方法，还包括对具有不同的采样率和/或灵敏度的传感器信号进行变换，并且输出经变换的组合数据。
CN201510955744.3A 2014-12-19 2015-12-18 用于记录与多媒体数据一起使用的触觉数据的系统和方法 Expired - Fee Related CN105721814B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/576,589 US9812165B2 (en) 2014-12-19 2014-12-19 Systems and methods for recording haptic data for use with multi-media data
US14/576,589 2014-12-19

Publications (2)

Publication Number Publication Date
CN105721814A true CN105721814A (zh) 2016-06-29
CN105721814B CN105721814B (zh) 2020-05-01

Family

ID=55024811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510955744.3A Expired - Fee Related CN105721814B (zh) 2014-12-19 2015-12-18 用于记录与多媒体数据一起使用的触觉数据的系统和方法

Country Status (5)

Country Link
US (2) US9812165B2 (zh)
EP (2) EP3035161B1 (zh)
JP (1) JP6664071B2 (zh)
KR (1) KR20160075341A (zh)
CN (1) CN105721814B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534142A (zh) * 2016-11-22 2017-03-22 包磊 多媒体数据的实时传输方法及装置
US11656683B2 (en) 2018-08-10 2023-05-23 Sony Corporation Signal generation device, signal generation method, and reproduction device
CN116506673A (zh) * 2023-06-30 2023-07-28 安格利(成都)仪器设备有限公司 一种音像记录与检测设备数据同步联动及声控检索方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017531930A (ja) * 2014-07-07 2017-10-26 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ セカンドスクリーン触覚
US9972216B2 (en) * 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
JP6522454B2 (ja) * 2015-07-28 2019-05-29 ローム株式会社 センサ情報無線送信装置
ITUA20164783A1 (it) * 2016-06-30 2017-12-30 Lacs S R L Un sistema di controllo di simulazioni tattiche
KR101879445B1 (ko) * 2016-11-03 2018-07-18 재단법인 실감교류인체감응솔루션연구단 데이터 유형별 패키지 처리를 위한 센싱 데이터 전송 장치 및 센싱 데이터 수신 장치
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US11095818B2 (en) * 2017-10-30 2021-08-17 Sony Corporation Vibration generation device and vibration control method
WO2019163283A1 (ja) * 2018-02-23 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
CN108593087A (zh) * 2018-03-29 2018-09-28 湖南科技大学 一种薄壁件工作模态参数确定方法及系统
WO2021035362A1 (en) * 2019-08-30 2021-03-04 Vrx Ventures Ltd. Systems and methods for mapping motion-related parameters of remote moving objects
CN111525700B (zh) * 2020-05-23 2021-09-24 宁波市电力设计院有限公司 一种变电站远程可视化智能巡视系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086015A1 (en) * 2007-07-31 2009-04-02 Kongsberg Defence & Aerospace As Situational awareness observation apparatus
US20110007139A1 (en) * 2007-06-08 2011-01-13 Brunetti Sam F Method and system for administering remote area monitoring system
CN103970266A (zh) * 2013-01-24 2014-08-06 英默森公司 触觉感知记录和回放

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111838A (ja) * 1994-10-07 1996-04-30 Hitachi Ltd 映像記録再生システム
JPH11282479A (ja) * 1998-03-27 1999-10-15 Daiichikosho Co Ltd 歌唱する姿をビデオカメラで撮影して記録する機能を付加したカラオケ装置
JP2002027453A (ja) * 2000-07-05 2002-01-25 Hitachi Ltd コンサート臨場感補助システム
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20050062841A1 (en) 2003-09-18 2005-03-24 Rivera-Cintron Carlos A. System and method for multi-media record, distribution and playback using wireless communication
JP4582329B2 (ja) * 2005-07-22 2010-11-17 日本電気株式会社 バーチャル映像用信号生成方法および送受信端末
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
CN104063056B (zh) 2006-04-06 2018-04-20 意美森公司 用于增强的触觉效果的系统和方法
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
JP2007285898A (ja) * 2006-04-17 2007-11-01 Tokai Univ レーザ振動計
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
EP2457181A4 (en) 2009-07-24 2013-01-23 Digimarc Corp IMPROVED AUDIO / VIDEO PROCESSES AND SYSTEMS
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US20120221148A1 (en) * 2011-02-28 2012-08-30 D-Box Technologies Inc. Real-time performance enabled by a motion platform
WO2013008869A1 (ja) * 2011-07-14 2013-01-17 株式会社ニコン 電子機器及びデータ生成方法
US8842969B2 (en) 2012-09-28 2014-09-23 Intel Corporation Haptic playback of video
US9277204B2 (en) * 2013-01-23 2016-03-01 Advanced Scientific Concepts, Inc. Modular LADAR sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110007139A1 (en) * 2007-06-08 2011-01-13 Brunetti Sam F Method and system for administering remote area monitoring system
US20090086015A1 (en) * 2007-07-31 2009-04-02 Kongsberg Defence & Aerospace As Situational awareness observation apparatus
CN103970266A (zh) * 2013-01-24 2014-08-06 英默森公司 触觉感知记录和回放

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534142A (zh) * 2016-11-22 2017-03-22 包磊 多媒体数据的实时传输方法及装置
US11656683B2 (en) 2018-08-10 2023-05-23 Sony Corporation Signal generation device, signal generation method, and reproduction device
CN116506673A (zh) * 2023-06-30 2023-07-28 安格利(成都)仪器设备有限公司 一种音像记录与检测设备数据同步联动及声控检索方法
CN116506673B (zh) * 2023-06-30 2023-09-12 安格利(成都)仪器设备有限公司 一种音像记录与检测设备数据同步联动及声控检索方法

Also Published As

Publication number Publication date
CN105721814B (zh) 2020-05-01
EP3575933A1 (en) 2019-12-04
KR20160075341A (ko) 2016-06-29
JP2016119071A (ja) 2016-06-30
EP3035161A1 (en) 2016-06-22
US9812165B2 (en) 2017-11-07
JP6664071B2 (ja) 2020-03-13
US10650859B2 (en) 2020-05-12
US20160180879A1 (en) 2016-06-23
EP3035161B1 (en) 2019-09-18
US20180033459A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
CN105721814A (zh) 用于记录与多媒体数据一起使用的触觉数据的系统和方法
US10593167B2 (en) Crowd-based haptics
JP6664069B2 (ja) 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US11137828B2 (en) Haptic sensation recording and playback
CN106648083B (zh) 增强演奏场景合成控制方法及装置
EP2840463A1 (en) Haptically enabled viewing of sporting events
US8667519B2 (en) Automatic passive and anonymous feedback system
JP6585358B2 (ja) 感覚データを触覚効果に変換するシステム及び方法
CN112104594A (zh) 沉浸式交互式远程参与现场娱乐
WO2016014233A1 (en) Real-time immersive mediated reality experiences
JP2017005709A (ja) ブロードキャスト用ハプティクスアーキテクチャ
US20190130644A1 (en) Provision of Virtual Reality Content
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
US20210223867A1 (en) Signal generation device, signal generation method, program, reproduction device
WO2023119271A1 (en) Advanced multimedia system for analysis and accurate emulation of live events

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200501

Termination date: 20211218

CF01 Termination of patent right due to non-payment of annual fee