CN108399003B - 带有选择的触觉元数据的触觉广播 - Google Patents

带有选择的触觉元数据的触觉广播 Download PDF

Info

Publication number
CN108399003B
CN108399003B CN201810009199.2A CN201810009199A CN108399003B CN 108399003 B CN108399003 B CN 108399003B CN 201810009199 A CN201810009199 A CN 201810009199A CN 108399003 B CN108399003 B CN 108399003B
Authority
CN
China
Prior art keywords
haptic
metadata
playback capability
enabled device
broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810009199.2A
Other languages
English (en)
Other versions
CN108399003A (zh
Inventor
R·W·休贝尔
P·雷恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN108399003A publication Critical patent/CN108399003A/zh
Application granted granted Critical
Publication of CN108399003B publication Critical patent/CN108399003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/015—Force feedback applied to a joystick

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开涉及带有选择的触觉元数据的触觉广播。广播选择的触觉元数据包括向支持触觉的设备广播广播信号。作为响应，当广播信号中的原始触觉元数据编码与触觉回放能力信息不兼容的触觉信息时，在主机源处从支持触觉的设备接收触觉回放能力信息。生成针对触觉回放能力信息定制的选择的触觉元数据，并将其从主机源发送到支持触觉的设备。

Description

带有选择的触觉元数据的触觉广播
技术领域
示例性实施例涉及广播触觉效果，更具体地，涉及利用选择的触觉元数据来广播触觉效果。
背景技术
触觉学是一种触觉和力反馈技术，该技术使用最终用户的触摸感觉为最终用户生成触觉反馈效果(也称为“触觉反馈”或“触觉效果”)，诸如力、振动和运动。设备(例如，移动设备、触摸屏设备、个人计算机和可穿戴设备)可以包括被配置为生成触觉效果的嵌入式硬件(例如，致动器或其他输出机构)。嵌入式硬件通常被编程为生成特定的一组触觉效果。当设备接收到指定要播放哪个触觉效果的调用时，该设备生成(或产生)指定的触觉效果。例如，当用户使用例如按钮、触摸屏、控制杆、操纵杆、滚轮或某种其他控件与设备交互时，该设备可以通过控制电路系统将播放命令发送到嵌入式硬件。然后，嵌入式硬件生成适当的触觉效果。
当由触觉创建者/编辑者/设计者创建触觉效果时，可以假设例如以特定的回放速度、速率和/或音量发生触觉效果的回放来创作触觉效果。由于各种类型的嵌入式硬件被用于不同的设备，因此，取决于特定设备中的嵌入式硬件的类型，触觉效果的回放可能不同于触觉创建者所期望的触觉效果。例如，如果最终用户的设备中的嵌入式硬件没有被配置为以指定的速度、速率或音量来回放触觉效果，则触觉效果的回放失真(例如，以不同的回放速率或以不期望的音量回放)。以不同回放速率或不期望的音量回放触觉效果可能会使最终用户的触觉效果体验遭到失真。
发明内容
一个实施例通过将广播信号广播到支持触觉设备，使用广播信号来广播所选择的触觉元数据。广播信号包括从主机源接收到的原始触觉元数据。当原始触觉元数据编码与触觉回放能力信息不兼容的触觉信息时，在主机源处从多个支持触觉的设备中的支持触觉的设备接收触觉回放能力信息。针对触觉回放能力信息定制的选择的触觉元数据被生成并从主机源发送到支持触觉的设备。
附图说明
通过以下结合附图的详细描述，将更清楚地理解示例性实施例。图1-7表示如本文所描述的非限制性示例性实施例。
图1是根据示例性实施例的使用广播信号发送选择的触觉元数据的流程图。
图2是根据示例性实施例的使用广播信号发送选择的触觉元数据的流程图。
图3是根据示例性实施例的将原始触觉元数据集成到广播信号中的流程图。
图4是根据示例性实施例的将原始触觉元数据集成到广播信号中的流程图。
图5是根据示例性实施例的将原始触觉元数据集成到广播信号中的流程图。
图6是根据示例性实施例的触觉广播系统的框图。
图7是根据示例性实施例的最终用户设备中的系统的框图。
具体实施方式
示例性实施例涉及通过向主机源提供指示最终用户触觉设备的触觉回放能力的反馈来广播为最终用户触觉设备定制的选择的触觉元数据。
示例性实施例通过广播信号向最终用户支持触觉的设备(例如，平板电脑、移动电话、电视、游戏控制台、虚拟现实系统等)提供触觉数据的可靠传输、一致和定制的回放，而不是必须将所有可能的触觉回放能力编码在在最终用户支持触觉的设备上回放的选择的触觉数据中。例如，在体育广播中，可以在选手或体育比赛中使用的装备(例如，球、球门、球棒、头盔等)上放置检测力或事件(例如，击中、跌倒、跌落、跳跃、得分等)的传感器。另选地，触觉创建者可以指定效果以模拟选手或装备所体验的力或事件。从传感器收集到的信息和/或由触觉创建者指定的效果是触觉数据。可以收集触觉数据，并将其转换成触觉元数据。
触觉元数据可以是提供关于触觉数据的信息的数据信息。触觉元数据可以为最终用户支持触觉的设备的最终用户编码关于触觉参数类型(例如，幅度、频率、持续时间等)的信息，该信息是生成与触觉数据(例如，击中、跌倒、跌落、跳跃、得分等)相对应的触觉效果(例如，力、振动和运动)所需的。触觉元数据可以通过广播流(例如，互联网)经由广播信号发送到支持触觉的设备。嵌入在支持触觉的设备中的硬件(例如，致动器等)基于触觉元数据为最终用户生成触觉效果。因此，最终用户可以通过接收相对应的触觉感知来体验事件或观看预先记录的事件。
支持触觉的设备中使用的嵌入式硬件的类型因设备而异。例如，典型地用在蜂窝电话中的致动器可能与典型地用在游戏系统的手持式控制器中的致动器不同。因此，蜂窝电话和游戏系统通常需要在包括各种支持触觉的设备的所有可能的触觉回放能力的编码的触觉元数据中所编码的触觉信息的选择的一部分。
图1是根据示例性实施例的使用广播信号发送选择的触觉元数据的流程图。
参考图1，根据示例性实施例，使用广播信号发送选择的触觉元数据包括在110处生成原始触觉元数据。原始触觉元数据可以编码触觉信息，该触觉信息指定要在一个或多个支持触觉的设备上回放的触觉参数的类型。
然后，通过下面进一步详细描述的任何过程将原始触觉元数据集成到广播信号中。
在130处，将包括原始触觉元数据的广播信号从主机源广播(或传输)到支持触觉的设备。通过经由可以彼此不同的传输模式将广播信号发送到支持触觉的设备，来发送广播信号。例如，可以从电缆、直接广播卫星、光纤通信网络、空中节目播送、无线通信网络和无线电波中选择传输模式。
根据示例性实施例，广播信号可以将原始触觉元数据同步(即，向所有支持触觉的设备广播相同的触觉效果)或异步(即，取决于位置，向不同支持触觉的设备广播不同触觉效果)传输到支持触觉的设备。例如，取决于每个支持触觉的设备与在体育场中心表演的乐队的接近度，广播信号可以将原始触觉元数据异步传输到体育场内的不同位置处的一组支持触觉的设备。
在140处，为每个支持触觉的设备生成触觉回放能力信息。通过针对原始触觉元数据确定每个支持触觉的设备的触觉回放能力来生成触觉回放能力信息。
可以通过分别在每个支持触觉的设备中使用软件为每个支持触觉的设备识别设备类型和/或被配置为生成触觉效果的嵌入式硬件来确定每个支持触觉的设备的触觉回放能力。例如，一个支持触觉的设备可以被识别为具有小型和大型致动器的游戏手柄，另一个支持触觉的设备可以被识别为具有特定类型的移动致动器的移动手持机。可以在回放对应于原始触觉元数据的触觉轨道(track)之前确定触觉回放能力。
根据示例性实施例，可以使用验证设备(例如，第二电视或电视盒)来确定触觉回放能力(例如，设备类型，和/或被配置为生成触觉效果的硬件)。验证设备可以在相应的支持触觉的设备外部，或者与相应的支持触觉的设备中的触觉系统(参见图7中的触觉系统716)分开。
在150处，如果原始触觉元数据编码与一个或多个支持触觉的设备的相应触觉回放能力信息不兼容的触觉信息，则相应触觉回放能力信息由相应支持触觉的设备发送到主机源。
然后，主机源可以通过修改原始触觉元数据来生成选择的触觉元数据，使得选择的触觉元数据编码针对相应的触觉回放能力信息定制(或与之兼容)的选择的触觉信息。可以通过向原始触觉元数据添加额外的触觉元数据、从原始触觉元数据移除不可用的触觉元数据或者改变(或编辑)原始触觉元数据的至少一个参数，来修改原始触觉元数据。
另选地，主机源可以从指定的数据库中针对选择的触觉元数据选择触觉效果。
在170处，主机源将选择的触觉元数据发送到相应的支持触觉的设备。通过为支持触觉的设备生成选择的触觉元数据，示例性实施例可以包括使用比广播/传输广播信号时所使用的少的带宽或者小的文件大小来发送选择的触觉元数据。
根据示例性实施例，广播信号、触觉回放能力信息和选择的触觉元数据均可以通过相应的支持触觉的设备的相同媒体广播流来发送(或传输)。
图2是根据示例性实施例的使用广播信号发送选择的触觉元数据的流程图。
参考图2，根据示例性实施例，使用广播信号发送选择的触觉元数据包括结合图1中所示的功能(如使用类似标号所指示的)所描述的类似步骤。为了简洁起见，省略了对类似步骤的描述。
在220处，功能还包括多路复用原始触觉元数据和原始音频和/或视频元数据(或将它们相加)以创建合成广播信号。例如，当用户创建和/或想要共享事件的音频/视频(“A/V”)数据时，用户可以提供与A/V数据相关联的触觉效果的推荐/建议。根据示例性实施例，用户可以从数据库中的一组预先设计的触觉效果中选择触觉效果，并将所选择的触觉效果与A/V数据相关联，或者与A/V数据的一个或多个部分相关联。
然后，在230处，以与结合图1所描述的在130处的广播信号相同的方式将合成广播信号广播(或传输)到支持触觉的设备。
根据示例性实施例，原始音频和/或视频元数据可以由触觉编辑者(对元数据进行编辑的人)修改，或者由于支持触觉的设备的音频/视频能力而被修改。在260处，如果原始音频和/或视频元数据被修改，则主机源可以通过修改原始触觉元数据来生成选择的触觉元数据，使得选择的触觉元数据(i)编码与相应的触觉回放能力信息兼容的选择的触觉信息，并且(ii)对应于由修改的音频和/或视频元数据编码的音频/视频数据。
另选地，主机源可以从指定的数据库中针对选择的触觉元数据选择触觉效果。
在270处，主机源将选择的触觉元数据发送到相应的支持触觉的设备。
图3是根据示例性实施例的将原始触觉元数据集成到广播信号中的流程图。
参考图3，根据示例性实施例，将原始触觉元数据集成到广播信号中包括在310处从装备上和/或人员身上的传感器收集触觉数据。在320处，从收集到的触觉数据生成原始触觉元数据。
在330处，另选地，触觉编辑者(对触觉元数据进行编辑的人)可以通过添加额外的触觉元数据、从原始触觉元数据移除不可用的触觉元数据或者改变(或编辑)原始触觉元数据的至少一个参数，来修改原始触觉元数据。例如，场上的足球运动员可能在他们的头盔中嵌入力传感器，这些力传感器收集用于创建原始触觉元数据的数据。然而，触觉编辑者可能不想要最终用户感受到来自所有运动员的所有撞击。因此，触觉编辑者可以通过移除触觉元数据或改变参数来修改原始触觉元数据以包括在某些时间来自某些运动员的撞击，使得最终用户感觉到较强或较弱的力。
在340处，将原始触觉元数据(或者另选地，原始触觉元数据的修改版本)集成到广播信号中作为触觉元数据数据包。原始触觉元数据(或者另选地，原始触觉元数据的修改版本)可以被自动地集成到广播信号中。
图4是根据示例性实施例的将原始触觉元数据集成到广播信号中的流程图。
参考图4，根据示例性实施例，将原始触觉元数据集成到广播信号中包括在410处基于在事件期间发生的特定音频和/或视觉线索，实时地从预先设计的触觉效果数据库中选择预先设计的触觉效果。预先设计的触觉效果的不同类型可以对应于事件的不同类型。预先设计的触觉效果的示例类型包括振动、晃动、制动、弹出等。根据示例性实施例，第一类型的触觉效果可以指示与运动员相关的事件(例如，击打、被击中、跌倒、跳跃等)，而第二类型的触觉效果可以指示与比赛相关的事件(例如，分数、超时等)。
在420处，从所选择的预先设计的触觉效果生成原始触觉元数据。
在430处，可选地，触觉编辑者(对触觉元数据进行编辑的人)可以通过添加额外的触觉元数据、从原始触觉元数据移除不可用的触觉元数据或者改变(或编辑)原始触觉元数据的至少一个参数，来修改或调整原始触觉元数据，以更具体地匹配事件。例如，触觉编辑者可以修改原始触觉元数据以强调(即，以更大的强度提供)或减小(即，以较小的强度提供)所选择的预先设计的触觉效果的强度水平。因此，例如，最终用户可能会感受到响应于足球运动员被抢断感的强烈振动，以及响应于足球运动员跳出场地外的弱振动。
根据示例实施例，定义特定触觉效果的高级参数包括幅度、频率和持续时间。诸如流式电机命令(streaming motor command)之类的低级参数也可用于呈现特定的触觉效果。这些参数的某种变化可以改变触觉效果的感觉，和/或可以进一步导致触觉效果被认为是“动态的”。
在440处，将原始触觉元数据(或者另选地，原始触觉元数据的修改版本)集成到广播信号中作为触觉元数据数据包。原始触觉元数据(或者另选地，原始触觉元数据的修改版本)可以被自动地集成到广播信号中。
图5是根据示例性实施例的将原始触觉元数据集成到广播信号中的流程图。
参考图5，根据示例性实施例，将原始触觉元数据集成到广播信号中包括在510处当事件发生时使用触觉创建工具实时创建第一触觉效果。第一触觉效果可以由触觉创建者或触觉合成者创建。在创建广播信号时，同时创建第一触觉效果。例如，当音频/视频信号被嵌入在广播信号中时，可以同时创建第一触觉效果。
例如，触觉创建者可以创建第一效果以表示四分卫向运动员传球的感觉，并指定第一效果仅在Rumble Pad(力反馈手柄)的左致动器上播放。触觉创建者可以创建第二效果来表示接收者接住足球传球的感觉，并且指定第二效果仅在该力反馈手柄的右致动器上播放。
根据其他示例性实施例，触觉创建者可以指定某些效果仅在某些设备(例如，移动电话或力反馈手柄或偏心旋转质量电机(“ERM”)或线性共振致动器(“LRA”))上播放。
在520处，从第一触觉效果生成第一原始触觉元数据数据包。
在530处，将第一原始触觉元数据数据包集成到广播信号中。
在540处，将第一原始触觉元数据数据包经由广播信号实时广播/传输到最终用户设备。例如，当最终用户观看实况事件时，第一触觉效果被创建、转换、集成到广播信号中，并被传输给最终用户。
在550处，在事件发生时，使用触觉创建工具实时地创建第二触觉效果。
在560处，从第二触觉效果生成第二原始触觉元数据数据包。
在570处，在传输第一触觉元数据数据包之后或期间，将第二原始触觉元数据数据包集成到广播信号的广播流中。
在580处，将第二原始触觉元数据数据包经由广播流实时广播/传输到最终用户设备。
根据另选的示例性实施例，可以在稍后时间观看事件，并且可以存储触觉效果以便在稍后时间被转换并提供给最终用户。
图6是根据示例性实施例的触觉广播系统600的框图。
参考图6，根据示例性实施例的触觉广播系统600包括主机源602。主机源602从触觉传感器模块650、触觉数据合成器655和/或预先设计的触觉效果数据库660获得触觉数据，并将该触觉数据传输到触觉数据转换器610。
根据示例性实施例，触觉传感器模块650从一个或多个传感器(未示出)接收表示触觉传感器信息的信号(例如，电信号)。传感器检测某种形式的能量或其他物理性质，并将检测到的能量或其他物理性质转换为信号。传感器通过通信设备(未示出)将信号发送到触觉传感器模块650。传感器可被配置成检测某种形式的能量或其他物理性质，诸如但不限于声音、移动、加速度、生理信号、距离、流动、力/压力/应力/弯曲、湿度、线性位置、定向/倾斜、射频、旋转位置、旋转速度、对开关的操纵、温度、振动或可见光强度。
一个或多个传感器可以是任何设备，诸如但不限于运动传感器、加速度计、心电图仪、脑电图仪、肌电图仪、眼电图仪、电腭动描记器、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外线传感器、超声传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏电阻器、测力传感器、LuSense CPS2 155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触觉传感器、线性电位计(或滑块)、线性可变差动变压器、罗盘仪、倾角计、磁性标签(或射频识别标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(例如，温度计、热电偶、电阻温度检测器、热敏电阻器、或温度传感集成电路)、麦克风、光度计、高度计、生物监控器、相机或光敏电阻器。
一个或多个传感器可以是传感器阵列的一部分，或者一些其他类型的传感器集合。
根据示例性实施例，当事件发生时，可以使用触觉数据合成器655中的触觉创建工具来创建触觉效果。触觉数据合成器655可以由触觉创建者来控制。可以在创建广播信号(相对应的原始触觉元数据将集成在其中)时实时(或同时)创建触觉效果。
根据示例性实施例，通过选择存储在预先设计的触觉效果数据库660中的预先设计的触觉效果(例如，基于存储在预先设计的触觉效果数据库660中的预先设计的效果的查找表)，可以对在事件期间发生的音频和/视觉线索进行触觉化。一经选择，可以通过添加额外的触觉元数据、从原始触觉元数据中移除不可用的触觉元数据或者改变(或编辑)原始触觉元数据的至少一个参数，来修改或调整预先设计的触觉效果以更具体地匹配事件。该修改或调整可以由触觉编辑者(对触觉元数据进行编辑的人)、触觉修改工具等来执行。
可以通过使用音频(或视觉)到触觉转换算法来触觉化与事件相关联的音频(或视觉)线索。例如，可以使用美国专利号9,368,005中公开的音频到触觉转换算法。
根据示例性实施例，可以触觉化音频和/或视觉线索中的仅某些部分，而不是全部线索。因此，示例性实施例可以使用为音频和/或视觉线索的这些部分配置的触觉转换算法来提供增强的触觉元数据。
根据另选的示例性实施例，触觉传感器模块650、触觉数据合成器655和/或预先设计的触觉效果数据库660可以各自位于不同于主机源602的设备中。当触觉传感器模块650、触觉数据合成器655和/或预先设计的触觉效果数据库660位于与主机源602不同的设备中时，可以将触觉数据从每个设备传输到触觉数据转换器610。
触觉数据转换器610通过转换从触觉传感器模块650、触觉数据合成器655和/或预先设计的触觉效果数据库660接收到的触觉数据来生成原始触觉元数据。原始触觉元数据可以对触觉信息进行编码，该触觉信息指定要在将接收触觉信息的多个支持触觉的设备733上回放的触觉参数的类型。
触觉数据转换器610将原始触觉元数据传输到第一编码器617，第一编码器617生成用于通过广播网络传输的触觉元数据数据包。第一编码器617将原始触觉元数据编码为适合于例如作为数字信号集成到第一广播信号中的触觉元数据数据包。例如，如美国专利申请号14/286,591中所公开的，可以编码和流式传输原始触觉元数据。
然后，第一编码器617可以将触觉元数据数据包传输到多路复用器620。多路复用器620将触觉元数据数据包和与原始触觉元数据相关联的音频和/或视觉元数据数据包组合以生成复合信号，并将复合信号传输到广播网络625。
根据另选示例性实施例，将由第一编码器617生成的触觉元数据数据包与音频和/或视觉元数据数据包进行组合可能不是必需的或期望的。因此，第一编码器617可以将触觉元数据数据包直接发送到广播网络625。
广播网络625将复合信号(或者另选地，仅触觉元数据数据包)集成到第一广播信号中，然后将包括触觉元数据数据包的第一广播信号广播(或传输)到一个或多个支持触觉的设备733。因此，由广播网络625发送到支持触觉的设备733的第一广播信号可以是点对多点广播信号。可以通过经由可以彼此不同的传输模式627、629、631将广播信号发送到支持触觉的设备733来广播(或发送)第一广播信号。例如，可以从电缆、直接广播卫星、光纤通信网络、空中节目播送、无线通信网络和无线电波中选择传输模式627、629、631。
支持触觉的设备733可以各自都包括本领域已知的任何触觉回放媒体。例如，支持触觉的设备733可以是移动设备(例如，平板电脑、智能手机等)，可穿戴设备(例如，手套、腕带、智能服装等)、配备有致动器的家具、电视机、游戏控制器、支持触觉的头戴式显示器(HMD)(例如，Oculus Rift等)或类似设备。
支持触觉的设备733可以包括触觉系统716。触觉系统716可以包括解码器635、触觉回放能力生成器640和触觉呈现器670、以及预先设计的触觉效果数据库(未示出)。触觉系统716还可以包括本领域已知的其他元件，例如触觉/A/V同步器、信号调制器、信号转换器、滤波器等。
支持触觉的设备733中的每一个中的解码器635从广播网络625接收第一广播信号，并从第一广播信号解码原始触觉元数据。然后，解码器635将原始触觉元数据发送到触觉回放能力生成器640。
触觉回放能力生成器640针对原始触觉元数据确定相应支持触觉的设备733的触觉回放能力，并且为相应支持触觉的设备733生成触觉回放能力信息。触觉回放能力生成器640可以具有通过识别设备类型和/或被配置成生成触觉效果的硬件来确定相应的支持触觉的设备733的触觉回放能力的软件。
根据另选的示例性实施例，可以使用验证设备643来识别设备类型和/或被配置为生成触觉效果的硬件。验证设备643可以位于不同于相应支持触觉的设备733的设备中，或者位于与触觉广播系统716分开的设备中。
如果触觉回放能力生成器640确定兼容的预先设计的触觉效果(即，与原始触觉元数据兼容的预先设计的触觉效果)被存储在触觉系统716的预先设计的触觉效果数据库中，则原始触觉元数据被传输到触觉呈现器670以生成与原始触觉元数据相关联的触觉效果。
如果触觉回放能力生成器640确定兼容的预先设计的触觉效果没有存储在触觉系统716的预先设计的触觉效果数据库中，则触觉回放能力生成器640确定原始触觉元数据是否编码与相应支持触觉的设备733的触觉回放能力信息兼容的触觉信息或参数。
如果触觉回放能力生成器640确定原始触觉元数据编码与相应支持触觉的设备733的触觉回放能力信息兼容的触觉信息或参数，则原始触觉元数据被传输到触觉呈现器670以生成与原始触觉元数据相关联的触觉效果。
如果触觉回放能力生成器640确定原始触觉元数据编码与相应支持触觉的设备733的触觉回放能力信息不兼容的触觉信息或参数，则相应的触觉回放能力信息被传输到第二编码器645。
第二编码器645将触觉回放能力信息编码为适合于集成到第二广播信号中的触觉回放元数据数据包，例如作为数字信号。然后，第二编码器645将触觉回放元数据数据包传输到广播网络625。
广播网络625将从第二编码器645接收到的触觉回放元数据数据包集成到第二广播信号中，然后将包括触觉回放元数据数据包的第二广播信号广播(或传输)到主机源602。因此，由广播网络625发送到主机源602的第二广播信号可以是点对点广播信号。第二广播信号可以通过与第一广播信号相同或不同的传输模式来广播(或传输)。
主机源602中的解码器647从广播网络625接收第二广播信号，并从在第二广播信号中接收到的触觉回放元数据数据包解码相应的触觉回放能力信息。然后，解码器647可以将触觉回放能力信息传输到选择触觉回放生成器649。
选择触觉回放生成器649通过修改原始触觉元数据来生成选择的触觉元数据，使得选择的触觉元数据编码与相应的触觉回放能力信息兼容(或为其定制)的选择的触觉信息或参数。可以通过向原始触觉元数据添加额外的触觉元数据、从原始触觉元数据移除不可用的触觉元数据或者改变(或编辑)原始触觉元数据的至少一个参数，来修改原始触觉元数据。
根据示例性实施例，选择触觉回放生成器649可以从指定的数据库中为选择的触觉元数据选择所选择的触觉效果。
根据另选的示例性实施例，解码器647可以向触觉数据合成器655传输触觉回放能力信息，在触觉数据合成器655处重新创建与相应的触觉回放能力信息兼容(或为其定制)的触觉效果，重新创建的触觉效果用于生成与相应的触觉回放能力信息兼容(或为其定制)的选择的触觉信息或参数。
根据又一另选示例性实施例，解码器647可以将触觉回放能力信息传输到预先设计的触觉效果数据库660，在该数据库660处选择额外的或其他的预先设计的触觉效果，这些触觉效果(i)与相应的触觉回放能力信息相兼容(或为其定制)，并且(ii)存储在预先设计的触觉效果数据库660中。然后，选择的触觉效果被用于生成与相应的触觉回放能力信息兼容(或为其定制)的选择的触觉信息或参数。
从由触觉数据合成器655或预先设计的触觉效果数据库660提供的触觉效果生成的选择的触觉信息或参数被传输到触觉数据转换器610。然后，触觉数据转换器610通过转换从触觉数据合成器655和/或预先设计的触觉效果数据库660接收到的选择的触觉信息或参数来生成选择的触觉元数据。
根据示例性实施例，最终用户可以通过在相应的触觉回放能力信息中提供用户偏好来定制由支持触觉的设备生成的触觉效果。例如，基于忽略特定事件的用户偏好，当该特定事件发生时，选择的触觉元数据可以不编码触觉效果的触觉信息。换句话说，可以不在选择的触觉元数据中传输相对应的触觉元数据。
然后，主机源602的选择的触觉回放生成器649或触觉数据转换器610经由编码器617(以及可选地，多路复用器620)和广播网络625在第三广播信号中将选择的触觉元数据发送到相应的支持触觉的设备733。选择的触觉元数据可以由编码器617编码为选择的触觉元数据数据包，然后由广播网络625集成到第三广播信号中。因此，由广播网络625发送到相应的支持触觉的设备733的第三广播信号可以是点对点广播信号。
根据示例性实施例，广播信号、触觉回放能力信息和选择的触觉元数据数据包均可以通过相应的支持触觉的设备的相同媒体广播流来发送(或传输)。
根据示例性实施例，通过生成支持触觉的设备的选择的触觉元数据，示例性实施例可以包括在具有比广播(或传输)第一广播信号时所使用的小的带宽或小的文件大小的第三广播信号中发送选择的触觉元数据。
图7是根据示例性实施例的最终用户设备中的系统700的框图。图7的一些或全部组件也可以用于实现图6的任何元件。
参考图7，根据示例性实施例的最终用户设备中的系统700确定触觉回放能力，并为最终用户设备提供触觉回放功能。另选地，系统700可以在最终用户设备的外部，并且远程地为最终用户设备提供触觉回放功能。
虽然被示为单个系统，但是系统700的功能可以被实现为分布式系统。系统700包括用于传送信息的总线712或其他通信机制，以及耦合到总线712以处理信息的处理器722。处理器722可以是任何类型的通用或专用处理器。系统700还包括用于存储要由处理器722执行的信息和指令的存储器714。存储器714可以由随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘之类的静态存储器、或任何其他类型的计算机可读介质的任何组合构成。
计算机可读介质可以是可以由处理器722存取的任何可用介质，并可以包括易失性和非易失性介质、可移除和不可移除介质、通信介质以及存储介质。通信介质可以包括计算机可读指令、数据结构、程序模块、或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并可以包括本领域已知的任何其他形式的信息传送介质。存储介质可以包括RAM、闪存、ROM、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、寄存器、硬盘、可移除盘、光盘只读存储器(“CD-ROM”)、或本领域已知的任何其他形式的存储介质。
根据示例性实施例，存储器714存储当由处理器722执行时提供功能的软件模块。软件模块包括为系统700以及最终用户设备的其余部分提供操作系统功能的操作系统715。软件模块还包括确定触觉回放能力(如以上所描述的)并提供触觉回放功能的触觉系统716。
系统700还可以包括为红外、无线电、Wi-Fi或蜂窝网络通信提供无线网络通信的通信设备720(例如，网络接口卡)。另选地，通信设备720可提供有线网络连接(例如，电缆/以太网/光纤连接或调制解调器)。
处理器722还经由总线712耦合到用于向最终用户显示图形表示或用户界面的显示器724(例如，发光显示器(LED)或液晶显示器(LCD))。显示器724可以是被配置为来往于处理器722发送和接收信号的触敏输入设备(即，触摸屏)，并且可以是多点触摸触摸屏。
系统700还包括至少一个致动器726。处理器722可以将与触觉效果相关联的触觉信号传输到致动器726，致动器726继而输出触觉效果(例如，振动触觉触觉效果、静电摩擦触觉效果或变形触觉效果)。致动器726包括致动器驱动电路。致动器726可以是例如电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(“ERM”)、线性共振致动器(“LRA”)、压电致动器、高带宽致动器或电活性聚合物(“EAP”)致动器。
致动器726是触觉输出设备的示例，其中触觉输出设备是包括被配置为响应于驱动信号而输出任何形式的触觉效果(诸如振动触觉触觉效果、静电摩擦触觉效果、变形触觉效果等)的机制的设备。相应地，在另选的示例性实施例中，致动器726可以被某种其他类型的触觉输出设备(未示出)代替，这种其他类型的触觉输出设备可以是非机械的设备或非振动的设备。非机械设备或非振动设备的示例包括使用静电摩擦(“ESF”)或超声表面摩擦(“USF”)的设备、利用超声触觉换能器感生声辐射压力的设备、使用触觉基板和柔性或可变形的表面或者形状改变设备并且可以附接到用户身体的设备、提供弹出的触觉输出(诸如使用空气喷嘴喷射空气、基于激光的抛射物、基于声音的抛射物等)的设备。
根据示例性实施例，基于激光的抛射物使用激光能量来电离空中集中区域的空气分子，从而提供等离子体(正和负粒子的浓缩混合物)。激光可以是飞秒(femtosecond)激光，其以非常快和非常激烈的步调发射脉冲。激光越快，人类接触的安全性就越高。基于激光的抛射物可以作为触觉和交互的全息图出现。当等离子体与用户的皮肤接触时，用户可以感知到集中区域中的被激发空气分子的振动。用户皮肤上的感知是由在用户与空中的等离子体交互时产生的波所引起的。因此，通过使用户经受等离子体集中的区域，可以向用户提供触觉效果。另选地或附加地，通过使用户经受由定向声能产生的振动，可以向用户提供触觉效果。
根据另选的示例性实施例，与系统700分开的单独设备包括生成触觉效果的致动器或另一触觉输出设备，系统700通过通信设备720将所生成的触觉信号发送到该单独的设备。
系统710可以包括至少一个扬声器728以输出音频效果。处理器722可以将音频信号传输到扬声器728，扬声器728继而输出音频效果。例如，扬声器728可以是例如动态扬声器、电动扬声器、压电扬声器、磁致伸缩扬声器、静电扬声器、带状和平面磁性扬声器、弯曲波扬声器、平板扬声器、heil气动换能器、等离子弧扬声器和数字扬声器。
根据另选的示例性实施例，与系统700分开的单独设备包括扬声器728，系统700通过通信设备720将音频信号发送到该单独的设备。
示例性实施例通过广播信号向最终用户支持触觉的设备(例如，平板电脑、移动电话、电视、游戏控制台、虚拟现实系统等)提供选择的(或定制的)触觉数据的可靠传输和一致的回放，而不是必须将所有可能的触觉回放能力编码在在最终用户支持触觉的设备上回放的触觉数据中。根据示例性实施例，来自选择的触觉数据的触觉效果的传输和回放改善了最终用户对触觉效果的体验，这是因为选择的触觉数据是针对最终用户支持触觉的设备的触觉回放能力而定制的。
以上是对各种示例性实施例的说明，而不应被解释为对其进行限制。因此，所有这样的修改都被包括在权利要求所限定的本公开的范围内。

Claims (20)

1.一种使用广播信号广播选择的触觉元数据的方法，包括：
将广播信号从主机源广播到多个支持触觉的设备，所述广播信号包括原始触觉元数据；
当原始触觉元数据编码与第一触觉回放能力信息不兼容的触觉信息时，在所述主机源处从所述多个支持触觉的设备中的第一支持触觉的设备接收第一触觉回放能力信息；
生成针对第一触觉回放能力信息定制的选择的触觉元数据；以及
将选择的触觉元数据从所述主机源发送到第一支持触觉的设备。
2.根据权利要求1所述的方法，其中，生成选择的触觉元数据包括从指定的数据库中选择该选择的触觉元数据。
3.根据权利要求1所述的方法，其中
生成选择的触觉元数据包括修改原始触觉元数据，以及
该修改包括向原始触觉元数据添加额外的触觉元数据、从原始触觉元数据移除不可用的触觉元数据或者改变原始触觉元数据的至少一个参数。
4.根据权利要求1所述的方法，其中
通过针对原始触觉元数据确定第一支持触觉的设备的触觉回放能力来生成第一触觉回放能力信息，以及
确定第一支持触觉的设备的触觉回放能力包括在回放对应于原始触觉元数据的触觉轨道之前，使用分别嵌入在第一支持触觉的设备中的软件为第一支持触觉的设备识别从(i)设备类型和(ii)被配置为生成触觉效果的硬件中选择的至少一项。
5.根据权利要求1所述的方法，其中
通过针对原始触觉元数据确定第一支持触觉的设备的触觉回放能力来生成第一触觉回放能力信息，
确定第一支持触觉的设备的触觉回放能力包括在回放对应于原始触觉元数据的触觉轨道之前，使用验证设备为第一支持触觉的设备识别从(i)设备类型和(ii)被配置为生成触觉效果的硬件中选择的至少一项，以及
验证设备在第一支持触觉的设备的外部。
6.根据权利要求1所述的方法，其中
广播所述广播信号包括经由彼此不同的传输模式将所述广播信号发送到所述多个支持触觉的设备，以及
所述传输模式是从电缆、直接广播卫星、光纤通信网络、空中节目播送、无线通信网络和无线电波中选择的。
7.根据权利要求1所述的方法，其中
广播所述广播信号包括通过第一媒体广播流将所述广播信号从主机源发送到所述多个支持触觉的设备，
接收第一触觉回放能力信息包括通过第一媒体广播流接收第一触觉回放能力信息，以及
发送选择的触觉元数据包括通过第一媒体广播流向第一支持触觉的设备发送选择的触觉元数据。
8.根据权利要求1所述的方法，其中，由原始触觉元数据编码的触觉信息指定要在所述多个支持触觉的设备上回放的触觉参数的类型。
9.一种触觉广播系统，包括：
广播网络，所述广播网络将广播信号广播到多个支持触觉的设备，所述广播信号包括原始触觉元数据；以及
主机源，广播网络从所述主机源接收原始触觉元数据，所述主机源
(i)当原始触觉元数据编码与第一触觉回放能力信息不兼容的触觉信息时，从所述多个支持触觉的设备中的第一支持触觉的设备接收第一触觉回放能力信息，
(ii)生成针对第一触觉回放能力信息定制的选择的触觉元数据，以及
(iii)从主机源向第一支持触觉的设备发送选择的触觉元数据。
10.根据权利要求9所述的触觉广播系统，还包括：
指定的数据库，所述选择的触觉元数据从所述指定的数据库中选择。
11.根据权利要求9所述的触觉广播系统，其中
主机源包括通过修改原始触觉元数据来生成选择的触觉元数据的选择触觉元数据生成器，以及
选择触觉元数据生成器通过向原始触觉元数据添加额外的触觉元数据、从原始触觉元数据移除不可用的触觉元数据或者改变原始触觉元数据的至少一个参数来修改原始触觉元数据。
12.根据权利要求9所述的触觉广播系统，其中
第一支持触觉的设备包括(i)嵌入式软件和(ii)触觉回放能力生成器，该触觉回放能力生成器通过针对原始触觉元数据确定第一支持触觉的设备的触觉回放能力来生成第一触觉回放能力信息，以及
触觉回放能力生成器在对应于原始触觉元数据的触觉轨道的回放之前，通过使用第一支持触觉的设备中的嵌入式软件为第一支持触觉的设备识别从(i)设备类型和(ii)被配置为生成触觉效果的硬件中选择的至少一项，来确定第一支持触觉的设备的触觉回放能力。
13.根据权利要求9所述的触觉广播系统，还包括：
外部连接到第一支持触觉的设备的验证设备，
其中，第一支持触觉的设备包括触觉回放能力生成器，该触觉回放能力生成器通过针对原始触觉元数据确定第一支持触觉的设备的触觉回放能力来生成第一触觉回放能力信息，以及
其中，触觉回放能力生成器在对应于原始触觉元数据的触觉轨道的回放之前，通过使用验证设备为第一支持触觉的设备识别从(i)设备类型和(ii)被配置为生成触觉效果的硬件中选择的至少一项，来确定第一支持触觉的设备的触觉回放能力。
14.根据权利要求9所述的触觉广播系统，其中
所述多个支持触觉的设备经由彼此不同的传输模式来接收广播信号，以及
所述传输模式是从电缆、直接广播卫星、光纤通信网络、空中节目播送、无线通信网络和无线电波中选择的。
15.根据权利要求9所述的触觉广播系统，其中
广播网络通过经由第一媒体广播流将广播信号发送到所述多个支持触觉的设备来广播所述广播信号，以及
主机源经由第一媒体广播流接收第一触觉回放能力信息，并且经由第一媒体广播流将选择的触觉元数据发送到第一支持触觉的设备。
16.根据权利要求9所述的触觉广播系统，其中，由原始触觉元数据编码的触觉信息指定要在所述多个支持触觉的设备上回放的触觉参数的类型。
17.一种其上存储有指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器：
使用广播网络向多个支持触觉的设备广播广播信号，所述广播信号包括从主机源接收到的原始触觉元数据；
当原始触觉元数据编码与第一触觉回放能力信息不兼容的触觉信息时，在主机源处从所述多个支持触觉的设备中的第一支持触觉的设备接收第一触觉回放能力信息；
在主机源处生成针对第一触觉回放能力信息定制的选择的触觉元数据；以及
将选择的触觉元数据从主机源发送到第一支持触觉的设备。
18.根据权利要求17所述的非暂时性计算机可读介质，其中
生成选择的触觉元数据包括在主机源中使用选择触觉元数据生成器来修改原始触觉元数据，以及
该修改包括向原始触觉元数据添加额外的触觉元数据、从原始触觉元数据移除不可用的触觉元数据或者改变原始触觉元数据的至少一个参数。
19.根据权利要求17所述的非暂时性计算机可读介质，其中
所述指令进一步使所述处理器通过在第一支持触觉的设备中使用触觉回放能力生成器来针对原始触觉元数据确定第一支持触觉的设备的触觉回放能力，来生成第一触觉回放能力信息，以及
确定第一支持触觉的设备的触觉回放能力包括在回放对应于原始触觉元数据的触觉轨道之前，使用嵌入在第一支持触觉的设备中的软件或第一支持触觉的设备外部的验证设备为第一支持触觉的设备识别从(i)设备类型和(ii)被配置为生成触觉效果的硬件中选择的至少一项。
20.根据权利要求17所述的非暂时性计算机可读介质，其中，使用广播网络广播所述广播信号包括经由彼此不同的传输模式将所述广播信号发送到所述多个支持触觉的设备，
所述传输模式是从电缆、直接广播卫星、光纤通信网络、空中节目播送、无线通信网络和无线电波中选择的。
CN201810009199.2A 2017-02-08 2018-01-05 带有选择的触觉元数据的触觉广播 Active CN108399003B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/427,240 2017-02-08
US15/427,240 US10075251B2 (en) 2017-02-08 2017-02-08 Haptic broadcast with select haptic metadata based on haptic playback capability

Publications (2)

Publication Number Publication Date
CN108399003A CN108399003A (zh) 2018-08-14
CN108399003B true CN108399003B (zh) 2021-11-16

Family

ID=61132331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810009199.2A Active CN108399003B (zh) 2017-02-08 2018-01-05 带有选择的触觉元数据的触觉广播

Country Status (5)

Country Link
US (3) US10075251B2 (zh)
EP (1) EP3361356A1 (zh)
JP (1) JP2018129035A (zh)
KR (1) KR102417688B1 (zh)
CN (1) CN108399003B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US20200076866A1 (en) * 2018-08-30 2020-03-05 Immersion Corporation Systems, devices, and methods for streaming haptic effects
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
KR102273804B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US20220113801A1 (en) * 2019-04-26 2022-04-14 Hewlett-Packard Development Company, L.P. Spatial audio and haptics
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
EP3955585A4 (en) * 2020-06-30 2023-01-04 Baidu Online Network Technology (Beijing) Co., Ltd VIDEO PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND STORAGE MEDIA
KR102575318B1 (ko) * 2021-05-07 2023-09-07 포항공과대학교 산학협력단 모션효과제공장치 및 방법
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001033760A2 (en) * 1999-10-19 2001-05-10 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
CN101292211A (zh) * 2005-10-19 2008-10-22 伊默生公司 媒体传输流中的触觉效果数据的同步
CN101622655A (zh) * 2007-02-26 2010-01-06 美国索尼电脑娱乐公司 感觉作品回放的更改与控制
WO2013096327A1 (en) * 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
CN104423590A (zh) * 2013-09-06 2015-03-18 意美森公司 解复用触觉信号的方法和系统
CN104423589A (zh) * 2013-09-06 2015-03-18 意美森公司 触觉变形系统
CN105867604A (zh) * 2015-02-11 2016-08-17 意美森公司 自动化的触觉效果伴随
CN106095069A (zh) * 2015-04-28 2016-11-09 意美森公司 触觉回放调节系统
CN106249868A (zh) * 2015-06-12 2016-12-21 意美森公司 广播触觉架构

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035927A (ja) * 1998-07-21 2000-02-02 Murata Mach Ltd 電子メール通信機能付き通信端末装置
JP3385320B2 (ja) * 2001-03-06 2003-03-10 シャープ株式会社 アニメーション再生端末、アニメーションの再生方法、および、そのプログラム
WO2013136133A1 (en) * 2012-03-15 2013-09-19 Nokia Corporation A tactile apparatus link
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9466187B2 (en) 2013-02-04 2016-10-11 Immersion Corporation Management of multiple wearable haptic devices
US9098984B2 (en) 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
EP3399763A1 (en) 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
JP6667987B2 (ja) * 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US20160150294A1 (en) * 2014-11-20 2016-05-26 Adobe Systems Incorporated Video Content Metadata for Enhanced Video Experiences

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001033760A2 (en) * 1999-10-19 2001-05-10 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
CN101292211A (zh) * 2005-10-19 2008-10-22 伊默生公司 媒体传输流中的触觉效果数据的同步
CN101622655A (zh) * 2007-02-26 2010-01-06 美国索尼电脑娱乐公司 感觉作品回放的更改与控制
WO2013096327A1 (en) * 2011-12-21 2013-06-27 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
CN104423590A (zh) * 2013-09-06 2015-03-18 意美森公司 解复用触觉信号的方法和系统
CN104423589A (zh) * 2013-09-06 2015-03-18 意美森公司 触觉变形系统
CN105867604A (zh) * 2015-02-11 2016-08-17 意美森公司 自动化的触觉效果伴随
CN106095069A (zh) * 2015-04-28 2016-11-09 意美森公司 触觉回放调节系统
CN106249868A (zh) * 2015-06-12 2016-12-21 意美森公司 广播触觉架构

Also Published As

Publication number Publication date
US10320501B2 (en) 2019-06-11
US10075251B2 (en) 2018-09-11
KR102417688B1 (ko) 2022-07-05
EP3361356A1 (en) 2018-08-15
CN108399003A (zh) 2018-08-14
US20180227063A1 (en) 2018-08-09
US20180343075A1 (en) 2018-11-29
KR20180092268A (ko) 2018-08-17
US20190319726A1 (en) 2019-10-17
JP2018129035A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
CN108399003B (zh) 带有选择的触觉元数据的触觉广播
KR102059737B1 (ko) 햅틱 트리거 제어 시스템
US10620706B2 (en) Haptic trigger modification system
EP2873446B1 (en) Haptic spatialization system
EP3217255B1 (en) Peripheral device with haptic diminishment prevention component
EP2840463A1 (en) Haptically enabled viewing of sporting events
JP6801838B2 (ja) スローモーションのためのハプティック効果の修正

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant