CN108255295B - 用于空间依赖性内容的触觉效果生成 - Google Patents

用于空间依赖性内容的触觉效果生成 Download PDF

Info

Publication number
CN108255295B
CN108255295B CN201711457878.8A CN201711457878A CN108255295B CN 108255295 B CN108255295 B CN 108255295B CN 201711457878 A CN201711457878 A CN 201711457878A CN 108255295 B CN108255295 B CN 108255295B
Authority
CN
China
Prior art keywords
haptic
video
pixel
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711457878.8A
Other languages
English (en)
Other versions
CN108255295A (zh
Inventor
C·乌尔里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN108255295A publication Critical patent/CN108255295A/zh
Application granted granted Critical
Publication of CN108255295B publication Critical patent/CN108255295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

提供了用于对触觉效果进行制作和编码的系统和方法，以用于诸如360度视频、三维视频、或者虚拟现实内容或增强现实内容等空间依赖性内容。这些系统和方法可以生成用于对所述内容的触觉效果进行编码或修改的一个或多个触觉层。

Description

用于空间依赖性内容的触觉效果生成
背景技术
触觉学是一种触觉和力反馈技术，这种技术通过诸如振动、运动、以及其他力和刺激等触觉效果来利用用户的感官。诸如移动设备、游戏设备、触屏设备、以及私人计算机等设备可以被配置用于生成触觉效果。触觉反馈可以向用户提供运动学反馈(诸如作用力反馈和阻力反馈)和/或触觉反馈(比如振动、振动感觉反馈、纹理、发热等)。触觉效果可用于警告用户特定的事件或提供现实反馈以在模拟或虚拟环境中创造更强的感官沉浸。
设备可以被配置用于借助诸如视频、游戏或其他媒体等其他内容的输出来协调触觉效果的输出。在诸如360度视频、三维视频、或虚拟现实视频等一些类型的视频内容中，视频场景可以基于用户或观看者的视角或兴趣点而改变，并且可以期望为场景中用户的视野所指向的不同对象提供不同的触觉效果。
发明内容
一方面是一种制作(authoring)触觉效果的方法。所述方法包括：接收触觉轨迹和视频纹理图并且生成与触觉像素相关联的触觉数据修改器。所述触觉轨迹具有限定触觉致动器的操作的触觉数据。所述视频纹理图代表视频的至少一个帧。所述触觉轨迹与所述视频的所述至少一个帧相关联。所述视频纹理图具有多个视频像素。每个触觉像素与所述视频像素中的至少一个相关联。所述触觉数据修改器被配置用于修改所述触觉数据的至少一部分并修改所述触觉致动器的操作。
另一方面是一种用于制作触觉效果的装置。所述装置包括：处理设备，被配置用于控制所述装置的操作；以及一个或多个计算机可读数据存储介质，存储有软件指令，所述软件指令当由所述处理设备执行时使所述装置：接收触觉轨迹和视频纹理图并且生成与触觉像素相关联的触觉数据修改器。所述触觉轨迹具有限定触觉致动器的操作的触觉数据。所述视频纹理图代表视频的至少一个帧。所述触觉轨迹与所述视频的所述帧相关联，并且所述视频纹理图具有多个视频像素。每个触觉像素与所述视频像素中的至少一个相关联。所述触觉数据修改器被配置用于修改所述触觉数据的至少一部分并修改所述触觉致动器的操作。
又另一方面是一种生成触觉效果的方法。所述方法包括：接收包括触觉数据的触觉轨迹，所述触觉数据限定触觉致动器的操作；接收多个包括触觉数据修改器的触觉像素，每个触觉像素与至少一个视频像素相关联，所述至少一个视频像素包括在代表视频的至少一个帧的视频纹理图中；标识所述视频的所述帧中的兴趣点，所述兴趣点包括所述视频的所述帧中的目标视频像素；确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述帧中的所述目标视频像素相对应；获得所述目标触觉像素中所包括的目标触觉数据修改器；基于所述目标触觉数据修改器来修改所述触觉轨迹中的所述触觉数据；以及基于经修改的触觉数据控制触觉致动器的操作。
又另一方面是一种用于生成触觉效果的装置。所述装置包括：一个或多个致动器；致动器驱动电路，被配置用于操作所述致动器；传感器，被配置用于检测兴趣点；以及处理设备，耦合至所述致动器驱动电路和所述传感器。所述处理器被配置用于：接收包括触觉数据的触觉轨迹，所述触觉数据限定触觉致动器的操作；接收多个包括触觉数据修改器的触觉像素，每个触觉像素与至少一个视频像素相关联，所述至少一个视频像素包括在代表视频的帧的视频纹理图中；使用所述传感器标识所述视频的所述帧中的兴趣点，所述兴趣点包括所述视频的所述帧中的目标视频像素；确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述帧中的所述目标视频像素相对应；获得所述目标触觉像素中所包括的目标触觉数据修改器；基于所述目标触觉数据修改器来修改所述触觉轨迹中的所述触觉数据；基于经修改的触觉数据生成控制信号；并且将所述控制信号传输至所述致动器驱动电路，所述控制信号使所述致动器驱动电路能够控制所述致动器。
又另一方面是一种生成触觉效果的方法。所述方法包括：接收多个触觉像素，每个触觉像素与至少一个视频像素相关联并且包括触觉数据，所述触觉数据限定触觉致动器的操作，所述至少一个视频像素包括在代表视频的至少一个帧的视频纹理图中；标识所述视频的所述至少一个帧中的兴趣点，所述兴趣点包括所述视频的所述至少一个帧中的目标视频像素；确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述至少一个帧中的所述目标视频像素相对应；获得所述目标触觉像素中所包括的目标触觉数据；以及基于所述目标触觉数据控制触觉致动器的操作。
又另一方面是一种用于生成触觉效果的装置。所述装置包括：一个或多个致动器；致动器驱动电路，被配置用于操作所述致动器；传感器，被配置用于检测兴趣点；以及处理设备，耦合至所述致动器驱动电路和所述传感器。所述处理器被配置用于：接收多个触觉像素，每个触觉像素与至少一个视频像素相关联并且包括触觉数据，所述触觉数据限定触觉致动器的操作，所述至少一个视频像素包括在代表视频的帧的视频纹理图中；标识所述视频的所述帧中的兴趣点，所述兴趣点包括所述视频的所述帧中的目标视频像素；确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述帧中的所述目标视频像素相对应；获得所述目标触觉像素中所包括的目标触觉数据；并且基于所述目标触觉数据生成控制信号；并且将所述控制信号传输至所述致动器驱动电路，所述控制信号使所述致动器驱动电路能够控制所述致动器。
附图说明
图1是根据本公开的示例性实施例的一种用于制作和渲染触觉效果的系统的框图。
图2是流程图，展示了用于操作图1的系统的示例性方法。
图3是如在图1中所展示的触觉效果制作设备的可能实施例的框图。
图4是框图，展示了所述触觉效果制作设备的示例操作。
图5是流程图，展示了操作所述触觉效果制作设备的示例性可能方法。
图6展示了播放视频的示例性方法。
图7展示了将视频纹理图与触觉纹理图相关联的示例性方法。
图8是触觉像素的一种可能的示例数据结构。
图9是流程图，展示了用于生成触觉数据修改器的示例性方法。
图10展示了用于接收触觉数据修改器值的用户输入的用户界面的一个可能实施例。
图11展示了如图1中所展示的触觉启用装置的许多可能实施例之一的框图。
图12是流程图，展示了用于生成触觉效果的示例性方法。
图13展示了确定视频帧中的兴趣点的示例性方法。
图14是用于标识如图13中所展示的兴趣点的示例方法的流程图。
图15展示了借助触觉效果渲染视频内容的示例性过程。
图16展示了在一组触觉像素中确定目标触觉像素。
图17展示了另一示例性组触觉像素的数据结构。
图18是用于使用图17的触觉像素生成触觉效果的示例性可能方法。
具体实施方式
将参照附图而详细描述各个实施例，其中，在多个视图中，相同参考标号表示相同部件或组件。对各个实施例的参考并不限制随附权利要求书的范围。另外，本说明书中所阐述的任何示例不旨在是限制性的并且仅阐述了所附权利要求书的许多可能实施例中的一些实施例。
在任何适当的时候，以单数形式使用的术语还将包括复数形式，并且反之亦然。“一个(a)”的使用在此意味着“一个或多个(one or more)”，除非另外陈述或在“一个或多个(one or more)”的使用明显不合适的情况下。“或(or)”的使用意指“和/或(and/or)”，除非另外声明。如“包括(comprise、comprises、comprising、include、includes、including)”、“比如(such as)”和具有(has、having)”等术语是可互换的并且不旨在是限制性的。例如，术语“包括(including)”应当指“包括但不限于”。
总体上，本公开涉及用于针对诸如视频等内容制作和编码触觉效果的系统和方法。本公开的系统和方法允许对诸如360度视频、三维视频、或者虚拟现实内容或增强现实内容等空间依赖性(或取向依赖性或定向依赖性)内容进行制作和编码。本公开允许将触觉效果局部化到这种内容中的一个或多个具体位置或对象。
触觉效果或触觉反馈可以是向人传递的任何类型的感触感觉。在一些实施例中，触觉效果对信息(如提示、通知、对用户与触觉启用物品的交互的反馈或确认等信息、或者更复杂消息或其他信息)进行具体化。在替代性实施例中，触觉效果可用于通过模拟物理性质或效果(比如摩擦、流动和掣动)来增强用户与设备的交互。
本公开的系统和方法可以生成一个或多个触觉层，比如触觉纹理图。所述触觉层具有多个触觉像素，所述多个触觉像素包含用于编码或编辑触觉效果的信息。所述触觉像素包括用于限定或调整与诸如视频内容等内容相关联的触觉效果的信息。在一个可能的实施例中，每个触觉像素可以包括用于将所述触觉像素与一个或多个相应的视频帧或视频纹理图相关联的坐标。
可以基于被流传输以生成视频的视频帧中的至少一个创建每个触觉层。在某些示例中，可以以与视频帧相同的帧率创建和使用触觉层。在其他示例中，可以以与视频帧不同的帧率使用触觉层，使得单个触觉层针对多个视频帧对触觉效果进行编码。
在某些示例中，每个触觉层具有触觉像素，所述触觉像素中的每一个与相应的视频帧或对应于一个或多个视频帧的视频纹理图中的至少一个像素相关联。具体触觉层中的每个触觉像素可以编码或编辑与这个触觉层相对应的至少一个视频帧或视频纹理图中的一个或多个像素相关联的触觉效果。这样，由于触觉层中的触觉像素可以具有不同信息、参数、和/或值，可以将触觉效果按照期望局部化在与触觉层相对应的一个或多个视频帧中。
当使用一个或多个触觉轨迹来提供触觉数据以用于生成触觉效果时，触觉层包括用于修改所述触觉数据从而调整所述触觉效果的信息。例如，当触觉轨迹包括用于生成幅值信号的触觉数据时，触觉层中的每个触觉像素具有用于改变所述触觉数据的触觉数据修改器，由此调整所述幅值信号。通过向触觉层中的触觉像素提供不同的触觉数据修改器，可以向与触觉层相关联的一个或多个视频帧中的不同位置提供不同的触觉效果(例如，不同幅值的触觉效果)。本公开的系统可以提供用于使得用户能够定制触觉数据修改器的用户界面。
在某些实施例中，可以将此类触觉轨迹编码在触觉层中，使得触觉层中的触觉像素包括用来生成触觉效果的触觉数据。在这种配置中，在对视频内容进行回放的过程中，可以在不需要单独触觉轨迹的情况下使用触觉层来生成触觉效果。
在对视频内容进行回放的过程中，可以在特定时间确定视频内容中的兴趣点并且使用所述兴趣点来对与所述兴趣点相关联的适当触觉效果进行索引。在某实施例中，兴趣点是观看者的取向向量。兴趣点可以被表示为或关联于触觉层中在这个时间的触觉像素。与视频回放(即，此时的视频帧)同步地渲染与兴趣点相关联的触觉效果
虽然本公开中所描述的许多示例涉及360度视频，应该理解的是，本公开的教导还可以包括其他应用，在所述其他应用中，触觉效果可以被应用于对其他内容进行回放，诸如其中用户可以环视的虚拟或增强现实体验。
图1是根据本公开的示例性实施例的一种用于制作和渲染触觉效果的系统的框图。所述系统一般地用参考号100来指代并且包括触觉效果制作设备102和触觉启用装置104。在至少一些实施例中，触觉启用装置104包括触觉效果渲染设备106和内容呈现设备108。
触觉效果制作设备102操作以修改用于生成触觉效果的触觉数据。在某些实施例中，触觉数据可以包括在一个或多个触觉轨迹112中并限定一个或多个触觉致动器的操作。在至少一些实施例中，触觉效果制作设备102接收限定或编辑触觉效果的特性(诸如幅值、频率、波形、锐度、以及触觉效果的其他可能属性)的一个或多个参数的输入，并基于所述参数修改触觉数据。在此更详细地描述了触觉效果制作设备102的示例，包括参照图3至图10的说明。
在至少一些实施例中，触觉效果制作设备102生成一组触觉像素110。在某些实施例中，触觉效果制作设备102可以接收并使用一个或多个触觉轨迹112和内容数据114从而生成触觉像素110。
触觉像素110包括限定或编辑与内容数据114相关联的触觉效果的数据。例如，当内容数据114被表示为一个或多个内容数据纹理图(比如，如在此所描述的视频纹理图)中的数据像素时，触觉像素110中的每一个包括以下数据：所述数据限定了与所述内容数据纹理图中的所述数据像素中的至少一个相关联的触觉效果。如在此所述，触觉像素110可以被表示为触觉纹理图，如在此更详细描述的，包括与图7相关联的说明。
触觉启用装置104操作以在基于内容数据114回放所述内容的同时生成触觉效果。在某些实施例中，触觉启用装置104接收触觉像素110和触觉轨迹112以渲染触觉效果。在此进一步更详细地描述了触觉启用装置104的示例，包括参照图11的说明。
触觉启用装置104中的触觉效果渲染设备106被配置用于渲染与使用内容呈现设备108所呈现的内容相关联的触觉效果。在某些示例中，触觉效果渲染设备106生成触觉效果，同时内容呈现设备108基于内容数据114呈现内容。当内容数据114是视频内容时，内容呈现设备108基于内容数据114显示视频内容，并且触觉效果渲染设备106渲染与视频内容相对应的触觉效果。
内容呈现设备108操作以基于内容数据114呈现内容。取决于内容数据114的类型，内容呈现设备108可以具有各种类型。例如，当内容数据114包括视频内容数据时，内容呈现设备108包括用于显示视频内容的显示设备(如图11中所展示的)。在其他示例中，当内容数据114包括音频内容数据时，内容呈现设备108包括音频回放设备。
如在此所进一步描述的，包括参照图12和图13的描述，触觉效果渲染设备106进一步包括用于标识渲染过程中内容数据中的兴趣点的一个或多个传感器(比如取向传感器)。所述兴趣点可以是视频帧中的各个点中的一个或多个。在一些实施例中，所述兴趣点是视频帧中用户或观看者所看的点。在其他实施例中，所述兴趣点是用户或观看者在呈现所述视频帧的显示设备上将指示器或光标所定位在的点。这种点在此可以被称为用户视角向量或视线向量。
在一些可能的实施例中，触觉效果渲染设备106和内容呈现设备108被集成在单个设备中。在这种配置中，兴趣点(比如视线向量)在触觉效果渲染设备106和内容呈现设备108处可以完全相同。在其他可能的实施例中，触觉效果渲染设备106可以与内容呈现设备108分开。例如，触觉效果渲染设备106可以被实施为手持控制器，同时内容呈现设备108被配置为头盔。在这种配置中，可以例如使用手持控制器选择的兴趣点可以不同于视线向量，所述视线向量代表使用例如头盔的用户的视角。
虽然触觉启用装置104在所展示的实施例中被描述为包括触觉效果渲染设备106和内容呈现设备108，应该理解的是，触觉效果渲染设备106和内容呈现设备108中任意一个或两者可以与触觉启用装置104分开地配置。
仍参照图1，触觉轨迹112包括与触觉效果相关联的触觉数据。触觉数据限定了用于生成触觉驱动信号的参数，所述触觉驱动信号用于驱动一个或多个触觉致动器。在示例性实施例中，此类参数涉及或关联于触觉驱动信号的特性，诸如幅值、频率、相位、反转(inversion)、持续时间、波形、启动时间(attack time)、上升时间(rise time)、相对于事件的滞后(lag)或提前(lead)时间、以及淡入淡出时间(fade time)。将触觉驱动信号应用于一个或多个触觉致动器以引起一种或多种触觉效果。
内容数据114是用来生成内容的数据，所述内容可以借助内容呈现设备108而被传递给用户。在本文件中，内容数据114主要被描述为用于视频内容(比如360度视频)的数据。然而，在其他实施例中，本公开的教导可以主要应用于其他类型的内容，比如三维视频、虚拟现实内容或增强现实内容、以及音频内容。
在所展示的实施例中，触觉效果制作设备102基于内容数据114和触觉轨迹112生成触觉像素110。在这种配置中，触觉启用装置104可以接收触觉轨迹112和触觉像素110两者，从而生成与内容数据114相关联的触觉效果。在其他实施例中，触觉效果制作设备102可以在不需要触觉轨迹112的情况下基于内容数据114生成触觉像素110。在此类实施例中，将另外包括在触觉轨迹中的触觉数据被编码在触觉像素110中，并且触觉启用装置104可以使用触觉像素110渲染触觉效果。
图2是流程图，展示了用于操作图1的系统100的示例性方法130。在某些实施例中，系统100一般操作以执行两个步骤从而提供与向用户呈现的内容相关联的触觉效果。首先，系统100被配置和用来使能针对内容制作触觉效果(操作132)，并在呈现所述内容时渲染触觉效果(操作134)。在一些实施例中，可以使用触觉效果制作设备102和系统100中的其他相关联设备来执行操作132，并且可以使用触觉效果渲染设备106和系统中的其他相关联设备来执行操作134。参照图3至图10展示和描述了操作132的示例，并且参照图11至图15展示和描述了操作134的示例。
图3是如在图1中所展示的触觉效果制作设备102的可能实施例的框图。在本实施例中，触觉效果制作设备102包括总线140、处理器142、输入/输出(I/O)控制器144、存储器146、网络接口控制器(NIC)148、和用户界面150。总线140包括用于提供路径以便在设备102中的部件(包括处理器142、I/O控制器144、存储器146和NIC 148)之间传递数据的导体或传输线路。总线140通常包括控制总线、地址总线和数据总线。然而，总线140可以是适用于在设备102中的部件之间传递数据的任何总线或总线组合。
处理器142可以是被配置用于处理信息的任何电路，并且可以包括任何适当模拟或数字电路。处理器142还可以包括执行指令的可编程电路。可编程电路的示例包括微处理器、微控制器、专用集成电路(ASIC)、可编程门阵列(PLA)、现场可编程门阵列(FPGA)、或适用于执行指令的任何其他处理器或硬件。在各个实施例中，处理器142可以是单个单元或者两个或更多个单元的组合。如果处理器142包括两个或更多个单元，则所述单元可以被物理地定位在单个控制器中或在单独的设备中。
I/O控制器144是监测设备102和外围或外部设备(比如用户界面150)的操作的电路系统。I/O控制器144还对设备102与外围设备之间的数据流进行管理并且使处理器142免于与监测和控制外围设备相关联的细节的影响。可以与I/O控制器144接口连接的其他外围或外部设备的示例包括：外部存储设备；监视器；输入设备，诸如键盘和指点设备；外部计算设备；天线；由人穿戴的其他物品；以及任何其它远程设备。
存储器146可以包括易失性存储器，比如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM))、闪存、磁存储器、光存储器或任何其他适当存储器技术。存储器146还可以包括易失性和非易失性存储器的组合。
存储器146可以存储供由处理器142执行的多个程序模块，包括用户输入获取模块152、数据获取模块154、触觉制作模块156、和通信模块158。每个模块是执行一个或多个特定任务的数据、例程、对象、呼叫和其他指令的集合。尽管在本文中公开了某些模块，但是本文中所描述的各种指令和任务可由以下各项执行：单个模块、不同模块组合、除了本文中所公开的模块之外的模块或者由与设备102或者无线或者有线通信的远程设备执行的模块。
用户输入获取模块152是当由处理器142执行时使处理器142执行以下操作的指令：接收与触觉效果或触觉效果修改器相关联的一个或多个参数的用户输入。用户输入获取模块152可以与用户界面150的输入设备162通信并且使用户能够通过输入设备162输入这种参数。举例来讲，用户输入获取模块152在显示屏(即，输入设备162)上提供图形用户界面，所述图形用户界面允许用户输入或选择用于触觉效果的一个或多个参数。参照图9和图10而更详细地展示了对用户输入获取模块152进行操作的示例方法。
数据获取模块154是当由处理器142执行时使处理器142执行以下操作的指令：接收用来制作触觉效果的数据。这种数据可以由触觉制作模块156使用。在本文中所讨论的特定实施例中，所接收的数据包括关于触觉轨迹112和内容数据114的信息。
触觉制作模块156是当由处理器142执行时使处理器142执行以下操作的指令：生成触觉像素110。在至少一些实施例中，触觉制作模块156与用户输入获取模块152通信以接收用户输入并与数据获取模块154通信以接收可用于制作触觉效果的数据，比如触觉轨迹112和内容数据114。
通信模块158促进设备102与远程设备之间的通信。远程设备的示例包括计算设备、传感器、致动器、联网设备(比如路由器和热点)、车辆、运动装备和智能电器。计算设备的示例包括服务器、台式计算机、膝上型计算机、平板计算机、智能电话、家庭自动化计算机和控制器以及可编程的任何其他设备。通信可以采取适合于数据通信(包括通过无线或有线信号或数据路径的通信)的任何形式。在各个实施例中，通信模块可以将设备102配置为系统100的集中控制器或其他远程设备，配置为与其他计算设备或其他远程设备通信的对等设备，或配置为混合集中控制器和对等设备，使得控制器可以在一些情况下作为集中控制器而在其他情况下作为对等设备进行操作。
程序模块的替代性实施例是可能的。例如，一些替代性实施例可能具有比用户输入获取模块152、数据获取模块154、触觉制作模块156和通信模块158更多或更少的程序模块。在一些可能实施例中，程序模块中的一个或多个程序模块处于远程设备中，比如远程计算设备或其他可穿戴物品。
仍参照图3，网络接口控制器(NIC)148与网络168电通信以便在设备102与远程设备之间提供通信(或无线或有线)。通信可以根据任何无线传输技术，包括如蓝牙、蜂窝标准(例如CDMA、GPRS、GSM、2.5G、3G、3.5G、4G)、WiGig、IEEE 802.11a/b/g/n/ac、IEEE 802.16(例如WiMax)等任何无线传输技术。NIC 148还可以通过有线连接使用用于传输数据的任何适当端口和连接器并且根据任何适当标准(比如RS 232、USB、火线(FireWire)、以太网、MIDI、eSATA或雷电接口(Thunderbolt))在设备102与远程设备之间提供有线通信。
用户界面150可以包括输入设备162和输出设备164。输入设备162包括用户可以通过其将参数、命令或其他信息输入到触觉效果制作设备102中的任何设备或机构。另外，输入设备162还可以接收触觉轨迹和内容数据(比如视频轨迹)以进行编辑。输入设备162的示例包括触摸屏、触敏表面、相机、如按钮和开关等机械输入端以及其他类型的输入部件。输入设备162还可以包括用于便携式存储器(诸如闪速存储器、磁性存储器、光学存储器、或任何其他适当的存储器技术)的可移除式存储器阅读器。输出设备164包括以各种格式(比如可见和可听格式)向用户呈现信息的任何设备或机构。输出设备164的示例包括显示屏、扬声器、灯以及其他类型的输出部件。输出设备164还可以包括可移除式存储器阅读器。在一个实施例中，输入设备162和输出设备164整体形成，比如触敏显示屏。
图4是框图，展示了所述触觉效果制作设备102的示例操作。在至少一些实施例中，触觉效果制作设备102接收触觉轨迹112和内容数据114，并使用触觉轨迹112和内容数据114来生成一组触觉像素110。
如上所述，触觉轨迹112包括触觉数据，所述触觉数据与触觉效果相关联并且限定了一个或多个触觉致动器的操作。内容数据114包括信息，所述信息用于生成使用内容回放设备(比如内容呈现设备108)所传递的内容。
在所展示的实施例中，以期望的触觉效果渲染视频内容。例如，视频内容包括球形视频或360度视频。360度视频是一种视频记录，在这种视频记录中，使用摄影技术(比如相机的集合和全向相机)同时记录了每个方向的视野。然后可以对产生的连续镜头进行缝合以形成可以被投影至球面上的单个矩形视频。在回放的过程中，视野可以控制观看方向，这与全景类似。在一些可能的实施例中，360度视频是单视场的，其在奇异面上被看做平面图像。在其他可能的实施例中，360度视频是立体视频，其被看做单独指向每只眼睛的两张图像。
可以在各种设备上回放360度视频。例如，当在私人计算机上观看360度视频时，使用鼠标或其他指向设备(例如，轨迹球、操纵杆、指示杆、WillMote、手指追踪设备、笔、触控笔)通过点击和拖拽来向周围摇动视频。在移动计算设备(例如，智能电话或平板)上，可以使用诸如陀螺仪等内部传感器来基于设备的取向摇动视频。在其他示例中，可以向包括虚拟现实头盔、控制器和其他设备的用户操作虚拟现实设备显示视频。可以利用用户的视点和/或移动来向周围摇动视频。
在所展示的实施例(其中内容数据114针对视频内容)中，可以提供一个或多个视频纹理图，所述视频纹理图代表一个或多个视频帧。视频纹理图212可以被用作视频帧来在显示设备上渲染视频内容。在此进一步描述了视频纹理图的示例，包括参照图5和图6的说明。
如上所述，触觉像素110包括用于限定或调整与内容数据114相关联的触觉效果的信息。如在此所描述的，在一个可能的实施例中，触觉像素110可以包括用于将触觉像素110与一个或多个相应的视频帧或视频纹理图相关联的坐标。在此描述了触觉像素110的示例数据结构，包括参照图8的说明。触觉像素110可以被表示为一个或多个触觉纹理图。在至少一些实施例中，未视觉地渲染触觉像素110或其触觉纹理图。在其他实施例中，可以视觉地渲染触觉纹理图，如在此所展示的，包括参照图9的说明。
图5至图8展示了操作触觉效果制作设备102的示例性可能方法200。在所展示的实施例中，方法200包括操作202、204和206。在其他实施例中，方法200可以包括具有这些操作中的至少一项的附加操作。
在操作202，触觉效果制作设备102接收触觉轨迹112和内容数据114。在操作204，触觉效果制作设备102生成与视频纹理图212的视频像素216(图7)相关联的触觉像素110。在操作206，触觉效果制作设备102生成与触觉像素110相关联的触觉效果修改器232(图8)。触觉像素110对应于触觉像素110
在本实施例中，内容数据114包括多个视频纹理图212。每个视频纹理图可以代表视频214的至少一个帧218。在具有显示屏的视频播放器(比如触觉启用装置104的内容呈现设备108)上回放视频214，如图1中所展示的。内容数据114包括内容呈现设备108可以用来播放视频的信息。
如图6中所展示的，在一些实施例中，通过显示多个帧218来回放视频214。可以以确定的帧率或时间分辨率串行显示所述多个帧218。时间分辨率的一些示例的范围从10帧每秒(FPS)到500FPS。在其他实施例中，其他时间分辨率也可以是可能的。
仍参照图6，包括在内容数据114中的视频纹理图212中的每一个可以代表视频214的至少一个帧218。在作为360度视频的这种示例中，视频纹理图212通常分别代表帧218，使得单个视频纹理图212被用作视频214的单个帧218。在这种配置中，视频纹理图212与视频帧218完全相同并且因而还可以被称为视频帧218。在其他示例中，视频纹理图212中的至少一个被配置为代表视频216的帧218中的两个或更多个。例如，在进行视频压缩时，视频纹理图212中的每一个与多个帧218(比如两个、三个、四个等)相关联，从而使得，当以第一帧率对帧218进行流传输时，以低于所述第一帧率的第二帧率使用视频纹理图212。举例而言，每个视频纹理图212被配置为代表三个连续帧218，从而使得，当以90FPS对帧218进行流传输时，以30FPS使用视频纹理图212。在又其他示例中，视频纹理图212中的至少一些与不同数量的帧218相关联。例如，第一视频纹理图212对应于两个帧218，而第二视频纹理图212仅代表不同于这两个帧218的单个帧218。
视频纹理图212是可以被用作视频214的一个或多个帧218的二维图像。如在此所描述的，在一些示例中，视频纹理图212还可以与视频帧218完全相同。在至少一些可能的实施例中，可以使用各种映射技术来将每个视频纹理图212投影至视频214的至少一个帧218。示例映射过程包括UV映射，所述UV映射将二维图像投影至三维模型的表面。UV映射过程可以使用多边形，所述多边形组成三维对象并且具有来自二维图像(诸如视频纹理图212)的诸如颜色等表面属性。UV映射过程涉及将视频纹理图212中的视频像素216(图7)指定给多边形上的表面映射。在其他示例中，可以使用其他映射方法将视频纹理图212与视频214的帧218相关联。
返回参照图5，在操作204，触觉效果制作设备102生成与视频纹理图212的视频像素216相关联的触觉像素110。在一些实施例中，触觉像素110用来修改触觉轨迹112中的触觉数据，所述触觉数据则用来限定一个或多个触觉致动器的操作。在其他实施例中，当触觉轨迹112被编码在触觉像素110中时，触觉像素110可以限定用来控制一个或多个触觉致动器的触觉数据。
如图7中所展示的，触觉像素110可以被表示为触觉纹理图222。触觉纹理图222与视频纹理图212中的至少一个相关联。在一个可能的实施例中，触觉纹理图222分别对应于视频纹理图212，使得触觉纹理图222和视频纹理图212的时间分辨率完全相同。在其他可能的实施例中，触觉纹理图222中的至少一个具有与视频纹理图212中的至少一个不同的时间分辨率。例如，触觉纹理图222中的至少一个与视频纹理图212中的两个或更多个相关联，使得触觉纹理图222具有比视频纹理图低的时序分辨率。在其他示例中，视频纹理图212中的至少一个与触觉纹理图222中的两个或更多个相关联，使得触觉纹理图222具有比视频纹理图高的时序分辨率。不同时序分辨率的示例应用为，某物的图像或表示经过多个视频帧后继续存在，同时某物的所述图像或表示在所述多个视频帧上具有相同的触觉效果。
在一些实施例中，触觉纹理图222具有与视频纹理图212相同的空间分辨率。例如，触觉纹理图222中的触觉像素110的数量与视频纹理图212中的视频像素216的数量相同。在其他实施例中，触觉纹理图222具有与视频纹理图212不同的空间分辨率。例如，触觉纹理图222中的触觉像素110中的至少一个可以与视频纹理图212中的视频像素216中的两个或更多个相关联。在所展示的实施例中，触觉纹理图222具有视频纹理图212的空间分辨率的一半，使得可以将每对视频像素216映射至单个触觉像素110。如图7中所展示的，被标识为二维坐标(x1，y1)和(x2，y2)的两个视频像素216与被标识为二维坐标(u1，v1)的单个触觉像素110相关联，并且其他视频像素对216被以同样的方式映射至其他触觉像素110。在其他实施例中，其他配置也是可能的。
在一些实施例中，触觉纹理图222可以是与关键帧相对应的一系列图像。例如，触觉纹理图222可以被安排在两个相邻的视频纹理图或两个相邻的视频帧之间。在这种配置中，可以基于界定了触觉纹理图的时间戳的这两个相邻的视频纹理图或视频帧之间的内插值来确定触觉纹理图中的触觉像素(包括触觉数据修改器)
在至少一些实施例中，触觉纹理图是单色图像，其每一个像素具有代表与这个像素相关联的触觉数据修改器的值。例如，触觉纹理图可以是灰度图。在一个示例中，每个像素可以具有8位数据的值，范围从0到255。其他数据类型也可以是可能的，比如16位、32位等。所述像素可以具有代表不同触觉数据修改器的不同值。在其他实施例中，触觉纹理图是具有多种颜色的图像，用于表示每个像素的多个触觉数据修改器。
参照图8，在一个可能的实施例中，触觉像素110可以包括像素标识符230以及一个或多个触觉效果修改器232。像素标识符230可以用来标识每个触觉像素。在至少一些实施例中，像素标识符包括对其他触觉像素110当中(或触觉纹理图222内)的相关联触觉像素110的位置进行标识的坐标。触觉像素110的坐标可以用来在视频纹理图212中的视频像素216与相应的触觉纹理图222中的触觉像素110之间进行映射。例如，如图7中所展示的，触觉像素110具有二维坐标(u，v)，所述二维坐标可以与视频像素216的一个或多个二维坐标(x，y)相关联。
触觉效果修改器232包括用来修改触觉轨迹112的信息。在至少一些实施例中，每个触觉像素110包括或关联于可以对触觉轨迹112中的触觉数据(例如，用来生成触觉效果的一个或多个参数)的至少一部分进行编辑的一个或多个触觉效果修改器232，由此修改触觉致动器的操作。在所展示的实施例中，每个触觉像素110与两个触觉效果修改器232(即，第一触觉效果修改器232A和第二触觉效果修改器232B)相关联。每个触觉像素110中的多个触觉效果修改器232用来修改触觉轨迹112中的触觉数据中的不同参数。
在一个可能的实施例中，触觉效果修改器232包括用于对触觉效果的幅度(幅值)进行调整的衰减数据。在其他可能的实施例中，触觉效果修改器232包括数据，所述数据用于调整其他参数(包括触觉效果的频率、波形、锐度、和其他可能属性)、以及对用于生成触觉效果的一个或多个致动器的选择。
对于针对触觉纹理图的非单色编码，需要将触觉数据修改器中的每一个映射至图像特性。例如，当每个触觉像素包括用于限定两个参数的两个触觉数据修改器时，用RGB色彩值表示的两种颜色可以用来限定这两个触觉数据修改器，使得第一触觉数据修改器具有红像素值且第二触觉数据修改器具有绿像素值。其他颜色组合(例如，红与蓝、或绿与蓝)也是可能的。当每个触觉像素包括用于限定三个参数的三个触觉数据修改器时，RGB色彩值可以用来限定这三个触觉数据修改器，使得第一触觉数据修改器具有红像素值，第二触觉数据修改器具有绿像素值，且第三触觉数据修改器具有蓝像素值。使用色彩值进行映射会受现有编码范围限制，因为在上述示例中RGB色彩体系仅可以支持三个触觉数据修改器。在编码格式可以支持层的其他实施例中，多个触觉数据修改器中的每一个可以是单独层中的单色图像。这可以使能针对每个触觉像素的无限数量的触觉数据修改器。
在一些可能的实施例中，触觉效果修改器232可以被表示为数值。举例而言，每个触觉效果修改器232具有8位的值，比如0到255范围的值。在其他可能的实施例中，可以用不同方式表示触觉效果修改器232。
图9是流程图，展示了用于生成触觉数据修改器232的示例性方法240。在所展示的实施例中，在操作242，触觉效果制作设备102可以在触觉效果制作设备102的诸如用户界面150(例如，输出设备164)等显示设备上显示触觉纹理图222。然后，在操作244，触觉效果制作设备102通过触觉效果制作设备102的输入设备(诸如输入设备162)接收一个或多个触觉数据修改器值。在操作246，触觉效果制作设备102则可以显示经修改触觉纹理图222，所述经修改触觉纹理图已经被更新以表示触觉数据修改器值的输入。
参照图10，展示了用户界面250的一个可能实施例用于接收触觉数据修改器值的用户输入。可以使用触觉效果制作设备102的用户界面150来实施用户界面250。在本示例实施例中，用户界面250包括图显示分段252、区域选择分段254、以及一个或多个参数选择分段256(包括256A和256B)。
要理解的是，用户界面250不限于如图10中所展示的用户界面。用户界面250可以是现有图像和视频编辑软件或工具的任何用户界面。在一些实施例中，本公开的触觉效果制作设备102可以被并入一个或多个现有图像和视频编辑工具或被使用其实施，并且因此，可以由此类现有图像和视频编辑工具的用户界面实施用户界面250。
图显示分段252用来显示触觉纹理图222。在至少一些实施例中，当输入不同的触觉数据修改器值时，图显示分段252中所显示的触觉纹理图222可以至少部分地改变。
区域选择分段254用来选择和/或显示触觉纹理图222中的区域，其可以由用户选择。一旦在触觉纹理图222上选择了所述区域，用户就可以输出一个或多个触觉数据修改器从而调整与所选择的区域内的触觉像素相关联的触觉效果。所述区域可以是单独的触觉像素或一组触觉像素。可以使用各种方法来使用户能够选择触觉纹理图222内的区域。例如，用户可以使用外围输入设备(例如，鼠标)来限定所述区域，比如单独地选择一个或多个触觉像素或在触觉纹理图222上绘制区域(例如，矩形的或圆形的)以选择多个触觉像素。
参数选择分段256可以呈现控制元件258(包括258A和258B)，所述控制元件用于使用户能够调整触觉数据修改器值。可以使用各种类型的控制元素258，比如按钮、滑动条、列表框、微调控制项、和下拉列表。在所展示的实施例中，第一参数选择分段256A和第二参数选择分段256B包括第一滑动条258A和第二滑动条258B，使得用户可以沿着条改变柄的位置，以选择触觉数据修改器值(例如，第一参数选择分段256A中的参数1和第二参数选择分段256B中的参数2)。在其他实施例中，用户界面250具有与在此所展示的不同的配置、安排、和布局。
现在参照图11至图15，用于针对基于内容数据114而回放的内容来渲染触觉效果的一种可能的示例性方法。这种方法可以实施如图2中所描述的操作134。
图11展示了如图1中所展示的触觉启用装置104的许多可能实施例之一的框图。触觉启用装置104可以具有各种配置。触觉启用装置104可以是可用于传递触觉效果的任何类型的设备，比如：蜂窝电话、智能电话、个人数字助理(PDA)、便携式音乐播放器、便携式视频播放器、游戏系统、虚拟现实(VR)系统、虚拟现实头盔、360度视频头盔、汽车系统、导航系统、台式计算机、膝上型计算机、电子电器(例如电视机、烤箱、洗衣机、烘干机、冰箱或照明系统)、电影院(比如具有座位、头盔、或带有触觉致动器的其他设备的IMAXTM影院)以及能够处理信息并且提供触觉反馈的任何其他电子或计算设备。
触觉启用装置104包括输入设备302、处理器304、存储器306、致动器驱动电路308和致动器310。在一些实施例中并且如在图11中所展示的，输入设备302、处理器304、存储器306、致动器驱动电路308和致动器310结合到可由用户穿戴或携带的单个设备中。在其他实施例中，输入设备302、处理器304、存储器306、致动器驱动电路308和致动器310中的至少一项彼此分离地安排并且或者彼此无线或者有线连接。
输入设备302被配置用于监测或检测与触觉启用装置104或触觉启用装置104的用户相关联的一个或多个事件或由用户执行的一个或多个事件，可以使用触觉反馈来将所述事件通知给所述用户。输入设备302是将信号输入到处理器304中的任何设备。
输入设备302的示例是触敏表面或安装在设备104的外壳内的其他类型的用户界面，比如鼠标、触摸板、模拟操纵杆、滚轮、轨迹球、游戏板或游戏控制器。输入设备302的另一个示例是控制设备，比如按键、按钮、开关或其他类型的用户界面。输入设备302的又另一个示例是将信号输入到处理器304中的换能器。可以用作输入设备302的换能器的示例包括一个或多个天线和传感器。
传感器可以是响应于接收到刺激而输出信号的任何仪器或其他设备。传感器可以硬接线至处理器或者可以无线连接至处理器。传感器可以用于检测或感测各种不同条件、事件、环境条件、设备104的操作或条件、其他人或物体的存在或者能够刺激传感器的任何其他条件或事物。
传感器的示例包括：声学或声音传感器，比如麦克风；振动传感器；化学或粒子传感器，比如呼气测醉器、一氧化碳和二氧化碳传感器、以及盖革(Geiger)计数器；电气和磁性传感器，诸如电压检测器或霍尔效应传感器；流量传感器；导航传感器或仪器，比如GPS接收器、高度计、陀螺仪、磁力计或加速度计。位置、接近度、和运动相关传感器，比如压电材料、测距仪、里程计、速度计、震荡检测器；成像或其他光学传感器，比如电荷耦合设备(CCD)、CMOS传感器、红外线传感器、和光电探测器；压力传感器，比如气压计、压强计、和触觉传感器；力传感器，比如压电传感器和应变仪；温度和热传感器，比如温度计、热量计、热敏电阻器、热电偶、和高温计；接近度和存在传感器，比如运动检测器、三角测量传感器、雷达、光敏电池、声呐、和霍尔效应传感器；生物芯片；生物计量传感器，比如血压传感器、脉搏/ox传感器、血糖传感器、和心脏监护器。另外，可以使用如压电聚合物等智能材料来形成传感器，在一些实施例中，所述传感器充当传感器和致动器两者。
各个实施例可以包括单个输入设备或者可以包括两个或更多个输入设备。另外，各个实施例可以包括不同类型的输入设备。例如，至少一些可能实施例包括开关和换能器(比如天线或传感器)。当输入设备302被刺激并且向处理器304输入信号时，处理器304对致动器310进行操作以便向携带、穿戴设备104或与之交互的人提供触觉效果。
处理器304可以是被配置用于处理信息的任何设备、元件或电路，并且可以包括任何适当模拟或数字电路。处理器118还可以包括执行指令的可编程电路。可编程电路的示例包括微处理器、微控制器、专用集成电路(ASIC)、可编程门阵列(PLA)、现场可编程门阵列(FPGA)、或适用于执行指令的任何其他处理器或硬件。在各个实施例中，处理器118可以是单个单元或者两个或更多个单元的组合。如果处理器118包括两个或更多个单元，则所述单元可以被物理地定位在单个控制器中或在单独的设备中。处理器304可以是对整个设备104进行操作的同一处理器或可以是单独的处理器。处理器304可以基于高级参数来决定将播放什么触觉效果以及播放所述效果的顺序。总体上，限定特定触觉效果的高级参数包括幅度、频率和持续时间。还可以使用如流式电机命令等低级参数来确定特定触觉效果。
处理器304从输入设备302接收信号或数据并且输出控制信号以便驱动致动器驱动电路308。由处理器304接收的数据可以是任何类型的参数、指令、标记，或者由处理器、程序模块和本文中所公开的其他硬件所处理的其他信息。
存储器设备306可以是任何类型的存储设备或计算机可读介质，比如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM))、闪存、磁存储器、光存储器或任何其他适当存储器技术。存储器306还可以包括易失性和非易失性存储器的组合。存储器306存储由处理器304执行的指令。存储器306还可以被定位在处理器304内部，或者可以是内部和外部存储器的任何组合。
在所述指令当中，存储器306包括致动器驱动模块314，所述致动器驱动模块是当由处理器304执行时生成针对致动器驱动电路308的控制信号的指令。致动器驱动模块314还可以确定来自致动器310的反馈并且相应地调整控制信号。
致动器驱动电路308是从致动器驱动模块314接收触觉信号(其在本文中也被称为控制信号)的电路。触觉信号将与触觉效果相关联的触觉数据具体化，并且触觉数据限定了致动器驱动电路308生成致动器驱动信号所使用的参数。在示例性实施例中，这种参数与电特性相关或相关联。可由触觉数据限定的电特性的示例包括：频率、振幅、相位、反转、持续时间、波形、启动时间(attack time)、上升时间、淡入淡出时间(fade time)以及相对于事件的滞后或提前时间。向致动器310施加致动器驱动信号以便引起一种或多种触觉效果。
致动器310(其在本文中也被称为触觉输出设备)进行操作以便生成触觉效果。致动器310由处理器304控制，所述处理器执行致动器驱动模块314，所述致动器驱动模块向致动器驱动电路308发送触觉信号。然后，致动器驱动电路308生成并向致动器310施加致动器驱动信号以便驱动致动器310。当被施加至致动器310时，致动器驱动信号使致动器310通过启动和制动致动器310来生成触觉效果。
致动器310可以属于各种类型。在所展示的实施例中，致动器是谐振致动器，比如线性谐振致动器(LRA)，在LRA中，附接至弹簧的质量块被来回驱动。在其他实施例中，致动器是电磁线圈谐振致动器(solenoid resonant actuator，SRA)。
还使用了其他类型的电磁致动器，比如偏心旋转质量块(Eccentric RotatingMass，ERM)，在偏心旋转质量块中，通过电机或“智能材料”(比如压电、电活性聚合物或形状记忆合金)来移动偏心质量块。致动器310还广泛地包括非机械或非振动设备，比如使用静电摩擦(ESF)、超声表面摩擦(USF)的设备；或者使用超声触觉换能器来引起声辐射压的设备；或者使用触觉基板或柔性或可变形表面的设备；或者使用空气喷嘴来提供预计触觉输出(比如一阵风)的设备，等等。
装置104可以包括多于一个致动器310，并且每个致动器可以包括全部耦合至处理器304的单独致动器驱动电路308。在具有多于一个致动器的实施例中，每个致动器可以具有不同输出能力，以便在设备上创建宽范围的触觉效果。
同样如图1中所展示的，触觉启用装置104包括内容呈现设备108，所述内容呈现设备被配置用于基于所述内容数据114呈现内容。在所展示的示例中，内容呈现设备106包括用于呈现视频内容的显示设备316。显示设备316可以具有各种配置，比如显示屏或可穿戴显示设备(例如，头戴式显示器)。
在所展示的实施例中，如图1中所展示的触觉效果渲染设备106可以包括触觉启用装置104中的设备和元件中的至少一个。例如，触觉效果渲染设备106可以包括处理器304、包括致动器驱动模块314的存储器306、以及致动器驱动电路308。在其他示例中，触觉效果渲染设备106可以包括与图11中所展示的相比更多或更少的设备和元件。
图12至图16展示了用于生成触觉效果的示例性方法350。在图12中，在一些实施例中，由触觉启用装置104执行方法350。在其他实施例中，可以使用或者关联于或者独立于触觉启用装置104的其他计算设备执行方法350。
在操作352，触觉启用装置104接收触觉轨迹112和多个触觉像素110。如在此所描述的，触觉轨迹112包括限定触觉致动器310的操作的触觉数据。触觉像素110包括触觉数据修改器232。触觉像素110与视频纹理图212中的视频像素216相关联，所述视频纹理图呈现视频214的至少一个帧218。
在操作354，在回放视频时，装置104操作以使触觉轨迹112与视频214同步。在至少一些可能的实施例中，装置104获得视频214的时间戳和触觉轨迹112并基于所述时间戳使触觉轨迹112与视频的帧相关联。在其他实施例中，用于使触觉轨迹112与视频214同步的其他方法也是可能的。
在操作356，装置104操作以标识视频214的帧218中的兴趣点320。兴趣点320可以是视频帧218中的各个点中的一个或多个。在一些实施例中，兴趣点320是视频帧218中用户或观看者所看的点。在其他实施例中，兴趣点320是用户或观看者在呈现视频帧218的显示设备上将指示器或光标所定位在的点。在视频214是360度视频或三维视频时，兴趣点320被表示为三维向量，比如如图13中所展示的用户视角向量322(在此还被称为视线向量)。
兴趣点320可以包括视频纹理图212中与视频帧218相对应的视频像素216之一。可以将代表兴趣点320的视频像素216标识为目标视频像素324。在其他可能的实施例中，兴趣点320包括视频纹理图212中的多个视频像素216。参照图14进一步详细地描述了标识兴趣点320的示例方法。
在操作358，装置104操作以基于兴趣点320来确定目标触觉像素330(图15)。将目标触觉像素330标识为触觉纹理图222中与目标纹理图212相对应的触觉像素110之一。在至少一些实施例中，目标触觉像素330对应于相应的目标纹理图212中的目标视频像素324。例如，通过将视频纹理图212中的目标视频像素324映射至触觉纹理图222中的相应触觉像素来确定目标触觉像素330。在其他可能的实施例中，将目标触觉像素330标识为与所述(多个)目标视频像素324相对应的触觉像素110中的两个或更多个。
在操作360，装置104获得与目标触觉像素330相关联的目标触觉数据修改器334。如图16中所展示的，通过标识目标触觉像素330的坐标230并在坐标230中检索触觉数据修改器232，可以确定目标触觉数据修改器334。在触觉像素110具有多个触觉数据修改器232时，相应地获得多个目标触觉数据修改器334。
在操作362，装置104操作以基于目标触觉数据修改器334来修改触觉轨迹112中的触觉数据。如图16中所展示的，在一些实施例中，经修改的触觉轨迹340可以被生成具有经修改的触觉数据。
可以基于目标触觉数据修改器334涉及什么(多个)参数来调整触觉数据中的一个或多个参数。如在此所描述的，目标触觉数据修改器334可以修改例如触觉效果的幅度(幅值)、频率、波形、锐度、和其他可能属性。
在操作364，装置104操作以基于经修改的触觉轨迹340来控制触觉致动器310的操作，所述经修改的触觉轨迹包括经修改的触觉数据。在其他可能的实施例中，可以基于一个或多个经修改的触觉轨迹340或者同时地或者单独地控制多个触觉致动器310。
参照图14，描述了标识兴趣点320的示例方法370。在一些实施例中，可以由触觉启用装置104执行方法370。在其他实施例中，可以使用或者关联于或者独立于触觉启用装置104的其他计算设备执行方法370。
在操作372，触觉启用装置104确定用户视角向量322。在至少一些实施例中，用户视角向量322是三维向量，将所述三维向量模型化为三维空间或多面体382的原点380处的相机或眼睛。在所展示的实施例中，可以用V(dx，dy，dz)表示用户视角向量322。
在可能的实施例中，可以将视频纹理图212投影至环绕原点380的三维空间382。在一些实施例中，将视频纹理图212投影至如图13中所展示的球面。在其他实施例中，可以将视频纹理图212投影至非球面多面体。
在操作374，装置104确定用户视角向量322与视频纹理图212在三维空间382上的投影之间的交叉点(intersection)384。
在操作376，装置104将交叉点384标识为视频纹理图212中的目标视频像素324。举例而言，在三维空间382是球体时，可以通过下式来计算目标视频像素324(或交叉点384)的坐标(u，v)：
Figure BDA0001529571710000241
在操作378，装置104操作以基于目标视频像素324来确定目标触觉像素330。如上所述，通过将视频纹理图212中的目标视频像素324映射至触觉纹理图222中的相应触觉像素来确定目标触觉像素330。如图16中所示，目标触觉像素330提供一个或多个目标触觉数据修改器334。
参照图15，描述了借助触觉效果渲染视频内容的示例性过程。如图6中所展示的，通过以确定的帧率来显示一系列视频帧218，可以回放诸如360度视频等视频。视频帧218可以由多个视频纹理图212来呈现。通常，每个视频帧218由单个视频纹理图212来呈现。然而，在一些实施例中，单个视频纹理图212可以实施两个或更多个视频帧218。因此，视频帧218的时间分辨率可以与视频纹理图212的时间分辨率完全相同或不同。在显示视频帧218时，执行一个或多个触觉轨迹112以提供触觉效果。在所展示的实施例中，运行两个触觉轨迹112A和112B。如在此所描述的，使用一个或多个触觉纹理图222来修改触觉轨迹中的触觉数据。例如，触觉纹理图222包括用于每个触觉像素的一个或多个触觉数据修改器。所述触觉数据修改器用来修改触觉轨迹中的触觉数据。由于每个触觉纹理图中的多个触觉像素可能具有触觉数据修改器的不同集合，可以将触觉效果局部化至特定对象，兴趣点(比如观看者的视角)位于所述特定对象处。如在此所述，在触觉纹理图与视频纹理图之间，空间和/或时间分辨率可以相同或不同。
现在参照图17至图18，描述了用于生成触觉效果的另一示例性方法。
图17展示了触觉像素110的另一示例性组的数据结构。在本实施例中，触觉像素110包括用于控制一个或多个触觉致动器310的触觉数据。在这种配置中，可以在不需要触觉轨迹112的情况下使用触觉像素110渲染触觉效果。实际上，触觉轨迹112被编码在触觉像素110中。
在所展示的实施例中，每个触觉像素110包括像素标识符230以及一个或多个触觉参数402。与图8中的触觉像素110类似，像素标识符230用来标识每个触觉像素。在至少一些实施例中，像素标识符包括对其他触觉像素110当中(或触觉纹理图222内)的相关联触觉像素110的位置进行标识的坐标。
触觉参数402用来生成信号，所述信号用于驱动一个或多个触觉致动器创建触觉效果。所述参数的示例包括：触觉效果的幅值、频率、波形、锐度、和其他可能属性；以及对用于生成触觉效果的一个或多个致动器的选择。
图18是用于使用图17的触觉像素110生成触觉效果的示例性可能方法450。在一些实施例中，由触觉启用装置104执行方法450。在其他实施例中，可以使用或者关联于或者独立于触觉启用装置104的其他计算设备执行方法450。方法450与除触觉像素110以外图12的方法300类似。因此，为了尽可能地简洁，未重复方法450中的操作的细节。
在操作452，触觉启用装置104接收如图17中所描述的多个触觉像素110。每个触觉像素与至少一个视频像素216相关联并且包括触觉数据。所述触觉数据限定了一个或多个触觉致动器的操作。视频像素216包括在代表视频214的至少一个帧218的视频纹理图212中。
在操作454，触觉启用装置104标识视频的帧218中的兴趣点320。兴趣点320包括视频的帧中的目标视频像素234。
在操作456，触觉启用装置104确定触觉像素110当中的目标触觉像素330。目标触觉像素330对应于视频的帧中的目标视频像素234。
在操作458，触觉启用装置104获得目标触觉像素330中所包括的目标触觉数据470。目标触觉数据470是包括在目标触觉像素330中的数据并且包括如图17中所描述的触觉参数402。在本实施例中，代替对预先存在的信号比如单独的触觉轨迹进行调制，可以直接从触觉像素中的数据。
在操作460，触觉启用装置104操作以基于目标触觉数据470控制一个或多个触觉致动器的操作。
这样，本公开提供了一种用于通过利用现有视频工具链和编码来制作和编码触觉效果的简单方法，并使能视频到触觉的转换以至少用于空间化。根据本公开，通过使用视频编辑工具对特定对象的源视频进行过滤，可以将触觉效果局部化至视频场景或帧中的特定对象。然后则可以使用针对这个对象而设计的预先存在的触觉时间序列来实时地调制这种本地化。
以上所描述的各种示例和教导仅通过展示的方式提供，而不应当被解释为限制本公开的范围。本领域的技术人员将很容易意识到，在不遵循本文中所展示和描述的示例和应用且不背离本公开的真实精神和范围的情况下，可以作出各种修改和改变。

Claims (51)

1.一种制作触觉效果的方法，所述方法包括：
接收触觉轨迹和视频纹理图，所述触觉轨迹具有触觉数据，所述触觉数据限定触觉致动器的操作，所述视频纹理图代表视频的至少一个帧，所述触觉轨迹与所述视频的所述至少一个帧相关联，并且所述视频纹理图具有多个视频像素；
生成与触觉像素相关联的触觉数据修改器，每个触觉像素与所述视频像素中的至少一个相关联；
基于所述触觉数据修改器来修改所述触觉数据的至少一部分，以生成经修改的触觉数据；以及
基于所述经修改的触觉数据来修改所述触觉致动器的所述操作。
2.如权利要求1所述的方法，进一步包括：
生成触觉纹理图，所述触觉纹理图包括所述触觉像素以及与所述触觉像素相关联的所述触觉数据修改器。
3.如权利要求2所述的方法，其中，所述触觉纹理图具有与所述视频纹理图的空间分辨率不同的空间分辨率。
4.如权利要求2所述的方法，其中，所述触觉纹理图具有与所述视频纹理图的时间分辨率不同的时间分辨率。
5.如权利要求2所述的方法，进一步包括：
显示所述触觉纹理图；
接收至少一个触觉效果参数的用户输入；以及
显示代表所述至少一个触觉效果参数的所述用户输入的经修改触觉纹理图。
6.如权利要求2所述的方法，进一步包括：
将所述触觉纹理图显示在计算设备中的显示屏上。
7.如权利要求6所述的方法，其中，所述触觉纹理图包括代表所述触觉数据修改器的单色图像。
8.如权利要求7所述的方法，其中，所述图像的所述触觉像素中的至少一些具有代表不同触觉数据修改器的不同值。
9.如权利要求1所述的方法，其中，所述触觉数据修改器包括用于对由所述触觉轨迹中的所述触觉数据所限定的触觉效果的幅度进行调整的衰减数据。
10.如权利要求1所述的方法，其中，所述触觉数据修改器包括用于对由所述触觉轨迹中的所述触觉数据所限定的触觉效果的频率、波形、锐度、以及致动器选择中的至少一项进行调整的衰减数据。
11.如权利要求1所述的方法，其中，所述视频选自由以下各项组成的组：360度视频、虚拟现实环境、三维视频、三维视频游戏、三维建模环境、及其组合。
12.如权利要求1所述的方法，其中，所述视频包括多个帧，并且其中，针对所述视频中的多个帧中的至少一些，重复接收所述触觉轨迹和所述视频纹理图的步骤以及生成所述触觉数据修改器的步骤。
13.如权利要求1所述的方法，其中，所述触觉像素中的每一个与所述视频像素中的两个或更多个相关联。
14.如权利要求1所述的方法，其中，所述触觉像素中的两个或更多个与所述视频像素中的每一个相关联。
15.如权利要求1所述的方法，其中，接收触觉轨迹和视频纹理图包括：
接收多个触觉轨迹以及视频纹理图，每个触觉轨迹具有触觉数据，所述视频纹理图代表视频的帧，所述多个触觉轨迹与所述视频的所述帧相关联，并且所述视频纹理图具有多个视频像素；
其中，所述触觉数据修改器被配置用于修改所述多个触觉轨迹的所述触觉数据的至少一部分。
16.如权利要求1所述的方法，进一步包括：
基于所述触觉数据修改器来修改所述触觉数据的至少一部分。
17.一种用于制作触觉效果的装置，所述装置包括：
处理设备，被配置用于控制所述装置的操作；以及
一个或多个计算机可读数据存储介质，存储有软件指令，所述软件指令当由所述处理设备执行时使所述装置：
接收触觉轨迹和视频纹理图，所述触觉轨迹具有触觉数据，所述触觉数据限定触觉致动器的操作，所述视频纹理图代表视频的至少一个帧，所述触觉轨迹与所述视频的所述至少一个帧相关联，并且所述视频纹理图具有多个视频像素；
生成与触觉像素相关联的触觉数据修改器，每个触觉像素与所述视频像素中的至少一个相关联；
基于所述触觉数据修改器来修改所述触觉数据的至少一部分，以生成经修改的触觉数据；以及
基于所述经修改的触觉数据来修改所述触觉致动器的所述操作。
18.如权利要求17所述的装置，进一步包括：
输入设备，被配置用于接收用户输入；以及
显示设备；
其中，所述软件指令进一步使所述装置：
使用所述显示设备显示触觉纹理图，所述触觉纹理图包括所述触觉像素以及与所述触觉像素相关联的所述触觉数据修改器。
19.如权利要求18所述的装置，其中，所述触觉纹理图具有与所述视频纹理图的空间分辨率不同的空间分辨率。
20.如权利要求18所述的装置，其中，所述触觉纹理图具有与所述视频纹理图的时间分辨率不同的时间分辨率。
21.如权利要求18所述的装置，其中，所述软件指令进一步使所述装置：
通过所述输入设备接收至少一个触觉效果参数的用户输入；并且
通过所述显示设备显示经修改触觉纹理图，所述经修改触觉纹理图代表所述至少一个触觉效果参数的所述用户输入。
22.如权利要求18所述的装置，其中，所述触觉纹理图包括代表所述触觉数据修改器的单色图像。
23.如权利要求22所述的装置，其中，所述单色图像的所述触觉像素中的至少一些具有代表不同触觉数据修改器的不同值。
24.如权利要求17所述的装置，其中，所述触觉数据修改器包括用于对由所述触觉轨迹中的所述触觉数据所限定的触觉效果的幅度进行调整的衰减数据。
25.如权利要求17所述的装置，其中，所述触觉数据修改器包括用于对由所述触觉轨迹中的所述触觉数据所限定的触觉效果的频率、波形、锐度、以及致动器选择中的至少一项进行调整的衰减数据。
26.如权利要求17所述的装置，其中，所述视频选自由以下各项组成的组：360度视频、虚拟现实环境、三维视频、三维视频游戏、三维建模环境、及其组合。
27.如权利要求17所述的装置，其中，所述视频包括多个帧，并且其中，针对所述视频中的多个帧中的至少一些，重复接收所述触觉轨迹和所述视频纹理图的步骤以及生成所述触觉数据修改器的步骤。
28.如权利要求17所述的装置，其中，所述触觉像素中的每一个与所述视频像素中的两个或更多个相关联。
29.如权利要求17所述的装置，其中，所述触觉像素中的两个或更多个与所述视频像素中的每一个相关联。
30.如权利要求17所述的装置，其中，所述软件指令进一步使所述装置：
接收多个触觉轨迹以及所述视频纹理图，每个触觉轨迹具有触觉数据，并且所述多个触觉轨迹与所述视频的所述至少一个帧相关联；
其中，所述触觉数据修改器被配置用于修改所述多个触觉轨迹的所述触觉数据的至少一部分。
31.一种生成触觉效果的方法，所述方法包括：
接收包括触觉数据的触觉轨迹，所述触觉数据限定触觉致动器的操作；
接收多个包括触觉数据修改器的触觉像素，每个触觉像素与至少一个视频像素相关联，所述至少一个视频像素包括在代表视频的至少一个帧的视频纹理图中；
标识所述视频的所述帧中的兴趣点，所述兴趣点包括所述视频的所述帧中的目标视频像素；
确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述帧中的所述目标视频像素相对应；
获得所述目标触觉像素中所包括的目标触觉数据修改器；
基于所述目标触觉数据修改器来修改所述触觉轨迹中的所述触觉数据；以及
基于经修改的触觉数据控制触觉致动器的操作。
32.如权利要求31所述的方法，其中，所述触觉轨迹被编码在所述触觉像素中，使得所述触觉像素包括所述触觉数据和所述触觉数据修改器。
33.如权利要求31所述的方法，进一步包括：
同步所述触觉轨迹与所述视频。
34.如权利要求33所述的方法，其中，同步所述触觉轨迹与所述视频包括：
接收所述视频的时间戳；以及
基于所述时间戳来同步所述触觉轨迹与所述视频。
35.如权利要求31所述的方法，其中，所述兴趣点是由三维向量定义的，并且其中，确定目标触觉像素包括：
关联所述三维向量与所述目标触觉像素。
36.如权利要求35所述的方法，其中，关联所述三维向量包括：
使所述三维向量与在所述视频纹理图中与所述视频的所述帧相对应的视频像素相关联；以及
标识与所述视频纹理图中的所述视频像素相对应的所述目标触觉像素。
37.如权利要求35所述的方法，其中，关联所述三维向量与所述目标触觉像素包括：
确定所述三维向量与所述视频纹理图的球面投影之间的交叉点；以及
将所述交叉点标识为所述视频纹理图中的所述目标视频像素；以及
基于所述目标视频像素确定所述目标触觉像素。
38.如权利要求35所述的方法，其中，关联所述三维向量与所述目标触觉像素包括：
确定所述三维向量与所述视频纹理图的非球面投影之间的交叉点；以及
将所述交叉点标识为所述视频纹理图中的所述目标视频像素；以及
基于所述目标视频像素确定所述目标触觉像素。
39.如权利要求31所述的方法，进一步包括：
使用显示设备播放所述视频。
40.一种用于生成触觉效果的装置，所述装置包括：
致动器；
致动器驱动电路，被配置用于操作所述致动器；
传感器，被配置用于检测兴趣点；以及
处理器，耦合至所述致动器驱动电路和所述传感器，所述处理器被配置用于：
接收包括触觉数据的触觉轨迹，所述触觉数据限定触觉致动器的操作；
接收多个包括触觉数据修改器的触觉像素，每个触觉像素与至少一个视频像素相关联，所述至少一个视频像素包括在代表视频的帧的视频纹理图中；
使用所述传感器标识所述视频的所述帧中的兴趣点，所述兴趣点包括所述视频的所述帧中的目标视频像素；
确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述帧中的所述目标视频像素相对应；
获得所述目标触觉像素中所包括的目标触觉数据修改器；
基于所述目标触觉数据修改器来修改所述触觉轨迹中的所述触觉数据；
基于经修改的触觉数据生成控制信号；并且
将所述控制信号传输至所述致动器驱动电路，所述控制信号使所述致动器驱动电路能够控制所述致动器，
其中所述致动器为用户生成所述触觉效果。
41.如权利要求40所述的装置，其中，所述触觉轨迹被编码在所述触觉像素中，使得所述触觉像素包括所述触觉数据和所述触觉数据修改器。
42.如权利要求40所述的装置，进一步包括：
显示设备，耦合至所述处理器，其中，所述处理器进一步被配置用于显示所述视频。
43.如权利要求40所述的装置，其中，所述处理器进一步被配置成用于：
同步所述触觉轨迹与所述视频。
44.如权利要求43所述的装置，其中，所述处理器进一步被配置成用于：
接收所述视频的时间戳；并且
基于所述时间戳来同步所述触觉轨迹与所述视频。
45.如权利要求40所述的装置，其中，所述兴趣点是由三维向量定义的，并且其中，所述处理器进一步被配置用于：
关联所述三维向量与所述目标触觉像素。
46.如权利要求45所述的装置，其中，所述处理器进一步被配置成用于：
使所述三维向量与在所述视频纹理图中与所述视频的所述帧相对应的视频像素相关联；并且
标识与所述视频纹理图中的所述视频像素相对应的所述目标触觉像素。
47.如权利要求45所述的装置，其中，所述处理器进一步被配置成用于：
确定所述三维向量与所述视频纹理图的球面投影之间的交叉点；并且
将所述交叉点标识为所述视频纹理图中的所述目标视频像素；并且
基于所述目标视频像素确定所述目标触觉像素。
48.如权利要求45所述的装置，其中，所述处理器进一步被配置成用于：
确定所述三维向量与所述视频纹理图的非球面投影之间的交叉点；并且
将所述交叉点标识为所述视频纹理图中的所述目标视频像素；并且
基于所述目标视频像素确定所述目标触觉像素。
49.如权利要求40所述的装置，其中，所述处理器进一步被配置成用于：
使用显示设备播放所述视频。
50.一种生成触觉效果的方法，所述方法包括：
接收多个触觉像素，每个触觉像素与至少一个视频像素相关联并且包括触觉数据，所述触觉数据限定触觉致动器的操作，所述至少一个视频像素包括在代表视频的至少一个帧的视频纹理图中；
标识所述视频的所述至少一个帧中的兴趣点，所述兴趣点包括所述视频的所述至少一个帧中的目标视频像素；
确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述至少一个帧中的所述目标视频像素相对应；
获得所述目标触觉像素中所包括的目标触觉数据；以及
基于所述目标触觉数据控制触觉致动器的操作。
51.一种用于生成触觉效果的装置，所述装置包括：
致动器；
致动器驱动电路，被配置用于操作所述致动器；
传感器，被配置用于检测兴趣点；以及
处理器，耦合至所述致动器驱动电路和所述传感器，所述处理器被配置用于：
接收多个触觉像素，每个触觉像素与至少一个视频像素相关联并且包括触觉数据，所述触觉数据限定触觉致动器的操作，所述至少一个视频像素包括在代表视频的帧的视频纹理图中；
标识所述视频的所述帧中的兴趣点，所述兴趣点包括所述视频的所述帧中的目标视频像素；
确定所述触觉像素当中的目标触觉像素，所述目标触觉像素与所述视频的所述帧中的所述目标视频像素相对应；
获得所述目标触觉像素中所包括的目标触觉数据；
基于所述目标触觉数据生成控制信号；并且
将所述控制信号传输至所述致动器驱动电路，所述控制信号使所述致动器驱动电路能够控制所述致动器。
CN201711457878.8A 2016-12-28 2017-12-28 用于空间依赖性内容的触觉效果生成 Active CN108255295B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/392,744 US10147460B2 (en) 2016-12-28 2016-12-28 Haptic effect generation for space-dependent content
US15/392,744 2016-12-28

Publications (2)

Publication Number Publication Date
CN108255295A CN108255295A (zh) 2018-07-06
CN108255295B true CN108255295B (zh) 2022-06-03

Family

ID=60813769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711457878.8A Active CN108255295B (zh) 2016-12-28 2017-12-28 用于空间依赖性内容的触觉效果生成

Country Status (5)

Country Link
US (3) US10147460B2 (zh)
EP (2) EP3343328A1 (zh)
JP (1) JP6893868B2 (zh)
KR (2) KR102276173B1 (zh)
CN (1) CN108255295B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220083138A1 (en) * 2018-02-23 2022-03-17 Wai Pong MOK Virtual Reality Input and Haptic Feedback System
WO2019162906A1 (zh) * 2018-02-23 2019-08-29 莫伟邦 虚拟现实输入和触觉反馈系统
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11297366B2 (en) 2019-05-22 2022-04-05 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
JP7145373B2 (ja) * 2019-06-19 2022-10-03 豊田合成株式会社 アクチュエータ装置、電圧波形の作成方法、電場応答性高分子アクチュエータの駆動方法、及びプログラム
WO2021101775A1 (en) * 2019-11-19 2021-05-27 Immersion Corporation Dynamic modification of multiple haptic effects
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
CN111291677B (zh) * 2020-02-05 2022-09-09 吉林大学 一种动态视频触觉特征提取及渲染的方法
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
CN115374062A (zh) * 2021-05-20 2022-11-22 荣耀终端有限公司 振动描述文件的生成方法、装置、设备及可读存储介质
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
CN113521738A (zh) * 2021-08-11 2021-10-22 网易（杭州）网络有限公司 特效生成方法和装置、计算机可读存储介质、电子设备
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
KR102654176B1 (ko) * 2022-01-10 2024-04-04 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation
CN116777914B (zh) * 2023-08-22 2023-11-07 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备以及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008108560A1 (en) * 2007-03-02 2008-09-12 Gwangju Institute Of Science And Technology Method and apparatus for authoring tactile information, and computer readable medium including the method
WO2010105010A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN104049889A (zh) * 2013-03-15 2014-09-17 英默森公司 用于编码和解码多媒体文件中的触觉信息的方法和设备
CN104793737A (zh) * 2014-01-16 2015-07-22 意美森公司 用于内容编创的系统和方法
CN104932681A (zh) * 2014-03-21 2015-09-23 意美森公司 触觉效果的自动调整
CN104932678A (zh) * 2014-03-21 2015-09-23 意美森公司 把感官数据转换成触觉效果的系统及方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650338B1 (en) * 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
JP5016117B2 (ja) 2008-01-17 2012-09-05 アーティキュレイト テクノロジーズ インコーポレーティッド 口腔内触知フィードバックのための方法及び装置
KR101670109B1 (ko) 2009-03-12 2016-10-27 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US20130300740A1 (en) * 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
EP3095023A1 (en) 2014-01-15 2016-11-23 Sony Corporation Haptic notification on wearables
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3648072A1 (en) 2014-07-28 2020-05-06 CK Materials Lab Co., Ltd. A method for providing haptic information
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9667907B2 (en) * 2014-09-13 2017-05-30 Vicente Diaz System and method for haptic integration and generation in multimedia devices
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9478109B2 (en) 2014-12-29 2016-10-25 Immersion Corporation Virtual sensor in a virtual environment
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008108560A1 (en) * 2007-03-02 2008-09-12 Gwangju Institute Of Science And Technology Method and apparatus for authoring tactile information, and computer readable medium including the method
WO2010105010A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
CN103946732A (zh) * 2011-09-26 2014-07-23 微软公司 基于对透视、近眼显示器的传感器输入的视频显示修改
CN104049889A (zh) * 2013-03-15 2014-09-17 英默森公司 用于编码和解码多媒体文件中的触觉信息的方法和设备
CN104793737A (zh) * 2014-01-16 2015-07-22 意美森公司 用于内容编创的系统和方法
CN104932681A (zh) * 2014-03-21 2015-09-23 意美森公司 触觉效果的自动调整
CN104932678A (zh) * 2014-03-21 2015-09-23 意美森公司 把感官数据转换成触觉效果的系统及方法

Also Published As

Publication number Publication date
US10147460B2 (en) 2018-12-04
KR20180077091A (ko) 2018-07-06
US10720189B2 (en) 2020-07-21
KR20210087921A (ko) 2021-07-13
KR102276173B1 (ko) 2021-07-12
EP3343329B1 (en) 2020-02-26
CN108255295A (zh) 2018-07-06
US20200349982A1 (en) 2020-11-05
EP3343329A1 (en) 2018-07-04
EP3343328A1 (en) 2018-07-04
JP2018109984A (ja) 2018-07-12
US20180182436A1 (en) 2018-06-28
US20190074037A1 (en) 2019-03-07
JP6893868B2 (ja) 2021-06-23

Similar Documents

Publication Publication Date Title
CN108255295B (zh) 用于空间依赖性内容的触觉效果生成
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP6001542B2 (ja) 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム
US20180321798A1 (en) Information processing apparatus and operation reception method
WO2018086224A1 (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
EP3364272A1 (en) Automatic localized haptics generation system
EP3106963B1 (en) Mediated reality
KR20150018468A (ko) 하이브리드 비쥬얼 커뮤니케이션
EP3486749B1 (en) Provision of virtual reality content
CN108377361B (zh) 一种监控视频的显示控制方法及装置
CN106980378B (zh) 虚拟显示方法和系统
JP2019519856A (ja) マルチモーダルハプティック効果
EP3591503B1 (en) Rendering of mediated reality content
KR20180017736A (ko) Hmd 및 그 hmd의 제어 방법
EP3418860B1 (en) Provision of virtual reality content
US11194439B2 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
CN112630964A (zh) 头戴式显示系统及其场景扫描方法
JPH10214344A (ja) インタラクティブ表示装置
CN113614675A (zh) 头戴式信息处理装置和头戴式显示系统
EP3422150A1 (en) Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant