CN106371582A - 用于在触觉视听内容中携带冲刷请求的信号及方法和设备 - Google Patents

用于在触觉视听内容中携带冲刷请求的信号及方法和设备 Download PDF

Info

Publication number
CN106371582A
CN106371582A CN201610575261.5A CN201610575261A CN106371582A CN 106371582 A CN106371582 A CN 106371582A CN 201610575261 A CN201610575261 A CN 201610575261A CN 106371582 A CN106371582 A CN 106371582A
Authority
CN
China
Prior art keywords
effect
tactile
information
haptic
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610575261.5A
Other languages
English (en)
Inventor
迪蒂尔·道茵
法比恩·丹尼奥
菲利普·古洛特尔
朱利安·弗勒里奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106371582A publication Critical patent/CN106371582A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/16—Amusement arrangements creating illusions of travel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J25/00—Equipment specially adapted for cinemas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种用于在触觉视听内容中携带冲刷请求的信号及方法和设备。本公开讲的是使能HAV内容中的自动冲刷的方法、设备、和信号。更精确地，冲洗相关的信息被添加至表示HAV内容的信号，以便HAV渲染设备(100)可以使冲刷适应由设备能力(161)定义的它的物理限制以及用户偏好(121)。提供了不同类型的冲刷。HAV内容信号包括表示触觉冲刷效果的第一信息(2322)和表示触觉冲刷效果所要求的参数的可选择的第二信息(2326)。方法包括执行第一触觉效果(610)，根据设备能力(161)、用户偏好(121)、从冲刷标志(2322)获得的冲刷类型、和可选择的冲刷参数(2326)来计算触觉冲刷效果(650)，以及执行触觉冲刷效果。

Description

用于在触觉视听内容中携带冲刷请求的信号及方法和设备
技术领域
本发明涉及触觉视听内容的领域，并且更精确地涉及包括冲刷(washout)标志的触觉视听信号，以及用于渲染所述内容的方法和设备。例如，本发明不仅可以在汽车或飞机模拟器、视频游戏、主题公园景点、礼堂、电影院中被实现，而且也可以在使用客户级触觉视听渲染设备的住宅处被实现。
背景技术
本节旨在向读者介绍本领域的各种方面，本领域的各种方面可能涉及下面描述的和/或要求的本公开的各种方面。本讨论被认为有助于向读者提供背景技术信息，以便更好地理解本公开的各种方面。因此，应当理解的是，这些陈述应当从这种角度来阅读，而且不应当被认为是现有技术。
在美国专利3050870中，Heilig介绍了传感影院，一种用户可以观看电影、感觉振动、感觉风、和闻到气味的机械设备。这种追溯至60年代的开创性工作打开了添加触觉来提升用户在虚拟现实环境中的沉浸感的道路。运动模拟是一种触觉效果，并且运动模拟例如在专业飞行模拟器以及游乐园中被用于通过运动的触觉效果来增强视频观看体验。这些系统大多使用由Dasgupta在“Stewart平台操纵器：综述(a review)”中描述的Stewart的平台的变型，基本上，运动模拟器可以被理解为附着在能够在任意方向上进行移动的平台上的座椅，并且在下文中被称为触觉设备。因此，用户的整个身体被移动以生成各种感觉，例如加速、坠落、或经历颠簸。这样的运动模拟器对用户的前庭系统产生影响，用户的前庭系统允许人类用户感觉他身体的加速和旋转，由此感觉他身体的移动。
当应用于视听内容时，触觉反馈可以被用来提升观众融入内容的沉浸感。这种组合由首字母缩写为HAV，表示触觉视听。在HAV系统中，用户与内容之间的关系不在局限于用户只是听声音和观看图像的被动的情景，而是通过引起与视听内容相关的生理感觉的用户身体上的身体动作来增强。作为结果，体验的情感影响被放大。为此，表示视听内容的信号需要用关于将要被执行的触觉效果的信息来进行增强。这是通过以下步骤来完成的：首先生成适当的触觉效果信息，并且然后将其与视听数据相组合，从而创建将由HAV渲染设备渲染的HAV内容。当创建触觉数据时，触觉数据的创建器必须指定效果的类型和参数。存在创建器知道HAV渲染设备的能力的一些情况，如在封闭系统中的情况(例如，在游乐园或所谓的4D电影院使用的那些情况)。在该情形中，创建器使效果适应这些能力。对于住宅用户的触觉渲染设备，因为渲染能力存在巨大的多样性，所以情况是不同的。典型的示例是运动平台或触觉设备的移动的范围。便宜的运动平台可能比更贵的设备具有更有限的范围。为了正确地渲染所期望的触觉效果，创建器需要使触觉渲染信息适应每个渲染设备，由此可以提供多个版本的HAV内容。
创建、分发、和渲染触觉反馈意味着需要表示格式。除了专有格式，MPEG-V架构是一种针对HAV内容的标准形式化的工作流。MOEG-V标准(MPEG-V.2011 ISO/IEC 23005)被专门设计以提供与视听数据相关联的多感觉内容，从而通过使用诸如HAV渲染设备之类的高级交互设备来控制多媒体展示和应用。MPEG-V特别描述了“感觉效果”，该“感觉效果”包括触觉效果。
在触觉渲染的领域中，主要问题涉及与渲染设备相关联的物理限制。事实上，对于应该向用户提供热感觉(例如，与动作片中的爆炸相关联)的渲染设备，存在一些惯性以释放热量并且然后再次冷却。因此，在一些情况下不能组合连续的一些触觉效果。对于触觉设备，当有两个“向前加速”需要被渲染时，触觉设备可能不具有足够的移动范围来组合两个所要求的移动。为了克服这个问题，触觉设备将首先向前移动以传递加速感觉，然后在再次向前移动以传递第二加速之前它将不得不回到它的初始位置。两个效果之间移动回初始位置的中间步骤被称为“冲刷”，并且不应当被用户感知。为了不被用户注意到，移动的加速度必须小于前庭系统的阈值(该阈值大约为0.1m/s2)。关于冲刷的主要问题是，由于HAV渲染设备的多样性和它们不同的物理限制，HAV内容的创建器很难利用冲刷，因为冲刷与渲染设备的物理限制和能力密切相关。在一般情况下，这些限制在创建阶段是未知的。
因此，可以理解的是，存在对处理现有技术的至少一些问题的解决方案的需求。本公开提供了这样的解决方案。
发明内容
本公开讲的是在HAV内容中使能自动冲刷的方法、设备、和信号。更精确地，冲洗相关的信息被添加至表示HAV内容的信号，以便HAV渲染设备可以关于其物理限制以及用户偏好来适应冲刷。提供了不同类型的冲刷，包括WASHOUT_DEFAULT(设备返回由设备参数部分地指定的它的默认零值)、WASHOUT_ABSOLUTE(设备返回由内容创建器提供的绝对位置)、WASHOUT_BBOX(设备返回绝对值的范围之内的值)、和WASHOUT_NEXT(提供下一个移动)。WASHOUT_ABSOLUTE由内容创建器进行控制，内容创建器知道主要的触觉渲染设备的特性并且尝试克服设备的限制，而WASHOUT_BBOX和WASHOUT_NEXT向渲染设备提供更多的自由，允许它们运行一些预测算法来优化连续效果的渲染。
在第一方面中，本公开针对在触觉渲染设备中实现的用于渲染触觉效果的方法，包括：获得信号，该信号包括表示将被渲染的触觉效果的信息，该信息至少携带表示将在触觉效果之后被执行的触觉冲刷效果的第一信息；将表示触觉效果的触觉命令提供至触觉执行器从而执行第一效果；根据设备能力来计算表示触觉冲刷效果的触觉命令；以及将表示触觉效果的另外的触觉命令提供至触觉执行器从而执行触觉冲刷效果。在变型实施例中，计算触觉命令是根据用户偏好来执行的。
第一方面的各种实施例包括：
-触觉冲刷，其中第一信息的值与表示具有绝对定位的触觉冲刷效果的确定值相对应，还包括表示将在触觉效果之后被执行的触觉冲刷效果所要求的参数的第二信息，并且其中该第二信息包括将由冲刷操作达到的绝对值；
-触觉冲刷，其中第一信息的值与表示具有下一个效果信息的触觉冲刷效果的确定值相对应，还包括表示触觉冲刷效果所要求的参数的第二信息，并且其中该第二信息包括表示将被执行的下一个效果的信息；
-触觉冲刷，其中第一信息的值与表示具有范围定位的触觉冲刷效果的确定值相对应，还包括表示冲刷效果所要求的参数的第二信息，并且其中该第二信息包括定义位置值的范围的最小位置值和最大位置值，触觉冲刷操作应当遵守位置值的范围中的任意一个位置值。
在第二方面中，本公开针对用于渲染触觉效果的数据处理装置，包括：输入接口，该输入接口被配置为获得信号，该信号包括表示将被渲染的触觉效果的信息，其特征在于，该信息至少携带表示将在触觉效果之后被执行的触觉冲刷效果的第一信息；触觉接口，该触觉接口被配置为将第一触觉命令提供至触觉执行器从而执行第一触觉效果，从触觉执行器获得设备能力，并且将第二触觉命令提供至触觉执行器从而执行触觉冲刷效果；存储器，该存储器被配置为至少提供触觉用户偏好；以及处理器，该处理器被配置为根据设备能力和用户偏好中的至少一个来计算触觉冲刷效果。
第二方面的各种实施例包括：
-触觉冲刷，其中处理器还被配置为检测第一信息的值与表示具有绝对定位的触觉冲刷效果的确定值相对应，并且在这种情况中：从信号中获得表示将被执行的触觉冲刷效果所要求的参数的第二信息，并且其中该信息包括将由冲刷操作达到的绝对值；以及根据将被达到的绝对值与设备能力和用户偏好中的至少一个来计算触觉冲刷效果；
-触觉冲刷，其中处理器还被配置为检测第一信息的值与表示具有表示将被执行的下一个效果的信息的触觉冲刷效果的确定值相对应，并且在这种情况中：从信号中获得表示将被执行的触觉冲刷效果所要求的参数的第二信息，并且其中该信息包括表示将被执行的下一个效果的信息；以及根据表示下一个效果的信息与设备能力和用户偏好中的至少一个来计算触觉冲刷效果。
-触觉冲刷，其中处理器还被配置为检测第一信息的值与表示具有范围定位的触觉冲刷效果的确定值相对应，并且在这种情况中：从信号中获得表示将被执行的触觉冲刷效果所要求的参数的第二信息，并且其中该信息包括定义位置值的范围的最小位置值和最大位置值，触觉冲刷效果应当遵守位置值的范围中的任意一个位置值；以及根据位置值的范围与设备能力和用户偏好中的至少一个来计算触觉冲刷效果；
-通过通信网络从发送设备接收信号，该信号包括表示将被渲染的触觉效果的信息；
-从介质存储元件获得信号，该信号包括表示将被渲染的触觉效果的信息。
在第三方面中，本公开针对携带触觉效果的信号，该触觉效果至少包括表示将在触觉效果之后被执行的触觉冲刷效果的第一信息。在变型实施例中，携带触觉效果的信号至少包括表示冲刷效果所要求的参数的第二信息，并且其中该第二信息包括由冲刷效果达到的绝对值、表示将被执行的下一个效果的信息、和由最小位置值和最大位置值定义的位置值的范围中的一个。
在第四方面中，本公开针对计算机程序，该计算机程序包括可由处理器执行的、用于实现第一方面的方法的任意实施例的程序代码指令。
在第五方面中，本公开针对计算机程序产品，该计算机程序产品被存储在非暂态计算机可读介质上，并且包括可由处理器执行的、用于实现第一方面的方法的任意实施例的程序代码指令。
附图说明
现在将通过非限制性的示例的方式参考附图来描述本公开的优选特征，其中：
图1示出了其中可以实现本公开的解决方案的示例性系统；
图2A示出了根据本原理的特定的和非限制性的实施例的HAV比特流；
图2B详细说明了图2A中所介绍的HAV比特流的触觉分组的结构；
图3A示出了根据优选实施例的第一示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于“WASHOUT_DEFAULT”；
图3B示出了根据优选实施例的第一示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于“WASHOUT_ABSOLUTE”；
图3C示出了根据优选实施例的第一示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于“WASHOUT_NEXT”；
图3D示出了根据优选实施例的第一示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于“WASHOUT_BBOX”；
图3E示出了触觉设备的不同实现方式上的相同冲刷效果的不同结果；
图4A、4B、4C、和4D示出了根据优选实施例的在HAV分组中以XML格式表示的效果的定义，该效果的定义与基于MPEG-V标准的实现方式的示例相对应并且分别导致图3A、3B、3C、和3D中所示出的移动。
图5A、5B、5C、和5D示出了与基于MPEG-V标准的实现方式的示例相对应的表；
图6示出了当获得触觉分组时在HAV渲染设备上发生的过程；
图7示出了定义触觉设备的设备默认值所需要的表；
图8示出了在两个远程设备(图1中示出的设备类型的发送设备和接收设备)之间通过通信网络来发送触觉视听内容的情形；
图9示出了获得先前记录在存储元件上并且由读取设备读取的触觉视听内容的情形；
图10示出了当使用基于分组的传输协议来发送数据时携带HAV内容的信号的语法的实施例的示例。
具体实施方式
下面将参考在触觉设备中实现的用于在HAV内容中使能自动冲刷的方法的特定实施例来描述本发明。本说明书所考虑的触觉效果是移动，并且为了简单起见在本说明书中被限制为一维平移(除了明确规定的以外)。为了设置词汇，在本公开中认为“命令”是为了实现由内容创建器在内容中定义的“效果”被提供给执行器的低级信息。
图1示出了示例性装置，本公开可以在该示例性装置中实现。触觉渲染设备100优选地包括至少一个硬件处理器110(该至少一个硬件处理器110被配置为执行本公开的至少一个实施例的方法)、存储器120(该存储器120至少存储触觉用户偏好121)、输入接口130(该输入接口130被配置为获得HAV内容)、用户界面140(该用户界面140被配置为与用户进行交互)、触觉接口150(该触觉接口150被配置为与至少一个触觉执行器160进行交互，该执行器被配置为向用户的身体提供物理刺激)。设备能力161包括设备限制(例如，最大移动范围)和默认值(例如，默认中间位置)。触觉座椅或力反馈设备构成触觉执行器的示例。可以符合本公开的精神来使用许多其他设备。与WiFi或以太网协议相兼容的传统通信接口构成输入接口130的示例。可以符合本公开的精神来使用其他输入接口。这些输入接口可以提供对诸如各种互联网协议或数据交换协议之类的高级协议的支持，从而允许设备100与其他设备进行交互。非暂态计算机可读存储介质190存储可由处理器110执行的计算机可读程序代码。本领域的技术人员将理解，为了清楚的目的，所示出的设备非常简单。触觉接口150与触觉执行器160之间的通信优选地与ISO/IEC 23005-3相兼容，而通过输入接口130获得的HAV内容中定义的触觉效果优选地在ISO/IEC 23005-5中被定义。应当理解的是，触觉执行器160既可以是独立设备也可以被集成到触觉渲染设备100。
图2A示出了根据本原理的特定的和非限制性的实施例的HAV比特流。HAV比特流200是适应于存储和分发目的的HAV内容的表示。HAV比特流200包括例如视频流210、音频流220、和触觉流230。视频流210的格式可以是例如MPEG-2、H.264、或MPEG-4，音频流220的格式可以是例如MP3或AAC(高级音频编码)。触觉流230包括一个或多个触觉分组231至23n，触觉分组是包括表示触觉效果的数据的分组，n是大于或等于1的整数。例如，流210至230被包裹在容器240(例如，公知的MPEG-2传输流或实施传输协议(RTP))中。本领域技术人员可以理解的是本原则与其他类型的格式和容器相兼容。
图2B详细说明了图2A中所介绍的HAV比特流的触觉分组的结构。类似于传统的比特流编码，触觉分组232优选地包括报头2321和有效载荷2325。报头2321优选地包括表示冲刷效果的第一信息2322“冲刷标志(WashoutFlags)”，而有效载荷2325优选地包括表示冲刷所要求的参数的可选择的第二信息2326“冲刷参数(WashoutParameters)”。冲刷标志2322定义五个不同的可能性：NO_WASHOUT指示没有应当完成的冲刷，WASHOUT_DEFAULT指示应当部分地根据针对触觉渲染设备指定的默认参数值来完成冲刷，WASHOUT_ABSOLUTE指示应当根据冲刷参数2326中定义的绝对值来完成冲刷，WASHOUT_NEXT指示应当完成冲刷来预测冲刷参数2326中定义的下一个移动，以及WASHOUT_BBOX指示应当根据冲刷参数2326中定义的最小值和最大值来完成冲刷。冲刷参数的精确定义与效果的类型有关。事实上，针对3D位置或温度指定绝对值是非常困难的。
报头2321和有效载荷2325两者还可以包括与触觉有关的但与本公开无关的其他数据，例如其他触觉标志、命令、或参数。
根据优选实施例，第一信息被包括在报头中，并且第二信息被包括在有效载荷中，如图2B所示出的。根据变型实施例，第一信息和第二信息两者都被包括在报头中或都被包括在有效载荷中。
图3A示出了根据优选实施例的第一示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于“WASHOUT_DEFAULT”。附图详细说明了由触觉设备执行的移动，该触觉设备与如图1中所描述的触觉渲染设备100的一个示例相对应。在T0处，获得包括“WASHOUT_DEFAULT”标志的第一触觉效果。该效果是向前移动效果。根据该效果，T0与T1之间的第一阶段与第一平移效果(如由线条300示出的)相对应，其是长度P1的向前移动。通常在若干秒之后相同的效果计划将在T2与T3之间反复进行。创建器请求触觉设备返回它的初始位置以便针对该第二效果具有足够的移动范围。事实上，在P1+P1＞Pmax的这个示例中，Pmax是如能力161中所定义的触觉设备的位置的最大值。由于“WASHOUT_DEFAULT”标志被置于第一效果中，触觉设备在第一效果的结束处返回默认位置(如线条301所示出的)，即，这个情况中的0。默认位置的值由触觉执行器提供。这个平移被低速执行，其中加速度低于前庭系统的阈值，使得该移动将被不会被观众注意到。可用于执行冲刷的延迟由冲刷参数(这里ΔT1T2＝T2-T1)提供。在T2处，触觉设备再次处于它的初始位置，并且接收第二向前效果。在这种情况下，冲刷标志没有被设置。因此，触觉设备应用该效果(如线条302所示出的)，但是在该效果的结束处不向后移动并且停留在相同位置P1(如线条303所示出的)。值的示例是，移动效果持续时间(ΔT0T1＝T1-T0和ΔT2T3＝T3-T2)为200ms，冲刷效果持续时间(ΔT1T2＝T2-T1)为3秒，移动的振幅(P1)为5cm。在图3A所描绘的示例中，所描绘的冲刷移动与具有恒定速度(即3秒内移动5cm)的移动相对应。在实践中，非恒定的和渐进的加速被优选来处理触觉设备的物理限制，同时遵守前庭系统的阈值。
图3B示出了根据优选实施例的第二示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于“WASHOUT_ABSOLUTE”。在这种情况下，冲刷参数包括达到的值(在该示例中固定至P1)以及冲刷的持续时间。这种效果的结果是，在t＝T2处的位置(在冲刷的结束处)是P1(如线条311所示出的)。
图3C示出了根据优选实施例的第三示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于为“WASHOUT_NEXT”。在这种情况下，冲刷参数包括将被执行的下一个效果的移动，其允许设备确保该范围根据它的能力将是足够的。为此，设备基于它的当前位置、下一个效果的范围、和设备的能力来确定在冲刷期间将要达到的位置。在这个示例中，下一个效果的参数被固定为“+4”。前一个效果的结束处的位置是“4”并且设备的最大位置是“6”，需要放置在至多P1＝2处(如线条321所示出的)。
图3D示出了根据优选实施例的第四示例的由触觉设备的位移引起的触觉效果，其中冲刷标志被置于“WASHOUT_BBOX”。在这种情况下，冲刷参数包括设备应当遵守的位置值的范围，该范围由最小位置值和最大位置值定义。在该示例中，位置值的范围的参数被固定为最小值为“1”和最大值为“3”。在这种情况下，设备决定将座椅放置于位置“2”处(如线条331所示出的)。
图3E示出了触觉设备的不同实现方式上的相同冲刷效果的不同结果。这些示例示出了通过使用“WASHOUT_NEXT”和“WASHOUT_BBOX”标志来启用HAV渲染设备的自由。在该示例中，第一效果(从T1至T0)将触觉设备向前移动“3”的量，其中冲刷标志被置于“WASHOUT_NEXT”并且冲刷参数给出向前值为“+3”。从T2至T3，第二效果(与第一效果相同)再次向前移动“3”的量。根据第一实现方式(如由点线391所表示的)，该反向移动的速度稍微低于前庭系统的感知水平，并且在达到“0”处时停止。在第二实现方式(如由实线392所表示的)中，该反向移动的速度被计算为在下一个效果之前刚好达到“0”位置，同时仍然低于前庭系统的感知水平。第三实现方式(如由短虚线393所表示的)引入一些加速来使得体验变得平滑，同时保持在前庭系统的感知水平之下。在第四实现方式中，设备的范围被限制为“5”，并且设备被配置为对移动进行最小化。因此，设备决定执行冲刷以返回位置“2”处从而能够完整地执行下一个效果。这种情况由虚线394表示。最后，虚线395表示设备具有更高范围的移动，由此不需要执行冲刷就能完整地渲染第二效果。
图4A、4B、4C、和4D示出了根据优选实施例的在HAV分组中以XML格式表示的效果的定义，该效果的定义与基于MPEG-V标准的实现方式的示例相对应并且分别导致图3A、3B、3C、和3D中所示出的移动。这个定义容易转换为比特流版本。在图4A中，元素401“sedl：Effect”定义效果的类型。对于触觉设备，效果的类型是“sev：RigidBodyMotionType”。一些效果参数在元素401中被直接给出，例如效果的持续时间(这里被固定为2秒)。其他效果参数在元素402中被定义，例如效果的实例(本文中是由“MoveForward(向前移动)”元素指示的平移移动)，并且附加元素指示移动的方向向前(由于由“directionV(方向V)”和“directionH(方向H)”分别定义的垂直角度和水平角度都是空)，移动5厘米的距离(由于“distance(距离)”字段具有值“0.05”米)。通过同样定义了冲刷类型的“washout”标志403，冲刷效果在效果类型定义中表示。冲刷的参数由单独的元素定义，并且依赖于冲刷类型。在图4A中，冲刷类型是WASHOUT_DEFAULT，并且冲刷的持续时间由元素404定义，由于将要使用设备的默认零位置。在图4B中，冲刷类型是WASHOUT_ABSOLUTE，并且除了持续时间，绝对位置值需要在414中通过“value(值)”字段给出。在图4C中，冲刷类型是WASHOUT_NEXT，并且除了持续时间，下一个RigidBodyMotionType效果的参数需要在424中给出。这通过使用类似用于效果参数的元素来实现，本文中为“duration(持续时间)”、“distance”、“directionV”、和“directionH”参数。在图4D中，冲刷类型是WASHOUT_BBOX，并且除了持续时间，范围的最小值和最大值需要在434中通过“minValue”和“maxValue”元素给出。图2A所示出的触觉分组中携带这样的表。
图5A、5B、5C、和5D示出了与基于MPEG-V标准的实现方式的示例相对应的表。在MPEG-V中，SEMBaseAttributes表定义了用来确定效果的参数(例如，效果的持续时间、替代效果等等)的属性。这些属性在触觉效果的定义中被使用，如图4A至4D中所示出的。为了将冲刷效果用信号发送给HAV渲染设备，定义了名为“washoutFlags”的一组新的标志被定。这组新的标志根据图5A中所描绘的表500中的比特流表示被示出，并且还根据图5B中所描绘的表501中的xml表示被示出。当这组比特的第一比特被置于真(true)时，剩余的比特定义将被执行的冲刷的类型。该类型由图5C中的表510根据比特流表示来定义，并且由图5D中的表511根据xml表示来定义。“washoutFlags”信息被插入效果的定义中，如图4A至4D所示出的。图2A所示出的触觉分组中携带这样的表。
图6示出了当获得触觉分组时由HAV渲染设备100执行的方法。设备100在步骤600中检查分组是否与触觉效果相对应。如果是与触觉效果相对应的这种情况，则在步骤610中，触觉执行器通过由处理器通过触觉接口提供的触觉命令来执行触觉效果。然后在步骤620中检查所获得的触觉分组是否包括冲刷标志。如果是包括冲刷标志的这种情况，则分别在步骤630和640中获得设备能力和用户偏好。然后在步骤650中设备根据所获得的关于设备能力和用户偏好的不同参数来计算将要应用的冲刷命令。命令通过触觉接口被提供至触觉执行器，使得HAV渲染设备100在步骤660中执行冲刷。步骤630和640在这里被示出为在效果执行之后发生。在实践中，这些步骤可以在任意时候被执行，并且甚至不需要针对每个新效果都执行。在典型的实现方式中，由于设备能力是固定的并且不随时间变化而改变，所以与设备能力相关的步骤630在设备初始化时被执行一次。
图6中的步骤650中的冲刷命令的计算可以根据不同的实现方式执行。在任何情况下，HAV渲染设备都尽可能尝试遵守用户偏好，特别是关于用户设置的关于触觉设备的速度和加速度的限制。在WASHOUT_DEFAULT的情况下，将设置冲刷命令，以便设备将其自身置于默认零值，如设备参数中所指定的。在WASHOUT_ABSOLUTE的情况下，将设置冲刷命令，以便设备根据设备的能力将其自身置于由触觉分组中携带的冲刷参数定义的绝对位置或尽可能接近于绝对位置的位置。在WASHOUT_NEXT的情况下，下一个移动从触觉分组中携带的冲刷参数中被提取，并且被添加至当前位置。如果结果值在设备的能力之内，则不需要冲刷。当不是这种情况时，将要达到的目标位置与设备能力减去下一个移动值相对应。如果可以实现遵守前庭阈值，则将设置冲刷命令，以便设备将其自身置于该目标位置。如果不能达到该目标位置，则将选择尽可能接近于该目标位置的位置，知道下一个效果将不会被完整地渲染。在WASHOUT_BBOX的情况下，边界框值从触觉分组中携带的冲刷参数中被提取。如果边界框上限和下限的平均值可以实现遵守前庭阈值，则将设置冲刷命令，以便设备将其自身置于该目标位置。如果不是这种情况，则将设置冲刷命令，以便设备将其自身置于尽可能接近于该位置的位置。
在WASHOUT_NEXT和WASHOUT_BBOX的情况下，触觉渲染设备具有关于冲刷效果产生的最终位置的一些自由。上面已经介绍了简单的策略。更复杂的策略包括使用对过去移动的分析来确定一些趋势和模式，允许更好地预期进一步的移动，由此在冲刷期间更好地放置触觉渲染设备。
图7示出了定义触觉设备的设备默认值所需要的表。在已经以MPEG-V标准定义的表710所描绘的“RigidBodyMotionCapabilityType”结构中，“MoveToDefaultCapabilityFlag”被添加以便能够定义设备的默认位置值。当这个标志是活跃的时，由表720描绘的新“MoveToZeroCapabilityType”结构定义了三维位置的默认值。在MPEG-V标准的精神中，当标志“DefaultXPositionFlag”被置于“真”时，X轴的默认值由“DefaultXPosition”属性来定义。针对其他维度提出了类似的标志和属性。
图8示出了在两个远程设备(发送设备810和接收设备820)之间通过通信网络800来发送触觉视听内容的情形。设备810是本领域技术人员公知的传统计算设备，其至少包括硬件处理器，该硬件处理器被配置为实现用于编码流的方法。设备820是如图1所示出的设备，其至少包括硬件处理器，该硬件处理器被配置为实现用于解码的方法(如结合图6所描述的)。根据示例，网络800是LAN或WLAN网络，适应于将HAV内容从发送设备810发送至诸如设备820之类的至少一个解码设备。旨在由设备810进行发送的信号携带如图2A中所示出的比特流。比特流包括经编码的触觉分组(如上所述)。该信号还包括如结合图2B所描述的第一信息和第二信息。
图9示出了获得先前记录在介质存储元件900上并且由图1中所示出的设备类型的读取设备910读取的触觉视听内容的情形。HAV内容以携带图2A中所示出的比特率的信号的形式被存储在介质存储元件900上，并且适应于由设备910通过如图1中所示出的适应于特定介质存储格式的接口130的类型的接口来读取。该信号还包括如结合图2B所描述的第一信息和第二信息。设备910至少包括如图1中所示出的处理器110的类型的处理器，该处理器被配置为实现用于从介质存储元件900读取HAV内容并且解码HAV内容的方法(如结合图6所描述的)。介质存储元件900的示例是诸如数字多功能光盘(DVD)或蓝光光盘(BD)之类的光盘、诸如硬盘驱动器之类的磁存储装置、诸如固态盘(SSD)或存储器盒之类的基于存储器的存储装置。根据本发明的精神，可以使用其他类型的存储装置。
图10示出了当使用基于分组的传输协议来发送数据时携带HAV内容的信号的语法的实施例的示例。每个发送的分组P包括报头1010和有效载荷1020。例如，报头的一些比特专门表示第一信息，该第一信息表示冲刷效果，而有效载荷1020优选地包括表示冲刷所要求的参数的可选择的第二信息。
虽然说明书关注针对触觉设备的移动，但是本发明可以应用于其他感知环境，并且更具体地应用于具有一些惯性(通常与物理约束有关)和默认值(可以被认为是中间位置)的任意触觉效果。这仅要求使图5A至5D中所描述的冲刷参数适应于效果类型的参数。
温度是环境参数的另一个示例，其适用相同原理。在该情形中，冲刷参数需要适应于“TemperatureType”而不是“RigidBodyMotionType”，由此定义“intensity-value(强度值)”或“intensity-range(强度范围)”。然而本公开的整体原理完全适用。本领域的技术人员将理解对其他效果的扩展，例如根据MPEG-V规范所描述的那些效果。
本领域的技术人员将理解，本原理的方面可以采取全部硬件实施例、全部软件实施例(包括固件、驻留软件、微程序等等)、或结合硬件方面和软件方面的实施例(可以一般地被定义为“电路”、“模块”、或“系统”)的形式。此外，本原理的方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任意组合。本领域的技术人员将理解的是，本文所呈现的图示表示实施本公开的原理的说明性系统组件和/或电路的概念图。类似地，应当理解的是，任意流程图表、流程图、状态转换图、伪代码等等表示各种过程，该各种过程可以被本质上在计算机可读存储介质中表示并且由计算机或处理来执行，无论这样的计算机或处理器是否被明确地示出。计算机可读存储介质可以采取在一个或多个计算机可读介质上实施的计算机可读程序产品的形式，并且该计算机可读程序产品具有在其上实施的可由计算机执行的计算机可读程序代码。本文中所使用的计算机可读存储介质被认为是非暂态存储介质，该非暂态存储介质具有将信息存储在该非暂态存储介质中的固有能力以及从该非暂态存储介质中获取信息的固有能力。计算机可读存储介质可以是但不限于，例如，电子的、磁的、光的、电磁的、红外的、或半导体的系统、装置、或设备、或前述任意适当的组合。应当理解的是，虽然提供了本原理可以被应用的计算机可读存储介质的更具体的示例，但下文仅仅是说明性的并且不是详尽的列表(本领域的技术人员很容易理解)：便携式计算机软盘、硬盘、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或前述任意适当的组合。
本说明书和(适当情况下的)权利要求书以及附图中所公开的每个特征可以单独地或以任意适当的组合被提供。被描述为用硬件实现的特征也可以用软件来实现，反之亦然。权利要求中出现的参考编号仅是以说明的方式，不应当对权利要求的范围具有限制效果。

Claims (13)

1.一种用于控制触觉效果的渲染的方法，所述方法在触觉渲染设备(100)中被实现，并且包括：
-获得(600)信号，所述信号包括表示将被渲染的所述触觉效果的信息，所述信息至少携带表示将在所述触觉效果之后被执行的触觉冲刷效果的第一信息(2322)，所述触觉冲刷效果与所述触觉效果相反；
-将表示所述触觉效果的第一触觉命令提供(610)至触觉执行器从而执行所述触觉效果；
-计算(650)表示所述触觉冲刷效果的第二触觉命令，所述第二触觉命令适应于触觉渲染设备能力；以及
-将所述第二触觉命令提供(660)至所述触觉执行器从而执行所述触觉冲刷效果。
2.如权利要求1所述的方法，其中，计算(650)表示所述触觉冲刷效果的所述第二触觉命令是根据用户偏好来执行的。
3.如权利要求1或2中的任一个所述的方法，其中，所述第一信息(2322)的值与表示具有绝对定位的触觉冲刷效果的确定值相对应，还包括表示将在所述触觉效果之后被执行的所述触觉冲刷效果所要求的参数的第二信息(2326)，并且其中该第二信息包括将由冲刷操作达到的绝对值。
4.如权利要求1或2中的任一个所述的方法，其中，所述第一信息(2322)的值与表示具有下一个效果信息的触觉冲刷效果的确定值相对应，还包括表示所述触觉冲刷效果所要求的参数的第二信息(2326)，并且其中该第二信息包括表示将被执行的所述下一个效果的信息。
5.如权利要求1所述的方法，其中，所述第一信息(2322)的值与表示具有范围定位的触觉冲刷效果的确定值相对应，还包括表示冲刷效果所要求的参数的第二信息(2326)，并且其中该第二信息包括定义位置值的范围的最小位置值和最大位置值，触觉冲刷操作应当遵守所述位置值的范围中的任意一个位置值。
6.一种用于控制触觉效果的渲染的数据处理装置(100)，包括：
-输入接口(130)，所述输入接口被配置为获得信号，所述信号包括表示将被渲染的触觉效果的信息，其特征在于，所述信息至少携带表示将在所述触觉效果之后被执行的触觉冲刷效果的第一信息(2322)；
-触觉接口(150)，所述触觉接口被配置为：
-将表示所述触觉效果的第一触觉命令提供至触觉执行器(160)从而执行所述触觉效果；
-从所述触觉执行器(160)获得设备能力；
-计算表示所述触觉冲刷效果的第二触觉命令，所述第二触觉命令根据设备能力适应于触觉渲染；以及
-将所述第二触觉命令提供至所述触觉执行器(160)从而执行所述触觉冲刷效果；
-存储器(120)，所述存储器被配置为至少提供触觉用户偏好(121)；以及
-处理器(110)，所述处理器被配置为根据所述设备能力和用户偏好中的至少一个来计算(650)所述触觉冲刷效果。
7.如权利要求6所述的数据处理装置，其中，所述处理器(110)还被配置为检测所述第一信息(2322)的值与表示具有绝对定位的触觉冲刷效果的确定值相对应，并且在这种情况中：
-从所述信号获得表示将被执行的所述触觉冲刷效果所要求的参数的第二信息(2326)，并且其中该信息包括将由冲刷操作达到的绝对值；
-根据将被达到的所述绝对值与所述设备能力和用户偏好中的至少一个来计算(650)所述触觉冲刷效果。
8.如权利要求6所述的数据处理装置，其中，所述处理器(110)还被配置为检测所述第一信息(2322)的值与表示具有表示将被执行的下一个效果的信息的触觉冲刷效果的确定值相对应，并且在这种情况中：
-从所述信号中获得表示将被执行的所述触觉冲刷效果所要求的参数的第二信息(2326)，并且其中该信息包括表示将被执行的所述下一个效果的信息；
-根据表示所述下一个效果的所述信息与所述设备能力和用户偏好中的至少一个来计算(650)所述触觉冲刷效果。
9.如权利要求6所述的数据处理装置，其中，所述处理器(110)还被配置为检测所述第一信息(2322)的值与表示具有范围定位的触觉冲刷效果的确定值相对应，并且在这种情况中：
-从信号中获得表示将被执行的所述触觉冲刷效果所要求的参数的第二信息(2326)，并且其中该信息包括定义位置值的范围的最小位置值和最大位置值，所述触觉冲刷效果应当遵守所述位置值的范围中的任意一个位置值都应当；
-根据所述位置值的范围与所述设备能力和用户偏好中的至少一个来计算(650)所述触觉冲刷效果。
10.如权利要求6到9中任一个所述的数据处理装置，其中，包括表示将被渲染的触觉效果的信息的所述信号是通过通信网络(800)从发送设备(810)接收的。
11.如权利要求6到9中任一个所述的数据处理装置，其中，包括表示将被渲染的触觉效果的信息的所述信号是从介质存储元件(900)获得的。
12.一种携带表示将被渲染的触觉效果的信息的信号，所述信息至少携带表示将在所述触觉效果之后被执行的触觉冲刷效果的第一信息(2322)，所述触觉冲刷效果与所述触觉效果相反。
13.如权利要求12所述的信号，还包括表示冲刷效果所要求的参数的第二信息(2326)，并且其中该第二信息包括由所述冲刷效果达到的绝对值、表示将被执行的下一个效果的信息、和由最小位置值和最大位置值定义的位置值的范围中的一个。
CN201610575261.5A 2015-07-21 2016-07-20 用于在触觉视听内容中携带冲刷请求的信号及方法和设备 Pending CN106371582A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306184.1A EP3121685A1 (en) 2015-07-21 2015-07-21 Signal for carrying washout request in haptic audiovisual content, related method and device
EP15306184.1 2015-07-21

Publications (1)

Publication Number Publication Date
CN106371582A true CN106371582A (zh) 2017-02-01

Family

ID=53762107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610575261.5A Pending CN106371582A (zh) 2015-07-21 2016-07-20 用于在触觉视听内容中携带冲刷请求的信号及方法和设备

Country Status (6)

Country Link
US (1) US10096213B2 (zh)
EP (2) EP3121685A1 (zh)
JP (1) JP2017028701A (zh)
KR (1) KR20170012089A (zh)
CN (1) CN106371582A (zh)
BR (1) BR102016016626A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190035190A1 (en) * 2016-02-25 2019-01-31 John Szczygiel Smart Audiovideo Visitor/Vendor Entry System
CN106803982A (zh) * 2017-03-01 2017-06-06 深圳市集贤科技有限公司 一种带按摩功能的vr遥控器
WO2023202898A1 (en) * 2022-04-22 2023-10-26 Interdigital Ce Patent Holdings, Sas Haptics effect comprising a washout

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3050870A (en) 1961-01-10 1962-08-28 Morton L Heilig Sensorama simulator
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US20060253001A1 (en) 2005-05-06 2006-11-09 Micro Analysis And Design, Inc. Method for spatial disorientation identification countermeasures, and analysis
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
NL2005174C2 (en) 2010-07-29 2012-01-31 E2M Technologies B V Movement-simulator.
EP2854120A1 (en) 2013-09-26 2015-04-01 Thomson Licensing Method and device for controlling a haptic device

Also Published As

Publication number Publication date
KR20170012089A (ko) 2017-02-02
EP3121685A1 (en) 2017-01-25
EP3121689B1 (en) 2020-06-24
BR102016016626A2 (pt) 2017-03-01
EP3121689A1 (en) 2017-01-25
US20170024979A1 (en) 2017-01-26
US10096213B2 (en) 2018-10-09
JP2017028701A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
Lema et al. Business case and technology analysis for 5G low latency applications
CN102306051B (zh) 复合姿势-语音命令
US9641790B2 (en) Interactive video program providing linear viewing experience
US20200413135A1 (en) Methods and devices for robotic interactions
Hoggenmüller et al. Context-based interface prototyping: Understanding the effect of prototype representation on user feedback
JP2018527655A (ja) ユーザ・ハプティック空間（ＨａｐＳｐａｃｅ）に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置
US10101804B1 (en) Content interaction system and method
US11017599B2 (en) Systems and methods to provide narrative experiences for users of a virtual space
US12058425B2 (en) Smart furniture content interaction system and method
CN106371582A (zh) 用于在触觉视听内容中携带冲刷请求的信号及方法和设备
KR20200106024A (ko) 머신 러닝에 기초한 플렉서블 컴퓨터 게이밍
KR101977893B1 (ko) 영상컨텐츠 적용 디지털액터의 운용방법
CN110325965B (zh) 虚拟场景中的对象处理方法、设备及存储介质
US9396574B2 (en) Choreography of animated crowds
ur Réhman et al. Vibrotactile TV for immersive experience
CN106598245A (zh) 基于虚拟现实的多用户交互控制方法及装置
US20240062456A1 (en) Variable update adaptation and simulation delay in multiuser virtual reality application
WO2017076237A1 (zh) 在虚拟场景中播放真实场景的方法及装置
KR101153952B1 (ko) 애니메이션 액션 체험 컨텐츠 서비스 시스템 및 방법
US20240267599A1 (en) Content interaction system and method
US20240267600A1 (en) Content interaction system and method
WO2020183235A1 (en) Smart furniture content interaction system and method
Rusák et al. A study of correlations among image resolution, reaction time, and extent of motion in remote motor interactions
Meerbeek et al. Designing domestic robots with personality
Checo " Non-verbal communication in Social VR": Exploring new ways to handshake

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170201