CN106210743A - 对包含表示触觉效果的数据的包编码/解码的方法和设备 - Google Patents

对包含表示触觉效果的数据的包编码/解码的方法和设备 Download PDF

Info

Publication number
CN106210743A
CN106210743A CN201610355807.6A CN201610355807A CN106210743A CN 106210743 A CN106210743 A CN 106210743A CN 201610355807 A CN201610355807 A CN 201610355807A CN 106210743 A CN106210743 A CN 106210743A
Authority
CN
China
Prior art keywords
information
body model
haptic effect
bag
immersion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610355807.6A
Other languages
English (en)
Inventor
J.弗勒里奥
B.勒罗伊
F.图多尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106210743A publication Critical patent/CN106210743A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0044—Arrangements for allocating sub-channels of the transmission path allocation of payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

对包含表示触觉效果的数据的包进行编码/解码的方法和设备。一种对包含表示触觉效果的数据的包(214)进行编码的方法，所述触觉效果与沉浸式内容相关联。该方法包含：在包(214)中添加第一信息，所述第一信息表示所述触觉效果关于身体模型相对于沉浸式内容的位置的依赖性；在包中添加第二信息，所述第二信息表示所述触觉效果所标定的所述主体模型的至少第一部分。还描述一种对包(214)进行解码的方法和对应的设备。

Description

对包含表示触觉效果的数据的包编码/解码的方法和设备
技术领域
本公开涉及触觉的领域。还在与沉浸式视听内容相关联的、使用一个或多个传动器呈现的、任何类型的触觉效果(例如运动、振动)的背景下理解本公开。
背景技术
根据背景技术，已知组合触觉和视听内容以在观看视听内容的同时增加沉浸的感觉。触觉和视听内容的这样的组合被已知为代表触视听(haptics-audio-visual)的首字母缩写HAV。
MPEG-V架构是用于产生、发布和呈现HAV内容的工作流的一种形式化。MPEG-V标准描述包括触觉效果以及味觉和嗅觉效果的“感觉效果”。MPEG-V标准提出触觉效果的高级描述，其不允许考虑每个人类感知特性或者视听内容的特性。而且，MPEG-V标准可能封装冗余或无用的数据，从而消耗过多带宽。
发明内容
本公开的目的是克服这些不足中的至少一个。
本公开涉及一种对包含表示触觉效果的数据的包进行编码的方法，所述触觉效果与沉浸式内容相关联，所述方法包含：
在包中添加第一信息，所述第一信息表示触觉效果的描述关于身体模型相对于沉浸式内容的位置的依赖性；
在包中添加第二信息，所述第二信息表示所述触觉效果所标定的(targeted)所述身体模型的至少第一部分。
本发明还涉及一种对包含表示触觉效果的数据的包进行编码的设备，所述触觉效果与沉浸式内容相关联，所述设备包含处理器，所述处理器被配置为：
在所述包中添加第一信息，所述第一信息表示所述触觉效果的描述关于身体模型相对于所述沉浸式内容的位置的依赖性；
在所述包中添加第二信息，所述第二信息表示所述触觉效果所标定的所述身体模型的至少第一部分。
根据具体特征，所述方法还包含：在所述包中添加第三信息，所述第三信息表示所述身体模型相对于所述沉浸式内容的基准位置，所述第三信息在所述第一信息指示触觉效果的描述依赖于身体模型的位置时添加。
有利地，表示触觉效果的数据至少包含触觉效果的强度的值。
本公开还涉及一种对包含表示触觉效果的数据的包进行解码的方法，所述触觉效果与沉浸式内容相关联，所述方法包含：
从所述包获得第一信息，所述第一信息表示触觉效果的描述关于身体模型相对于沉浸式内容的位置的依赖性；
从所述包获得第二信息，所述第二信息表示所述触觉效果所标定的所述身体模型的至少第一部分。
本发明还涉及一种对包含表示触觉效果的数据的包进行解码的设备，所述触觉效果与沉浸式内容相关联，所述设备包含处理器，所述处理器被配置为：
从所述包获得第一信息，所述第一信息表示触觉效果的描述关于身体模型相对于沉浸式内容的位置的依赖性；
从所述包获得第二信息，所述第二信息表示所述触觉效果所标定的所述身体模型的至少第一部分。
根据具体特征，所述方法还包含：从所述包获得第三信息，所述第三信息表示所述身体模型相对于所述沉浸式内容的基准位置，所述第三信息在所述第一信息指示触觉效果的描述依赖于身体模型的位置时获得。
有利地，所述方法还包含：当身体模型的位置与基准位置不同时，根据所述第二信息和所述第三信息确定接收触觉效果的身体模型的至少第二部分。
根据具体特征，所述确定包含：根据所述身体模型的当前位置和第三信息使所述身体模型变形，所述至少第二部分基于变形的身体模型来确定。
根据具体特征，表示触觉效果的数据至少包含触觉效果的强度的值。
本公开还涉及一种至少携带包含表示触觉效果的数据的包的信号，所述触觉效果与沉浸式内容相关联，所述信号进一步携带表示触觉效果的描述关于身体模型相对于沉浸式内容的位置的依赖性的第一信息以及表示所述触觉效果所标定的身体模型的至少第一部分的第二信息。
本公开还涉及一种计算机程序产品，其包含程序代码指令，用于当在计算机上执行该程序时执行所述编码方法的步骤。
本公开还涉及一种计算机程序产品，其包含程序代码指令，用于当在计算机上执行该程序时执行所述解码方法的步骤。
本公开还涉及一种(非临时性)处理器可读介质，在其中存储有使处理器至少执行上述的对包进行编码和/或解码的方法。
附图说明
通过阅读以下描述，将更好地理解本原理，并且将呈现其他具体特征和优点，该描述参照附图，附图中：
图1A和图1B示出根据本原理的具体实施例的沉浸式视听内容和相关联的触觉效果；
图2示出根据本原理的具体实施例的与图1A、图1B的沉浸式视听内容相关联的触觉数据流；
图3示出根据本原理的具体实施例的与图1A、图1B的沉浸式视听内容相关联的触觉效果所影响的身体模型的部分；
图4A和图4B均示出根据本原理的具体实施例的用于确定与图1A、图1B的沉浸式视听内容相关联的触觉效果所影响的部分的身体模型的示例；
图5图示性示出根据本原理的具体实施例的用于确定与图1A、图1B的沉浸式视听内容相关联的触觉效果影响图4的身体模型的哪个(哪些)部分的处理；
图6示出根据本原理示例的被配置用于对包含表示与图1A、图1B的视听内容相关联的触觉效果的数据的包进行编码和/或解码的设备的架构的示例；
图7示出根据本原理示例的在通信网络上通信的图6的两个远程设备；
图8示出根据本原理示例的携带图1A的触觉效果的描述的信号的语法；
图9示出根据具体实施例的对包含表示与图1A、图1B的视听内容相关联的触觉效果的数据的包进行编码的方法；
图10示出根据具体实施例的对包含表示与图1A、图1B的视听内容相关联的触觉效果的数据的包进行解码的方法。
具体实施方式
现在参照附图描述主题，其中，相同的标号通篇用于指代相同的元件。在以下描述中，为了解释，阐述大量特定细节，以提供对主题的彻底理解。然而，显然的是，可以在不使用这些具体细节的情况下实现主题实施例。
将参照对包含表示触觉效果的数据的包进行编码或解码的方法的具体实施例来描述本原理。触觉效果被理解为对用户的身体的部分的机械刺激(通过在用户的身体的部分上施加力和振动，由此施加例如触觉或运动效果)。有利地，触觉效果与沉浸式视听内容相关联，并且使用户能够在观看视听内容的同时感觉沉浸到其中。
图1A和图1B示出根据本原理的具体且非限制性的实施例的沉浸在也称为沉浸式内容10的4π立体弧度视频内容10(或球形视频内容)中的用户11。图1A对应于沉浸式内容的3D表示。图1B对应于沉浸式内容10的平面表示。沉浸式内容10例如对应于通过一个或多个相机所获取的真实场景或者通过使用3D引擎所合成的虚拟场景。根据变型，沉浸式内容10对应于包括虚拟对象的真实场景(即真实场景和虚拟场景的混合)的表示。如图1所示，用户11正在根据观看方向13观看沉浸式内容的一部分，观看方向13对应于用户11的注视的主方向。有利地，身体模型与用户相关联。视场14与观看方向13相关联，视场14仅对应于沉浸式内容10的一部分。当用户11的注视方向改变时，用户所看见的沉浸式内容的(并且对应于视场的)部分因此改变。用户11可以通过例如将他/她的头部(或他/她的身体或其部分)从左到右(或相反地)和/或从上到下(或相反地)地移动，在沉浸式内容内游移(wander)其注视。有利地，一个或多个触觉效果12与沉浸式内容关联。在图1A的示例中，触觉效果的来源12位于用户的后面。触觉效果可以是任何种类的，例如热源、振动源。
当然，触觉效果源的位置不限于图1A的示例。触觉效果的来源可以位于沉浸式内容10的任何点处，也可以位于用户11自身上(例如在用户的手臂上移动的蜘蛛)。
通过与用户关联的一个或多个传动器的方式，例如通过用户所佩戴的(诸如振动传动器，例如手表)或者与用户的身体的部分接触的(例如移动它们接触的身体的部分的传动器)或者远离用户的(例如热源)，在用户上呈现触觉效果。
用于对沉浸式内容进行可视化的沉浸式系统例如是佩戴在用户的头部上或者作为头盔的一部分的HMD(头戴式显示器)。有利地，HMD包含一个或多个显示屏幕(例如LCD(液晶显示器)、OLED(有机发光二极管)或LCOS(硅基液晶))以及被配置用于根据真实世界的一个、两个或三个轴(俯仰轴、偏航轴和/或翻滚轴)测量HMD的位置的改变的传感器(例如陀螺仪或IMU(惯性测量单元))。有利地，通过建立与真实世界中的HMD相关联的视点和与沉浸式内容10相关联的虚拟相机的视点之间的关系的特定函数，来确定对应于HMD的所测量的位置的沉浸式内容10的部分。根据HMD的所测量的位置来控制要在HMD的显示屏幕上显示的视频内容的部分，使佩戴HMD的用户能够浏览大于与HMD的显示屏幕相关联的视场的沉浸式内容。例如，如果HMD所提供的视场等于110°(例如相对于偏航轴)，并且如果沉浸式内容提供180°的内容，则佩戴HMD的用户可以将他/她的头部向右或向左旋转，以看见HMD所提供的视场外部的视频内容的部分。根据另一示例，沉浸式系统是CAVE(洞穴状自动化虚拟环境)系统，其中沉浸式内容投影在房间的墙壁上。CAVE的墙壁例如由背投屏幕或平坦面板显示器组成。因此，用户可以在房间的不同墙壁上浏览他/她的注视。有利地，CAVE系统配备获取用户的图像的相机，以通过这些图像的视频处理来确定用户的注视方向。根据变型，通过跟踪系统(例如，红外跟踪系统，用户佩戴红外传感器)确定用户的注视或姿势。
当然，沉浸式内容10不限于4π立体弧度视频内容，而是扩展到大小比视场14更大的任何视频内容(或视听内容)。沉浸式内容可以是例如2π、2.5π、3π立体弧度内容等。
图2示出根据本原理的具体且非限制性的实施例的HAV比特流20。HAV比特流20包含例如视频流201、音频流202和触觉流203。视频流201的格式可以是例如MPEG-2、H.264或MPEG-4，音频流的格式可以是例如MP3或AAC(高级音频编码)。流201至203例如包装在容器20中，例如Matroska容器(MKV)、3GP容器、ASF(高级系统格式)容器。本领域技术人员可以意识到，本原理与其他类型的格式和容器兼容，包括当前已知的格式和容器以及未来开发的那些格式和容器。
触觉流包含一个或多个触觉包211至21n，触觉包是包含表示触觉效果的数据的包，n是大于或等于1的整数。在图2的部分23中详述触觉包214。有利地，触觉包214包含属性集合231和有效载荷数据232。有利地，属性集合包含表示触觉效果的描述关于身体模型相对于沉浸式内容的位置的依赖性的第一信息，在身体模型的位置与由用户11所关联的身体模型所表示的用户的位置之间存在紧密关系。第一信息对应于例如指定触觉效果的描述是否依赖于身体模型的位置的布尔值。值“0”可以用于例如指示在触觉效果的描述与身体模型相对于沉浸式内容的位置之间不存在依赖性。值“1”可以用于例如指示在在触觉效果的描述与身体模型相对于沉浸式内容的位置之间存在依赖性。为了示出触觉效果的描述可能依赖于身体模型的位置的情况，考虑触觉效果的两个不同的示例：i)温度效果，其表示朝向在沉浸式内容中产生的爆炸的身体模型的部分上的热量增加；以及ii)振动效果，其应当被施加在身体模型的一部分(例如前臂)上，以刺激在其前臂上爬行的蜘蛛。显然，第一效果(即温度效果)高度依赖于身体模型相对于沉浸式内容的位置：如果身体模型正在爆炸的方向上观看，则应当在其前面感觉到温度增加，而如果身体模型正在相反方向上观看，则应当在其后面感觉到温度增加。此外，如果身体模型的手臂移动以保护其头部不受热量增加影响，则第一效果所影响的部分将改变。相反，第二效果(即振动效果)不依赖于位置，因为“感觉”或接收触觉效果的效果的身体模型的部分将总是相同的(在示例中为前臂)，而无论身体模型相对于沉浸式内容的位置如何。实际上，在第二效果的情况下，基准的框架是身体模型自身，而在第一效果的情况下，基准的框架在身体模型外部，这解释了第一效果的描述取决于身体模型的位置，而第二效果的描述却不是。身体模型的位置被理解为身体模型的姿势(或等同地，其所关联的用户的姿势)。位置的改变对应于身体模型的至少一部分的空间中的位置的改变(例如可以通过空间中的该移动部分的坐标的改变表示的手的移动、手的旋转)。
有利地，属性集合还包含与要在用户上呈现的触觉效果的类型相关联的触觉身体模型的标识(被称为HID)。实际上，对于要呈现的每种类型的触觉效果可以有利地定义不同的(触觉)身体模型，例如，用于温度效果的(触觉)身体模型具有例如HID#0，用于振动效果的(触觉)身体模型具有例如HID#1，用于压力效果的(触觉)身体模型具有例如HID#2，用于移动效果的(触觉)身体模型具有例如HID#3，等等。有利地，被用于定义身体模型集合22的数据存储在可以由用于创建触觉效果的设备而且还由用于在终端用户侧上呈现触觉效果的设备访问的服务器上。根据变型，被用于确定身体模型集合的数据在本地存储在被用于创建和呈现触觉效果的每个设备上。被用于定义触觉身体模型22的数据的部分可以取决于被用于触觉身体模型22的身体模型的类型(参照图4A和图4B描述两种这样类型的身体模型)。例如，可以通过包括诸如关节和体节这样的元件的骨架和/或通过用于皮肤的网格元件来定义身体模型。有利地，可以通过每个触觉身体模型的元件ID描述和标识每个元件。被用于定义皮肤的网格也可以随着触觉身体模型的不同、根据与之相关联的触觉效果而不同。例如，触觉身体模型#0的手部的网格分辨率可以高于触觉身体模型#1的手部的网格分辨率。被用于定义每个触觉身体模型的其他数据也可以与每个触觉身体模型相关联，诸如列出与其相关联的触觉效果的类型的许可值的范围(例如最小/最大值，例如对于温度效果，-20°/100℃)。使用触觉包中的HID使得能够减少要发送的数据的量，因为其避免发送被用于定义触觉包所涉及的触觉身体模型的数据，从而减少带宽的负担。
根据变型，属性集合还包含表示身体模型相对于沉浸式内容的基准位置的第三信息。有利地，当接收触觉来源的效果的身体模型的部分对应于触觉效果所标定的第一部分时，基准位置对应于身体模型的位置。仅当第一信息指示在触觉效果的描述与身体模型的位置之间存在依赖性时，将该第三信息作为属性添加到触觉包。第三信息使得能够获得身体模型的位置，针对该位置，所标定的第一部分在呈现时将有效地被触觉效果影响。第三信息还可用于，当身体模型处于与基准位置不同的当前位置并且知道当前位置时，确定身体模型的哪个(哪些)部分(被称为第二部分)将有效地被触觉效果影响。
根据变型，总是将第三信息添加到触觉包，而无论第一信息的值是“0”还是“1”。
第三信息可以采取定义在触觉包的有效载荷数据232中设计有触觉效果的位置的位置属性的形式。位置属性可以是例如标识给定姿势(例如坐、站、躺)的标识符。根据变型，第三信息对应于基准位置中的触觉身体模型的网格和/或骨架。
有利地，触觉包的有效载荷数据232包含可以是例如固定值的大小S的数据阵列(也被称为“帧”)。数据阵列包含要传送的有效触觉值。每个帧包含一阵完整的触觉样本(一个触觉包可以包含例如除了第一信息和第三信息之外还在属性中设置的或者可以在与触觉身体模型关联的数据中设置的频率处采样的若干相继的完全的触觉样本)。
每个触觉样本包含表示触觉效果所标定的身体模型的部分(被称为第一部分)的第二信息。第二信息对应于例如应当受该触觉效果影响的与触觉包相关联的身体模型的第一部分的编号“N”。第二信息还可以包含标识触觉效果所标定的身体模型的每个第一部分(即受影响的或感觉触觉效果的效果的身体模型的每个元件)的标识符(F)，标识符“F”引用被用于定义每个触觉身体模型22的数据中所描述的元件。每个触觉样本还包含与N个第一部分相关联的触觉效果值“V”(强度)的列表，每个值可以是标量或矢量的(对于振动，可以使用一对频率/强度)，每个值例如根据在所关联的触觉身体模型22中所指定的范围在0至1之间被归一化。根据可选的变型，如果不使用完全数据阵列，则有效载荷数据可以包含可以添加到有用的数据的末尾的包结束(EOP)标识符(例如无符号整数0xFFFF)。
图4A和图4B均示出根据本原理的两个具体且非限制性的实施例的被用于定义触觉身体模型22并且表示观看沉浸式内容10的用户11的身体模型。
图4A示出包含网格元件(例如多边形401、402，被称为表面)的网格的第一示例性身体模型40。有利地，每个表面具有可以用于标识触觉效果所影响的网格元件的标识符。如图4A所示，网格元件的密度可以根据身体模型的部分而变化。表面例如在手上比在前臂上更密集，在头部上比在躯干上更密集。根据变型，网格元件的密度还可以根据触觉效果的类型(例如触觉、温度、振动)而变化，这意味着不同的身体模型可以被用于不同的触觉效果。
图4B示出对应于通过关节401和体节402所表示的简化的用户的身体模型的第二示例性身体模型41。例如，手臂被视为两个体节(臂和前臂)和两个关节(肘和肩)。颈部包含一个体节和一个关节。体节的大小和关节的角度限制有利地由解剖数据定义，例如在M.Schuenke、E.Schulte、U.Schumacher、L.M.Ross、E.D.Lamperti和M.Voll的“GeneralAnatomy and Musculoskeletal System”(Thieme Medical Publishers Inc.，2010年)中所描述的那样。
当然，身体模型不限于示例性身体模型40和41，而是扩展到任何身体模型。身体模型例如可以包含人类骨架的更精确的表示(骨头的大小和重量、关节上的约束)和/或包含肌肉的表示。更详细的身体模型将使得能够计算更真实的触觉反馈。例如，人类身体中的振动的传播可以考虑骨密度以及肌肉的阻尼性质。
图3示出根据本原理的具体且非限制性的实施例的、根据身体模型3的两个不同朝向的触觉效果12所影响的身体模型的部分。图3的左手部分示出根据基准位置(即根据已经具体地描述了触觉效果12的观看方向D0)观看沉浸式内容的身体模型3。触觉效果的描述包含触觉效果所影响的身体模型的元件的列表(称为第一部分)以及触觉效果所影响的每个元件的触觉效果值的强度。图3所示的身体模型的元件或部分被标记为30、31、32、33、34和35。触觉效果所影响的身体模型的第一部分对应于元件30并且以虚线示出。当然，第一部分的数量不限于1，而是扩展到大于或等于1的任何数。
图3的右手部分示出根据与基准位置不同的位置(称为当前位置)(即根据观看方向D1)观看沉浸式内容的身体模型。当然，触觉效果的来源12仍处于沉浸式内容10中的同一位置处。由于身体模型3的当前位置与描述了触觉效果的基准位置不同，因此触觉效果12所影响的身体模型的部分(称为第二部分)与第一部分30不同。在该示例中，第二部分包含对应于被标记为31、32的元件(即至少部分地面对触觉效果的来源12的元件)的多于一个的第二部分。第二部分与第一部分不同，因为在该示例中，触觉效果的基准框架在身体模型(用户)之外。
有利地，根据所关联的用户11的位置确定身体模型3的位置。当用户佩戴HMD时，可以根据HMD的传感器所测量的数据确定用户11的位置(或姿势)。如果使用CAVE系统，则可以通过CAVE系统中的用户的面部的图像的图像处理，或者根据跟踪CAVE系统内的用户的姿势和/或运动的跟踪系统所生成的数据，来确定位置。
为了避免根据身体模型的每个可能位置添加关于触觉效果所影响的身体模型的部分的信息，将参照图5来描述确定第二部分的处理。通过避免根据身体模型的每个可能位置发送关于触觉效果所影响的身体模型的部分的信息，可以减少带宽。
当然，身体模型(或用户)的位置的改变不限于用户的沉浸式内容的观看方向的改变，而是扩展到身体模型的任何部分的姿势的改变，例如身体模型的部分的移动、身体模型的部分的旋转等。
图5示出根据本原理的具体且非限制性的实施例的、用于确定触觉效果12所影响的身体模型3的第二部分的处理。
在第一步骤中，将与要呈现的触觉效果的类型相关联的类型的触觉身体模型(例如，对于振动效果，触觉身体模型#1)初始化(即变形)为处于对应于基准位置D0的位置处并且处于与要呈现的触觉效果相关联的条件下。执行第一步骤的3D+物理引擎50的输入是通过HID所表示的触觉身体模型以及与D0位置相关联的条件，即基准位置和要呈现的触觉效果(例如触觉效果的来源的位置)。第一步骤的输出是位置D0处的变形的触觉身体模型以及所标识的触觉身体模型的第一部分。
在第二步骤中，位置D0处的触觉身体模型被变形到位置D1处。根据与身体模型相关联的用户的位置的所测量的改变得出位置D1。这样的步骤也由3D+物理引擎50执行，以位置D0处的触觉身体模型和当前位置D1作为输入。在3D+物理引擎50的输出处获得位置D1处的变形的触觉身体模型。根据第一示例，变形可以对应于当前位置D1处的身体模型的简单旋转，即形成身体模型的一个或多个元件的旋转。在用户仅改变他/她的注视方向而没有身体的其他移动的情况下，该第一示例是特别适合的。根据第二示例，机械/物理模型被用于根据位置D1与位置D0之间的差异来推断触觉身体模型的变形。第二示例在用户的部分的移动比第一示例中更复杂的情况下是有利的，或者给出比在用户仅改变他/她的注视的情况下的第一示例更真实的结果。
在第三步骤中，根据位置D1处的变形的触觉身体模型并且根据第一部分，确定触觉效果所真正影响的触觉身体模型的第二部分。为此，第一部分例如被投影到位置D1处的变形的触觉身体模型上。然后，第二部分对应于第一部分在位置D1处的变形的触觉身体模型上的投影。效果强度从第一部分传递(并且如果需要，则可能被内插)到第二部分。
根据变型，组合第一步骤和第二步骤。考虑D1位置与D0位置之间的差异，在第一步骤的输入处使触觉身体模型变形，由此获得位置D1处的触觉身体模型。
图6示出可以被配置为实现参照图9和/或图10描述的方法的设备6的示例性架构。
设备6包含通过数据和地址总线61链接在一起的以下元件：
-微处理器62(或CPU)，其例如DSP(或数字信号处理器)；
-ROM(或只读存储器)63；
-RAM(或随机存取存储器)64；
-存储接口65；
-I/O接口66，从应用接收要发送的数据；以及
-电源67(例如电池)。
根据示例，电源67在设备的外部。在每个所提及的存储器中，在说明书中所使用的措词“存储器”可以对应于小容量(一些比特)的区域或者非常大的区域(例如整个程序或者大量所接收到的或所解码的数据)。ROM 63至少包含程序和参数。ROM 63可以存储用以执行根据本原理的技术的算法和指令。在接通时，CPU 62更新RAM中的程序并且执行对应的指令。
RAM 64在寄存器中包含CPU 62执行并且在接通设备6之后更新的程序、寄存器中的输入数据、寄存器中的方法的不同状态下的中间数据以及被用于执行寄存器中的方法的其他变量。
可以例如以方法或处理、装置、计算机程序产品、数据流或信号来实现在此所描述的实现方式。尽管仅以单一形式的实现方式的情况下进行了讨论(例如仅被讨论为方法或设备)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。例如，装置可以实现为适当的硬件、软件和固件。方法例如可以实现在装置中，诸如例如通常被称为处理设备的处理器，例如包含计算机、微处理器、集成电路或可编程逻辑设备。处理器还包含通信设备，诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)以及便于终端用户之间的信息的通信的其他设备。
根据编码或编码器的示例，从来源获得第一信息、第二信息和/或第三信息。例如，来源属于包含以下的集合：
-本地存储器(63或64)，例如视频存储器或RAM(或随机存取存储器)、闪速存储器、ROM(或只读存储器)、硬盘；
-存储接口(65)，例如与大规模存储、RAM、闪速存储器、ROM、光盘或磁载体的接口；
-通信接口(66)，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)以及
-用户接口，诸如使用户能够输入数据的图形用户接口。
根据解码或解码器的示例，第一信息、第二信息和/或第三信息发送到目的地；具体地说，目的地属于包含以下的集合：
-本地存储器(63或64)，例如视频存储器或RAM、闪速存储器、硬盘；
-存储接口(65)，例如与大规模存储、RAM、闪速存储器、ROM、光盘或磁载体的接口；以及
-通信接口(66)，例如有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清多媒体接口)接口)或无线接口(例如IEEE 802.11接口、或接口)。
根据编码或编码器的示例，比特流20发送到目的地。作为示例，比特流20存储在本地或远程存储器中，例如视频存储器(64)或RAM(64)、硬盘(63)中。在变型中，比特流发送到存储接口(65)(例如与大规模存储、闪速存储器、ROM、光盘或磁载体之间的接口)和/或在通信接口(66)(例如对点对点链路、通信总线、点对多点链路或广播网络的接口)上发送。
根据解码或解码器的示例，从来源获得比特流20。示例性地，从本地存储器(例如视频存储器(64)、RAM(64)、ROM(63)、闪速存储器(63)或硬盘(63))读取比特流。在变型中，比特流接收自存储接口(65)(例如与大规模存储、RAM、ROM、闪速存储器、光盘或磁载体之间的接口)和/或接收自通信接口(65)(例如对点对点链路、总线、点对多点链路或广播网络的接口)。
根据示例，设备6被配置为实现参照图9描述的编码方法，并且属于包含以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-平板(或平板计算机)；
-膝上型设备；
-静止图片相机；
-摄像机；
-编码芯片；
-服务器(例如广播服务器、视频点播服务器或网络服务器)。
根据示例，设备6被配置为实现参照图10描述的解码方法，并且属于包含以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-机顶盒；
-电视机；
-平板(或平板计算机)；
-膝上型设备；
-显示器(例如，诸如HMD)；以及
-解码芯片。
根据图7所示的示例，在通过通信网络NET 70、在(设备60的类型的)两个远程设备71与72之间的传输背景下，设备71包含被配置为实现参照图9描述的用于对图片进行编码的方法的装置，设备72包含被配置为实现参照图10描述的用于解码的方法的装置。
根据示例，网络70是LAN或WLAN网络，适合于将具有相关联的音频信息和触觉信息的静止图片或视频图片从设备71广播给包括设备72的解码设备。
意图由设备71发送的信号携带比特流20。比特流20包含如上所述的经编码的触觉包。该信号还包含参照图2描述的第一信息、第二信息和/或第三信息。
图8示出当通过基于包的传输协议发送数据时的这样的信号的语法的实施例的示例。每个所发送的包P包含头部H 80和有效载荷PAYLOAD 81。头部H的比特例如专用于表示指示触觉效果的描述关于身体模型(或者等效地，身体模型所表示的用户)相对于沉浸式内容的朝向的依赖性。例如，在有效载荷81中发送第二信息和第三信息。根据变型，在有效载荷81中包含第一信息、第二信息和第三信息。
图9示出根据本原理的非限制性实施例的、被配置用于编码的设备6中所实现的、用于对包含表示要呈现的触觉效果的数据的包进行编码的方法。
在初始化步骤90期间，更新设备6的不同参数。具体地，以任何方式对表示要呈现的触觉效果的数据进行初始化。
然后，在步骤91期间，将第一信息添加到包。第一信息表示触觉效果的描述关于被用于对用户进行建模/表示的身体模型相对于被添加到包的沉浸式内容的位置的依赖性。特别地，触觉效果的描述包含触觉效果的类型，并且根据触觉值的类型，包含要施加到身体模型/用户的效果(力、温度、压力、移动)的强度的值的阵列。如果触觉效果的基准的框架是身体模型/用户，则在触觉效果的描述与身体模型的位置之间不存在依赖性。如果触觉效果的基准的框架在身体模型/用户之外，则在触觉效果的描述与身体模型的位置之间存在依赖性。
然后，在步骤92期间，将第二信息添加到包。第二信息表示触觉效果所标定的身体模型的第一部分。身体模型的一部分对应于形成身体模型的元件之一，例如，当身体模型包含骨架时的关节或体节，例如当身体模型包含网格(例如皮肤网格)时的网格元件(例如多边形)。第一信息对应于例如标识符，标识符与身体模型的每个元件(或部分)相关联。当第一信息指示在触觉效果的描述与身体模型的位置之间存在依赖性时，“触觉效果所标定的第一部分”被理解为，当身体模型处于所确定的位置(被称为基准位置)处时将被施加效果的强度的身体模型的部分。如果不存在依赖性，则第一部分对应于将被施加触觉效果的身体模型的元件，无论身体模型的位置如何。
在第三可选步骤中，将第三信息添加到包。第三信息表示身体模型相对于沉浸式内容的基准位置。基准位置对应于所确定的位置，即触觉效果将被有效地施加在第一部分上的位置。例如，仅当第一信息指示在触觉效果的描述与身体模型的朝向之间存在依赖性时添加第三信息。根据变型，总是将第三信息添加到包，而无论第一信息的意义如何。
至少在第一信息指示不存在依赖性时，添加第一信息使得能够减少要添加到包的数据的量。在呈现侧，至少在第一信息指示不存在依赖性时，第一信息也减少要解码的数据的量。实际上，在这样的情况下，无需解码/发送第三信息，也无需关于身体模型的位置的任何信息。
在另一可选步骤中，发送包。
在另一可选步骤中，将在包中所包含的数据根据第一信息、第二信息和/或第三信息变换为被施加到用户的至少一个身体部分的触觉效果。
图10示出根据本原理非限制性实施例的在被配置用于解码的设备6中所实现的用于对包含表示要呈现的触觉效果的数据的包进行解码的方法。
在初始化步骤90期间，更新设备6的不同参数。具体地，以任何方式初始化表示要呈现且先前接收到的触觉效果的数据。
然后，在步骤91期间，从接收的包获得(即提取和/或解码)第一信息，包例如经由无线连接或经由有线连接接收。例如从编码设备6或从远程存储设备或从解码设备6中所包含的本地存储设备接收包。
然后，在步骤92期间，从接收的包获得(即提取和/或解码)第二信息。
在第三可选步骤中，从接收的包获得(即提取和/或解码)第三信息。有利地，仅当第一信息指示在触觉效果的描述与身体模型的朝向之间存在依赖性时获得第三信息，这使得能够当第一信息指示不存在依赖性时减少要获得的数据的量。
在另一可选步骤中，至少当第一信息指示存在依赖性时，确定触觉效果所影响的身体模型的第二部分。基于已经使用第三信息以及表示与基准位置不同的身体模型的当前位置的信息进行变形的身体模型来确定第二部分。
在另一可选步骤中，根据所解码的包中所包含的数据，由控制传动器在用户上呈现触觉效果。
当然，本公开不限于先前所描述的实施例。
具体地，本公开不限于用于对包含触觉数据的包进行编码/解码的方法，而是还扩展到实现该方法的任何设备，特别地，包含至少一个CPU和/或至少一个GPU的任何设备。
本公开还涉及用于生成触觉效果的方法(和所配置的设备)以及用于呈现触觉效果的方法(和所配置的设备)。
本公开还涉及用于发送和/或接收包含触觉数据的包的方法(和所配置的设备)。
例如，在此所描述的实现方式可以实现为方法或处理、装置、计算机程序产品、数据流或信号。尽管仅以单一形式的实现方式的情况下进行了讨论(例如仅被讨论为方法或设备)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。例如，装置可以实现为适当的硬件、软件和固件。方法例如可以实现在装置中，诸如例如通常被称为处理设备的处理器，例如包含计算机、微处理器、集成电路或可编程逻辑设备。处理器还包含通信设备，诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)以及便于终端用户之间的信息的通信的其他设备。
在此所描述的各种处理和特征的实现方式可以实施在各种不同的装备或应用中，具体地，例如与数据编码、数据解码、视图生成、纹理处理以及图像和相关的纹理信息和/或深度信息的其他处理关联的装备或应用。这些装备的示例包含编码器、解码器、处理来自解码器的输出的后处理器、将输入提供给编码器的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型设备、个人计算机、蜂窝电话、PDA和其他通信设备。应当理解，装备可以是移动的，甚至可以安装在移动车辆中。
此外，可以通过处理器所执行的指令来实现方法，并且这些指令(和/或实现方式所产生的数据值)可以存储在处理器可读介质上，诸如例如集成电路、软件载体或者诸如例如硬盘、压缩盘(“CD”)、光盘(诸如例如DVD，一般被称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)这样的其他存储设备。指令可以形成有形地实施在处理器可读介质上的应用程序。指令可以在例如硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备和包含具有用于执行处理的指令的处理器可读介质的设备(例如存储设备)二者。此外，除了指令，或者代替指令，处理器可读介质可以存储实现方式所产生的数据值。
对于本领域技术人员显而易见的是，实现方式可以产生被格式化为携带例如可以存储或发送的信息的各种信号。信息包含例如用于执行方法的指令或所描述的实现方式之一所产生的数据。例如，信号可以被格式化为携带用于写入或读取所描述的实施例的语法的规则作为数据，或携带所描述的实施例所写入的实际语法值作为数据。所述信号可以例如被格式化为电磁波(例如使用谱的射频部分)或者被格式化为基带信号。格式化可以包含例如对数据流进行编码以及用经编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如所知的那样，可以通过各种不同的有线或无线链路来发送信号。信号可以存储在处理器可读介质上。
已经描述了很多实现方式。然而，应当理解，可以进行各种修改。例如，不同实现方式的元件可以组合、补充、修改或移除，以产生其他实现方式。此外，本领域技术人员应当理解，其他结构和处理可以代替所公开的这些结构和处理，所得的实现方式将以至少基本上相同的方式来执行至少基本上相同功能，以实现与所公开的实现方式至少基本上相同的结果。相应地，本申请想到这些以及其他实现方式。

Claims (27)

1.一种对包含表示触觉效果的数据的包进行编码的方法，所述触觉效果与沉浸式内容相关联，其中，所述方法包含：
在所述包中添加第一信息，所述第一信息表示所述触觉效果关于身体模型相对于所述沉浸式内容的位置的依赖性，所述身体模型表示用户的身体的至少一部分；
在所述包中添加第二信息，所述第二信息表示所述触觉效果所标定的所述身体模型的至少第一部分。
2.根据权利要求1所述的方法，还包含：在所述包中添加第三信息，所述第三信息表示所述身体模型相对于所述沉浸式内容的基准位置，所述第三信息在所述第一信息指示触觉效果依赖于身体模型的位置时添加。
3.根据权利要求1所述的方法，其中，所述表示触觉效果的数据至少包含触觉效果的强度的值。
4.根据权利要求1所述的方法，还包含：发送所述包。
5.一种对包含表示触觉效果的数据的包进行解码的方法，所述触觉效果与沉浸式内容相关联，其中，所述方法包含：
从所述包获得第一信息，所述第一信息表示所述触觉效果关于身体模型相对于所述沉浸式内容的位置的依赖性，所述身体模型表示用户的身体的至少一部分；
从所述包获得第二信息，所述第二信息表示所述触觉效果所标定的所述身体模型的至少第一部分。
6.根据权利要求5所述的方法，还包含：从所述包获得第三信息，所述第三信息表示所述身体模型相对于所述沉浸式内容的基准位置，所述第三信息在所述第一信息指示触觉效果依赖于身体模型的位置时获得。
7.根据权利要求6所述的方法，还包含：当身体模型的位置与基准位置不同时，根据所述第二信息和所述第三信息确定接收触觉效果的身体模型的至少第二部分。
8.根据权利要求7所述的方法，其中，所述确定包含：根据身体模型的当前位置和第三信息使所述身体模型变形，所述至少第二部分基于变形的身体模型来确定。
9.根据权利要求5所述的方法，其中，所述表示触觉效果的数据至少包含触觉效果的强度的值。
10.根据权利要求5所述的方法，还包含：接收所述包。
11.根据权利要求5所述的方法，还包含：根据所述包中所包含的数据和第二信息呈现所述触觉效果。
12.一种对包含表示触觉效果的数据的包进行编码的设备，所述触觉效果与沉浸式内容相关联，其中，所述设备包含处理器，所述处理器被配置为：
在所述包中添加第一信息，所述第一信息表示所述触觉效果关于身体模型相对于所述沉浸式内容的位置的依赖性，所述身体模型表示用户的身体的至少一部分；
在所述包中添加第二信息，所述第二信息表示所述触觉效果所标定的所述身体模型的至少第一部分。
13.根据权利要求12所述的设备，所述处理器还被配置为：在所述包中添加第三信息，所述第三信息表示所述身体模型相对于所述沉浸式内容的基准位置，所述第三信息在所述第一信息指示触觉效果依赖于身体模型的位置时添加。
14.根据权利要求12所述的设备，其中，所述表示触觉效果的数据至少包含触觉效果的强度的值。
15.根据权利要求12所述的设备，所述处理器还被配置为：发送所述包。
16.一种对包含表示触觉效果的数据的包进行解码的设备，所述触觉效果与沉浸式内容相关联，其中，所述设备包含处理器，所述处理器被配置为：
从所述包获得第一信息，所述第一信息表示所述触觉效果关于身体模型相对于所述沉浸式内容的位置的依赖性，所述身体模型表示用户的身体的至少一部分；
从所述包获得第二信息，所述第二信息表示所述触觉效果所标定的所述身体模型的至少第一部分。
17.根据权利要求16所述的设备，所述处理器还被配置为：从所述包获得第三信息，所述第三信息表示所述身体模型相对于所述沉浸式内容的基准位置，所述第三信息在所述第一信息指示触觉效果依赖于身体模型的位置时获得。
18.根据权利要求17所述的设备，所述处理器还被配置为：当身体模型的位置与基准位置不同时，根据所述第二信息和所述第三信息确定接收触觉效果的身体模型的至少第二部分。
19.根据权利要求18所述的设备，所述处理器还被配置为：根据身体模型的当前位置和第三信息使所述身体模型变形，所述至少第二部分基于变形的身体模型来确定。
20.根据权利要求16所述的设备，其中，所述表示触觉效果的数据至少包含触觉效果的强度的值。
21.根据权利要求16所述的设备，所述处理器还被配置为：接收所述包。
22.根据权利要求16所述的设备，所述处理器还被配置为：根据所述包中所包含的数据和第二信息呈现所述触觉效果。
23.一种至少携带包含表示触觉效果的数据的包的信号，所述触觉效果与沉浸式内容相关联，其特征在于，所述信号还携带表示所述触觉效果关于身体模型相对于所述沉浸式内容的位置的依赖性的第一信息以及表示所述触觉效果所标定的所述身体模型的至少第一部分的第二信息，所述身体模型表示用户的身体的至少一部分。
24.一种计算机程序产品，包含程序代码指令，用于当在计算机上执行该程序时执行根据权利要求1所述的编码方法的步骤。
25.一种计算机程序产品，包含程序代码指令，用于当在计算机上执行该程序时执行根据权利要求5所述的解码方法的步骤。
26.一种处理器可读介质，在其中存储有使处理器至少执行根据权利要求1所述的编码方法的步骤的指令。
27.一种处理器可读介质，在其中存储有使处理器至少执行根据权利要求5所述的解码方法的步骤的指令。
CN201610355807.6A 2015-05-26 2016-05-26 对包含表示触觉效果的数据的包编码/解码的方法和设备 Pending CN106210743A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305789.8 2015-05-26
EP15305789.8A EP3099030A1 (en) 2015-05-26 2015-05-26 Method and device for encoding/decoding a packet comprising data representative of a haptic effect

Publications (1)

Publication Number Publication Date
CN106210743A true CN106210743A (zh) 2016-12-07

Family

ID=53476792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610355807.6A Pending CN106210743A (zh) 2015-05-26 2016-05-26 对包含表示触觉效果的数据的包编码/解码的方法和设备

Country Status (6)

Country Link
US (1) US10412202B2 (zh)
EP (2) EP3099030A1 (zh)
JP (1) JP2016225977A (zh)
KR (1) KR20160138908A (zh)
CN (1) CN106210743A (zh)
TW (1) TW201710859A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073285A (zh) * 2018-01-02 2018-05-25 联想(北京)有限公司 一种电子设备及控制方法
CN108227916A (zh) * 2016-12-14 2018-06-29 汤姆逊许可公司 用于确定沉浸式内容中的兴趣点的方法和设备
CN108833937A (zh) * 2018-05-30 2018-11-16 华为技术有限公司 视频处理方法和装置
CN112313604A (zh) * 2018-06-28 2021-02-02 索尼公司 解码设备、解码方法和程序
CN112673334A (zh) * 2018-09-11 2021-04-16 索尼公司 信息处理装置、信息处理方法和记录介质
WO2024160068A1 (zh) * 2023-02-03 2024-08-08 腾讯科技（深圳）有限公司 一种触觉媒体的数据处理方法及相关设备
WO2024169814A1 (zh) * 2023-02-16 2024-08-22 维沃移动通信有限公司 触觉信号编码方法、触觉信号解码方法、装置及设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407865B1 (en) * 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
CN107193372B (zh) * 2017-05-15 2020-06-19 杭州一隅千象科技有限公司 从多个任意位置矩形平面到可变投影中心的投影方法
WO2021125117A1 (en) * 2019-12-16 2021-06-24 Sharp Kabushiki Kaisha Systems and methods for signaling information for a mesh in omnidirectional media
US20200153602A1 (en) * 2019-12-27 2020-05-14 Satyajit Siddharay Kamat System for syncrhonizing haptic actuators with displayed content
WO2021172040A1 (ja) * 2020-02-28 2021-09-02 ソニーグループ株式会社 情報処理装置および方法
EP4160361A1 (en) * 2021-09-29 2023-04-05 Go Touch VR Method and apparatus of encoding/decoding haptics data
WO2023204289A1 (ja) * 2022-04-22 2023-10-26 ソニーグループ株式会社 情報処理装置および方法
WO2024042138A1 (en) * 2022-08-23 2024-02-29 Interdigital Ce Patent Holdings, Sas Block-based structure for haptic data
CN118334192A (zh) * 2023-01-10 2024-07-12 海信视像科技股份有限公司 一种触觉媒体文件的处理方法及装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100581060B1 (ko) * 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
KR20090110242A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 신호를 처리하는 방법 및 장치
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
KR101685922B1 (ko) * 2010-04-05 2016-12-13 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20120058824A1 (en) * 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US20130300740A1 (en) * 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
US20120092286A1 (en) * 2010-10-19 2012-04-19 Microsoft Corporation Synthetic Gesture Trace Generator
KR101800182B1 (ko) * 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
US9128520B2 (en) * 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US8947216B2 (en) * 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9442570B2 (en) * 2013-03-13 2016-09-13 Google Technology Holdings LLC Method and system for gesture recognition
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US9207764B2 (en) * 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9091087B2 (en) * 2013-12-17 2015-07-28 Roger Watford Configurable elevated stand
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
GB201417535D0 (en) * 2014-10-03 2014-11-19 Microsoft Corp Adapting encoding properties
US10466790B2 (en) * 2015-03-17 2019-11-05 Whirlwind VR, Inc. System and method for processing an audio and video input in a point of view program for haptic delivery

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227916A (zh) * 2016-12-14 2018-06-29 汤姆逊许可公司 用于确定沉浸式内容中的兴趣点的方法和设备
CN108073285A (zh) * 2018-01-02 2018-05-25 联想(北京)有限公司 一种电子设备及控制方法
CN108073285B (zh) * 2018-01-02 2021-05-18 联想(北京)有限公司 一种电子设备及控制方法
CN108833937A (zh) * 2018-05-30 2018-11-16 华为技术有限公司 视频处理方法和装置
WO2019227904A1 (zh) * 2018-05-30 2019-12-05 华为技术有限公司 视频处理方法和装置
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
US11902350B2 (en) 2018-05-30 2024-02-13 Huawei Technologies Co., Ltd. Video processing method and apparatus
CN112313604A (zh) * 2018-06-28 2021-02-02 索尼公司 解码设备、解码方法和程序
CN112673334A (zh) * 2018-09-11 2021-04-16 索尼公司 信息处理装置、信息处理方法和记录介质
US12053101B2 (en) 2018-09-11 2024-08-06 Sony Corporation Information processing device, information processing method, and recording medium
WO2024160068A1 (zh) * 2023-02-03 2024-08-08 腾讯科技（深圳）有限公司 一种触觉媒体的数据处理方法及相关设备
WO2024169814A1 (zh) * 2023-02-16 2024-08-22 维沃移动通信有限公司 触觉信号编码方法、触觉信号解码方法、装置及设备

Also Published As

Publication number Publication date
EP3099030A1 (en) 2016-11-30
KR20160138908A (ko) 2016-12-06
TW201710859A (zh) 2017-03-16
EP3099035A1 (en) 2016-11-30
US10412202B2 (en) 2019-09-10
US20160352872A1 (en) 2016-12-01
JP2016225977A (ja) 2016-12-28
EP3099035B1 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
CN106210743A (zh) 对包含表示触觉效果的数据的包编码/解码的方法和设备
CN109375764B (zh) 一种头戴显示器、云端服务器、vr系统及数据处理方法
CA2928248C (en) Image display device and image display method, image output device and image output method, and image display system
JP2021518960A (ja) 画像処理方法及び装置、画像デバイス並びに記憶媒体
CN108227916A (zh) 用于确定沉浸式内容中的兴趣点的方法和设备
US20180200619A1 (en) Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
CN107850948A (zh) 混合现实社交
US10937220B2 (en) Animation streaming for media interaction
CN108668168B (zh) 基于Unity 3D的安卓VR视频播放器及其设计方法
JP2023549747A (ja) 触覚オブジェクトの表現フォーマット
JP2012033038A (ja) 模擬映像生成装置、方法、プログラム
CN110506419A (zh) 在虚拟现实中渲染扩展视频
JP2018533317A (ja) 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム
CN114616548A (zh) 使用多表面显示协议传送表面数据的人工现实系统
CN104216533B (zh) 一种基于DirectX9的头戴式虚拟现实显示器
CN109003336A (zh) 虚拟现实影像的处理方法、系统及计算机可读存储介质
US20210074025A1 (en) A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
CN109005401A (zh) 消费沉浸内容项时激励观看者转向参考方向的方法和装置
JP6005254B2 (ja) 複数のローカルな力フィードバックを用いてグローバルな６自由度運動効果を提供する方法
CN106303493A (zh) 图像处理方法及装置
CN109922342A (zh) 全景视频解码方法及装置
US11937070B2 (en) Layered description of space of interest
Lv Bringing immersive enjoyment to hyperbaric oxygen chamber users using virtual reality glasses
CN110109550A (zh) 一种vr沉浸式的系外行星探测演示系统
WO2018086960A1 (en) Method and device for transmitting data representative of an image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161207