CN116303243A

CN116303243A - 触觉媒体的处理方法、装置、介质及电子设备

Info

Publication number: CN116303243A
Application number: CN202310284262.4A
Authority: CN
Inventors: 胡颖
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2023-03-13
Filing date: 2023-03-13
Publication date: 2023-06-23

Abstract

本申请属于多媒体技术领域，具体涉及一种触觉媒体的处理方法、触觉媒体的处理装置、计算机可读介质、电子设备以及计算机程序产品。该触觉媒体的处理方法包括：获取包含触觉媒体的媒体文件；从所述媒体文件中解码得到对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。本申请可以统一触觉媒体的表达方式，提高触觉媒体的数据处理效率。

Description

触觉媒体的处理方法、装置、介质及电子设备

技术领域

本申请属于多媒体技术领域，具体涉及一种触觉媒体的处理方法、触觉媒体的处理装置、计算机可读介质、电子设备以及计算机程序产品。

背景技术

沉浸式媒体内容的呈现往往伴随着各种各样的可穿戴设备或者可交互设备。因此，沉浸式媒体在呈现方式上，除了传统的视觉和听觉方面的呈现外，还具备触觉呈现这种新的呈现方式。然而，随着触觉媒体内容的类型逐渐丰富多样，各种不同类型的触觉媒体往往难以形成统一的表达方式，因而导致触觉媒体处理效率低的问题。

发明内容

本申请提供一种触觉媒体的处理方法、触觉媒体的处理装置、计算机可读介质、电子设备以及计算机程序产品，目的在于统一触觉媒体的表达方式，提高触觉媒体的数据处理效率。

根据本申请实施例的一个方面，提供一种触觉媒体的处理方法，该方法包括：获取包含触觉媒体的媒体文件；从所述媒体文件中解码得到对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。

根据本申请实施例的一个方面，提供一种触觉媒体的处理装置，该装置包括：第一获取模块，被配置为获取包含触觉媒体的媒体文件；解码模块，被配置为从所述媒体文件中解码得到对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。

在本申请的一些实施例中，基于以上技术方案，解码模块可以进一步包括：解封装模块，被配置为对所述媒体文件进行解封装处理，得到触觉媒体位流，所述触觉媒体位流包括对应于所述元数据的位流头和对应于所述触觉事件的位流负载；位流解码模块，被配置为对所述触觉媒体位流进行解码处理，得到对应于一次触觉体验的交换格式文件。

根据本申请实施例的一个方面，提供一种触觉媒体的处理方法，该方法包括：获取对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件；将所述交换格式文件编码为包含触觉媒体的媒体文件。

根据本申请实施例的一个方面，提供一种触觉媒体的处理装置，该装置包括：第二获取模块，被配置为获取对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件；编码模块，被配置为将所述交换格式文件编码为包含触觉媒体的媒体文件。

在本申请的一些实施例中，基于以上技术方案，编码模块可以进一步包括：文件编码模块，被配置为对所述交换格式文件进行编码处理，得到触觉媒体位流，所述触觉媒体位流包括对应于所述元数据的位流头和对应于所述触觉事件的位流负载；封装模块，被配置为对所述触觉媒体位流进行封装处理，得到包含触觉媒体的媒体文件。

根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的触觉媒体的处理方法。

根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器被配置为执行所述可执行指令来实现如以上技术方案中的触觉媒体的处理方法。

根据本申请实施例的一个方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如以上技术方案中的触觉媒体的处理方法。

在本申请实施例提供的技术方案中，通过为对应于一种或多种触觉类型的触觉事件提供基础元数据，可以使用该基础元数据描述一次触觉体验，并将基础元数据和触觉事件编码封装在对应于一次触觉体验的交换格式文件中，使得客户端和服务器之间可以利用该交换格式文件完成一次触觉体验的数据传输和渲染呈现。本申请实施例提供了统一的触觉媒体内容表示方法，提高了触觉媒体的数据处理效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例在一个应用场景中对于触觉媒体的编解码流程示意图。

图2示出了本申请实施例在一个应用场景中的系统架构。

图3示出了本申请一个实施例中解码端的触觉媒体的处理方法的流程图。

图4示出了本申请一个实施例中交换格式文件包含的数据结构。

图5示出了本申请一个实施例中编码端的触觉媒体的处理方法的流程图。

图6示意性地示出了本申请实施例提供的解码端的触觉媒体的处理装置的结构框图。

图7示出了本申请实施例提供的编码端的触觉媒体的处理装置的结构框图。

图8示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本申请的具体实施方式中，涉及到触觉媒体等相关的数据，当本申请的各个实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

在本申请实施例中，沉浸式媒体是指能够为消费者提供沉浸式体验的媒体内容，使沉浸于该媒体内容中的消费者能够获得现实世界中视觉、听觉等感官体验的媒体。沉浸式媒体按照消费者在消费媒体内容时的自由度(Degree of Freedom，DoF)，可以分为3DoF媒体、3DoF+媒体以及6DoF媒体；3DoF媒体可支持用户通过3DoF(即三自由度)来消费相应的媒体内容，3DoF+媒体可支持用户通过3DoF+来消费相应的媒体内容，6DoF媒体可支持用户通过6DoF来消费相应的媒体内容。其中，3DoF是指用户在一个三维空间的中心点固定，用户头部可围绕X轴、Y轴和Z轴旋转的三种自由度；3DoF+是指在三自由度的基础上，用户头部还可沿着X轴、Y轴和Z轴进行有限运动(如在有限空间中的平移)的自由度；6DoF是指在三自由度的基础上，消费者还可沿着X轴、Y轴和Z轴进行自由运动(如自由平移)的自由度。需说明的是，本申请实施例所提及的自由度，可理解成是用户在观看沉浸式媒体时，支持用户运动并产生内容交互的自由度。

在沉浸式媒体在呈现方式上，除了传统的视觉和听觉方面的呈现外，还具备触觉呈现Haptics这种新的呈现方式。触觉呈现通过硬件与软件结合的触觉呈现机制，允许用户通过身体部位接收信息，提供一种嵌入式的身体感觉，传递关于用户正在使用的系统的关键信息。例如，手机会振动以提醒其主人收到了一条信息。这种振动是触觉呈现的一种类型。触觉呈现可以增强听觉和视觉呈现，提高用户体验。

触觉媒体信号Haptics Signal用于表示特定模态的触觉体验，是在特定的触觉设备上渲染呈现的信号，通常可以分为振动触觉、运动学触觉、电触觉等多种类别。

振动触觉，是以振动的形式直接进行触觉呈现。振动触觉可以通过终端设备的马达振动模拟出特定频率和强度的振动。例如，射击类游戏中通过振动模拟出枪械道具使用时的特定效果。

运动学触觉，用于模拟物体的重量或压力等运动状态。例如，在一个涉及汽车等载具驾驶的游戏中，当以较高的速度移动或操作较重的车辆时，方向盘可能会抵制转动。这种类型的反馈直接影响用户的肌肉。在驾驶游戏的例子中，用户必须施加更多的力量才能从方向盘获得所需的反应。

电触觉，是通过电刺激模拟特定质地的反馈信息。电触觉呈现使用电脉冲向用户皮肤的神经末梢提供触觉刺激。电触觉呈现可以为穿着装有电触觉技术的套装或手套的用户创造高度真实的体验。几乎任何感觉都可以用电脉冲来模拟：温度变化、压力变化、潮湿感。

从日常普遍应用的设备振动触觉，到细分领域的多样化触觉呈现，触觉呈现本身已经是一种用户习惯的呈现方式。而随着可穿戴设备和可交互设备的普及，用户在消费媒体内容时可感知的触觉呈现将不再局限于基础的振动触觉，而是包括振动、压力、速度、加速度、温度、湿度、嗅觉等全方位体感的更逼近真实世界的触觉呈现体验。

在本申请的相关技术中，如何高效、统一地表达触觉媒体内容是触觉媒体消费的痛点。因此，本申请实施例提出了一种通用的触觉媒体内容表示方法，用于表示不同类型的触觉媒体信号，并基于触觉媒体信号的表示支持触觉媒体的编码。本申请实施例具体可以应用于涉及触觉反馈的相关产品中，例如沉浸式系统的服务器端、播放器端以及中间节点等环节。

如图1所示，通过采集设备110对触觉事件A进行信号采集，得到触觉信号的幅值、频率、时间等各项描述信息。采集设备110可以是用于从现实世界中采集真实触觉信号的传感器设备，或者可以是通过软件模拟触觉效果而产生虚拟触觉信号的计算机设备。采集设备110对触觉事件A进行信号采集后形成交换格式文件B，交换格式文件B是由大量触觉事件组成的具有指定交换格式的文件。通过编码器120可以对一个或多个交换格式文件进行编码处理，得到编码后的触觉媒体位流E。文件封装器130可以根据特定的文件格式，对一个或多个编码比特流进行封装处理，得到用于文件回放的媒体文件F或一系列初始化段和用于流式传输的媒体片段Fs。

文件封装器230输出的媒体文件F与文件解封装器240输入的媒体文件F'相同。文件解封装器通过处理媒体文件F'或处理接收到的媒体片段F's，可以提取得到编码比特流E'并解析元数据。

解码器250可以将触觉媒体位流解码为解码信号D'，并根据解码信号D'生成触觉媒体数据。适用时，基于由各种类型的传感器(例如头部)确定的当前观看位置、观看方向或视口，可以通过渲染器260将触觉媒体数据渲染并显示到头戴式显示器或任何其他触觉设备上。除了被播放器用来访问解码后的触觉媒体数据的适当部分外，当前的观看位置或观看方向也可以用于解码优化。在视口相关的内容分发器270中，当前的观看位置和观看方向也被传递给策略模块，该策略模块可以用于确定要接收的轨道。

在触觉媒体的传输技术中，通常采用流化传输技术来处理服务器和客户端之间的媒体资源传输。常见的媒体流化传输技术包括DASH(Dynamic Adaptive Streaming overHTTP)，HLS(HTTP Live Streaming)，SMT(Smart Media Transport)等技术。

以DASH为例，DASH是一种自适应比特率流技术，使高质量流媒体可以通过传统的HTTP网络服务器以互联网传递。DASH会将内容分解成一系列小型的基于HTTP的文件片段，每个片段包含很短长度的可播放内容，而内容总长度可能长达数小时(例如电影或体育赛事直播)。内容将被制成多种比特率的备选片段，以提供多种比特率的版本供选用。当媒体内容被DASH客户端播放时，客户端将根据当前网络条件自动选择下载和播放哪一个备选方案。客户端将选择可及时下载的最高比特率片段进行播放，从而避免播放卡顿或重新缓冲事件。也因如此，DASH客户端可以无缝适应不断变化的网络条件并提供高质量的播放体验，拥有更少的卡顿与重新缓冲发生率。SMT(Smart Media Transport)是一种智能媒体传输标准，规定了涵盖封装格式、传输协议及信令消息的智能媒体传输技术，以应用于异构包交换网络下多媒体数据的传输和发送。

图2示出了本申请实施例在一个应用场景中的系统架构。如图2所示，该系统架构可以包括客户端201和服务器202。客户端201可以包括智能手机、平板电脑、笔记本电脑、台式电脑、智能音箱、智能穿戴设备、智能车载设备、智能支付终端等各种电子设备。服务器202可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端201和服务器202之间通过网络连接，该网络可以是能够在客户端201和服务器202之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。

根据实现需要，本申请实施例中的系统架构可以具有任意数目的客户端和服务器。例如，服务器202可以是由多个服务器设备组成的服务器群组。另外，本申请实施例提供的技术方案可以应用于客户端201，也可以应用于服务器202，或者可以由客户端201和服务器202共同实施，本申请对此不做特殊限定。

举例而言，本申请实施例中的一种触觉媒体表示方法可以包括如下过程。

(1)服务器202根据预期的触觉媒体效果，制作或采集触觉媒体信号，并生成触觉媒体信号交换格式，具体包含如下信息：触觉媒体的基础元数据、呈现设备信息、呈现人物信息；单个触觉媒体信号的类型、时域信息、频域信息、知识触觉信号信息；单个触觉媒体信号的呈现相关元数据。

(2)服务器202将触觉媒体信号压缩为触觉媒体位流。

(3)服务器202将触觉媒体位流封装为触觉媒体文件并传输给用户所在的客户端201。服务器202可以直接传输完整文件F至客户端201；服务器202页可以通过流化传输，传输一个或多个文件片段Fs至客户端201。在流化传输中，服务器需要将描述媒体资源的信令消息发送给客户端201，客户端201再根据信令消息请求特定的媒体资源。该信令消息例如可以是DASH中的媒体演示描述信令MPD(media presentation description)，用于描述媒体片段信息。

(4)客户端201解析文件F或者文件片段Fs，得到包含触觉信号的触觉媒体文件，经过解封装和解码后，得到触觉媒体信号，并向用户渲染呈现该触觉媒体信号。

下面结合具体实施方式对本申请提供的触觉媒体的处理方法、触觉媒体的处理装置、计算机可读介质、电子设备以及计算机程序产品等技术方案做出详细说明。

图3示出了本申请一个实施例中解码端的触觉媒体的处理方法的流程图，该触觉媒体的处理方法可以由图2所示的客户端或服务器执行，本申请实施例以客户端执行的方法作为示例进行说明。如图3所示，该触觉媒体的处理方法可以包括以下步骤S310至S320。

S310：获取包含触觉媒体的媒体文件。

在一些可选的实施方式中，媒体文件可以是对触觉媒体的信号进行单独编码封装而得到的文件或文件片段。例如，服务器可以将采集设备采集得到的触觉事件单独编码封装形成触觉媒体文件。

在另一些可选的实施方式中，媒体文件也可以是将触觉媒体与其他模态的媒体信号进行共同编码封装而得到的文件或文件片段。例如，服务器可以将采集设备采集得到的触觉事件与视频、音频等其他模态的媒体信号进行共同编码封装而形成多媒体文件。

S320：从媒体文件中解码得到对应于一次触觉体验的交换格式文件，交换格式文件包括用于描述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。

交换格式文件指的是用于在服务器端与客户端之间进行数据传输与交换的格式文件，其数据交换格式例如可以包括可扩展标记语言XML或者文本数据交换格式JSON。

JSON(JavaScript Object Notation)即JavaScript对象简谱，是一种轻量级的数据交换格式。JSON采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

基础元数据(Metadata)是用于描述与渲染场景和触觉媒体内容相关的特征信息。一个触觉事件可以表示单个触觉信号，可以在一个交换格式文件中可包含一个触觉事件，或者可以在一个交换格式文件中包含多个对应于相同触觉类型或者不同触觉类型的触觉事件。触觉类型指的是表示不同触觉感受的信号类型，例如振动、温度、压力等等。

当本申请实施例中的交换格式文件为JSON格式的文件时，文件中的基础元数据和触觉事件均可以表示为JSON对象。

在本申请实施例提供的触觉媒体的处理方法中，通过为对应于一种或多种触觉类型的触觉事件提供基础元数据，可以使用该基础元数据描述一次触觉体验，并将基础元数据和触觉事件编码封装在对应于一次触觉体验的交换格式文件中，使得客户端和服务器之间可以利用该交换格式文件完成一次触觉体验的数据传输和渲染呈现。本申请实施例提供了统一的触觉媒体内容表示方法，提高了触觉媒体的数据处理效率。

根据触觉信号交换格式的定义，一个JSON交换格式文件中可以包含多个类型的JSON对象，这些JSON对象构成了触觉信号交换格式的基础数据格式。

图4示出了本申请一个实施例中交换格式文件包含的数据结构。如图4所示，在一个交换格式文件中可以包含元数据Metadata和触觉事件Event两种元素，另外还可以包括目标对象Avatar、触觉设备Device、触觉模式Pattern、触觉通道Channel或者分量组件Component等元素中的一个或多个。其中各个元素的描述信息如下方表1所示。

表1

在本申请的一个实施例中，一个触觉事件对应于一个触觉信号，触觉事件的数据结构可以包括事件类型字段或事件参数字段中的至少一种。

事件类型字段event_type，用于指示触觉事件的渲染类型，触觉事件event的渲染类型包括瞬时事件、持续事件或者参考事件中的至少一种；瞬时事件是在指定时间节点完成渲染的事件，持续事件是在指定时间段内完成渲染的事件，参考事件是在事件库中存在的可供引用的知识事件。事件类型字段event_type可以是具有枚举enum类型的字段，其中每种渲染类型可以用字符串string表示。事件库中提供的知识事件能够在多个不同的触觉事件中作为参考事件被多次引用，而不必在所有的触觉事件中重复定义该知识事件的数据结构。

事件参数字段，用于指示触觉事件的渲染参数，触觉事件的渲染参数包括渲染幅值和渲染频率中的至少一种；渲染幅值是渲染触觉事件的信号最大幅值，渲染频率是渲染触觉事件的信号基准频率。在一个触觉事件的数据结构中可以包括多个对应于不同渲染参数的事件参数字段，例如最大幅值字段amplitude和基准频率字段base_frequency。

在本申请的一个实施例中，触觉事件的数据结构还包括事件设备字段、事件对象字段或者事件偏移字段中的至少一种。

事件设备字段refer_devices，用于指示渲染触觉事件的触觉设备的标识符。

事件对象字段refer_avatars，用于指示渲染触觉事件的目标对象的标识符。

事件偏移字段relative_time，用于指示渲染触觉事件的时间偏移量。

在本申请的一个实施例中，当触觉事件的渲染类型为参考事件时，触觉事件的数据结构还包括事件库字段refer_library_event，事件库字段用于指示与参考事件相对应的知识事件的标识符。

当触觉事件的渲染类型为持续事件时，触觉事件的数据结构还包括持续时间字段duration，持续时间字段用于指示渲染持续事件的时间段的长度。

在本申请的一个实施例中，触觉事件的数据结构还可以包括事件组件数组event_components，事件组件数组用于指示组成触觉事件的一个或者多个分量组件，分量组件包括时域分量或者频域分量。

在本申请的一个实施例中，组成触觉事件的数据结构的各个字段的描述信息如下方表2所示。

表2

在本申请的一个实施例中，分量组件的数据结构包括组件时间字段、组件幅值字段、组件频率字段中的至少一种。一个触觉事件的分量组件对应触觉信号的时域分量或者频域分量。

组件时间字段relative_time，用于指示分量组件在触觉事件中的时间偏移量。

组件幅值字段relative_amplitude，用于指示分量组件在触觉事件中的信号幅值比例。

组件频率字段relative_frequency，用于指示分量组件在触觉事件中的频率偏移量。

在本申请的一个实施例中，组成分量组件的数据结构的各个字段的描述信息如下方表3所示。

表3

在本申请的一个实施例中，具有相同触觉类型的触觉事件包含在同一个触觉模式中；触觉模式的数据结构包括模式类型字段pattern_type，模式类型字段用于指示触觉模式中包含的所有触觉事件的触觉类型。

在本申请的一个实施例中，触觉模式的数据结构还包括模式设备字段、模式对象字段、或者模式库字段中的至少一种。

模式设备字段refer_devices，用于指示渲染触觉模式的触觉设备的标识符；

模式对象字段refer_avatars，用于指示渲染触觉模式的目标对象的标识符；

模式库字段library_events，用于指示与触觉模式相对应的包含在事件库中的知识事件的标识符。

在本申请的一个实施例中，触觉模式的数据结构包括一个或者多个具有相同触觉类型的触觉通道Channel，包含在同一个触觉通道中的触觉事件在指定分类属性上具有相同属性值。例如，一个触觉通道中包含的多个触觉事件是在相同的目标对象上渲染的事件。又例如，一个触觉通道中包含的多个触觉事件是在相同的触觉设备上渲染的事件。

在本申请的一个实施例中，触觉通道的数据结构包括通道设备字段、通道对象字段、通道增益字段、通道权重字段或者通道优先级字段中的至少一种。

通道设备字段refer_devices，用于指示渲染触觉通道的触觉设备的标识符。

通道对象字段refer_avatars，用于指示渲染触觉通道的目标对象的标识符。

通道增益字段gain，用于指示渲染触觉通道的信号增益信息。

通道权重字段mix_weight，用于指示对多个触觉通道进行混合时的权重信息。

通道优先级字段priority，用于指示对多个触觉通道进行渲染时的排序优先级。

在本申请的一个实施例中，AVS_haptics_channel元素指示触觉通道，触觉通道包含一个或多个触觉事件以及相关的元数据。对于某一个触觉模式下所有触觉事件，可以按照特定的原则划分为一个或多个触觉通道。比如按照不同的呈现设备、不同的呈现时间划分等。触觉通道的数据结构的各个字段的描述信息如下方表4所示。

表4

在本申请的一个实施例中，AVS_haptics_pattern元素指示触觉模式，触觉模式包含一个或多个触觉通道以及相关的元数据。一个触觉模式对应某一种类型的触觉信号。触觉模式的数据结构的各个字段的描述信息如下方表5所示。

表5

在本申请的一个实施例中，当触觉事件是直接包含于触觉模式中的元素时，触觉模式的数据结构还包括模式增益字段、模式权重字段或者模式优先级字段中的至少一种。

模式增益字段gain，用于指示渲染触觉模式的信号增益信息。

模式权重字段mix_weight，用于指示对多个触觉模式进行混合时的权重信息。

模式优先级字段priority，用于指示对多个触觉模式进行渲染时的排序优先级。

在本申请的一个实施例中，将上述定义中的channel省略，直接将event包含于pattern中，此时pattern包含channel中的部分字段，以支持不同pattern混合、优先级排序等效果。触觉模式的数据结构中包含的与channel相关的各个字段的描述信息如下方表6所示。

表6

在本申请的一个实施例中，交换格式文件中的基础元数据可以包括体验时间字段和模式元素数组。

体验时间字段creation_date，用于指示创建触觉体验的时间节点信息。

模式元素数组pattern，包括用于指示对应于触觉体验的一个或多个触觉模式的元素。

在本申请的一个实施例中，基础元数据还包括对象元素数组或者设备元素数组中的至少一种。

对象元素数组avatar，包括用于指示渲染触觉体验的一个或多个目标对象的元素。

设备元素数组device，包括用于指示渲染触觉体验的一个或多个触觉设备的元素。

在本申请的一个实施例中，AVS_haptics元素为交换格式的最高层级元素，表示触觉体验。其包含基础文件信息相关的元数据；可能包含一个或多个设备信息元素、人物元素；必须包含一个或多个触觉模式。AVS_haptics元素对应的基础元数据的数据结构中各个字段的描述信息如下方表7所示。

表7

在本申请的一个实施例中，交换格式文件还包括触觉对象或触觉设备中的至少一种。

触觉对象avatar，用于指示渲染触觉体验的一个或多个目标对象的描述信息。

触觉设备device，用于指示渲染触觉体验的一个或多个触觉设备的描述信息。

在本申请的一个实施例中，触觉对象的数据结构包括对象标识字段或对象部位字段中的至少一种。

对象标识字段id，用于指示渲染触觉体验的目标对象的标识符。

对象部位字段body_part，用于指示在目标对象上渲染触觉体验的局部位置。

在本申请的一个实施例中，触觉对象的数据结构还包括部位类型字段body_definition_type，用于指示描述局部位置时遵循的标准类型信息。

在本申请的一个实施例中，AVS_haptics_avatar元素指示人物信息，人物信息用于指示触觉信号渲染对应的人物身体部位等。AVS_haptics_avatar元素对应的触觉对象的数据结构中各个字段的描述信息如下方表8所示。

表8

在本申请的一个实施例中，关于身体部位的定义示例如下方表9所示。

表9

0	未定义	00000000000000000000000000000000	0
				1	头部前方	00000000000000000000000000000001	1
2	头部后方	00000000000000000000000000000010	2
				3	头部右侧	00000000000000000000000000000100	4
4	头部左侧	00000000000000000000000000001000	8
				5	胸部右上	00000000000000000000000000010000	16
6	胸部左上	00000000000000000000000000100000	32

在本申请的一个实施例中，触觉设备的数据结构包括设备标识字段、设备类型字段、相关对象字段或者相关部位字段中的至少一种。

设备标识字段id，用于指示渲染触觉体验的触觉设备的标识符。

设备类型字段device_type，用于指示触觉设备的类型。

相关对象字段refer_avatar，用于指示使用触觉设备渲染触觉体验的目标对象的标识符。

相关部位字段refer_body_parts，用于指示使用触觉设备在目标对象上渲染触觉体验的局部位置的描述信息。

在本申请的一个实施例中，AVS_haptics_device元素指示设备信息，设备信息用于指示触觉信号渲染对应的设备和设备相关的处理等。AVS_haptics_device元素相关的触觉设备的数据结构中各个字段的描述信息如下方表10所示。

表10

在本申请的一个实施例中，从媒体文件中解码得到对应于一次触觉体验的交换格式文件的方法可以包括：对媒体文件进行解封装处理，得到触觉媒体位流，触觉媒体位流包括对应于元数据的位流头和对应于触觉事件的位流负载；对触觉媒体位流进行解码处理，得到对应于一次触觉体验的交换格式文件。

在本申请的一个实施例中，对媒体文件进行解封装处理得到的触觉媒体位流可以是二进制位流格式的数据流。在触觉信号交换格式的基础上，可以将交换格式转化为二进制位流格式，以便于后续的文件封装和传输。交换格式和二进制位流格式在数据结构上可以互相对应。

二进制位流由二进制头和二进制负载组成。其中二进制头部分包含触觉体验、触觉模式、触觉通道相关的元数据，二进制负载包含触觉事件。

在本申请的一个实施例中，二进制位流中有关触觉体验AVS_haptics的语法结构的描述信息如下方表11所示。

表11

versionStringSize、dateStringSize、descriptionStringSize分别指示相应字符串的字节数。

avatarCount、deviceCount、patternCount分别指示相应数据结构的数量。

其余字段和数据结构与交换格式中定义的相应字段和数据结构相对应。

在本申请的一个实施例中，二进制位流中有关目标对象AVS_haptics_avatar的语法结构的描述信息如下方表12所示。

表12

bodyTypeStringSize指示相应字符串的字节数。

在本申请的一个实施例中，二进制位流中有关触觉设备AVS_haptics_device的语法结构的描述信息如下方表13所示。

表13

deviceTypeFlag、referAvatarFlag、referBodyPartsFlag分别指示是否存在设备类型信息、参考人物信息以及参考身体部位信息。

在本申请的一个实施例中，二进制位流中有关触觉模式AVS_haptics_pattern的语法结构的描述信息如下方表14所示。

表14

patternType指示模式类型，各模式类型的取值含义如下方表15所示。

表15

取值	含义
		0	其他
1	振动触觉
		2	压力
3	加速度
		4	速度
5	温度
		6	电触觉
7-255	保留

referDeviceCount、referAvatarCount、libraryEventCount、channelCount分别指示参考设备数量、参考人物数量、知识事件数量、通道数量。

libraryEventId指示知识事件的标识符。

在本申请的一个实施例中，二进制位流中有关触觉通道AVS_haptics_channel的语法结构的描述信息如下方表16所示。

表16

descriptionStringSize指示相应字符串的字节数。

referDeviceCount、referAvatarCount、eventCount分别指示参考设备数量、参考人物数量、事件数量。

gainFlag、weightFlag、priorityFlag分别指示当前通道是否包含增益信息、权重信息、优先级信息。

eventId指示当前通道包含的事件的标识符。

在本申请的一个实施例中，二进制负载由一个或多个事件组成，单个事件AVS_haptics_event的语法结构的描述信息如下方表17所示。

表17

eventStartCode表示事件的起始码。

eventType取值为0表示瞬时事件，取值为1表示持续时间，取值为2表示参考时间。对于瞬时事件来说，其持续时间为固定数值，通常取决于设备。

referDeviceCount、referAvatarCount、eventComponentCount分别指示参考设备数量、参考人物数量、事件组件数量。

libEventFlag取值为1表示当前事件是知识事件，取值为0表示当前事件不是知识事件。知识事件不具备时间偏移值。

在本申请的一个实施例中，二进制位流中有关分量组件AVS_haptics_event_component的语法结构的描述信息如下方表18所示。

表18

图5示出了本申请一个实施例中编码端的触觉媒体的处理方法的流程图，该触觉媒体的处理方法可以由图2所示的客户端或服务器执行，本申请实施例以服务器执行的方法作为示例进行说明。如图5所示，该触觉媒体的处理方法可以包括以下步骤S510至S520。

S510：获取对应于一次触觉体验的交换格式文件，交换格式文件包括用于描述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。

S520：将交换格式文件编码为包含触觉媒体的媒体文件。

在本申请的一个实施例中，将交换格式文件编码为包含触觉媒体的媒体文件的方法可以包括：对交换格式文件进行编码处理，得到触觉媒体位流，触觉媒体位流包括对应于元数据的位流头和对应于触觉事件的位流负载；对触觉媒体位流进行封装处理，得到包含触觉媒体的媒体文件。

编码端的触觉媒体的处理方法中各个方法步骤的具体实现方式与解码端对应，此处不再赘述。

应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的触觉媒体的处理方法。

图6示意性地示出了本申请实施例提供的解码端的触觉媒体的处理装置的结构框图。如图6所示，解码端的触觉媒体的处理装置600可以包括：

第一获取模块610，被配置为获取包含触觉媒体的媒体文件；

解码模块620，被配置为从媒体文件中解码得到对应于一次触觉体验的交换格式文件，交换格式文件包括用于描述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。

在本申请的一个实施例中，解码模块620可以进一步包括：

解封装模块，被配置为对所述媒体文件进行解封装处理，得到触觉媒体位流，所述触觉媒体位流包括对应于所述元数据的位流头和对应于所述触觉事件的位流负载；

位流解码模块，被配置为对所述触觉媒体位流进行解码处理，得到对应于一次触觉体验的交换格式文件。

图7示出了本申请实施例提供的编码端的触觉媒体的处理装置的结构框图。如图7所示，编码端的触觉媒体的处理装置700可以包括：

第二获取模块710，被配置为获取对应于一次触觉体验的交换格式文件，交换格式文件包括用于描述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件；

编码模块720，被配置为将交换格式文件编码为包含触觉媒体的媒体文件。

在本申请的一个实施例中，编码模块720可以进一步包括：

文件编码模块，被配置为对所述交换格式文件进行编码处理，得到触觉媒体位流，所述触觉媒体位流包括对应于所述元数据的位流头和对应于所述触觉事件的位流负载；

封装模块，被配置为对所述触觉媒体位流进行封装处理，得到包含触觉媒体的媒体文件。

本申请各实施例中提供的触觉媒体的处理装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。

图8示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。

需要说明的是，图8示出的电子设备的计算机系统800仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理器801(Central Processing Unit，CPU)，其可以根据存储在只读存储器802(Read-Only Memory，ROM)中的程序或者从存储部分808加载到随机访问存储器803(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器803中，还存储有系统操作所需的各种程序和数据。中央处理器801、在只读存储器802以及随机访问存储器803通过总线804彼此相连。输入/输出接口805(Input/Output接口，即I/O接口)也连接至总线804。

以下部件连接至输入/输出接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至输入/输出接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理器801执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种触觉媒体的处理方法，其特征在于，包括：

获取包含触觉媒体的媒体文件；

从所述媒体文件中解码得到对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。

2.根据权利要求1所述的触觉媒体的处理方法，其特征在于，所述触觉事件的数据结构包括以下字段中的至少一种：

事件类型字段，用于指示所述触觉事件的渲染类型，所述触觉事件的渲染类型包括瞬时事件、持续事件或者参考事件中的至少一种；所述瞬时事件是在指定时间节点完成渲染的事件，所述持续事件是在指定时间段内完成渲染的事件，所述参考事件是在事件库中存在的可供引用的知识事件；

事件参数字段，用于指示所述触觉事件的渲染参数，所述触觉事件的渲染参数包括渲染幅值和渲染频率中的至少一种；所述渲染幅值是渲染所述触觉事件的信号最大幅值，所述渲染频率是渲染所述触觉事件的信号基准频率。

3.根据权利要求2所述的触觉媒体的处理方法，其特征在于，所述触觉事件的数据结构还包括：

事件组件数组，用于指示组成所述触觉事件的一个或者多个分量组件，所述分量组件包括时域分量或者频域分量。

4.根据权利要求3所述的触觉媒体的处理方法，其特征在于，所述分量组件的数据结构包括以下字段中的至少一种：

组件时间字段，用于指示所述分量组件在所述触觉事件中的时间偏移量；

组件幅值字段，用于指示所述分量组件在所述触觉事件中的信号幅值比例；

组件频率字段，用于指示所述分量组件在所述触觉事件中的频率偏移量。

5.根据权利要求2所述的触觉媒体的处理方法，其特征在于：

当所述触觉事件的渲染类型为参考事件时，所述触觉事件的数据结构还包括事件库字段，所述事件库字段用于指示与所述参考事件相对应的所述知识事件的标识符；

当所述触觉事件的渲染类型为持续事件时，所述触觉事件的数据结构还包括持续时间字段，所述持续时间字段用于指示渲染所述持续事件的时间段的长度。

6.根据权利要求2所述的触觉媒体的处理方法，其特征在于：所述触觉事件的数据结构还包括以下字段中的至少一种：

事件设备字段，用于指示渲染所述触觉事件的触觉设备的标识符；

事件对象字段，用于指示渲染所述触觉事件的目标对象的标识符；

事件偏移字段，用于指示渲染所述触觉事件的时间偏移量。

7.根据权利要求1至6中任意一项所述的触觉媒体的处理方法，其特征在于，具有相同触觉类型的触觉事件包含在同一个触觉模式中；所述触觉模式的数据结构包括模式类型字段，所述模式类型字段用于指示所述触觉模式中包含的所有所述触觉事件的触觉类型。

8.根据权利要求7所述的触觉媒体的处理方法，其特征在于，所述触觉模式的数据结构还包括以下字段中的至少一种：

模式设备字段，用于指示渲染所述触觉模式的触觉设备的标识符；

模式对象字段，用于指示渲染所述触觉模式的目标对象的标识符；

模式库字段，用于指示与所述触觉模式相对应的包含在事件库中的知识事件的标识符。

9.根据权利要求7所述的触觉媒体的处理方法，其特征在于，当所述触觉事件是直接包含于所述触觉模式中的元素时，所述触觉模式的数据结构还包括以下字段中的至少一种：

模式增益字段，用于指示渲染所述触觉模式的信号增益信息；

模式权重字段，用于指示对多个所述触觉模式进行混合时的权重信息；

模式优先级字段，用于指示对多个所述触觉模式进行渲染时的排序优先级。

10.根据权利要求1至6中任意一项所述的触觉媒体的处理方法，其特征在于，所述触觉模式的数据结构包括一个或者多个具有相同触觉类型的触觉通道，包含在同一个所述触觉通道中的所述触觉事件在指定分类属性上具有相同属性值。

11.根据权利要求10所述的触觉媒体的处理方法，其特征在于，所述触觉通道的数据结构包括以下字段中的至少一种：

通道设备字段，用于指示渲染所述触觉通道的触觉设备的标识符；

通道对象字段，用于指示渲染所述触觉通道的目标对象的标识符；

通道增益字段，用于指示渲染所述触觉通道的信号增益信息；

通道权重字段，用于指示对多个所述触觉通道进行混合时的权重信息；

通道优先级字段，用于指示对多个所述触觉通道进行渲染时的排序优先级。

12.根据权利要求1至6中任意一项所述的触觉媒体的处理方法，其特征在于，所述基础元数据包括：

体验时间字段，用于指示创建所述触觉体验的时间节点信息；

模式元素数组，包括用于指示对应于所述触觉体验的一个或多个所述触觉模式的元素。

13.根据权利要求12所述的触觉媒体的处理方法，其特征在于，所述基础元数据还包括以下字段中的至少一种：

对象元素数组，包括用于指示渲染所述触觉体验的一个或多个目标对象的元素；

设备元素数组，包括用于指示渲染所述触觉体验的一个或多个触觉设备的元素。

14.根据权利要求1至6中任意一项所述的触觉媒体的处理方法，其特征在于，所述交换格式文件还包括以下对象中的至少一种：

触觉对象，用于指示渲染所述触觉体验的一个或多个目标对象的描述信息；

触觉设备，用于指示渲染所述触觉体验的一个或多个触觉设备的描述信息。

15.根据权利要求14所述的触觉媒体的处理方法，其特征在于，所述触觉对象的数据结构包括以下字段中的至少一种：

对象标识字段，用于指示渲染所述触觉体验的所述目标对象的标识符；

对象部位字段，用于指示在所述目标对象上渲染所述触觉体验的局部位置。

16.根据权利要求15所述的触觉媒体的处理方法，其特征在于，所述触觉对象的数据结构还包括：

部位类型字段，用于指示描述所述局部位置时遵循的标准类型信息。

17.根据权利要求14所述的触觉媒体的处理方法，其特征在于，所述触觉设备的数据结构包括以下字段中的至少一种：

设备标识字段，用于指示渲染所述触觉体验的所述触觉设备的标识符；

设备类型字段，用于指示所述触觉设备的类型；

相关对象字段，用于指示使用所述触觉设备渲染所述触觉体验的目标对象的标识符；

相关部位字段，用于指示使用所述触觉设备在所述目标对象上渲染所述触觉体验的局部位置的描述信息。

18.根据权利要求1至6中任意一项所述的触觉媒体的处理方法，其特征在于，从所述媒体文件中解码得到对应于一次触觉体验的交换格式文件，包括：

对所述媒体文件进行解封装处理，得到触觉媒体位流，所述触觉媒体位流包括对应于所述元数据的位流头和对应于所述触觉事件的位流负载；

对所述触觉媒体位流进行解码处理，得到对应于一次触觉体验的交换格式文件。

19.一种触觉媒体的处理方法，其特征在于，

获取对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件；

将所述交换格式文件编码为包含触觉媒体的媒体文件。

20.根据权利要求19所述的触觉媒体的处理方法，其特征在于，将所述交换格式文件编码为包含触觉媒体的媒体文件，包括：

对所述交换格式文件进行编码处理，得到触觉媒体位流，所述触觉媒体位流包括对应于所述元数据的位流头和对应于所述触觉事件的位流负载；

对所述触觉媒体位流进行封装处理，得到包含触觉媒体的媒体文件。

21.一种触觉媒体的处理装置，其特征在于，包括：

第一获取模块，被配置为获取包含触觉媒体的媒体文件；

解码模块，被配置为从所述媒体文件中解码得到对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件。

22.一种触觉媒体的处理装置，其特征在于，包括：

第二获取模块，被配置为获取对应于一次触觉体验的交换格式文件，所述交换格式文件包括用于描述所述触觉体验的基础元数据以及对应于一种或多种触觉类型的触觉事件；

编码模块，被配置为将所述交换格式文件编码为包含触觉媒体的媒体文件。

23.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至20中任意一项所述的触觉媒体的处理方法。

24.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为执行所述可执行指令以实现如权利要求1至20中任意一项所述的触觉媒体的处理方法。

25.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至20中任意一项所述的触觉媒体的处理方法。