CN106547357A

CN106547357A - 体感传感数据的通信处理方法及装置

Info

Publication number: CN106547357A
Application number: CN201611048388.8A
Authority: CN
Inventors: 包磊
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-11-22
Filing date: 2016-11-22
Publication date: 2017-03-29
Anticipated expiration: 2036-11-22
Also published as: CN106547357B; WO2018095001A1

Abstract

本发明适用于多媒体技术领域，提供了体感控制数据的通信处理方法及装置，所述方法包括：对于视频文件的每个图像帧，分别生成与该图像帧相关的体感控制数据包；将生成的所有所述体感控制数据包与所述视频文件建立关联；通过所述关联，在播放所述视频文件时同步输出所述体感控制数据包至体感传感装置。本发明基于视频文件的每个图像帧生成体感控制数据包，并将生成的体感控制数据包与该视频文件进行关联，从而在实际应用中能够在播放视频文件时同步输出图像帧相关的体感控制数据包，简单高效地实现了与视频内容所营造的虚拟环境相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。

Description

体感传感数据的通信处理方法及装置

技术领域

本发明属于多媒体技术领域，尤其涉及体感传感数据的通信处理方法及装置。

背景技术

现有技术可以对人所具有的其他体感进行模拟，包括对触感、力感、温感、湿感、风感、嗅觉等一切人体所具有的感知进行模拟。体感传感的实现原理为：向附着在人体体表的体感传感装置发送体感控制信号，以控制体感传感装置对人体进行各类体感模拟。例如，在VR游戏中与虚拟人物握手时，通过力反馈控制信号对位于手部的力传感器产生的力度大小及持续时间进行控制，从而带来与游戏中的握手行为相匹配的力反馈体验。然而，技术人员在研发过程中发现，现有技术至少存在以下技术缺陷：

现有的视频内容提供商及各类体感设备供应商各自独立提供服务，视频文件与体感传感控制信号的格式也各不相同，因此，若要产生与视频内容所营造的虚拟环境相匹配的体感体验，需要对二者的结合或同步输出进行大量的后期技术加工，会耗费大量的时间成本。

发明内容

有鉴于此，本发明实施例提供了体感传感数据的通信处理方法及装置，以解决现有技术中若要产生与视频内容所营造的虚拟环境相匹配的体感体验，需要对二者的结合或同步输出进行大量的后期技术加工，会耗费大量的时间成本的问题。

第一方面，本发明实施例提供了一种体感控制数据的通信处理方法，所述方法包括：

对于视频文件的每个图像帧，分别生成与该图像帧相关的体感控制数据包；

将生成的所有所述体感控制数据包与所述视频文件建立关联；

通过所述关联，在播放所述视频文件时同步输出所述体感控制数据包至体感传感装置。

作为第一方面的第一种可能的实现方式，所述分别生成与该图像帧相关的体感控制数据包包括；

获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；

将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；

所述M和所述N均为大于或等于1的整数。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述分别生成与该图像帧相关的体感控制数据包还包括；

若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；

所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。

作为第一方面的第四种可能的实现方式，所述将生成的所有所述体感控制数据包与所述视频文件建立关联包括：

对所述图像帧增加帧结构；

在增加的帧结构中写入与所述图像帧相关的体感传感数据包。

作为第一方面的第五种可能的实现方式，所述将生成的所有所述体感控制数据包与所述视频文件建立关联包括：

依照相关的图像帧的播放顺序，将生成的所有所述体感控制数据包依序排列，生成体感控制文件；

为所述视频文件和所述体感控制文件建立关联。

结合第一方面的第五种可能的实现方式，作为第六种可能的实现方式，为所述视频文件和所述体感控制文件建立关联包括：

对所述视频文件和所述体感控制文件进行相同命名操作。

第二方面，本发明实施例提供了一种体感控制数据的通信处理装置，所述装置包括：

生成单元，用于对于视频文件的每个图像帧，分别生成与该图像帧相关的体感控制数据包；

关联单元，用于将生成的所有所述体感控制数据包与所述视频文件建立关联；

输出单元，用于通过所述关联，在播放所述视频文件时同步输出所述体感控制数据包至体感传感装置。

作为第二方面的第一种可能的实现方式，所述生成单元包括；

获取子单元，用于获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；

第一写入子单元，用于将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；

所述M和所述N均为大于或等于1的整数。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述生成单元还包括；

第二写入子单元，用于若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。

作为第二方面的第四种可能的实现方式，所所述关联单元包括：

增加子单元，用于对所述图像帧增加帧结构；

第三写入子单元，用于在增加的帧结构中写入与所述图像帧相关的体感传感数据包。

作为第二方面的第五种可能的实现方式，所所述关联单元包括：

生成子单元，用于依照相关的图像帧的播放顺序，将生成的所有所述体感控制数据包依序排列，生成体感控制文件；

关联子单元，用于为所述视频文件和所述体感控制文件建立关联。

结合第二方面的第五种可能的实现方式，在第六种可能的实现方式中，所述关联子单元具体用于：

对所述视频文件和所述体感控制文件进行相同命名操作。

本发明实施例基于视频文件的每个图像帧生成体感控制数据包，并将生成的体感控制数据包与该视频文件进行关联，从而在实际应用中能够在播放视频文件时同步输出图像帧相关的体感控制数据包，简单高效地实现了与视频内容所营造的虚拟环境相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的体感控制数据的通信处理方法的实现流程图；

图2是本发明实施例提供的体感控制数据的通信处理方法S101的具体实现流程图；

图3是本发明实施例提供的体感控制数据的通信处理方法S102的具体实现流程图；

图4是本发明另一实施例提供的体感控制数据的通信处理方法S101的具体实现流程图；

图5是本发明实施例提供的体感控制数据的通信处理装置的结构框图；

图6是本发明实施例提供的一种计算节点的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在本发明实施例中，所述体感控制数据用于对体感传感装置进行控制，体感控制数据以体感控制信号的形式从体感控制装置发出，并传送至与体感控制装置电连接的体感传感装置中。在实际的产品形态中，体感控制装置及一个或多个的体感传感装置可与可穿戴产品相结合，例如，将体感控制装置与多个体感传感装置附着于包裹用户全身的可穿戴本体内，通过体感控制装置向多个体感传感装置分别输出体感控制数据，从而使得这多个体感传感装置根据各自接收到的体感控制数据对用户进行体感模拟。

图1示出了本发明实施例提供的体感控制数据的通信处理方法的实现流程，详述如下：

在S101中，对于视频文件的每个图像帧，分别生成与该图像帧相关的体感控制数据包。

所述视频文件，是指包含了音频、视频信息的多媒体文件，进一步地，所述视频文件还可以包括VR视频文件，其特点在于能够呈现3D及全视角的视觉效果。对于现有技术中存在多种视频文件格式，例如AVI、WMV、MPEG、MOV等视频文件格式，视频文件中的视频信息在获取时，其原始内容均是一帧一帧地拍摄和获取的，因此，播放视频文件实际上就是对拍摄的图像帧进行逐帧显示，并结合音频的同步播放以达到视听效果。因此，基于视频文件实质上是由图像帧所构成的数据特性，在本发明实施例中，以视频文件中的每个图像帧为一个数据包添加节点，分别生成与该图像帧相关的体感控制数据包。

进一步地，作为本发明的一个实施例，与一图像帧相关的体感控制数据包中可以携带一个或多个身体点位的体感控制数据，而其中每个身体点位的体感控制数据均包含一种或多种类型的体感传感装置的控制信息。具体地，如图2所示，生成一图像帧相关的体感控制数据包的过程如下：

S201，获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息。

S202，将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包。

其中，所述M和所述N均为大于或等于1的整数。

基于图2所示的实施例，当M和N均等于1时，与图像帧相关的体感控制数据包用于在该图像帧播放时，控制一个身体点位上的一种体感传感装置产生体感模拟；当M大于1且N等于1时，与每个图像帧相关的体感控制数据包用于在该图像帧播放时，控制多个身体点位上的同一种体感传感装置同时产生体感模拟；当M和N均大于1时，与每个图像帧相关的体感控制数据包用于在该图像帧播放时，控制多个身体点位上的多种体感传感装置同时产生体感模拟。

在本发明实施例中，对于每个身体点位，根据产品需求，至少可以集成如表1所列举的任意一种或多种类型的体感传感装置：

表1

序号	体感传感装置	序号	体感传感装置
				1	按摩/振动	8	风
2	触觉	9	湿润
				3	刺痛	10	外设灯
4	温暖/热	11	外设风湿
				5	冷	12	外设风冷
6	气味	13	机械外骨骼
				7	收缩

优选地，在本发明实施例中，还提出了一种体感控制数据包的帧格式，该帧格式的构成包括作为帧头的起始控制帧以及体感数据帧。

(一)起始控制帧中携带了若干字节的控制数据：

示例性地，如表2所示，该起始控制帧中包括了4个字节的控制数据，分别为控制帧字节1、控制帧字节2、控制帧字节3及控制帧字节4，每个控制帧字节可以根据体感控制的需要写入相应的数据内容，例如，可以用控制帧字节来表明体感控制数据包所覆盖的身体点位数量，或者表明该体感控制数据包是否需要被体感控制装置所屏蔽。

表2

(二)体感数据帧中携带了顺序写入的若干种体感传感器的体感控制数据，同时还预留了数据位，用于将来根据开发需要写入若干其他体感传感器的体感控制数据：

在体感数据帧中，每种体感传感器对应的体感控制数据可以用于表明该体感传感器相关的体感控制模式，或者用于描述该体感传感器相关的体感功能实现。示例性地，如表3所示，每种体感传感器对应4个字节的体感控制数据，分别为体感控制模式字节1、体感功能字节1、体感功能字节2及体感功能字节3。

表3

表4示出了一个完整的体感控制数据包的帧结构示例，从表4中可以看出，该体感控制数据包的帧头为4字节的起始控制帧，体感数据帧中顺序写入了13种体感传感装置的体感控制数据，同时还包括7种功能预留，能够再写入7种体感传感装置的体感控制数据，且每种体感传感装置的体感控制数据为4个字节。

表4

示例性地，表5示出了表1提及的13种体感传感前置对应的体感控制数据帧结构：

表5

在体感传感数据的通信处理过程中，若采用上文所述的帧格式生成体感控制数据包，一方面可以将多种不同类型的体感传感装置的体感控制数据整合为统一的数据格式，有效地消除感传感装置因来自不同的供应商而导致的碎片化现象，另一方面，将多种不同类型的体感传感装置的体感控制数据写入一个数据包中进行传输，也可以在一定程度上降低数据传输过程中丢包现象的出现，提高了数据通信的可靠性。

此外，在上文所述的体感控制数据包帧格式的基础之上，作为本发明的一个实施例，在生成体感控制数据包的过程中：

即，预设一个字符，对于任一图像帧来说，若在该图像帧播放的同时未对某个身体点位匹配某一类型的体感模拟，则在该图像帧相关的体感控制数据包中，将该身体点位对应的该类型的体感传感装置所占据的每个数据位均写入该预设字符。例如，在虚拟的室内环境中，不需要进行风感模拟，则在图像帧相关的体感控制数据包中，将所有身体点位上的风感传感装置所占据的每个数据位均写入该预设字符。

以上体感控制数据包的帧写入方案可以保证所有体感控制数据包的数据长度一致，这样一来，对于视频文件中的所有图像帧，相关的体感控制数据包数据长度均相同，有利于对整个视频文件相关的体感控制文件的数据量进行预估，并且可以有助于在数据校验过程中快速地发现丢包情况。

可选地，所述预设字符为0。

在S102中，将生成的所有所述体感控制数据包与所述视频文件建立关联。

在上文的S101中，对于视频文件的每个图像帧，分别生成了与该图像帧相关的体感控制数据包，在完成了所有体感控制数据包的生成之后，将生成的所有体感控制数据包与该视频文件进行关联。

以下对体感控制数据包与视频文件的关联方式进行阐述：

作为本发明的一个实施例，如图3所示，所述将生成的所有所述体感控制数据包与所述视频文件建立关联包括：

S301，对所述图像帧增加帧结构。

S302，在增加的帧结构中写入与所述图像帧相关的体感传感数据包。

对于视频文件来说，虽然其相当于是图像帧的帧集合，然而对于拍摄到的一组图像帧序列，需要通过某一视频编码格式对其进行视频编码，生成视频编码文件，最后再封装成不同格式的视频文件，而在视频编码的过程中，每个图像帧之间并非是无缝连接的，而是会根据不同视频编码格式的要求产生一些参考帧或者同步帧，因此，在本发明实施例中，一方面，可以对图像帧本身增加帧结构，或者，另一方面，也可以在图像帧所相关的参考帧、同步帧或者其他类型的帧中增加帧结构，并在增加的帧结构中写入与图像帧相关的体感传感数据包，从而通过修改视频编码方式来实现体感控制数据包与视频文件之间的关联。

作为本发明的另一实施例，如图4所示，所述将生成的所有所述体感控制数据包与所述视频文件建立关联包括：

S401，依照相关的图像帧的播放顺序，将生成的所有所述体感控制数据包依序排列，生成体感控制文件。

S402，为所述视频文件和所述体感控制文件建立关联。

如上文所述，播放视频文件的过程实际上是对拍摄得到的图像帧依序逐帧显示的过程，因此，在本发明实施例中，根据视频文件中图像帧的播放顺序，将生成的所有体感控制数据包依序排列后生成体感控制文件，并建立起视频文件和体感控制文件之间的关联。

基于图4对应的实施例，所述为所述视频文件和所述体感控制文件建立关联具体可通过以下方式实现：

对所述视频文件和所述体感控制文件进行相同命名操作。

即，将相同文件名的视频文件和体感控制文件视为具备关联关系的文件，在进行体感控制时，可以通过文件名辨识并读取与视频文件关联的体感控制文件。

在S103中，通过所述关联，在播放所述视频文件时同步输出所述体感控制数据包至体感传感装置。

在完成了所有体感控制数据包与视频文件的关联之后，通过该关联，在视频文件播放的同时，体感产品的体感控制装置便可以同步输出与图像帧相关的体感控制数据包至体感传感装置，从而实现体感模拟与虚拟环境的同步。

对应于上文实施例所述的体感控制数据的通信处理方法，图5示出了本发明实施例提供的体感控制数据的通信处理装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。

参照图5，该装置包括：

生成单元51，对于视频文件的每个图像帧，分别生成与该图像帧相关的体感控制数据包；

关联单元52，将生成的所有所述体感控制数据包与所述视频文件建立关联；

输出单元53，通过所述关联，在播放所述视频文件时同步输出所述体感控制数据包至体感传感装置。

可选地，所述生成单元51包括；

获取子单元，获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；

第一写入子单元，将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；

所述M和所述N均为大于或等于1的整数。

可选地，所述生成单元51还包括；

第二写入子单元，若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；

可选地，所述预设字符为0。

可选地，所述关联单元52包括：

增加子单元，对所述图像帧增加帧结构；

第三写入子单元，在增加的帧结构中写入与所述图像帧相关的体感传感数据包。

可选地，所述关联单元52包括：

生成子单元，依照相关的图像帧的播放顺序，将生成的所有所述体感控制数据包依序排列，生成体感控制文件；

可选地，所述关联子单元具体用于：

对所述视频文件和所述体感控制文件进行相同命名操作。

对应于上文实施例所述的体感控制数据的通信处理方法，图6示出了本发明实施例提供的一种计算节点600的示意图。为了便于说明，仅示出了与本实施例相关的部分。

其中，计算节点600可能是包含计算能力的主机服务器，或者是个人计算机PC，或者是可携带的便携式计算机或终端等等，本发明具体实施例并不对计算节点的具体实现做限定。计算节点600包括：

处理器(processor)610，通信接口(Communications Interface)620，存储器(memory)630，总线640。

处理器610，通信接口620，存储器630通过总线640完成相互间的通信。

通信接口620，用于与网元通信，比如虚拟机管理中心、共享存储等。

处理器610，用于执行程序。

具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。

处理器610可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器630，用于存放程序。存储器630可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序具体可以用于执行一种体感控制数据的通信处理方法，所述方法包括：

可选地，所述分别生成与该图像帧相关的体感控制数据包包括；

所述M和所述N均为大于或等于1的整数。

可选地，所述分别生成与该图像帧相关的体感控制数据包还包括；

可选地，所述预设字符为0。

可选地，所述将生成的所有所述体感控制数据包与所述视频文件建立关联包括：

对所述图像帧增加帧结构；

为所述视频文件和所述体感控制文件建立关联。

可选地，为所述视频文件和所述体感控制文件建立关联包括：

对所述视频文件和所述体感控制文件进行相同命名操作。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元的具体工作过程，可以参考前述装置实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同装置来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明实施例各个实施例装置的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种体感控制数据的通信处理方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述分别生成与该图像帧相关的体感控制数据包包括；

所述M和所述N均为大于或等于1的整数。

3.如权利要求2所述的方法，其特征在于，所述分别生成与该图像帧相关的体感控制数据包还包括；

4.如权利要求3所述的方法，其特征在于，所述预设字符为0。

5.如权利要求1所述的方法，其特征在于，所述将生成的所有所述体感控制数据包与所述视频文件建立关联包括：

对所述图像帧增加帧结构；

6.如权利要求1所述的方法，其特征在于，所述将生成的所有所述体感控制数据包与所述视频文件建立关联包括：

为所述视频文件和所述体感控制文件建立关联。

7.如权利要求6所述的方法，其特征在于，为所述视频文件和所述体感控制文件建立关联包括：

对所述视频文件和所述体感控制文件进行相同命名操作。

8.一种体感控制数据的通信处理装置，其特征在于，所述装置包括：

9.如权利要求8所述的装置，其特征在于，所述生成单元包括；

所述M和所述N均为大于或等于1的整数。

10.如权利要求9所述的装置，其特征在于，所述生成单元还包括；

11.如权利要求10所述的装置，其特征在于，所述预设字符为0。

12.如权利要求8所述的装置，其特征在于，所述关联单元包括：

增加子单元，用于对所述图像帧增加帧结构；

13.如权利要求8所述的装置，其特征在于，所述关联单元包括：

14.如权利要求13所述的装置，其特征在于，所述关联子单元具体用于：

对所述视频文件和所述体感控制文件进行相同命名操作。