CN106454365A - 多媒体数据的编码、解码方法及编码、解码装置 - Google Patents
多媒体数据的编码、解码方法及编码、解码装置 Download PDFInfo
- Publication number
- CN106454365A CN106454365A CN201611052676.0A CN201611052676A CN106454365A CN 106454365 A CN106454365 A CN 106454365A CN 201611052676 A CN201611052676 A CN 201611052676A CN 106454365 A CN106454365 A CN 106454365A
- Authority
- CN
- China
- Prior art keywords
- sensing
- data
- motion sensing
- picture frame
- equal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008569 process Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006698 induction Effects 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 5
- 230000035807 sensation Effects 0.000 claims description 5
- 230000006854 communication Effects 0.000 abstract description 19
- 238000004891 communication Methods 0.000 abstract description 18
- 238000004088 simulation Methods 0.000 abstract description 15
- 238000012545 processing Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 11
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 230000000272 proprioceptive effect Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000819 phase cycle Methods 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
Abstract
本发明适用于数据通信技术领域，提供了多媒体数据的编码、解码方法及编码、解码装置，所述方法包括：获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；生成与所述L个图像帧分别相关的L个体感控制数据包；基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；所述L为大于或等于1的整数。本发明能够将视频数据与体感数据编码成一个多媒体文件，简单高效地实现了与视频内容相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。
Description
技术领域
本发明属于数据通信技术领域，尤其涉及多媒体数据的编码、解码方法及编码、解码装置。
背景技术
多媒体是指组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体，使用的媒体包括文字、图片、声音、动画和影片，以及程式所提供的互动功能。随着科学技术的发展，多媒体技术除了可以通过计算机为用户带来视觉体验和听觉体验，还可以对人所具有的其他体感进行模拟，包括对触感、力感、温感、湿感、风感、嗅觉等一切人体所具有的感知进行模拟，以为用户带来体感方面的交互体验。
体感传感的实现原理为：向附着在人体体表的体感传感装置发送体感控制信号，以控制体感传感装置向人体进行各类体感反馈。例如，在虚拟现实(Virtual Reality，VR)游戏中与虚拟人物握手时，通过力反馈控制信号对位于手部的力传感器产生的力度大小及持续时间进行控制，从而带来与游戏中的握手行为相匹配的力反馈体验。然而，技术人员在研发过程中发现，现有技术至少存在以下技术缺陷：
现有的视频内容提供商及各类体感设备供应商各自独立提供服务，视频内容与体感传感控制信号的格式也各不相同，因此，若要产生与视频内容相匹配的体感体验，需要对二者的结合或同步输出进行大量的后期技术加工，会耗费大量的时间成本。
发明内容
有鉴于此，本发明实施例提供了多媒体数据的编码、解码方法及编码、解码装置，以解决现有技术中若要产生与视频内容相匹配的体感体验，需要对二者的结合或同步输出进行大量的后期技术加工，会耗费大量的时间成本的问题。
第一方面，本发明实施例提供了一种多媒体数据的编码方法，所述方法包括：
获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；
生成与所述L个图像帧分别相关的L个体感控制数据包；
基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；
通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；
所述L为大于或等于1的整数。
作为第一方面的第一种可能的实现方式，所述生成与所述L个图像帧分别相关的L个体感控制数据包包括：
获取与图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；
将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；
所述M和所述N均为大于或等于1的整数。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述生成与所述L个图像帧分别相关的L个体感控制数据包还包括；
若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；
所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。
结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。
结合第一方面或第一方面的任一种可能的实现方式，在第四种可能的实现方式中，所述获取预设格式的视频数据流包括：
通过格式转换获取到预设格式的所述视频数据流。
第二方面，一种多媒体数据的编码装置，所述装置包括：
获取单元，用于获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；
生成单元，用于生成与所述L个图像帧分别相关的L个体感控制数据包；
排列单元，用于基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；
合成单元，用于通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；
所述L为大于或等于1的整数。
作为第二方面的第一种可能的实现方式，所述生成单元包括：
获取子单元，用于获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；
第一写入子单元，用于将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；
所述M和所述N均为大于或等于1的整数。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述生成单元还包括；
第二写入子单元，用于若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；
所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。
结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。
结合第一方面或第一方面的任一种可能的实现方式，在第四种可能的实现方式中，所述获取单元具体用于：
通过格式转换获取到预设格式的所述视频数据流。
本发明实施例基于视频数据流的每个图像帧生成体感控制数据包，得到体感数据流，并将视频数据流和体感数据流合成为多媒体文件，从而能够将视频数据与体感数据编码成一个多媒体文件，以实现视频数据与相关的体感数据的同步输出，简单高效地实现了与视频内容相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。
第三方面，本发明实施例提供了一种多媒体数据的解码方法，所述方法包括：
通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；
基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。
作为第三方面的第一种可能的实现方式，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置包括：
从所述体感控制数据包中解析出M个身体点位的体感控制数据；
从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；
将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；
所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。
结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置还包括：
若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；
所述j为大于或等于1的整数，且所述j小于或等于N。
结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。
第四方面，本发明实施例提供了一种多媒体数据的解码装置，所述装置包括：
解码单元，用于通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；
输出单元，用于基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。
作为第四方面的第一种可能的实现方式，所述输出单元包括：
第一解析子单元，用于从所述体感控制数据包中解析出M个身体点位的体感控制数据；
第二解析子单元，用于从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；
第一输出控制子单元，用于将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；
所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。
结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述输出单元还包括：
第二输出控制子单元，用于若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；
所述j为大于或等于1的整数，且所述j小于或等于N。
结合第四方面的第二种可能的实现方式，在第三种可能的实现方式中，所述预设字符为0。
本发明实施例中，从多媒体文件中解码得到视频数据流及与视频数据流中的每一图像帧相关的体感数据流，并基于同一帧率，同步输出解析得到的视频数据流与体感数据流，从而简单高效地实现了与视频内容所营造的虚拟环境相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多媒体数据的编码方法的实现流程图；
图2是本发明实施例提供的多媒体数据的编码方法S102的具体实现流程图；
图3是本发明实施例提供的多媒体数据的编码装置的结构框图；
图4是本发明实施例提供的一种计算节点的示意图；
图5是本发明实施例提供的多媒体数据的解码方法的实现流程图；
图6是本发明实施例提供的多媒体数据的解码方法S502的具体实现流程图；
图7是本发明实施例提供的多媒体数据的解码装置的结构框图；
图8是本发明实施例提供的另一种计算节点的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
首先，对本发明实施例提供的多媒体数据的编码方法进行详细阐述，其实现流程如图1所示：
在S101中，获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧，所述L为大于或等于1的整数。
在S102中，生成与所述L个图像帧分别相关的L个体感控制数据包。
所述视频数据流，在本发明实施例中，是指没有经过压缩处理的一组图像帧序列，例如，该预设格式可以为音频视频交错(Audio Video Interleaved，AVI)格式，其是一种符合文件规范的数字音频与视频文件格式，允许视频和音频交错在一起同步播放。对于视频数据流来说，其原始内容均是一帧一帧地拍摄和获取的，因此，视频数据流在播放时，实际上就是由播放装置对拍摄的图像帧进行逐帧显示，并结合音频的同步播放以达到视听效果。因此，基于视频文件实质上是由图像帧所构成的数据特性，在本发明实施例中，以视频数据流中的每个图像帧为一个体感控制数据包的同步节点，分别生成与L个图像帧分别相关的L个体感控制数据包。
在本发明实施例中，所述体感控制数据包用于对体感传感装置进行控制，体感控制数据包以体感控制信号的形式从体感控制装置发出，并传送至与体感控制装置电连接的体感传感装置中。在实际的产品形态中，体感控制装置及一个或多个的体感传感装置可与可穿戴产品相结合，例如，将体感控制装置与多个体感传感装置附着于包裹用户全身的可穿戴本体内，通过体感控制装置向多个体感传感装置分别输出体感控制数据包，从而使得这多个体感传感装置根据各自接收到的体感控制数据包对用户进行体感模拟。
此外，在本发明实施例中，一个图像帧与一个体感控制数据包相关，是指在该图像帧被播放的同时，需要向人体输出关于该体感控制数据包中携带的相关种类的体感模拟。
进一步地，作为本发明的一个实施例，与一图像帧相关的体感控制数据包中可以携带一个或多个身体点位的体感控制数据，而其中每个身体点位的体感控制数据均包含一种或多种类型的体感传感装置的控制信息。具体地，如图2所示，生成一图像帧相关的体感控制数据包的过程如下：
S201，获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息。
S202，将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包。
其中，所述M和所述N均为大于或等于1的整数。
基于图2所示的实施例，当M和N均等于1时，与图像帧相关的体感控制数据包用于在该图像帧播放时，控制一个身体点位上的一种体感传感装置产生体感模拟；当M大于1且N等于1时，与每个图像帧相关的体感控制数据包用于在该图像帧播放时，控制多个身体点位上的同一种体感传感装置同时产生体感模拟；当M和N均大于1时，与每个图像帧相关的体感控制数据包用于在该图像帧播放时，控制多个身体点位上的多种体感传感装置同时产生体感模拟。
在本发明实施例中，对于每个身体点位，根据产品需求，至少可以集成如表1所列举的任意一种或多种类型的体感传感装置：
表1
| 序号 | 体感传感装置 | 序号 | 体感传感装置 |
| 1 | 按摩/振动 | 8 | 风 |
| 2 | 触觉 | 9 | 湿润 |
| 3 | 刺痛 | 10 | 外设灯 |
| 4 | 温暖/热 | 11 | 外设风湿 |
| 5 | 冷 | 12 | 外设风冷 |
| 6 | 气味 | 13 | 机械外骨骼 |
| 7 | 收缩 |
优选地，在本发明实施例中，还提出了一种体感控制数据包的帧格式，该帧格式的构成包括作为帧头的起始控制帧以及体感数据帧。
(一)起始控制帧中携带了若干字节的控制数据：
示例性地，如表2所示，该起始控制帧中包括了4个字节的控制数据，分别为控制帧字节1、控制帧字节2、控制帧字节3及控制帧字节4，每个控制帧字节可以根据体感控制的需要写入相应的数据内容，例如，可以用控制帧字节来表明体感控制数据包所覆盖的身体点位数量，或者表明该体感控制数据包是否需要被控制装置所屏蔽。
表2
(二)体感数据帧中携带了顺序写入的若干种体感传感器的体感控制数据，同时还预留了数据位，用于将来根据开发需要写入若干其他体感传感器的体感控制数据：
在体感数据帧中，每种体感传感器对应的体感控制数据可以用于表明该体感传感器相关的体感控制模式，或者用于描述该体感传感器相关的体感功能实现。示例性地，如表3所示，每种体感传感器对应4个字节的体感控制数据，分别为体感控制模式字节1、体感功能字节1、体感功能字节2及体感功能字节3。
表3
表4示出了一个完整的体感控制数据包的帧结构示例，从表4中可以看出，该体感控制数据包的帧头为4字节的起始控制帧，体感数据帧中顺序写入了13种体感传感装置的体感控制数据，同时还包括7种功能预留，能够再写入7种体感传感装置的体感控制数据，且每种体感传感装置的体感控制数据为4个字节。
表4
示例性地，表5示出了表1提及的13种体感传感前置对应的体感控制数据帧结构：
表5
在体感传感数据的通信处理过程中，若采用上文所述的帧格式生成体感控制数据包，一方面可以将多种不同类型的体感传感装置的体感控制数据整合为统一的数据格式，有效地消除感传感装置因来自不同的供应商而导致的碎片化现象，另一方面，将多种不同类型的体感传感装置的体感控制数据写入一个数据包中进行传输，也可以在一定程度上降低数据传输过程中丢包现象的出现，提高了数据通信的可靠性。
此外，在上文所述的体感控制数据包帧格式的基础之上，作为本发明的一个实施例，在生成体感控制数据包的过程中：
若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；
所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。
即，预设一个字符，对于任一图像帧来说，若在该图像帧播放的同时未对某个身体点位匹配某一类型的体感模拟，则在该图像帧相关的体感控制数据包中，将该身体点位对应的该类型的体感传感装置所占据的每个数据位均写入该预设字符。例如，在虚拟的室内环境中，不需要进行风感模拟，则在图像帧相关的体感控制数据包中，将所有身体点位上的风感传感装置所占据的每个数据位均写入该预设字符。
以上体感控制数据包的帧写入方案可以保证所有体感控制数据包的数据长度一致，这样一来，对于视频数据流中的所有图像帧，相关的体感控制数据包数据长度均相同，有利于对整个视频数据流相关的体感数据流的数据量进行预估，并且可以有助于在数据校验过程中快速地发现丢包情况。
可选地，所述预设字符为0。
在S103中，基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流。
如上文所述，播放视频数据流的过程实际上是由播放装置对拍摄得到的图像帧依序逐帧显示的过程，因此，在本发明实施例中，根据视频数据流中L个图像帧的排序，依照相关的图像帧在视频数据流中的排序，将生成的所有体感控制数据包排列后生成体感数据流。
在S104中，通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流。
在本发明实施例中，将视频数据流及其相关的体感数据流合成至一个多媒体文件中。该合成可以通过预设算法实现，在进行合成的过程中，一方面可以在每若干帧中交织存储视频数据与体感数据，另一方面，还需要对视频数据流和体感数据流进行同步控制(Synchronization)，以保证在解码输出视频数据流和体感数据流时，二者的输出时间及输出帧率均能保证同步。
进一步地，可以通过预设的压缩算法将视频数据流及其相关的体感数据流合成至一个多媒体文件中。对于视频数据流来说，以AVI格式为例如，未经过压缩的AVI格式视频数据每秒可达到150M，因此在合成时，可以采用各类压缩算法来对视频数据流和体感数据流进行压缩，根据压缩算法的不同，最终生成的多媒体文件的格式也不同，容易想到地，在解码时，需要对采用相对应的解压缩算法，来从多媒体文件中分离得到视频数据流和体感数据流。
此外，作为本发明的一个实施例，为了提高本发明实施例提供的多媒体数据的编码方法的兼容性，在本发明实施例中，可以对进行合成的视频数据流的格式进行统一要求，而对应不符合要求的视频数据流，可以在执行S101时，通过格式转换，将视频数据流转换为统一要求的格式，以便于高效地合成多媒体文件。
在完成多媒体文件之后，可以发布该多媒体文件。多媒体文件的发布方可以为视频内容提供商，体感设备供应商，或者第三方的体感控制数据提供方。在依据视频数据流和体感数据流生成多媒体文件之后，多媒体文件的发布方可以将多媒体文件与体感设备供应商合作发布，或者在独立的第三方数据服务平台发布该多媒体文件，以使得用户通过相关渠道获取到该多媒体文件，并通过对应的解压缩方法从中解析得到视频数据流和体感数据流，以实现二者的同步输出，在播放视频数据流的同时，输出当前播放的图像帧相关的体感控制数据包至体感传感装置，以实现对所述体感传感装置的输出控制。
对应于上文实施例所述的多媒体数据的编码方法，图3示出了本发明实施例提供的多媒体数据的编码装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。
参照图3，该装置包括：
获取单元31，获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；
生成单元32，生成与所述L个图像帧分别相关的L个体感控制数据包；
排列单元33，基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；
合成单元34，通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；
所述L为大于或等于1的整数。
可选地，所述生成单元31包括：
获取子单元，获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；
第一写入子单元，将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；
所述M和所述N均为大于或等于1的整数。
可选地，所述生成单元31还包括；
第二写入子单元，用于若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；
所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。
可选地，所述预设字符为0。
可选地，所述获取单元31具体用于：
通过格式转换获取到预设格式的所述视频数据流。
对应于上文实施例所述的多媒体数据的编码方法，图4示出了本发明实施例提供的一种计算节点400的示意图。为了便于说明，仅示出了与本实施例相关的部分。
其中，计算节点400可能是包含计算能力的主机服务器，或者是个人计算机PC，或者是可携带的便携式计算机或终端等等，本发明具体实施例并不对计算节点的具体实现做限定。计算节点400包括：
处理器(processor)410，通信接口(Communications Interface)420，存储器(memory)430，总线440。
处理器410，通信接口420，存储器430通过总线440完成相互间的通信。
通信接口420，用于与网元通信，比如虚拟机管理中心、共享存储等。
处理器410，用于执行程序。
具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。
处理器410可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器430，用于存放程序。存储器430可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序具体可以用于执行一种多媒体数据的编码方法，所述方法包括：
获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；
生成与所述L个图像帧分别相关的L个体感控制数据包；
基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；
通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；
所述L为大于或等于1的整数。
可选地，所述生成与所述L个图像帧分别相关的L个体感控制数据包包括：
获取与图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；
将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；
所述M和所述N均为大于或等于1的整数。
可选地，所述生成与所述L个图像帧分别相关的L个体感控制数据包还包括；
若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；
所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。
可选地，所述预设字符为0。
可选地，所述获取预设格式的视频数据流包括：
通过格式转换获取到预设格式的所述视频数据流。
本发明实施例基于视频数据流的每个图像帧生成体感控制数据包，得到体感数据流，并将视频数据流和体感数据流合成为多媒体文件，从而能够将视频数据与体感数据编码成一个多媒体文件，以实现视频数据与相关的体感数据的同步输出，简单高效地实现了与视频内容相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。
接下来，对本发明实施例提供的多媒体数据的解码方法进行详细阐述，其实现流程如图5所示：
在S501中，通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关。
在S502中，基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。。
如上文所述，用户可以通过相关渠道获取到多媒体文件，并通过对应的解压缩方法从中解析得到视频数据流和体感数据流，以实现二者的同步输出，在播放视频数据流的同时，输出当前播放的图像帧相关的体感控制数据包至体感传感装置，以实现对所述体感传感装置的输出控制。
在本发明实施例中，由于解析得到的体感数据流是与视频数据流图像帧相关的体感控制数据包依序排列得到的，视频数据流中的每一图像帧均与一个体感控制数据包相关，因此，在播放视频数据流时，基于与视频数据流相同的播放帧率，可以由体感控制装置逐一输出体感控制数据包至体感传感装置，从而便实现了视频内容与体感模拟的同步输出。
作为本发明的一个实施例，当每个体感控制数据包中包含了M个身体点位上的N种类型的体感传感装置的控制信息时，则如图6所示，所述同步输出所述体感控制文件中的所述体感控制数据包至体感传感装置包括：
S601，从所述体感控制数据包中解析出M个身体点位的体感控制数据。
S602，从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息。
S603，将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中。
所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。
基于图6对应的实施例，在体感控制装置输出体感控制数据包的过程中，可以精准地将体感控制数据输出至位于一具体身体点位的一具体体感传感装置中，那么对于全身M个身体点位上总共M*N个体感传感装置，便可以在相关的图像帧播放的过程中同时实现体感模拟的输出，带来全方位的体感体验。
此外，如上文所述，在上述的体感控制数据包帧格式的基础之上预设一个字符，对于任一图像帧来说，若在该图像帧播放的同时未对某个身体点位匹配某一类型的体感模拟，则在该图像帧相关的体感控制数据包中，将该身体点位对应的该类型的体感传感装置所占据的每个数据位均写入该预设字符，例如，写入预设字符0，以保证所有体感控制数据包的数据长度一致。那么在该方案之下，所述同步输出所述体感控制文件中的所述体感控制数据包至体感传感装置还包括：
若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；
所述j为大于或等于1的整数，且所述j小于或等于N。
即，在任一图像帧播放的同时，若体感控制装置检测到具体某个身体点位上的具体某类体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该时刻停止对该身体点位上的该体感传感装置输出控制信息，这样一来，虽然每个图像帧相关的体感控制数据包的数据长度是相同的，但是体感控制装置仍然可以根据每个数据位上的数据内容来判断是输出控制信息还是停止输出控制信息，从而灵活地实现了对多身体点位、多个体感传感装置的输出控制。
本发明实施例中，从多媒体文件中解码得到视频数据流及与视频数据流中的每一图像帧相关的体感数据流，并基于同一帧率，同步输出解析得到的视频数据流与体感数据流，从而简单高效地实现了与视频内容所营造的虚拟环境相匹配的体感模拟，节约了因大量后期技术加工所产生的时间成本。
对应于上文实施例所述的多媒体数据的解码方法，图7示出了本发明实施例提供的多媒体数据的解码装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。
参照图7，该装置包括：
解码单元71，通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；
输出单元72，基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。
可选地，所述输出单元72包括：
第一解析子单元，从所述体感控制数据包中解析出M个身体点位的体感控制数据；
第二解析子单元，从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；
第一输出控制子单元，将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；
所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。
可选地，所述输出单元72还包括：
第二输出控制子单元，若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；
所述j为大于或等于1的整数，且所述j小于或等于N。
可选地，所述预设字符为0。
对应于上文实施例所述的多媒体数据的解码方法，图8示出了本发明实施例提供的一种计算节点800的示意图。为了便于说明，仅示出了与本实施例相关的部分。
其中，计算节点800可能是包含计算能力的主机服务器，或者是个人计算机PC，或者是可携带的便携式计算机或终端等等，本发明具体实施例并不对计算节点的具体实现做限定。计算节点800包括：
处理器(processor)810，通信接口(Communications Interface)820，存储器(memory)830，总线840。
处理器810，通信接口820，存储器830通过总线840完成相互间的通信。
通信接口820，用于与网元通信，比如虚拟机管理中心、共享存储等。
处理器810，用于执行程序。
具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。
处理器810可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器830，用于存放程序。存储器830可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序具体可以用于执行一种多媒体数据的解码方法，所述方法包括：
通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；
基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。
进一步地，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置包括：
从所述体感控制数据包中解析出M个身体点位的体感控制数据；
从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；
将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；
所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。
进一步地，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置还包括：
若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；
所述j为大于或等于1的整数，且所述j小于或等于N。
进一步地，所述预设字符为0。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元的具体工作过程，可以参考前述装置实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同装置来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明实施例各个实施例装置的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (18)
1.一种多媒体数据的编码方法，其特征在于，所述方法包括：
获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；
生成与所述L个图像帧分别相关的L个体感控制数据包；
基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；
通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；
所述L为大于或等于1的整数。
2.如权利要求1所述的方法，其特征在于，所述生成与所述L个图像帧分别相关的L个体感控制数据包包括：
获取与图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；
将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；
所述M和所述N均为大于或等于1的整数。
3.如权利要求2所述的方法，其特征在于，所述生成与所述L个图像帧分别相关的L个体感控制数据包还包括；
若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；
所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。
4.如权利要求3所述的方法，其特征在于，所述预设字符为0。
5.如权利要求1至4任一项所述的方法，其特征在于，所述获取预设格式的视频数据流包括：
通过格式转换获取到预设格式的所述视频数据流。
6.一种多媒体数据的解码方法，其特征在于，所述方法包括：
通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；
基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。
7.如权利要求6所述的方法，其特征在于，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置包括：
从所述体感控制数据包中解析出M个身体点位的体感控制数据；
从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；
将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；
所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。
8.如权利要求7所述的方法，其特征在于，所述同步输出所述体感数据流中的所述体感控制数据包至体感传感装置还包括：
若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；
所述j为大于或等于1的整数，且所述j小于或等于N。
9.如权利要求8所述的方法，其特征在于，所述预设字符为0。
10.一种多媒体数据的编码装置，其特征在于，所述装置包括：
获取单元，用于获取预设格式的视频数据流，所述视频数据流未经过压缩处理且其中包含L个图像帧；
生成单元，用于生成与所述L个图像帧分别相关的L个体感控制数据包；
排列单元，用于基于所述L个图像帧在所述视频数据流中的排序，将所述L个体感控制数据包依序排列，得到体感数据流；
合成单元，用于通过预设算法将多种类型的数据流合成得到多媒体文件，所述多种类型的数据流至少包括所述视频数据流和所述体感数据流；
所述L为大于或等于1的整数。
11.如权利要求10所述的装置，其特征在于，所述生成单元包括：
获取子单元，用于获取与该图像帧相关的M个身体点位的体感控制数据，每个身体点位的体感控制数据均包含N种类型的体感传感装置的控制信息；
第一写入子单元，用于将获取到的所述M个身体点位的体感控制数据均写入与该图像帧相关的所述体感控制数据包；
所述M和所述N均为大于或等于1的整数。
12.如权利要求11所述的装置，其特征在于，所述生成单元还包括；
第二写入子单元，用于若未获取到与该图像帧相关的第i个身体点位的第j种类型的体感传感装置的控制信息，在该控制信息对应的每个数据位均写入预设字符；
所述i和所述j均为大于或等于1的整数，且所述i小于或等于所述M，所述j小于或等于所述N。
13.如权利要求12所述的装置，其特征在于，所述预设字符为0。
14.如权利要求10至13任一项所述的装置，其特征在于，所述获取单元具体用于：
通过格式转换获取到预设格式的所述视频数据流。
15.一种多媒体数据的解码装置，其特征在于，所述装置包括：
解码单元，用于通过预设算法对多媒体文件进行解析，得到多种类型的数据流，所述多种类型的数据流至少包括视频数据流和体感数据流，所述体感数据流由体感控制数据包排列得到，每个所述体感控制数据包依序分别与所述视频数据流中的一个图像帧相关；
输出单元，用于基于同一预设帧率，输出所述视频数据流至视频播放装置，并同步输出所述体感数据流中的所述体感控制数据包至体感传感装置。
16.如权利要求15所述的装置，其特征在于，所述输出单元包括：
第一解析子单元，用于从所述体感控制数据包中解析出M个身体点位的体感控制数据；
第二解析子单元，用于从解析出的第i个身体点位的体感控制数据中解析出N种类型的体感传感装置的控制信息；
第一输出控制子单元，用于将解析出的所述控制信息分别输出至第i个身体点位上的N种类型的体感传感装置中；
所述M、所述N和所述i均为大于或等于1的整数，且所述i小于或等于M。
17.如权利要求16所述的装置，其特征在于，所述输出单元还包括：
第二输出控制子单元，用于若所述体感控制数据包中，第i个身体点位的第j种类型的体感传感装置对应的控制信息在每个数据位上均为预设字符，则在该体感控制数据包相关的图像帧播放的同时，停止输出该控制信息；
所述j为大于或等于1的整数，且所述j小于或等于N。
18.如权利要求17所述的装置，其特征在于，所述预设字符为0。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611052676.0A CN106454365B (zh) | 2016-11-22 | 2016-11-22 | 多媒体数据的编码、解码方法及编码、解码装置 |
| PCT/CN2017/086494 WO2018095002A1 (zh) | 2016-11-22 | 2017-05-29 | 多媒体数据的编码、解码方法及编码、解码装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611052676.0A CN106454365B (zh) | 2016-11-22 | 2016-11-22 | 多媒体数据的编码、解码方法及编码、解码装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106454365A true CN106454365A (zh) | 2017-02-22 |
| CN106454365B CN106454365B (zh) | 2018-07-10 |
Family
ID=58218748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611052676.0A Active CN106454365B (zh) | 2016-11-22 | 2016-11-22 | 多媒体数据的编码、解码方法及编码、解码装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106454365B (zh) |
| WO (1) | WO2018095002A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018095002A1 (zh) * | 2016-11-22 | 2018-05-31 | 包磊 | 多媒体数据的编码、解码方法及编码、解码装置 |
| CN110324356A (zh) * | 2019-07-17 | 2019-10-11 | 陕西千山航空电子有限责任公司 | 一种多类总线数据的混合数据包处理方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101009824A (zh) * | 2006-01-24 | 2007-08-01 | 成都索贝数码科技股份有限公司 | 一种音/视频数据的网络传输方法 |
| CN101828382A (zh) * | 2007-10-16 | 2010-09-08 | 伊梅森公司 | 媒体传输流中的触觉效应数据的同步 |
| US20110039242A1 (en) * | 2009-08-14 | 2011-02-17 | Ronald Jay Packard | Systems and methods for producing, delivering and managing educational material |
| CN103324488A (zh) * | 2013-07-12 | 2013-09-25 | 山东易创电子有限公司 | 一种特效信息获取方法及装置 |
| CN103970266A (zh) * | 2013-01-24 | 2014-08-06 | 英默森公司 | 触觉感知记录和回放 |
| CN104049749A (zh) * | 2013-03-15 | 2014-09-17 | 英默森公司 | 产生来自视频内容分析的触觉反馈的方法和设备 |
| CN104184721A (zh) * | 2013-05-24 | 2014-12-03 | 意美森公司 | 用于触觉数据编码和流传输的方法和系统 |
| CN104780403A (zh) * | 2014-03-28 | 2015-07-15 | 方小祥 | 基于脚本的体感视频提供系统及方法 |
| CN104932678A (zh) * | 2014-03-21 | 2015-09-23 | 意美森公司 | 把感官数据转换成触觉效果的系统及方法 |
| CN105959798A (zh) * | 2016-06-30 | 2016-09-21 | 北京小米移动软件有限公司 | 视频流的帧定位方法、装置和设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101493884B1 (ko) * | 2010-11-19 | 2015-02-17 | 한국전자통신연구원 | 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치 |
| CN105975053A (zh) * | 2016-05-11 | 2016-09-28 | 乐视控股（北京）有限公司 | 虚拟头盔控制方法、装置及虚拟头盔 |
| CN106527730B (zh) * | 2016-11-22 | 2018-05-11 | 包磊 | 体感控制数据的生成、输出控制方法及装置 |
| CN106454365B (zh) * | 2016-11-22 | 2018-07-10 | 包磊 | 多媒体数据的编码、解码方法及编码、解码装置 |
| CN106547357B (zh) * | 2016-11-22 | 2018-06-29 | 包磊 | 体感传感数据的通信处理方法及装置 |
-
2016
- 2016-11-22 CN CN201611052676.0A patent/CN106454365B/zh active Active
-
2017
- 2017-05-29 WO PCT/CN2017/086494 patent/WO2018095002A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101009824A (zh) * | 2006-01-24 | 2007-08-01 | 成都索贝数码科技股份有限公司 | 一种音/视频数据的网络传输方法 |
| CN101828382A (zh) * | 2007-10-16 | 2010-09-08 | 伊梅森公司 | 媒体传输流中的触觉效应数据的同步 |
| US20110039242A1 (en) * | 2009-08-14 | 2011-02-17 | Ronald Jay Packard | Systems and methods for producing, delivering and managing educational material |
| CN103970266A (zh) * | 2013-01-24 | 2014-08-06 | 英默森公司 | 触觉感知记录和回放 |
| CN104049749A (zh) * | 2013-03-15 | 2014-09-17 | 英默森公司 | 产生来自视频内容分析的触觉反馈的方法和设备 |
| CN104184721A (zh) * | 2013-05-24 | 2014-12-03 | 意美森公司 | 用于触觉数据编码和流传输的方法和系统 |
| CN103324488A (zh) * | 2013-07-12 | 2013-09-25 | 山东易创电子有限公司 | 一种特效信息获取方法及装置 |
| CN104932678A (zh) * | 2014-03-21 | 2015-09-23 | 意美森公司 | 把感官数据转换成触觉效果的系统及方法 |
| CN104780403A (zh) * | 2014-03-28 | 2015-07-15 | 方小祥 | 基于脚本的体感视频提供系统及方法 |
| CN105959798A (zh) * | 2016-06-30 | 2016-09-21 | 北京小米移动软件有限公司 | 视频流的帧定位方法、装置和设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018095002A1 (zh) * | 2016-11-22 | 2018-05-31 | 包磊 | 多媒体数据的编码、解码方法及编码、解码装置 |
| CN110324356A (zh) * | 2019-07-17 | 2019-10-11 | 陕西千山航空电子有限责任公司 | 一种多类总线数据的混合数据包处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106454365B (zh) | 2018-07-10 |
| WO2018095002A1 (zh) | 2018-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dionisio et al. | 3D virtual worlds and the metaverse: Current status and future possibilities | |
| CN107835971A (zh) | 基于用户触觉空间（HapSpace）提供触觉反馈和交互的方法和装置 | |
| CN107728905A (zh) | 一种弹幕显示方法、装置及存储介质 | |
| CN102638658A (zh) | 音视频编辑方法及系统 | |
| CN106534142B (zh) | 多媒体数据的实时传输方法及装置 | |
| CN107422862A (zh) | 一种虚拟现实场景中虚拟影像交互的方法 | |
| CN104094603B (zh) | 用于在视频编码系统中进行集成元数据插入的系统和方法 | |
| CN108134964A (zh) | 视频直播道具叠加方法、计算机设备及存储介质 | |
| Yoon et al. | MPEG-V: Bridging the virtual and real world | |
| CN106331822A (zh) | 一种播放多视频的方法、装置及电子设备 | |
| CN106527730B (zh) | 体感控制数据的生成、输出控制方法及装置 | |
| CN106454365A (zh) | 多媒体数据的编码、解码方法及编码、解码装置 | |
| CN116324681A (zh) | 触觉场景表示格式 | |
| CN108614872A (zh) | 课程内容展示方法及装置 | |
| CN106547357B (zh) | 体感传感数据的通信处理方法及装置 | |
| CN111340563A (zh) | 一种在vr和vr全景中实现多媒体展示的方法 | |
| CN107346622A (zh) | 一种高集成度的汽车驾驶模拟系统 | |
| CN109032712A (zh) | 应用程序配图的生成方法和装置 | |
| CN101320357A (zh) | 移动式装置及其工作方法 | |
| CN105260345B (zh) | 一种颜文字构建方法、装置及电子设备 | |
| CN107832366A (zh) | 视频分享方法及装置、终端装置及计算机可读存储介质 | |
| CN102081941B (zh) | 电子书的影音数据处理方法 | |
| CN109101214A (zh) | 一种现场音乐模拟的播放系统及其方法与移动终端 | |
| KR101507553B1 (ko) | 정보 미디어 | |
| CN106936924A (zh) | 一种基于互联网的智能信息管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |