CN103179421A - 一种立体视频文件的描述与管理方法 - Google Patents
一种立体视频文件的描述与管理方法 Download PDFInfo
- Publication number
- CN103179421A CN103179421A CN2013100296839A CN201310029683A CN103179421A CN 103179421 A CN103179421 A CN 103179421A CN 2013100296839 A CN2013100296839 A CN 2013100296839A CN 201310029683 A CN201310029683 A CN 201310029683A CN 103179421 A CN103179421 A CN 103179421A
- Authority
- CN
- China
- Prior art keywords
- file
- information
- coding
- video
- thread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种立体视频文件的描述与管理方法，它包括以下步骤：（1）建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息；（2）提供该文件格式的实现方法；（3）提供该文件格式的编码与解码方法。本发明可应用到非线性视频编辑系统中，大大降低了3D素材的应用难度，简化了应用流程，提高了3D素材的管理效率，具有极高的灵活性和扩展性；同时，提供该文件格式的实现方法和编解码方法，充分利用计算机性能，多线程并发进行编解码，高效使用3D素材。
Description
技术领域
本发明涉及一种立体视频文件的描述与管理方法。
背景技术
立体视频是一种能够提供立体感的新型视频技术，随着图像技术和数字技术的发展，立体视频这种能够带来更强临场感的视频技术得到了飞速发展。目前的立体视频主要是双目立体视频，一帧画面由左右两个子画面构成，对应于人的左右眼，观看此类视频节目时，往往需要佩戴专用眼镜。随着裸眼3D技术的发展，包含有超过两个视角的立体视频节目会越来越多。
双目立体视频和多视角立体视频节目在拍摄和制作过程中，物理存储形式一般是每个视角一个独立的物理文件，再辅以一个或多个3D元数据文件。3D元数据文件可能包括3D摄像机的各项属性信息、深度信息等。即，如图1所示，一个立体视频素材由多个物理文件构成。对于后续编辑处理流程来说，这些处于杂散状态的文件簇在管理和使用方面存在着一定的困难。
发明内容
本发明的目的在于克服现有技术的不足，提供一种新型的立体视频文件的描述与管理方法，建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，大大提高3D素材的管理效率，具有极高的灵活性和扩展性；同时，提供该文件格式的实现方法和编解码方法，充分利用计算机性能，多线程并发进行编解码，高效使用3D素材。
本发明的目的是通过以下技术方案来实现的：一种立体视频文件的描述与管理方法，它包括以下步骤：
（1）建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，该文件格式存储3D素材杂散文件簇内的各通道物理文件的路径、属性、偏移位置信息以及3D元数据信息，描述各通道物理文件的路径并具备开放的文件结构，可随时扩充新的通道数据，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息；
（2）提供该文件格式的实现方法；
（3）提供该文件格式的编码与解码方法。
所述的立体视频文件包括双目立体视频文件和多视角立体视频文件。
进一步地，文件格式包括但不限于：
a）视频通道元数据信息包，包括双目立体视频和多视角立体视频通道的视频源文件的格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
b）视频通道元数据信息包，在a)的基础上，如果视频通道为图片或图片序列的，包括对图片或图片序列的格式信息、文件名信息、图片序列持续长度、与其他源文件的对齐关系；
c）音频通道元数据信息包，包括双目立体视频和多视角立体视频的音频源文件格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系，如果音频通道与a)中的视频通道复用同一物理文件，则包括描述音频通道与视频通道之间复用关系的信息；
d）透明度信息通道（键、Key通道）元数据信息包，包括双目立体视频和多视角立体视频的键通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
e）深度信息通道（Depth）元数据信息包，包括双目立体视频和多视角立体视频的深度信息通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
f）3D元数据信息包，包括描述双目立体视频和多视角立体视频各视角之间的关系的3D元数据信息和来自3D节目源的元数据信息；
g）附加信息包，包括创建文件的厂商、产品名及日期信息。
在该文件格式基础上进行新数据包类型的扩展。
该文件格式的实现方法包括使用二进制文件实现或使用xml文件实现。
该文件格式的编码方法包括以下步骤：
S101：上层调用者下发编码任务给编码模块，其中，编码任务包括：目标3D素材的3D格式信息、3D元数据、各视角图像格式信息、各视角物理文件名和格式信息、音频文件名和格式信息、Key通道文件名和格式信息、深度通道文件名和格式信息、各视角、各通道的文件有效区间信息；
S102：编码模块获取编码任务并启动编码总控线程，在内存中创建该文件格式的内存数据结构体，填充目前已知的各项信息；
S103：编码总控线程分别创建各通道编码处理线程，包括每个视角的视频文件编码线程、每个音频文件编码线程、每个Key文件编码线程、每个深度文件编码线程；
S104：编码模块总控线程从上层3D渲染器获取到各视角各通道的数据，分发给各文件编码线程，各文件编码线程根据目标文件格式进行数据处理，并将处理结果送编码器进行编码，编码结果送文件封装器写文件，同时，统计编码进度；
S105：所有帧编码完毕后，各编码线程关闭文件，将编码进度信息反馈给编码总控线程， 编码总控线程将文件帧数信息刷新到该文件格式的内存数据结构体，创建该文件格式的物理文件，并将内存数据写入物理文件；
S106：编码总控线程结束，整个编码流程结束。
该文件格式的解码方法包括以下步骤：
S201：解码模块打开并读取该文件格式内的3D素材信息；
S202：根据该文件格式内索引的物理文件个数，创建视音频解码线程，每个线程负责一个文件的解码；
S203：解码线程打开并读取对应的物理文件，调用解码器对其进行解码；
S204：解码模块按照上层调用者对解码结果格式的需求对各通道的解码结果数据进行整合，并送至上层指定的数据缓冲区；
S205：重复步骤S203～S204；
S206：文件解码完毕，关闭各路物理文件，结束解码流程。
本发明的有益效果是：
建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，可应用到非线性视频编辑系统中，大大降低了3D素材的应用难度，简化了应用流程，提高了3D素材的管理效率，具有极高的灵活性和扩展性；同时，提供该文件格式的实现方法和编解码方法，充分利用计算机性能，多线程并发进行编解码，高效使用3D素材。
附图说明
图1为立体视频素材物理文件构成示意图；
图2为本发明使用s3d文件进行管理立体视频素材物理文件结构示意图；
图3为本发明s3d文件结构与物理存储位置对应关系示意图；
图4为本发明s3d文件编码流程示意图；
图5为本发明s3d文件解码流程示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
一种立体视频文件的描述与管理方法，它包括以下步骤：
（1）建立一种用于描述立体视频（立体视频包括双目立体视频和多视角立体视频）各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D摄像机、3D视频 输出设备或3D渲染器等3D节目源的3D元数据等文件或数据之间的逻辑关系的文件格式（以下统称s3d文件），s3d文件在3D素材应用流程中的位置及作用如图2所示，s3d文件与其索引的3D素材的视音频各通道的物理文件之间的相对路径关系不是固定的，可以随意放置；
如图3所示，s3d文件的文件头必须放在文件的起始位置，且文件内只有一个文件头；格式信息及3D元数据、附加信息段文件内只能有一段，位置可不固定；其余段可以有0个或多个，位置也可不固定。
表1～表7分别是各个段的详细说明：
其中，表1为文件头字段说明：
表1
表2为格式信息及3D元数据字段说明：
表2
表3为视频文件信息字段说明：
表3
表4为音频文件信息字段说明：
表4
表5为Key文件信息字段说明：
表5
表6为深度文件信息字段说明：
表6
表7为附加信息字段说明：
表7
s3d文件存储3D素材杂散文件簇内的各通道物理文件的路径、属性、偏移位置信息以及3D元数据信息，描述各通道物理文件的路径并具备开放的文件结构，可随时扩充新的通道数据，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息；
（2）提供s3d文件的实现方法；
（3）提供s3d文件的编码与解码方法。
进一步地，s3d文件包括但不限于：
a）视频通道元数据信息包，包括双目立体视频和多视角立体视频通道的视频源文件的格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
b）视频通道元数据信息包，在a)的基础上，如果视频通道为图片或图片序列的，包括 对图片或图片序列的格式信息、文件名信息、图片序列持续长度、与其他源文件的对齐关系；
c）音频通道元数据信息包，包括双目立体视频和多视角立体视频的音频源文件格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系，如果音频通道与a)中的视频通道复用同一物理文件，则包括描述音频通道与视频通道之间复用关系的信息；
d）透明度信息通道元数据信息包，包括双目立体视频和多视角立体视频的键通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
e）深度信息通道元数据信息包，包括双目立体视频和多视角立体视频的深度信息通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
f）3D元数据信息包，包括描述双目立体视频和多视角立体视频各视角之间的关系的3D元数据信息和来自3D节目源的元数据信息；
g）附加信息包，包括创建文件的厂商、产品名及日期信息。
s3d文件的实现方法包括使用二进制文件实现或使用xml文件实现。
其中，s3d文件格式的xml文件实现步骤如下：
如图4所示，s3d文件的编码方法包括以下步骤：
S101：上层调用者下发编码任务给编码模块，其中，编码任务包括：目标3D素材的3D格式信息、3D元数据、各视角图像格式信息、各视角物理文件名和格式信息、音频文件名和格式信息、Key通道文件名和格式信息、深度通道文件名和格式信息、各视角、各通道的文件有效区间信息；
S102：编码模块获取编码任务并启动编码总控线程，在内存中创建s3d文件的内存数据结构体（s3d文件信息内存块），填充目前已知的各项信息，保存相应信息；
S103：编码总控线程分别创建各通道编码处理线程，根据视角个数、通道个数，每个视角的视频文件编码线程、每个音频文件编码线程、每个Key文件编码线程、每个深度文件编码线程；
S104：编码模块总控线程从上层3D渲染器获取到各视角各通道的数据，分发给各文件编码线程，各文件编码线程根据目标文件格式进行数据处理，并将处理结果送编码器进行编码，编码结果送文件封装器写文件，同时，统计编码进度；
S105：所有帧编码完毕后，各编码线程关闭文件，将编码进度信息反馈给编码总控线程，编码总控线程将文件帧数信息刷新到该文件格式的内存数据结构体，创建该文件格式的物理文件，并将内存数据写入物理文件；
S106：编码总控线程结束，整个编码流程结束。
如图5所示，s3d文件的解码方法包括以下步骤：
S201：解码模块打开并读取s3d文件内的3D素材信息；
S202：根据s3d文件内索引的物理文件个数，创建视音频解码线程，每个线程负责一个文件的解码；
S203：解码线程打开并读取对应的物理文件，调用解码器对其进行解码；
S204：解码模块按照上层调用者对解码结果格式的需求对各通道的解码结果数据进行整合，并送至上层指定的数据缓冲区；
S205：重复步骤S203～S204；
S206：文件解码完毕或上层命令解码停止时，关闭各路物理文件，结束解码流程。
Claims (7)
1.一种立体视频文件的描述与管理方法，其特征在于：它包括以下步骤：
（1）建立一种用于描述立体视频各个视角的独立物理文件、音频文件、透明度文件、深度信息文件以及来自3D节目源的3D元数据文件或数据之间的逻辑关系的文件格式，该文件格式存储3D素材杂散文件簇内的各通道物理文件的路径、属性、偏移位置信息以及3D元数据信息，描述各通道物理文件的路径并具备开放的文件结构，可随时扩充新的通道数据，外部应用系统可通过访问该文件格式快速获取3D素材的属性信息；
（2）提供该文件格式的实现方法；
（3）提供该文件格式的编码与解码方法。
2.根据权利要求1所述的一种立体视频文件的描述与管理方法，其特征在于：所述的立体视频文件包括双目立体视频文件和多视角立体视频文件。
3.根据权利要求1或2所述的一种立体视频文件的描述与管理方法，其特征在于：所述的文件格式包括但不限于：
a）视频通道元数据信息包，包括双目立体视频和多视角立体视频通道的视频源文件的格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
b）视频通道元数据信息包，在a)的基础上，如果视频通道为图片或图片序列的，包括对图片或图片序列的格式信息、文件名信息、图片序列持续长度、与其他源文件的对齐关系；
c）音频通道元数据信息包，包括双目立体视频和多视角立体视频的音频源文件格式信息、文件名信息、源文件的有效起止位置、源文件与其他源文件的对齐关系，如果音频通道与a)中的视频通道复用同一物理文件，则包括描述音频通道与视频通道之间复用关系的信息；
d）透明度信息通道元数据信息包，包括双目立体视频和多视角立体视频的键通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
e）深度信息通道元数据信息包，包括双目立体视频和多视角立体视频的深度信息通道源文件格式信息、路径信息、源文件的有效起止位置、源文件与其他源文件的对齐关系；
f）3D元数据信息包，包括描述双目立体视频和多视角立体视频各视角之间的关系的3D元数据信息和来自3D节目源的元数据信息；
g）附加信息包，包括创建文件的厂商、产品名及日期信息。
4.根据权利要求1所述的一种立体视频文件的描述与管理方法，其特征在于：所述的该文件格式的实现方法包括使用xml文件实现。
5.根据权利要求1所述的一种立体视频文件的描述与管理方法，其特征在于：所述的该文件格式的编码方法包括以下步骤：
S101：上层调用者下发编码任务给编码模块；
S102：编码模块获取编码任务并启动编码总控线程，在内存中创建该文件格式的内存数据结构体，填充目前已知的各项信息；
S103：编码总控线程分别创建各通道编码处理线程，包括每个视角的视频文件编码线程、每个音频文件编码线程、每个Key文件编码线程、每个深度文件编码线程；
S104：编码模块总控线程从上层3D渲染器获取到各视角各通道的数据，分发给各文件编码线程，各文件编码线程根据目标文件格式进行数据处理，并将处理结果送编码器进行编码，编码结果送文件封装器写文件，同时，统计编码进度；
S105：所有帧编码完毕后，各编码线程关闭文件，将编码进度信息反馈给编码总控线程，编码总控线程将文件帧数信息刷新到该文件格式的内存数据结构体，创建该文件格式的物理文件，并将内存数据写入物理文件；
S106：编码总控线程结束，整个编码流程结束。
6.根据权利要求5所述的一种立体视频文件的描述与管理方法，其特征在于：所述的编码任务包括：目标3D素材的3D格式信息、3D元数据、各视角图像格式信息、各视角物理文件名和格式信息、音频文件名和格式信息、Key通道文件名和格式信息、深度通道文件名和格式信息、各视角、各通道的文件有效区间信息。
7.根据权利要求1或5所述的一种立体视频文件的描述与管理方法，其特征在于：所述的该文件格式的解码方法包括以下步骤：
S201：解码模块打开并读取该文件格式内的3D素材信息；
S202：根据该文件格式内索引的物理文件个数，创建视音频解码线程，每个线程负责一个文件的解码；
S203：解码线程打开并读取对应的物理文件，调用解码器对其进行解码；
S204：解码模块按照上层调用者对解码结果格式的需求对各通道的解码结果数据进行整合，并送至上层指定的数据缓冲区；
S205：重复步骤S203～S204；
S206：文件解码完毕，关闭各路物理文件，结束解码流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310029683.9A CN103179421B (zh) | 2013-01-25 | 2013-01-25 | 一种立体视频文件的描述与管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310029683.9A CN103179421B (zh) | 2013-01-25 | 2013-01-25 | 一种立体视频文件的描述与管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103179421A true CN103179421A (zh) | 2013-06-26 |
| CN103179421B CN103179421B (zh) | 2015-08-19 |
Family
ID=48638993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310029683.9A Active CN103179421B (zh) | 2013-01-25 | 2013-01-25 | 一种立体视频文件的描述与管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103179421B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107734321A (zh) * | 2017-09-26 | 2018-02-23 | 韩世民 | 一种基于移动设备的3d成像方法 |
| CN108141587A (zh) * | 2015-10-09 | 2018-06-08 | 微软技术许可有限责任公司 | 用于降低的视频等待时间的接收方侧修改 |
| CN109600601A (zh) * | 2018-11-23 | 2019-04-09 | 维沃移动通信有限公司 | 一种存储3d图像的方法及终端设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1289124A (zh) * | 1999-09-17 | 2001-03-28 | 索尼公司 | 记录设备、记录方法和盘形记录介质 |
| CN1396526A (zh) * | 2002-08-02 | 2003-02-12 | 清华大学 | 实时音视频单节目源多码率压缩方法 |
| CN1473302A (zh) * | 2001-08-07 | 2004-02-04 | 索尼公司 | 记录装置、记录方法、程序、记录媒体和摄像装置 |
| US20090066783A1 (en) * | 2007-09-07 | 2009-03-12 | Samsung Electronics Co., Ltd. | Method and apparatus for generating stereoscopic file |
| CN101978699A (zh) * | 2008-01-25 | 2011-02-16 | 电子部品研究院 | 立体视频文件格式和按照该格式记录有立体视频文件的计算机可读记录介质 |
-
2013
- 2013-01-25 CN CN201310029683.9A patent/CN103179421B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1289124A (zh) * | 1999-09-17 | 2001-03-28 | 索尼公司 | 记录设备、记录方法和盘形记录介质 |
| CN1473302A (zh) * | 2001-08-07 | 2004-02-04 | 索尼公司 | 记录装置、记录方法、程序、记录媒体和摄像装置 |
| CN1396526A (zh) * | 2002-08-02 | 2003-02-12 | 清华大学 | 实时音视频单节目源多码率压缩方法 |
| US20090066783A1 (en) * | 2007-09-07 | 2009-03-12 | Samsung Electronics Co., Ltd. | Method and apparatus for generating stereoscopic file |
| CN101978699A (zh) * | 2008-01-25 | 2011-02-16 | 电子部品研究院 | 立体视频文件格式和按照该格式记录有立体视频文件的计算机可读记录介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108141587A (zh) * | 2015-10-09 | 2018-06-08 | 微软技术许可有限责任公司 | 用于降低的视频等待时间的接收方侧修改 |
| CN107734321A (zh) * | 2017-09-26 | 2018-02-23 | 韩世民 | 一种基于移动设备的3d成像方法 |
| CN109600601A (zh) * | 2018-11-23 | 2019-04-09 | 维沃移动通信有限公司 | 一种存储3d图像的方法及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103179421B (zh) | 2015-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200701B2 (en) | Method and apparatus for storage and signaling of static point cloud data | |
| US11581022B2 (en) | Method and apparatus for storage and signaling of compressed point clouds | |
| EP3821608A1 (en) | Method and apparatus for storage and signaling of compressed point clouds | |
| WO2020070379A1 (en) | Method and apparatus for storage and signaling of compressed point clouds | |
| CN103514620B (zh) | 3d立体动画全流程制作云计算平台 | |
| NZ718200A (en) | Multi-layer video file format designs | |
| CN109076262B (zh) | 文件生成装置和文件生成方法以及再现装置和再现方法 | |
| CN103179421B (zh) | 一种立体视频文件的描述与管理方法 | |
| CN103279521A (zh) | 一种基于Hadoop的视频大数据分布式解码方法 | |
| CN103412874A (zh) | 用于实现三维页面的方法及系统 | |
| AU2019283979A1 (en) | Systems and methods for personalized video rendering | |
| TW201921919A (zh) | 影像處理裝置及檔案生成裝置 | |
| CN103294453B (zh) | 图像处理方法和图像处理设备 | |
| CN113852829A (zh) | 点云媒体文件的封装与解封装方法、装置及存储介质 | |
| CN105611280A (zh) | 一种基于android系统的VR视频编辑方法和系统 | |
| KR102624994B1 (ko) | 포인트 클라우드 데이터를 위한 파일 형식 | |
| JP2022019682A (ja) | 動的メディアを生成するシステム及び方法 | |
| WO2024041238A1 (zh) | 一种点云媒体的数据处理方法及相关设备 | |
| CN113542907B (zh) | 多媒体数据收发方法、系统、处理器和播放器 | |
| CN102111637A (zh) | 生成立体视频深度图的方法及装置 | |
| CN106777107A (zh) | 一种数字标本瓦片数据存储的方法 | |
| CN103377294A (zh) | 一种基于色彩分布分析的视频摘要内容提取方法 | |
| US20180268057A1 (en) | Dynamic Media Rendering | |
| CN114245137A (zh) | 由gpu执行的视频帧处理方法和包括gpu的视频帧处理装置 | |
| CN101556688A (zh) | 一种大尺寸图像分割和存储的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |