CN103873846A - 基于滑窗的众视点真三维显示系统视频同步播放方法 - Google Patents

Abstract

本发明公开了一种基于滑窗的众视点真三维显示系统视频同步播放方法，实施步骤如下：预先指定同步控制端和视频播放客户端，将各个视频播放客户端分别与同步控制端相连，将同步控制端与服务控制端相连；同步控制端判断播放控制命令类型，如果为停止命令，则同步控制端及视频播放客户端停止输出；如果类型为播放或快进命令，则同步控制端及视频播放客户端分别读取视频帧到视频流队列中，同步控制端在输出视频帧时将要播放的下一视频帧的时间标签广播给各个视频播放客户端来保持视频播放客户端与同步控制端输出同步。本发明具有可扩展性好、时延离散型小、同步控制误差低、同步性能好、播放进度调节同步性能好、播放进度调节同步速度快的优点。

Description

基于滑窗的众视点真三维显示系统视频同步播放方法

技术领域

本发明涉及三维显示领域的视频帧同步驱动技术，具体涉及一种基于滑窗的众视点真三维显示系统视频同步播放方法。

背景技术

视觉是人类感受世界、认识自然的重要途径。长期以来，研究者们一直在发展和完善显示技术，以便将客观世界的三维信息转换成数字、符号、文字、图形及图像等适当形式的视觉信息，来供人们观看、分析和利用。为了尽可能以人们喜闻乐见的形式来表述三维信息，显示系统的设计必须充分考虑人类视觉特性以及视觉在三维感知方面所依赖的深度暗示。三维显示技术既能提供反映视觉系统本身特点和感知特性的生理深度暗示，又能提供来源于日常积累的感知经验和视觉记忆的心理深度暗示。三维显示一直是全世界科学工作者不断追求的目标，但是目前所谓的三维电视还只是局限于单视角的视差显示。综观所有可能的三维显示技术，其主要显示原理可分为：视差型三维显示、全息三维显示以及真三维显示等。

随着快速空间光调制器或显示器技术、计算机技术的发展，使得真三维显示（空间显示）的实现成为可能。真三维显示是三维显示的最终目标，它是一种能够实现360度视角观察的三维显示技术，是现实景物的最真实的再现。近几年来真三维显示的研究出现了一轮的研究热潮，以美国为主的研发团队在近几年内不断研发出不同类型的真三维显示系统，并在观看效果上不断提高。我们国家近几年在真三维显示中也进行了探索性研究，并获得了一定的研究成果。真三维显示技术的突破对显示领域具有颠覆性影响。其最主要优点是图像的真实三维性和视点的几乎不受限制性。由之再现的三维场景真实地存在于用户所在的物质世界中，能提供几乎所有的视觉深度暗示，位置各异的用户无需借助其它器具，可以围绕显示区域看到与自身位置相对应的信息，在宽广的视场和视距范围内随心所欲地边走边看，完全符合人类对真实场景的观看方式，能协助用户更快速、准确地进行感知，有望为那些包含实时变化数据的情境分析任务或者需要多人同时观看的团队任务提供有效的可视化方案，因而在气象分析、医学成像和空中交通控制等领域中具有广阔的应用前景，并且在未来有望进入家庭，实现真三维的视频显示。因此真三维显示具有广阔的发展前景以及广阔的产业化潜能。积极探索实现真三维显示的新途径与新方法，掌握原创性的自主知识产权，对我们国家未来的三维显示技术的产业发展具有十分重要的意义。

真三维显示技术是一个多学科综合性技术，涉及电子、计算机、光学、机械等多个学科领域。其显示特性特别适合于需要进行三维科学分析、情境仿真和协同操控等团队任务，因而成为当前虚拟现实与增强现实技术中的新手段与新技术。真三维显示的研究工作不但促进显示技术的发展，同时将促进信息处理，光学，电子，机械，控制，通讯，计算机图形学，嵌入式软件，多媒体技术等相关技术的发展。信息显示技术和产品应用范围广，产业效益巨大, 是国家高技术战略必争之地；尽早开展真三维显示相关技术的研究，在发展初级阶段介入，有可能在部分技术上获得领先地位，从而在该领域掌握源头性及核心技术。真三维显示的难点包括大容量真实数据的获取、处理、传输以及再现等，尤其是再现技术。

如图1所示，现有技术的众视点真三维显示系统包括视景采集部件C₁～C_n、视景传输部件、视景处理部件和光学三维显示部件P₁～P_n。视景采集部件采用众视点技术进行实时采集，由按照一定规律排列的相同光学参数的采集单元阵列构成，其中采集单元阵列中采集单元（摄像头）C₁～C_n按照一定的排列方式排列，图1中所示为线阵方式，相同光学参数的采集单元C₁～C_n同步实时对三维物空间进行抽样采集并输出给视景传输部件，以图1中的R点为例，所有采集单元C₁～C_n从不同角度同时对R点进行视频采集，将采集到的视频进行一系列视频处理如编码压缩等，然后通过局域网或者广域网实时传输到视景处理部件。视景处理部件使得各个数据流按照视景采集的时间顺序进行播放显示，从而严格真实地在光学三维显示部件P₁～P_n的光学显示屏上恢复在视景采集过程中被采集的三维景象，即从观察者方向就可看到R点的三维效果，即R’。 由于众视点真三维显示系统涉及复杂的系统结构，因此如何实现一种众视点真三维显示系统视频同步播放方法，成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题是提供一种可扩展性好、时延离散型小、同步控制误差低、同步性能好、播放进度调节同步性能好、播放进度调节同步速度快的基于滑窗的众视点真三维显示系统视频同步播放方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于滑窗的众视点真三维显示系统视频同步播放方法，其特征在于实施步骤如下：

1）预先指定众视点真三维显示系统的一个存储有本地视频的节点作为同步控制端，将其它存储有本地视频的节点作为视频播放客户端与投影仪相连，将各个视频播放客户端分别与同步控制端相连，将所述同步控制端与服务控制端通过网络相连；当所述同步控制端收到服务控制端发送的播放控制命令时跳转执行下一步；

2）所述同步控制端判断收到播放控制命令的类型，如果播放控制命令的类型为停止命令，则同步控制端向各个视频播放客户端广播停止命令，然后同步控制端和收到广播的各个视频播放客户端分别停止读取本地视频帧到视频流队列；如果播放控制命令类型为播放或快进命令，则跳转执行步骤3）；

3）所述同步控制端向各个视频播放客户端广播播放控制命令，所述同步控制端以及收到广播的视频播放客户端分别按照播放控制命令对应的帧速以及读帧方式读取本地存储的带有时间标签的视频帧到视频流队列中，所述同步控制端在输出视频流队列中视频帧时将要播放的下一视频帧的时间标签广播给各个视频播放客户端，各个所述视频播放客户端根据收到的时间标签并分别基于滑窗将视频流队列中视频帧向投影仪同步输出。

作为本发明基于滑窗的众视点真三维显示系统视频同步播放方法的进一步改进：

所述步骤3）中各个视频播放客户端根据收到的时间标签并分别基于滑窗将视频流队列中视频帧向投影仪同步输出的详细步骤如下：所述视频播放客户端预先在所述视频流队列中设置用于控制视频帧流出的滑窗，所述滑窗的窗口大小为4帧；所述视频播放客户端在收到同步控制端发送的时间标签后，计算收到时间标签与滑窗中第2帧的时间标签之间的时间差值，然后将所述时间差值与预设的对应播放控制命令的误差允许范围进行对比，如果所述时间差值小于所述误差允许范围的下边界值，则所述视频播放客户端将第1帧发送到投影仪输出，并将滑窗在所述视频流队列中保持不动；如果所述时间差值在所述误差允许范围之内，则所述视频播放客户端将第2帧发送到投影仪输出，并将滑窗在所述视频流队列中前进1个帧；如果所述时间差值大于所述误差允许范围的上边界值，则所述视频播放客户端将第3帧发送到投影仪输出，并将滑窗在所述视频流队列中前进2个帧。

所述步骤3）中播放控制命令对应的帧速以及读帧方式以及播放控制命令对应的误差允许范围具体是指：当播放控制命令为播放命令时，所述播放控制命令对应的帧速为25帧/秒、读帧方式为逐帧读取、误差允许范围的下边界值为-20ms、误差允许范围的上边界值为20ms；当播放控制命令为快进命令时，所述播放控制命令对应的帧速为25帧/秒、读帧方式为隔一帧读取一帧、误差允许范围的下边界值为-40ms、误差允许范围的上边界值为40ms。

本发明具有下述优点：

1、本发明预先指定众视点真三维显示系统的一个存储有本地视频的节点作为同步控制端，将其它存储有本地视频的节点作为视频播放客户端与投影仪相连，将各个视频播放客户端分别与同步控制端相连，将同步控制端与服务控制端通过网络相连最终形成三级胖树拓扑结构，三级胖树拓扑结构不仅具有可扩展性好的优点，且由于拓扑结构的对称性，同步控制端到各个视频播放客户端的时延离散型较小，降低了视频帧同步的控制过程误差，而且三级胖树型拓扑结构的网络直径较小，等分带宽较大，胖树型拓扑结构能够减少数据传输时需要经过的结点数目，从而降低数据包的传输延迟，而且胖树结构使得树的上层获得了较高的带宽，解决了普通的树型结构在核心层的带宽瓶颈问题，使得每一层都具有相同的聚合带宽，具有良好的容错特性，而且本发明的视频播放客户端根据收到的时间标签与同步控制端保持视频帧输出同步，本发明通过三级胖树拓扑结构结合视频流同步的控制等方面使得真三维显示的再现技术得以精确地实现，为真三维显示的进入日常生活提供了技术基础，而且能够尽可能减小由于同步功能带来的视频帧时延开销，具有可扩展性好、时延离散型小、同步控制误差低的优点。

2、本发明的视频播放客户端进一步采用滑窗来实现播放输出的同步，减小由于同步功能带来的视频帧时延开销，能够方便地调节视频帧播放进度，调整多路视频播放过程不同步的现象，能够将各路视频帧的误差可以控制在1帧范围内，具有同步性能好、播放进度调节同步性能好、播放进度调节同步速度快的优点。

附图说明

图1为现有技术的众视点真三维显示系统的原理结构示意图。

图2为本发明实施例的基本方法流程示意图。

图3为本发明实施例的滑窗控制视频帧流出的原理示意图。

图4为本发明实施例形成的三级胖树型拓扑结构的拓扑结构示意图。

具体实施方式

如图2和图3所示，本实施例基于滑窗的众视点真三维显示系统视频同步播放方法的实施步骤如下：

1）预先指定众视点真三维显示系统的一个存储有本地视频的节点作为同步控制端，将其它存储有本地视频的节点作为视频播放客户端与投影仪相连，将各个视频播放客户端分别与同步控制端相连，将同步控制端与服务控制端通过网络相连；当同步控制端收到服务控制端发送的播放控制命令时跳转执行下一步；

2）同步控制端判断收到播放控制命令的类型，如果播放控制命令的类型为停止命令，则同步控制端向各个视频播放客户端广播停止命令，然后同步控制端和收到广播的各个视频播放客户端分别停止读取本地视频帧到视频流队列；如果播放控制命令类型为播放或快进命令，则跳转执行步骤3）；

3）同步控制端向各个视频播放客户端广播播放控制命令，同步控制端以及收到广播的视频播放客户端分别按照播放控制命令对应的帧速以及读帧方式读取本地存储的带有时间标签的视频帧到视频流队列中，同步控制端在输出视频流队列中视频帧时将要播放的下一视频帧的时间标签广播给各个视频播放客户端，各个视频播放客户端根据收到的时间标签并分别基于滑窗将视频流队列中视频帧向投影仪同步输出。

本实施例中预先指定众视点真三维显示系统的一个存储有本地视频的节点作为同步控制端Client_Ctrl，将其它存储有本地视频的节点作为视频播放客户端Client与投影仪相连，将各个视频播放客户端Client分别与同步控制端Client_Ctrl相连，视频播放客户端Client相对于同步控制端Client_Ctrl而言都处于同样的拓扑层次，由拓扑层次相同的视频播放客户端Client控制投影仪时，各个视频播放客户端Client对投影仪的控制时间几乎相同，同步控制更加简单方便。同步控制端Client_Ctrl将本节点中的视频帧播放信息（下一帧中所包含的时间标签）以广播的方式发送给其它视频播放客户端Client，接收到此信息的视频播放客户端Client则采用滑窗法将视频流队列中视频帧向投影仪同步输出。

如图2和图3所示，本实施例步骤3）中各个视频播放客户端Client根据收到的时间标签分别将视频流队列中视频帧向投影仪同步输出（采用滑窗法）的详细步骤如下：视频播放客户端Client预先在视频流队列中设置用于控制视频帧流出的滑窗，滑窗的窗口大小为4帧；视频播放客户端Client在收到同步控制端Client_Ctrl发送的时间标签t_ctrl后，计算收到时间标签t_ctrl与滑窗中第2帧的时间标签t₂之间的时间差值t_ctrl-t₂，然后将时间差值t_ctrl-t₂与预设的对应播放控制命令的误差允许范围进行对比，如果时间差值小于误差允许范围的下边界值，则视频播放客户端Client将第1帧发送到投影仪输出，并将滑窗在视频流队列中保持不动；如果时间差值在误差允许范围之内，则视频播放客户端Client将第2帧发送到投影仪输出，并将滑窗在视频流队列中前进1个帧；如果时间差值大于误差允许范围的上边界值，则视频播放客户端Client将第3帧发送到投影仪输出，并将滑窗在视频流队列中前进2个帧，从而能够方便地调节视频帧播放进度，调整多路视频播放过程不同步的现象，能够将各路视频帧的误差可以控制在1帧范围内，同步控制效果好。需要说明的是，滑窗的窗口大小为4的时候已经能够控制常速、加快、减慢三种情况，此外也可以根据需要将滑窗的窗口大小调节为更大的值，此时只需要适应性调整加快和减慢的帧数即可。

本实施例的步骤3）中，播放控制命令对应的帧速以及读帧方式以及播放控制命令对应的误差允许范围具体是指：当播放控制命令为播放命令时，播放控制命令对应的帧速为25帧/秒、读帧方式为逐帧读取、误差允许范围的下边界值为-20ms、误差允许范围的上边界值为20ms；当播放控制命令为快进命令时，播放控制命令对应的帧速为25帧/秒、读帧方式为隔一帧读取一帧、误差允许范围的下边界值为-40ms、误差允许范围的上边界值为40ms。

以播放命令为例，当同步控制端Client_Ctrl接收到播放命令‘play’后，首先将播放命令‘play’以广播的方式发送到视频播放客户端Client，然后按照25帧/s的速度读取本地存储中的视频帧保存到视频流队列中，（同步控制端Client_Ctrl和视频播放客户端Client中都存有本终端需要待播放的视频，同步控制端Client_Ctrl只读取视频但是不连接投影仪不输出视频），视频播放客户端Client节点接收到播放命令后以同样的方式进行视频帧读取本地视频，存入本地的视频流队列；在视频播放客户端Client通过投影仪输出视频帧时，同步控制端Client_Ctrl节点将要播放的下一视频帧的时间标签t_ctrl广播给所有视频播放客户端Client，当视频播放客户端Client接收到时间标签t_ctrl之后和本地滑窗中的第2帧的时间标签t₂对比，如果两者的时间差值t_ctrl-t₂在误差允许的范围内（t_ctrl-t₂≥-20ms且t_ctrl-t₂≤20ms），则将此帧（本地滑窗中的第2帧）流出，滑窗前进1个帧（即Step=1）；如果本地Client节点的时间标签t₂比接收到的时间标签t_ctrl滞后超过20ms（t_ctrl-t₂＞20ms），则将第3帧播放，滑窗前进2个帧（即Step=2）；否则（t_ctrl-t₂＜-20ms），将滑窗中的第1个帧流出且滑窗不前进（即Step=0）。

以快进命令为例，当同步控制端Client_Ctrl接收到快进命令后，首先将快进命令‘fast’广播到视频播放客户端Client_i(i=0,1…)，然后以25帧/s的速度隔一帧读取一帧，视频播放客户端Client收到‘fast’命令后仍以同样的方式（25帧/s）读取数据。如果视频播放客户端Client接收到快进命令‘fast’之后，则仍把滑窗中第2个帧的时间标签t₂与接收到的时间标签t_ctrl作对比，如果在允许的误差范围内（t_ctrl-t₂≥-40ms且t_ctrl-t₂≤40ms），则将本帧流出，滑窗前进1个帧（即Step=1）；如果视频播放客户端Client的滑窗中第2个帧的时间标签t₂比接收到的时间标签t_ctrl滞后超过40ms（t_ctrl-t₂＞40ms），则将第3帧播放，滑窗前进2个帧（即Step=2）；否则（t_ctrl-t₂＜-40ms），将滑窗中的第1个帧流出且滑窗前进0个帧，即滑窗不前进（即Step=0）。此外，当同步控制端Client_Ctrl接收到暂停命令后，也首先将暂停命令‘stop’广播，停止本地视频帧读取，视频播放客户端Client接收到‘stop’命令后也停止读取视频流到视频流队列。

如图4所示，本实施例预先指定其中一个视频播放客户端Client作为同步控制端Client_Ctrl，将同步控制端Client_Ctrl分别将其余的各个视频播放客户端Client（即图中的Client_11～Client_18以及Client_81～Client_88）通过网络相连，将同步控制端Client_Ctrl与服务控制端Server通过网络相连，将各个视频播放客户端Client与投影仪（P1～P8）相连，最终形成三级胖树拓扑结构，三级胖树拓扑结构不仅具有可扩展性好的优点，且由于拓扑结构的对称性，同步控制端Client_Ctrl到各个视频播放客户端Client的时延离散型较小，降低了视频帧同步的控制过程误差，三级胖树型拓扑结构的网络直径较小，等分带宽较大，胖树型拓扑结构能够减少数据传输时需要经过的结点数目，从而降低数据包的传输延迟，而且三级胖树结构使得树的上层获得了较高的带宽，解决了普通的树型结构在核心层的带宽瓶颈问题，使得每一层都具有相同的聚合带宽，具有良好的容错特性，通过OMNeT++仿真测试验证，本实施例中三级胖树拓扑结构为的性能优秀的网络结构。本实施例中专门采用了同步控制端Client_Ctrl对其余视频播放客户端Client进行统一控制，同步控制端Client_Ctrl与视频播放客户端Client为同种型号、同种配置的电脑，且同步控制端Client_Ctrl与所有视频播放客户端Client的距离几乎相等，而服务控制端Server仅需和同步控制端Client_Ctrl进行通信，从而使服务控制端Server可以采用多种形式的终端，并且可以处于任意位置。本实施例的三级胖树拓扑结构中，投影仪和视频播放客户端Client之间的数据速率为最大8Mbps，一个视频播放客户端Client支持8路投影仪视频输出，每8个视频播放客户端Client通过一个千兆交换机与同步控制端Client_Ctrl相连，同步控制端Client_Ctrl发布控制信息给16个视频播放客户端Client（即图中的Client_11～Client_18以及Client_81～Client_88）。本实施例中，视频播放客户端Client、同步控制端Client_Ctrl、服务控制端Server之间基于UDP的Socket通信方法实现对三维显示过程中不同视频帧播放时间节点进行动态的调整。为了实现真三维显示效果，需要使若干路投影仪在同一时刻将同步的视频帧投映在同一个屏幕，带有时间标签的视频帧是本实施例实施的基础，因此在视频采集系统采集到的视频帧后，要求在视频流的电脑接收端对其进行加密的同时添加精度达到10ms的时间标签，本实施例中将时间标签放在视频帧起始位置的第11～13字节，且同步控制端Client_Ctrl使用read_frtime()函数读取要播放的下一帧中所包含的时间标签，并将其转换为整数型发送给各个视频播放客户端Client。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于滑窗的众视点真三维显示系统视频同步播放方法，其特征在于实施步骤如下：

1）预先指定众视点真三维显示系统的一个存储有本地视频的节点作为同步控制端，将其它存储有本地视频的节点作为视频播放客户端与投影仪相连，将各个视频播放客户端分别与同步控制端相连，将所述同步控制端与服务控制端通过网络相连；当所述同步控制端收到服务控制端发送的播放控制命令时跳转执行下一步；

2）所述同步控制端判断收到播放控制命令的类型，如果播放控制命令的类型为停止命令，则同步控制端向各个视频播放客户端广播停止命令，然后同步控制端和收到广播的各个视频播放客户端分别停止读取本地视频帧到视频流队列；如果播放控制命令类型为播放或快进命令，则跳转执行步骤3）；

3）所述同步控制端向各个视频播放客户端广播播放控制命令，所述同步控制端以及收到广播的视频播放客户端分别按照播放控制命令对应的帧速以及读帧方式读取本地存储的带有时间标签的视频帧到视频流队列中，所述同步控制端在输出视频流队列中视频帧时将要播放的下一视频帧的时间标签广播给各个视频播放客户端，各个所述视频播放客户端根据收到的时间标签并分别基于滑窗将视频流队列中视频帧向投影仪同步输出。

2.根据权利要求1所述的基于滑窗的众视点真三维显示系统视频同步播放方法，其特征在于，所述步骤3）中各个视频播放客户端根据收到的时间标签并分别基于滑窗将视频流队列中视频帧向投影仪同步输出的详细步骤如下：所述视频播放客户端预先在所述视频流队列中设置用于控制视频帧流出的滑窗，所述滑窗的窗口大小为4帧；所述视频播放客户端在收到同步控制端发送的时间标签后，计算收到时间标签与滑窗中第2帧的时间标签之间的时间差值，然后将所述时间差值与预设的播放控制命令对应的误差允许范围进行对比，如果所述时间差值小于所述误差允许范围的下边界值，则所述视频播放客户端将第1帧发送到投影仪输出，并将滑窗在所述视频流队列中保持不动；如果所述时间差值在所述误差允许范围之内，则所述视频播放客户端将第2帧发送到投影仪输出，并将滑窗在所述视频流队列中前进1个帧；如果所述时间差值大于所述误差允许范围的上边界值，则所述视频播放客户端将第3帧发送到投影仪输出，并将滑窗在所述视频流队列中前进2个帧。

3.根据权利要求2所述的基于滑窗的众视点真三维显示系统视频同步播放方法，其特征在于，所述步骤3）中播放控制命令对应的帧速以及读帧方式以及播放控制命令对应的误差允许范围具体是指：当播放控制命令为播放命令时，所述播放控制命令对应的帧速为25帧/秒、读帧方式为逐帧读取、误差允许范围的下边界值为-20ms、误差允许范围的上边界值为20ms；当播放控制命令为快进命令时，所述播放控制命令对应的帧速为25帧/秒、读帧方式为隔一帧读取一帧、误差允许范围的下边界值为-40ms、误差允许范围的上边界值为40ms。

Images