CN112039899A - 虚拟现实系统控制方法、系统和存储介质 - Google Patents

Abstract

本发明提出的一种虚拟现实系统控制方法、系统和计算机可读存储介质，所述方法包括步骤：控制端接收用户触发的播放指令，基于websocket协议向所述播放指令对应的被控端发送控制广播；被控端接收到控制端发送的控制广播，开启数据广播接收端口；控制端基于websocket协议向服务器发送流媒体分发指令；服务器接收流媒体分发指令，并根据流媒体分发指令向各被控端广播流媒体数据；被控端的数据广播接收端口接收流媒体数据，并根据流媒体数据进行显示。本发明数据传输效率高，可减小或避免网络堵塞的可能性。

Description

虚拟现实系统控制方法、系统和存储介质

技术领域

本发明涉及虚拟现实显示领域，尤其涉及一种虚拟现实系统控制方法、 系统和计算机可读存储介质。

背景技术

VR(Virtual Reality)技术具体是指借助计算机及最新传感器技术创造的 人机交互手段，利用计算机模拟产生一个三维空间的虚拟世界，提供使用者 关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境。现有的虚拟 现实系统中各个穿戴设备通过向服务器不断的发送HTTP请求，获取流媒体数 据以进行显示。服务器被迫为每个穿戴设备使用许多不同的底层TCP连接，其 中一个用于向穿戴设备发送信息，其它用于接收每个传入消息，每一个穿戴 设备和服务器之间都生成对应HTTP头的请求，穿戴设备中的运行脚本也需要 被迫维护从传出连接到传入连接的映射来追踪回复，上述过程导致现有的虚 拟显示系统在运行时，需要并发多个请求、传输大量数据导致网络堵塞，影 响用户使用。

发明内容

本发明的主要目的在于提出一种虚拟现实系统控制方法、系统和计算机 可读存储介质，旨在解决现有虚拟显示系统在运行时，并发多个请求、传输 大量数据导致网络堵塞，影响用户使用的技术问题。

为实现上述目的，本发明提供一种虚拟现实系统控制方法，所述方法包 括步骤：

控制端接收用户触发的播放指令，基于websocket协议向所述播放指令对 应的被控端发送控制广播；

被控端接收到控制端发送的控制广播，开启数据广播接收端口；

控制端基于websocket协议向服务器发送流媒体分发指令；

服务器接收流媒体分发指令，并根据流媒体分发指令向各被控端广播流 媒体数据；

被控端的数据广播接收端口接收流媒体数据，并根据流媒体数据进行显 示。

优选地，所述服务器接收流媒体分发指令，并根据流媒体分发指令向被 控端广播流媒体数据的步骤包括：

服务器接收流媒体分发指令，确定与所述流媒体分发指令对应的流媒体 文件，将流媒体文件划分为多个依次排列的流媒体包；

服务器基于UDP协议并根据流媒体分发指令向各被控端依次广播流媒体 包，其中，所述流媒体数据包括多个依照流媒体包的序列号排列广播的流媒 体包。

优选地，所述服务器基于UDP协议根据流媒体分发指令向被控端依次广 播流媒体包的步骤包括：

服务器基于UDP协议并根据流媒体分发指令向各被控端广播多个流媒体 包中第一个流媒体包；

被控端接收流媒体包，并基于websocket协议向服务器反馈接收该流媒体 包的确认信息；

服务器接收被控端发送的确认信息，并判断预设时间内是否接收到流媒 体分发指令对应的所有被控端发送的确认信息；

若预设时间内接收到流媒体分发指令对应的所有被控端发送的确认信 息，则服务器基于UDP协议并根据流媒体分发指令向播放指令对应的各被控 端广播下一个流媒体包，直至所有流媒体包广播完毕。

优选地，所述服务器接收被控端发送的确认信息，并判断是否接收到流 媒体分发指令对应的所有被控端发送的确认信息的步骤之后，包括：

若预设时间内未接收到流媒体分发指令对应的所有被控端发送的确认信 息，则服务器基于websocket协议向未反馈确认信息的被控端发送该流媒体 包，直至服务器接收到该被控端发送的确认信息，执行步骤：服务器基于UDP 协议并根据流媒体分发指令向播放指令对应的各被控端广播下一个流媒体 包，直至所有流媒体包广播完毕。

优选地，所述被控端的数据广播接收端口接收流媒体数据，并根据流媒 体数据进行显示的步骤包括：

被控端接收服务器基于websocket协议和/或基于UDP协议发送的流媒体 包，并对流媒体包进行解析，生成媒体文件，将媒体文件加入媒体缓冲队列；

依次显示并播放媒体缓冲队列中的媒体文件。

优选地，所述被控端为VR可穿戴设备，所述被控端的数据广播接收端口 接收流媒体数据，并根据流媒体数据进行显示的步骤之后，包括：

被控端基于websocket协议向显示设备实时发送播放信息，以使显示设备 根据播放信息同步显示该被控端的显示画面。

优选地，所述控制端接收用户触发的播放指令，基于websocket协议向所 述播放指令对应的被控端发送控制广播的步骤之前，包括：

控制端、服务器和至少一个被控端两两之间建立websocket协议连接；

控制端根据与其连接的被控端生成包括各个被控端对应识别标识的设备 列表，并基于websocket协议向所述服务器发送查询指令；

服务器接收查询指令，并基于websocket协议根据查询指令向所述控制端 发送媒体文件列表；

控制端接收并显示媒体文件列表。

优选地，所述控制端接收用户触发的播放指令，基于websocket协议向所 述播放指令对应的被控端发送控制广播的步骤包括：

控制端接收用户根据媒体文件列表触发的播放指令，基于websocket协议 向所述设备列表对应的各个被控端发送控制广播。

为实现上述目的，本发明还提供一种虚拟现实系统，包括控制端、被控 端和服务器，所述控制端、所述被控端和所述服务器均包括存储器、处理器 和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机 程序被对应所述处理器执行时实现如上述的虚拟现实系统控制方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机 可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如 上述的虚拟现实系统控制方法的步骤。

本发明提出的一种虚拟现实系统控制方法、系统和计算机可读存储介质， 通过通过WebSocket协议进行控制端、被控端和服务器之间的信息交互，从 而省去使用HTTP轮询，避免了现有技术中通过HTTP轮询实现双向通信造 成的传输效率低的技术问题；通过服务器根据流媒体分发指令向各被控端广 播流媒体数据，从而通过数据广播的方法将各被控端所需要的媒体文件发送 到各被控制端，保证媒体文件等大数据传输，同时省去了各被控端分别向服 务器并发请求，减小或避免网络堵塞的可能性。

附图说明

图1为本发明虚拟现实系统控制方法第一实施例的流程示意图；

图2为本发明虚拟现实系统控制方法第二实施例的流程示意图；

图3为本发明虚拟现实系统控制方法第三实施例步骤S420的细化流程 图；

图4为本发明虚拟现实系统控制方法第六实施例的流程示意图。

图5为本发明系统的模块结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定 本发明。

本发明提供一种虚拟现实系统控制方法，参照图1，图1为本发明虚拟现 实系统控制方法第一实施例的流程示意图，所述方法包括步骤：

步骤S100，控制端接收用户触发的播放指令，基于websocket协议向所 述播放指令对应的被控端发送控制广播；

控制端具体可以为控制主机，用于控制各个被控端和外设设备。在控制 端发送控制广播之前，控制端、服务器、被控端和外设设备等通过控制信道 连接。在本实施例中，控制信道使用单个TCP连接双向通信的WebSocket API，WebSocket协议为提供了一个用来替代HTTP轮询实现网页到远程主机 的双向通信的协议。被控端具体可以是与控制端基于websocket协议建立连接 的一个或多个可穿戴设备，可穿戴设备可以是VR头盔、VR眼睛瞪。当然本 领域技术人员可以理解的是，控制端还可以根据用户触发的控制指令，基于websocket协议向所述控制指令对应的外部设备发送控制广播。例如控制对应 的手柄上报位置信息、控制显示设备进行媒体文件播放等。

步骤S200，被控端接收到控制端发送的控制广播，开启数据广播接收端 口；

具体地，被控端接收到控制广播后，启动播放器客户端，播放器客户端 进行初始化，根据控制广播写到媒体信息建立媒体解析和解码管道，开启数 据广播接收端口，以通过数据广播接收端口接受数据信息，最后通过websocket 协议向控制端反馈播放端准备就绪信息。

步骤S300，控制端基于websocket协议向服务器发送流媒体分发指令；

具体地，控制端在接收到控制端反馈播放端准备就绪信息的后，向服务 器发送流媒体分发指令，流媒体分发指令中携带用户想要播放的媒体文件的 识别信息和需要播放该媒体文件的被控端的识别信息。流媒体分发指令中携 带的被控端的识别信息与控制端接收到的准备就绪信息对应，以使得服务器 仅需要先正常工作的被控端发送流媒体数据即可。

步骤S400，服务器接收流媒体分发指令，并根据流媒体分发指令向各被 控端广播流媒体数据；

服务器通过流媒体分发指令中携带的媒体文件的识别信息确定对应的媒 体文件，并根据该媒体文件生成流媒体数据，将该流媒体数据发送基于UDP 协议、RTP协议、RTCP协议、SIP协议、或TCP协议等向各被控端广播。媒 体文件具体可以是视频文件、3D模型文件等。

步骤S500，被控端的数据广播接收端口接收流媒体数据，并根据流媒体 数据进行显示。

被控端接收到该流媒体数据后，对流媒体数据进行解析，媒体解析和解 码管道开始工作，解码出的帧数据进行显示。

在本发明中，通过WebSocket协议进行控制端、被控端和服务器之间的 信息交互，从而省去使用HTTP轮询，避免了现有技术中通过HTTP轮询实 现双向通信造成的传输效率低的技术问题；通过服务器根据流媒体分发指令 向各被控端广播流媒体数据，从而通过数据广播的方法将各被控端所需要的 媒体文件发送到各被控制端，保证媒体文件等大数据传输，同时省去了各被 控端分别向服务器并发请求，减小或避免网络堵塞的可能性。

进一步地，请参阅图2，在基于本发明虚拟现实系统控制方法的第一实施 例所提出的本发明虚拟现实系统控制方法第二实施例中，在所述步骤S400包 括：

步骤S410，服务器接收流媒体分发指令，确定与所述流媒体分发指令对 应的流媒体文件，将流媒体文件划分为多个依次排列的流媒体包；

具体地，服务器接收流媒体分发指令，确定与所述流媒体分发指令对应 的媒体文件，打开媒体文件，将媒体文件划分成流媒体包，一个流媒体包的 包头包含序列号。

步骤S420，服务器基于UDP协议并根据流媒体分发指令向各被控端依次 广播流媒体包，其中，所述流媒体数据包括多个依照流媒体包的序列号排列 广播的流媒体包。

根据序列号依次通过UDP端口进行广播，以使得各被控端可以依次接收 到流媒体包。UDP协议(UDP，User Datagram Protocol)为应用程序提供了 一种无需建立连接就可以发送封装的IP数据包的方法。从而可以实现服务器 向各控制端广播媒体文件。

在本实施例中，通过UDP协议进行媒体文件的数据传输，同时通过 WebSocket协议进行控制信息的数据传输，从而使得被控端仅进行数据接收即 可，而不用维护从传出连接到传入连接的映射来追踪回复，提高传输效率。

进一步地，请参阅图3，在基于本发明虚拟现实系统控制方法的第二实施 例所提出的本发明虚拟现实系统控制方法第三实施例中，在所述步骤S420包 括：

步骤S421，服务器基于UDP协议并根据流媒体分发指令向各被控端广播 多个流媒体包中第一个流媒体包；

第一个流媒体包为包头包含序列号位于第一位的流媒体包。

步骤S422，被控端接收流媒体包，并向服务器反馈接收该流媒体包的确 认信息；

被控端接收到流媒体包n后，基于websocket协议向服务器接收该流媒体 包n的确认信息。

步骤S423，服务器接收被控端发送的确认信息，并判断预设时间内是否 接收到流媒体分发指令对应的所有被控端发送的确认信息；

各个控制端均在接收到流媒体包后反馈确认信息，当流媒体包没有接收 到流媒体包，即不会反馈确认信息，相应的服务器也就接收不到确认信息。 本领域技术人员可以根据需要设置预设时间，具体可以是1s或2s。

若预设时间内接收到流媒体分发指令对应的所有被控端发送的确认信 息，则执行步骤S424：服务器基于UDP协议并根据流媒体分发指令向播放指 令对应的各被控端广播下一个流媒体包，直至所有流媒体包广播完毕。

服务器接收到所有被控端发送的确认信息，即表示所有被控端均接收到 了流媒体包n，可以进行下一个流媒体包n+1的广播，直至将媒体文件划分的 流媒体包全部广播完毕，则完成该媒体文件传输至各个被控端。

本实施例通过被控端发送确认信息，以追踪各个被控端是都接收到流媒 体包，从而保证各个被控端接收媒体文件均完整。

进一步地，在所述步骤S423之后，包括：

若预设时间内未接收到流媒体分发指令对应的所有被控端发送的确认信 息，则服务器基于websocket协议向未反馈确认信息的被控端发送该流媒体 包，直至服务器接收到该被控端发送的确认信息，执行步骤S414。

当被控端基于UDP协议不能接收到流媒体包时，服务器通过websocket 协议向被控端发送该流媒体包，从而保证每个被控端能基于多个通信协议接 收到流媒体包。

进一步地，在基于本发明虚拟现实系统控制方法的第三实施例所提出的 本发明虚拟现实系统控制方法第四实施例中，在所述步骤S500包括：

被控端接收服务器基于websocket协议和/或基于UDP协议发送的流媒体 包，并对流媒体包进行解析，生成媒体文件，将媒体文件加入媒体缓冲队列；

依次显示并播放媒体缓冲队列中的媒体文件。

在本实施例中，被控端可以根据包头中的序列号将解析的媒体文件加入 媒体缓冲列队中，并依次播放媒体缓冲队列中的媒体文件。

进一步地，在基于本发明虚拟现实系统控制方法的第一实施例所提出的 本发明虚拟现实系统控制方法第五实施例中，所述步骤S500之后：

被控端基于websocket协议向显示设备实时发送播放信息，以使显示设备 根据播放信息同步显示该被控端的显示画面。

显示设备可以为与各个被控端建立websocket协议连接的显示屏幕，通过 接收某个被控端发送的播放信息，从而可以实现同步显示与该被控端的显示 画面，方便除使用可穿戴设备的其他用户参与游戏或观影中。播放信息具体 可以是实时播放进度、播放角度等。

进一步地，请参阅图4，在基于本发明虚拟现实系统控制方法的第一实施 例所提出的本发明虚拟现实系统控制方法第六实施例中，所述步骤S100之前， 包括：

步骤S610，控制端、服务器和至少一个被控端两两之间建立websocket 协议连接；

步骤S620，控制端根据与其连接的被控端生成包括各个被控端对应识别 标识的设备列表，并基于websocket协议向所述服务器发送查询指令；

步骤S630，服务器接收查询指令，并基于websocket协议根据查询指令 向所述控制端发送媒体文件列表；

步骤S640，控制端接收并显示媒体文件列表。

在本实施例中，控制端基于websocket协议预先获取服务器中预先存储的 媒体文件对应的媒体文件列表。

进一步地，所述步骤S100包括：

步骤S110，控制端接收用户根据媒体文件列表触发的播放指令，基于 websocket协议向所述设备列表对应的各个被控端发送控制广播。

用户可以在显示的媒体文件列表中，选择所需要播放的视频或游戏。

参照图5，在硬件结构上所述虚拟现实系统包括控制端、被控端和服务器， 控制端、被控端和服务器均包括通信模块10、存储器20以及处理器30等部 件。所述存储器20上存储有计算机程序，所述计算机程序同时被处理器30 执行，所述计算机程序执行时实现上述虚拟现实系统控制方法实施例的步骤。

通信模块10，可通过网络与外部通讯设备连接。通信模块10可以接收外 部通讯设备发出的请求，还可以发送请求、指令及信息至所述外部通讯设备， 所述外部通讯设备可以是其它系统、服务器或者物联网设备，例如电视等等。

存储器20，可用于存储软件程序以及各种数据。存储器20可主要包括存 储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能 所需的应用程序(比如若检测到在显示单元的区域内触发选择指令，则启动 与该运营单元对应的应用)等；存储数据区可包括数据库，存储数据区可存 储根据系统的使用所创建的数据或信息等。此外，存储器20可以包括高速随 机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、 闪存器件、或其他易失性固态存储器件。

处理器30，是系统的控制中心，利用各种接口和线路连接整个系统的各 个部分，通过运行或执行存储在存储器20内的软件程序和/或模块，以及调用 存储在存储器20内的数据，执行系统的各种功能和处理数据，从而对系统进 行整体监控。处理器30可包括一个或多个处理单元；可选地，处理器30可 集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、 用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是， 上述调制解调处理器也可以不集成到处理器30中。

尽管图5未示出，但上述系统还可以包括电路控制模块，所述电路控制 模块用于与电源连接，保证其他部件的正常工作。本领域技术人员可以理解， 图5中示出的系统结构并不构成对系统的限定，可以包括比图示更多或更少 的部件，或者组合某些部件，或者不同的部件布置。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述 计算机可读存储介质可以是图5的系统中的存储器20，也可以是如ROM (Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存 取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干 指令用以使得一台具有处理器的系统执行本发明各个实施例所述的方法。

在本发明中，术语“第一”“第二”“第三”“第四”“第五”仅用于描述的目的， 而不能理解为指示或暗示相对重要性，对于本领域的普通技术人员而言，可 以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特 征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说 明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而 且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示 例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员 可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，本发明保护的范围并不局 限于此，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限 制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、 修改和替换，这些变化、修改和替换都应涵盖在本发明的保护范围之内。因 此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种虚拟现实系统控制方法，其特征在于，所述虚拟现实系统控制方法包括以下步骤：

控制端接收用户触发的播放指令，基于websocket协议向所述播放指令对应的被控端发送控制广播；

被控端接收到控制端发送的控制广播，开启数据广播接收端口；

控制端基于websocket协议向服务器发送流媒体分发指令；

服务器接收流媒体分发指令，并根据流媒体分发指令向各被控端广播流媒体数据；

被控端的数据广播接收端口接收流媒体数据，并根据流媒体数据进行显示。

2.如权利要求1所述虚拟现实系统控制方法，其特征在于，所述服务器接收流媒体分发指令，并根据流媒体分发指令向被控端广播流媒体数据的步骤包括：

服务器接收流媒体分发指令，确定与所述流媒体分发指令对应的流媒体文件，将流媒体文件划分为多个依次排列的流媒体包；

服务器基于UDP协议并根据流媒体分发指令向各被控端依次广播流媒体包，其中，所述流媒体数据包括多个依照流媒体包的序列号排列广播的流媒体包。

3.如权利要求2所述虚拟现实系统控制方法，其特征在于，所述服务器基于UDP协议根据流媒体分发指令向被控端依次广播流媒体包的步骤包括：

服务器基于UDP协议并根据流媒体分发指令向各被控端广播多个流媒体包中第一个流媒体包；

被控端接收流媒体包，并基于websocket协议向服务器反馈接收该流媒体包的确认信息；

服务器接收被控端发送的确认信息，并判断预设时间内是否接收到流媒体分发指令对应的所有被控端发送的确认信息；

若预设时间内接收到流媒体分发指令对应的所有被控端发送的确认信息，则服务器基于UDP协议并根据流媒体分发指令向播放指令对应的各被控端广播下一个流媒体包，直至所有流媒体包广播完毕。

4.如权利要求3所述虚拟现实系统控制方法，其特征在于，所述服务器接收被控端发送的确认信息，并判断是否接收到流媒体分发指令对应的所有被控端发送的确认信息的步骤之后，包括：

若预设时间内未接收到流媒体分发指令对应的所有被控端发送的确认信息，则服务器基于websocket协议向未反馈确认信息的被控端发送该流媒体包，直至服务器接收到该被控端发送的确认信息，执行步骤：服务器基于UDP协议并根据流媒体分发指令向播放指令对应的各被控端广播下一个流媒体包，直至所有流媒体包广播完毕。

5.如权利要求4所述虚拟现实系统控制方法，其特征在于，所述被控端的数据广播接收端口接收流媒体数据，并根据流媒体数据进行显示的步骤包括：

被控端接收服务器基于websocket协议和/或基于UDP协议发送的流媒体包，并对流媒体包进行解析，生成媒体文件，将媒体文件加入媒体缓冲队列；

依次显示并播放媒体缓冲队列中的媒体文件。

6.如权利要求1所述虚拟现实系统控制方法，其特征在于，所述被控端为VR可穿戴设备，所述被控端的数据广播接收端口接收流媒体数据，并根据流媒体数据进行显示的步骤之后，包括：

被控端基于websocket协议向显示设备实时发送播放信息，以使显示设备根据播放信息同步显示该被控端的显示画面。

7.如权利要求1所述虚拟现实系统控制方法，其特征在于，所述控制端接收用户触发的播放指令，基于websocket协议向所述播放指令对应的被控端发送控制广播的步骤之前，包括：

控制端、服务器和至少一个被控端两两之间建立websocket协议连接；

控制端根据与其连接的被控端生成包括各个被控端对应识别标识的设备列表，并基于websocket协议向所述服务器发送查询指令；

服务器接收查询指令，并基于websocket协议根据查询指令向所述控制端发送媒体文件列表；

控制端接收并显示媒体文件列表。

8.如权利要求7所述虚拟现实系统控制方法，其特征在于，所述控制端接收用户触发的播放指令，基于websocket协议向所述播放指令对应的被控端发送控制广播的步骤包括：

控制端接收用户根据媒体文件列表触发的播放指令，基于websocket协议向所述设备列表对应的各个被控端发送控制广播。

9.一种虚拟现实系统，其特征在于，包括控制端、被控端和服务器，所述控制端、所述被控端和所述服务器均包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被对应所述处理器执行时实现如权利要求1至8中任一项所述的虚拟现实系统控制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的虚拟现实系统控制方法的步骤。

Images