CN113176868A - 智能设备的一拖多系统及方法 - Google Patents

智能设备的一拖多系统及方法 Download PDF

Info

Publication number
CN113176868A
CN113176868A CN202110281989.8A CN202110281989A CN113176868A CN 113176868 A CN113176868 A CN 113176868A CN 202110281989 A CN202110281989 A CN 202110281989A CN 113176868 A CN113176868 A CN 113176868A
Authority
CN
China
Prior art keywords
coding
streaming media
control system
terminal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110281989.8A
Other languages
English (en)
Other versions
CN113176868B (zh
Inventor
张瑞生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110281989.8A priority Critical patent/CN113176868B/zh
Publication of CN113176868A publication Critical patent/CN113176868A/zh
Application granted granted Critical
Publication of CN113176868B publication Critical patent/CN113176868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种智能设备的一拖多系统及方法，其中的系统包括：控制系统以及与控制系统连接的操控终端和至少一个体验终端；其中，在操控终端的SDK中设置有渲染模块和推流服务模块，渲染模块用于生成待分享的演示画面，推流服务模块用于对演示画面进行编码优化，并将编码优化后的数据推送至控制系统；体验终端用于与控制系统中的流媒体服务器连接，并通过流媒体服务器获取与编码优化后的数据对应的演示画面。利用上述发明能够实现不同场景下的VR一拖多方案，适用范围广，开放性强。

Description

智能设备的一拖多系统及方法
技术领域
本发明涉及VR设备技术领域，更为具体地，涉及一种智能设备的一拖多系统及方法。
背景技术
随着社会的进步和VR技术的不断发展，VR相关技术在各行各业中应运而生，例如，VR教育、VR培训、VR医疗等等，在目前的应用市场中均占据了很大的比例。
但是，在实际应用过程中，一人操作多人观看的需求越来越多，且内容类型多种多样，例如，在教育场景里，需要老师进行操作，多个学生进行观看等，由于目前尚未有VR一拖多的平台方法，无法给开发者或者学校一个平台，供其开发丰富多样且容易实现一拖多的方案，导致VR技术应用受限，不利于扩展，用户体验不能得到满足等问题。
发明内容
鉴于上述问题，本发明的目的是提供一种智能设备的一拖多系统及方法，以解决现有VR技术无法给开发者提供一个可供其开发且容易实现一拖多方案，影响用户体验及自主开发等问题。
本发明提供的智能设备的一拖多系统，包括控制系统以及与控制系统连接的操控终端和至少一个体验终端；其中，在操控终端的SDK中设置有渲染模块和推流服务模块，渲染模块用于生成待分享的演示画面，推流服务模块用于对演示画面进行编码优化，并将编码优化后的数据推送至控制系统；体验终端用于与控制系统中的流媒体服务器连接，并通过流媒体服务器获取与编码优化后的数据对应的演示画面。
此外，优选的技术方案是，操控终端及体验终端包括VR一体机、PC或者Pad。
此外，优选的技术方案是，流媒体服务器采用开源框架搭建至控制系统内；并且，控制系统与流媒体服务器位于同一局域网内。
此外，优选的技术方案是，控制系统包括PC机；流媒体服务器包括公网云、第三方云或者与PC机位于同一局域网内的PC。
此外，优选的技术方案是，SDK包括操控终端的自有SDK或者开放SDK；开放SDK包括OpenXR或UnityXR。
此外，优选的技术方案是，在SDK中还设置有帧编码模块；其中，渲染模块用于将演示画面的帧画面发送至操控终端的显示屏进行显示，同时，将帧画面发送至帧编码模块；帧编码模块用于对帧画面进行流媒体编码，并传送至推流模块内；推流服务模块用于将流媒体编码后的帧画面传输至流媒体服务器。
此外，优选的技术方案是，帧编码模块基于ffmpeg对帧画面进行流媒体编码。
此外，优选的技术方案是，在体验终端中设置有流媒体VR播放器；流媒体VR播放器根据流媒体服务器中的IP地址，获取与操控终端的操作相对应的演示画面。
此外，优选的技术方案是，操控终端与控制系统通过有线或无线链接，操控终端与控制系统位于同一局域网或无线公网内。
根据本发明的另一方面，提供一种智能设备的一拖多方法，利用上述智能设备的一拖多系统进行画面展示；其中方法包括：基于操控终端的SDK内的渲染模块生成待分享的演示画面；通过SDK内的推流服务模块对演示画面进行编码优化，并将编码优化后的数据推送至控制系统；体验终端通过控制系统中的流媒体服务器获取与编码优化后的数据相对应的演示画面。
利用上述智能设备的一拖多系统及方法，通过操控终端的SDK内的渲染模块生成待分享的演示画面，然后基于SDK内的推流服务模块对演示画面进行编码优化，并将编码优化后的数据推送至控制系统，体验终端通过控制系统中的流媒体服务器获取与编码优化后的数据相对应的演示画面，能够实现VR的平台级功能支持，适用范围广，利于用户自主开发扩展。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的智能设备的一拖多系统的方框示意图；
图2为根据本发明实施例的操控终端的结构示意图；
图3为根据本发明实施例的智能设备的一拖多方法的流程图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
为详细描述本发明的智能设备的一拖多系统及方法，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的智能设备的一拖多系统的示意逻辑；如2示出了根据本发明实施例的操控终端的示意结构。
如图1和图2所示，本发明实施例的智能设备的一拖多系统，包括控制系统以及与控制系统连接的操控终端和至少一个体验终端；其中，在操控终端的SDK(VR SDK)中设置有渲染模块和推流服务模块，渲染模块用于生成待分享的演示画面，推流服务模块用于对演示画面进行编码优化，并将编码优化后的数据推送至控制系统内的流媒体服务器中；体验终端与控制系统中的流媒体服务器连接，可通过流媒体服务器获取与编码优化后的数据对应的演示画面，进而实现一人操作多人观看的一拖多方案。
其中，操控终端及体验终端可以包括VR一体机、PC或者Pad等多种形式的操控终端，控制系统包括PC机，流媒体服务器包括公网云、第三方云，以及与PC机位于同一局域网的PC。其中，第三方云可包括阿里云流媒体服务或AWS流媒体服务等。
具体地，位于可控制系统内的流媒体服务器采可用开源框架搭建至控制系统；并且，控制系统与流媒体服务器位于同一局域网内，例如，流媒体服务器可以采用开源框架搭建到PC机上，也可以搭建到与PC机位于同一局域网的PC上，或使用公网云，第三方云(阿里云流媒体服务/AWS流媒体服务)等等多种形式。
换言之，控制系统可采用PC机，而位于控制系统内的流媒体服务器可采用公网云、第三方云或者与PC机位于同一局域网内的PC等。
在本发明的一个具体实施方式中，位于操控终端内的SDK(Software DevelopmentKit，软件开发工具包)可采用操控终端的自有SDK，也可采用开放SDK，例如OpenXR或UnityXR等等。
其中，在VR SDK中设置有渲染模块、与渲染模块连接的帧编码模块以及与帧编码模块连接的推流模块；其中，渲染模块用于将演示画面的帧画面发送至操控终端的显示屏进行显示，同时，将帧画面发送至帧编码模块；帧编码模块用于对帧画面进行流媒体编码，并传送至推流模块内；推流服务模块用于将流媒体编码后的帧画面传输至流媒体服务器，以供体验终端实时观看。其中，操控终端的显示屏可以采用附图中所示的LCD，或者采用其他可现实画面的装置或结构。
此外，上述演示画面可以理解为渲染模块生成的游戏、教学内容等等的帧画面，该画面即为体验终端能够看到的演示画面。
在本发明的智能设备的一拖多系统中，帧编码模块可使用但不限于ffmpeg对帧画面进行流媒体编码，其他能够实现对帧画面进行流媒体编码的方式均可。
为方便体验终端实时或者随时查看操控终端的操控内容，可在体验终端内设置流媒体VR播放器，流媒体VR播放器可根据流媒体服务器中的IP地址，获取与操控终端的操作相对应的演示画面，进而实现一个操作者多个观看者的效果。
需要说明的是，操控终端与控制系统可通过有线或无线链接，操控终端与控制系统位于同一局域网、无线公网或未来特快的无线公网。
与上述智能设备的一拖多系统相对应，本发明还提供一种智能设备的一拖多方法，利用上述智能设备的一拖多系统进行画面展示。
具体地，图3示出了根据本发明实施例的智能设备的一拖多方法的流程。
如图3所示，本发明实施例的智能设备的一拖多方法，包括：
S110：基于操控终端的SDK内的渲染模块生成待分享的演示画面；
S120：通过SDK内的推流服务模块对演示画面进行编码优化，并将编码优化后的数据推送至控制系统；
S130：体验终端通过控制系统中的流媒体服务器获取与编码优化后的数据相对应的演示画面。
需要说明的是，上述智能设备的一拖多方法的实施例，可参考智能设备的一拖多系统实施例中的描述，此处不再一一赘述。
根据上述本发明提供的智能设备的一拖多系统及方法，通过操控终端的SDK内的渲染模块生成待分享的演示画面，然后基于SDK内的推流服务模块对演示画面进行编码优化，并将编码优化后的数据推送至控制系统，体验终端通过控制系统中的流媒体服务器获取与编码优化后的数据相对应的演示画面，能够基于SDK开发对应的应用，实现VR的平台级功能支持，适用范围广，利于用户自主开发扩展，能够满足多场景的业务需求。
如上参照附图以示例的方式描述根据本发明的智能设备的一拖多系统及方法。但是，本领域技术人员应当理解，对于上述本发明所提出的智能设备的一拖多系统及方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种智能设备的一拖多系统，其特征在于，包括：控制系统以及与所述控制系统连接的操控终端和至少一个体验终端；其中，
在所述操控终端的SDK中设置有渲染模块和推流服务模块，所述渲染模块用于生成待分享的演示画面，所述推流服务模块用于对所述演示画面进行编码优化，并将编码优化后的数据推送至所述控制系统；
所述体验终端用于与所述控制系统中的流媒体服务器连接，并通过所述流媒体服务器获取与所述编码优化后的数据对应的演示画面。
2.如权利要求1所述的智能设备的一拖多系统，其特征在于，
所述操控终端及所述体验终端包括VR一体机、PC或者Pad。
3.如权利要求1所述的智能设备的一拖多系统，其特征在于，
所述流媒体服务器采用开源框架搭建至所述控制系统内；并且，
所述控制系统与所述流媒体服务器位于同一局域网内。
4.如权利要求1所述的智能设备的一拖多系统，其特征在于，
所述控制系统包括PC机；
所述流媒体服务器包括公网云、第三方云或者与所述PC机位于同一局域网内的PC。
5.如权利要求1所述的智能设备的一拖多系统，其特征在于，
所述SDK包括所述操控终端的自有SDK或者开放SDK；
所述开放SDK包括OpenXR或UnityXR。
6.如权利要求1所述的智能设备的一拖多系统，其特征在于，在所述SDK中还设置有帧编码模块；其中，
所述渲染模块用于将所述演示画面的帧画面发送至所述操控终端的显示屏进行显示，同时，将所述帧画面发送至所述帧编码模块；
所述帧编码模块用于对所述帧画面进行流媒体编码，并传送至所述推流模块内；
所述推流服务模块用于将所述流媒体编码后的帧画面传输至所述流媒体服务器。
7.如权利要求6所述的智能设备的一拖多系统，其特征在于，
所述帧编码模块基于ffmpeg对所述帧画面进行流媒体编码。
8.如权利要求1所述的智能设备的一拖多系统，其特征在于，
在所述体验终端中设置有流媒体VR播放器；
所述流媒体VR播放器根据所述流媒体服务器中的IP地址，获取与所述操控终端的操作相对应的演示画面。
9.如权利要求1所述的智能设备的一拖多系统，其特征在于，
所述操控终端与所述控制系统通过有线或无线链接，所述操控终端与所述控制系统位于同一局域网或无线公网内。
10.一种智能设备的一拖多方法，其特征在于，利用如权利要求1至9任一项所述的智能设备的一拖多系统进行画面展示；其中，所述方法包括：
基于操控终端的SDK内的渲染模块生成待分享的演示画面；
通过所述SDK内的推流服务模块对所述演示画面进行编码优化，并将编码优化后的数据推送至所述控制系统；
体验终端通过控制系统中的流媒体服务器获取与所述编码优化后的数据相对应的演示画面。
CN202110281989.8A 2021-03-16 2021-03-16 智能设备的一拖多系统及方法 Active CN113176868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110281989.8A CN113176868B (zh) 2021-03-16 2021-03-16 智能设备的一拖多系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110281989.8A CN113176868B (zh) 2021-03-16 2021-03-16 智能设备的一拖多系统及方法

Publications (2)

Publication Number Publication Date
CN113176868A true CN113176868A (zh) 2021-07-27
CN113176868B CN113176868B (zh) 2022-11-15

Family

ID=76922073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110281989.8A Active CN113176868B (zh) 2021-03-16 2021-03-16 智能设备的一拖多系统及方法

Country Status (1)

Country Link
CN (1) CN113176868B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357545A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于流媒体方式的无线同屏方法及装置
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及系统
CN110503872A (zh) * 2019-08-27 2019-11-26 长安大学 基于vr的新能源汽车安全教育虚拟体验系统及其使用方法
CN110519247A (zh) * 2019-08-16 2019-11-29 上海乐相科技有限公司 一种一对多虚拟现实展示方法及装置
CN111341163A (zh) * 2020-04-16 2020-06-26 湖南翰坤实业有限公司 一种基于vr技术的建筑安全教育多人在线培训系统及方法
CN111726416A (zh) * 2020-06-30 2020-09-29 北京百度网讯科技有限公司 Vr教学管理方法、装置和系统
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357545A (zh) * 2015-11-03 2016-02-24 北京英梅吉科技有限公司 基于流媒体方式的无线同屏方法及装置
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及系统
CN110519247A (zh) * 2019-08-16 2019-11-29 上海乐相科技有限公司 一种一对多虚拟现实展示方法及装置
CN110503872A (zh) * 2019-08-27 2019-11-26 长安大学 基于vr的新能源汽车安全教育虚拟体验系统及其使用方法
CN111341163A (zh) * 2020-04-16 2020-06-26 湖南翰坤实业有限公司 一种基于vr技术的建筑安全教育多人在线培训系统及方法
CN111726416A (zh) * 2020-06-30 2020-09-29 北京百度网讯科技有限公司 Vr教学管理方法、装置和系统
CN112188303A (zh) * 2020-09-03 2021-01-05 北京火眼目测科技有限公司 一种基于视角的vr流媒体播放方法及装置

Also Published As

Publication number Publication date
CN113176868B (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
CN107979763B (zh) 一种虚拟现实设备生成视频、播放方法、装置及系统
WO2017193576A1 (zh) 一种视频分辨率的适应方法、装置及虚拟现实终端
US20050003330A1 (en) Interactive virtual classroom
WO2021204139A1 (zh) 视频显示方法、装置、设备和存储介质
CN108028921B (zh) 一种图像渲染方法及装置
US11663795B2 (en) Streaming-based VR multi-split system and method
CN110427107A (zh) 虚拟与现实互动教学方法及系统、服务器、存储介质
Kapetanakis et al. HTML5 and WebSockets; challenges in network 3D collaboration
WO2003094020A1 (en) Managing user interaction for live multimedia broadcast
KR101702013B1 (ko) 다양한 포멧의 컨텐츠 공유기능을 가지는 스마트 영상 교육 시스템 및 이를 이용한 영상 교육 서비스 제공방법.
Pope et al. The latest in immersive telepresence to support shared engineering education
KR20200133127A (ko) 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
Bi et al. Improving learning experience by employing dash-based mulsemedia delivery
CN113176868B (zh) 智能设备的一拖多系统及方法
CN110139030A (zh) 混合现实处理系统、方法、服务器及其存储介质
Salmimaa et al. Live delivery of neurosurgical operating theater experience in virtual reality
JP6567461B2 (ja) 認識装置、映像コンテンツ提示システム、プログラム
Abbasi et al. Immersive environment: an emerging future of telecommunications
CN210072615U (zh) 一种沉浸式教练系统及可穿戴设备
CN109963088A (zh) 基于增强现实ar的网络直播方法、装置及系统
Torrejon et al. Panoramic audio and video: towards an immersive learning experience
JP2006513669A (ja) コンテンツの提示を補強する方法及びシステム
CN112863275A (zh) 分角色网络授课方法及系统、存储介质及平台
CN108939539A (zh) 存储介质、游戏控制方法、终端及系统
CN113923460B (zh) 视频画面的显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant