CN113271425A - 一种基于虚拟设备的互动系统和方法 - Google Patents

Abstract

本发明涉及音视频互动技术领域，特别涉及一种基于虚拟设备的互动系统和方法。所述一种基于虚拟设备的互动系统，包括：主终端、第一外接装置、从互动终端和第二外接装置；主终端通信连接从互动终端；主终端连接第一外接装置；主终端获取第一外接装置的第一数据，并发送第一数据至从互动终端；从互动终端连接第二外接装置；从互动终端接收主终端发送的第一数据，从互动终端获取第二外接装置的第二数据，并发送第二数据至主终端。通过以上系统，主终端与从互动终端可各自获取到各自所在区域的教学情况，互相发送，且可相互互动，实现教育不发达的地区可以通过这一系统让学生们享受与名师互动的远程教学模式。

Description

一种基于虚拟设备的互动系统和方法

技术领域

本发明涉及音视频互动技术领域，特别涉及一种基于虚拟设备的互动系统和方法。

背景技术

目前的教学模式主要是多教室、多教师以现场教学的方式进行，教师资源需要多，且精英教师资源得不到最大化利用；还有一种单教师对多教室模式，主要是在单教室进行上课，然后以直播形式向其它教室推送，但是这种教学模式互动性差。故此如何在教师资源最大化利用的同时还确保教学模式互动性成了亟需解决的技术问题。

发明内容

为此，需要提供一种基于虚拟设备的互动系统，用以解决教师资源最大化利用与教学模式互动性无法兼得的技术问题。具体技术方案如下：

一种基于虚拟设备的互动系统，包括：主终端、第一外接装置、从互动终端和第二外接装置；

所述主终端通信连接所述从互动终端；

所述主终端连接所述第一外接装置，所述第一外接装置包括以下中的一种或多种：声音获取装置、视频获取装置、触控屏、显示装置；

所述主终端用于：获取所述第一外接装置的第一数据，并发送所述第一数据至所述从互动终端；

所述从互动终端连接所述第二外接装置，所述第二外接装置包括以下中的一种或多种：声音获取装置、视频获取装置、触控屏、显示装置；

所述从互动终端接用于：收所述主终端发送的第一数据，所述从互动终端获取所述第二外接装置的第二数据，并发送所述第二数据至主终端。

进一步的，还包括：转发服务器；

所述转发服务器分别连接所述主终端和所述从互动终端；

所述主终端用于：通过所述转发服务器与所述从互动终端进行信息交互。

进一步的，主终端还用于：通过外接声音获取装置获取现场音频数据；

主终端还用于：通过外接视频获取装置获取现场画面数据；

从互动终端还用于：通过外接声音获取装置获取现场音频数据；

从互动终端还用于：通过外接视频获取装置获取现场画面数据；

或

主终端还用于：通过虚拟声音获取装置读取现场音频数据；

主终端还用于：通过虚拟视频获取装置读取现场画面数据；

从互动终端还用于：通过虚拟声音获取装置读取现场音频数据；

从互动终端还用于：通过虚拟视频获取装置读取现场画面数据。

进一步的，主终端还用于：获取显示装置上的显示画面，主终端虚拟成HID设备，主终端还用于：对所述显示装置进行反控制。

进一步的，所述声音获取装置包括：麦克风阵列，所述视频获取装置包括：网络摄像头，所述触控屏包括：触控白板，所述显示装置包括：PC。

为解决上述技术问题，还提供了一种基于虚拟设备的互动方法，具体技术方案如下：

一种基于虚拟设备的互动方法，包括步骤：

主终端获取现场音视频数据；

所述主终端外接第一触控屏，所述主终端获取所述第一触控屏的显示画面；

所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端；

所述从互动终端外接第二触控屏，所述从互动终端接收所述主终端发送的现场音视频数据和所述第一触控屏的显示画面；

所述从互动终端获取现场音视频数据和所述第二触控屏的显示画面；

所述从互动终端发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端。

进一步的，所述“主终端获取现场音视频数据”，具体还包括步骤：

主终端通过外接声音获取装置获取现场音频数据；

主终端通过外接视频获取装置获取现场画面数据；

所述“从互动终端获取现场音视频数据”，具体还包括步骤：

从互动终端通过外接声音获取装置获取现场音频数据；

从互动终端通过外接视频获取装置获取现场画面数据；

或

所述“主终端获取现场音视频数据”，具体还包括步骤：

主终端通过虚拟声音获取装置读取现场音频数据；

主终端通过虚拟视频获取装置读取现场画面数据；

所述“从互动终端获取现场音视频数据”，具体还包括步骤：

从互动终端通过虚拟声音获取装置读取现场音频数据；

从互动终端通过虚拟视频获取装置读取现场画面数据。

进一步的，还包括步骤：

主终端获取显示装置上的显示画面，主终端虚拟成HID设备，主终端对所述显示装置进行反控制。

进一步的，所述“所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端”，具体还包括步骤：

所述主终端通过转发服务器所述现场音视频数据和所述第一触控屏的显示画面至从互动终端；

所述“所述从互动终端发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端”，具体还包括步骤：

所述从互动终端通过转发服务器发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端。

进一步的，所述“所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端”，具体还包括步骤：

所述主终端将所述现场音视频数据打包成第一数据格式，且标记为主流；

所述主终端将所述第一触控屏的显示画面打包为第二数据格式，且处理后标记为辅流。

本发明的有益效果是：一种基于虚拟设备的互动系统，包括：主终端和从互动终端；所述主终端通信连接所述从互动终端；所述主终端连接有以下中的一种或多种装置：声音获取装置、视频获取装置、触控屏、显示装置；所述主终端获取对应连接装置的第一数据，并发送所述第一数据至所述从互动终端；所述从互动终端连接有以下中的一种或多种装置：声音获取装置、视频获取装置、触控屏、显示装置；所述从互动终端接收所述主终端发送的第一数据，所述从互动终端获取对应连接装置的第二数据，并发送所述第二数据至主终端。通过以上系统，主终端与从互动终端可各自获取到各自所在区域的教学情况，互相发送，且可相互互动，实现教育不发达的地区可以通过这一系统让学生们享受与名师互动的远程教学模式。

附图说明

图1为具体实施方式所述一种基于虚拟设备的互动系统的模块示意图；

图2为具体实施方式所述一种基于虚拟设备的互动系统的场景应用示意图；

图3为具体实施方式所述一种基于虚拟设备的互动方法的流程图。

附图标记说明：

100、一种基于虚拟设备的互动系统，

101、第一外接装置，

102、主终端，

103、从互动终端，

104、第二外接装置。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1至图2，在本实施方式中，一种基于虚拟设备的互动系统100的具体实施方式如下：

需要说明的是在实际的应用场景中，主终端102所在的地方有名师进行教学，当然教学只是本申请所使用的一种场景，也可以是企业单位进行培训或是其它网络会议等等，不做限制。

其中主终端102与从互动终端103在硬件上包括：一块主板，外围有很多接口，比如HDMI IN/OUT usb，typec，DP，串口等，其可设置有显示屏，亦可不设置有显示屏，该显示屏可具备触摸功能，亦可不具备触摸功能。

如图1所示，一种基于虚拟设备的互动系统，包括：主终端102、第一外接装置101、从互动终端103和第二外接装置104；

所述主终端102通信连接所述从互动终端103；

所述主终端102连接所述第一外接装置101，所述第一外接装置101包括以下中的一种或多种：声音获取装置、视频获取装置、触控屏、显示装置；

所述主终端102获取所述第一外接装置101的第一数据，并发送所述第一数据至所述从互动终端103；

所述从互动终端103连接所述第二外接装置104，所述第二外接装置104包括以下中的一种或多种：声音获取装置、视频获取装置、触控屏、显示装置；

所述从互动终端103接收所述主终端102发送的第一数据，所述从互动终端103获取所述第二外接装置104的第二数据，并发送所述第二数据至主终端102。

一种基于虚拟设备的互动系统100，包括：主终端102和从互动终端103；所述主终端102通信连接所述从互动终端103；所述主终端102连接有以下中的一种或多种装置：声音获取装置、视频获取装置、触控屏、显示装置；所述主终端102获取对应连接装置的第一数据，并发送所述第一数据至所述从互动终端103；所述从互动终端103连接有以下中的一种或多种装置：声音获取装置、视频获取装置、触控屏、显示装置；所述从互动终端103接收所述主终端102发送的第一数据，所述从互动终端103获取对应连接装置的第二数据，并发送所述第二数据至主终端102。通过以上系统，主终端102与从互动终端103可各自获取到各自所在区域的教学情况，互相发送，且可相互互动，实现教育不发达的地区可以通过这一系统让学生们享受与名师互动的远程教学模式。

实施例1

应用场景中：主终端102未外接显示装置，即第一外接装置101包括：声音获取装置、视频获取装置和触控屏，第一数据则指由第一外接装置101获取到的数据；

在本实施方式中，所述声音获取装置可以为：麦克风阵列。

其中麦克风阵列获取声音，通过usb接入主终端102，编码成opus固定采样率(如：48khz)双通道数据，写入主终端102。

需要说明的是，对于现场音频数据的获取，主终端102可以是直接通过外接声音获取装置获取现场音频数据，也可以是通过虚拟声音获取装置读取现场音频数据，如在主终端102中设置虚拟audio设备节点。

在本实施方式中，所述视频获取装置可以为：网络摄像头。

网络摄像头拍摄教室画面通过rtsp server输出压缩后的视频流，主终端102rtspclient获取视频流进行解码成NV12等平面格式的数据，写入主终端102。

需要说明的是，对于现场视频数据的获取，主终端102可以通过外接视频获取装置获取现场画面数据，也可以是通过虚拟视频获取装置读取现场画面数据，如在主终端102中设置虚拟camera设备。

在本实施方式中，所述触控屏可以为：触控白板。

触控白板屏通过HDMI及usb接入主终端102，使用OpenGLES画线功能完成轨迹绘画并进行白板显示，轨迹通过protobuf完成序列化；通过sqlite进行数据存储，同时设置最大存储轨迹数，以便后续撤回、继续写入、互动端绘画更新等操作。

实际应用中，在一教师授课过程中，会通过在触控白板上撰写文书，并进行对应的讲解，在过程中，主终端102会将获取的第一数据发送给从互动终端103，在本实施方式中，优选为通过转发服务器与所述从互动终端103进行信息交互。所述转发服务器可以为SFU服务器。

主终端102将麦克风阵列音频数据、摄像头数据打包为RTP格式，且标记为主流(主画面的音视频流)；白板画面以打包为RTP格式，添加BFCP信息标记为辅流(辅助画面的音视频流)；白板绘画轨迹信息标记为INFO；通过SIP协议与SFU服务器通信，SFU服务器转发主终端102数据给从互动终端103，同时从互动终端103画面以及白板轨迹更新数据也通过SFU服务器转发给主终端102，达到教学互动目的。

以下对于从互动终端103的第二外接装置104分为两种情况：

1、从互动终端103不外接触控屏，其只外接有声音获取装置、视频获取装置和显示装置。显示装置用于显示从主终端102发送过来的第一数据，而声音获取装置和视频获取装置则用来获取从互动终端103所在场合的第二数据，并将所述第二数据发送给所述主终端102，同样优选为通过SFU服务器发送第二数据至所述主终端102。

2、从互动终端103外接有：声音获取装置、视频获取装置、触控屏和显示装置；在这种情况下，需要说明的是，该从互动终端103在其它应用场景中其也可以变成主终端102。

3、从互动终端103外接有：声音获取装置和视频获取装置。此时从互动终端103自带的屏幕可用来显示主终端102发送来的视频画面等，故此无需额外接有显示装置或者是触控屏等。

其中触控屏同样可以为触控白板，其可以用来显示由主终端102发送过来的白板的数据，从互动终端103的人员亦可以在自己的触控白板上进行操作，并将操作后的数据反馈给主终端102，同样地其显示装置可用来显示主终端102所发送的音视频数据，另外声音获取装置和视频获取装置的作用则与上述第1点提及的一样，在此不做重复说明。

实施例2

应用场景中：主终端102外接显示装置，在本实施方式中，所述显示装置为PC设备，如笔记本、或台式等等。因部分老师在教学过程中，还需要展示一些自己做的课件，故会自行带笔记本电脑，在笔记本电脑上显示其制作的课件。故此在一些应用场景中，主终端102还外接有显示装置。

主终端102获取显示装置上的显示画面，主终端102虚拟成HID设备，主终端102对所述显示装置进行反控制。具体可如下：

PC通过HDMI OUT接口把画面输入主终端102，主终端102按分辨率比例显示；主终端102虚拟成HID(Human Interface Device)设备；同时在输入系统中接管触摸输入事件，提供配置：是否开启反控，如果开启了则把接管的触摸事件写入HID节点，送给PC实现反控制。即：先把PC画面先同步映射到另一个可以触摸的显示屏(在本实施方式中，即为主终端102上的显示屏)上，然后点击触摸屏可以控制到PC上的画面。

实施例3

如图2所示，一个教学终端对多个从互动终端103进行教学互动。

通过网络，实现主教室一名教师进行教学，互动教室只需助教进行辅助，结合教学互动系统，可以做到一个教师与多教室学生进行互动教学，大大节省教学资源；同时，实现教育不发达的地区可以通过这一系统让学生们享受与明师互动的远程教学模式。

请参阅图2至图3，在本实施方式中，一种基于虚拟设备的互动方法可应用在上述所提及的一种基于虚拟设备的互动系统上，其具体实施方式如下：

步骤S301：主终端获取现场音视频数据。

步骤S302：所述主终端外接第一触控屏，所述主终端获取所述第一触控屏的显示画面。

步骤S303：所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端。

步骤S304：所述从互动终端外接第二触控屏，所述从互动终端接收所述主终端发送的现场音视频数据和所述第一触控屏的显示画面。

步骤S305：所述从互动终端获取现场音视频数据和所述第二触控屏的显示画面。

步骤S306：所述从互动终端发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端。

通过以上步骤，主终端与从互动终端可各自获取到各自所在区域的教学情况，互相发送，且可相互互动，实现教育不发达的地区可以通过这一系统让学生们享受与名师互动的远程教学模式。

其中步骤S301具体还包括步骤：

主终端通过外接声音获取装置获取现场音频数据；

主终端通过外接视频获取装置获取现场画面数据；

所述“从互动终端获取现场音视频数据”，具体还包括步骤：

从互动终端通过外接声音获取装置获取现场音频数据；

从互动终端通过外接视频获取装置获取现场画面数据；

或

所述“主终端获取现场音视频数据”，具体还包括步骤：

主终端通过虚拟声音获取装置读取现场音频数据；

主终端通过虚拟视频获取装置读取现场画面数据；

所述“从互动终端获取现场音视频数据”，具体还包括步骤：

从互动终端通过虚拟声音获取装置读取现场音频数据；

从互动终端通过虚拟视频获取装置读取现场画面数据。具体可如下：

在本实施方式中，所述声音获取装置可以为：麦克风阵列。

其中麦克风阵列获取声音，通过usb接入主终端，编码成opus固定采样率(如：48khz)双通道数据，写入主终端。

需要说明的是，对于现场音频数据的获取，主终端可以是直接通过外接声音获取装置获取现场音频数据，也可以是通过虚拟声音获取装置读取现场音频数据，如在主终端中设置虚拟audio设备节点。

在本实施方式中，所述视频获取装置可以为：网络摄像头。

网络摄像头拍摄教室画面通过rtsp server输出压缩后的视频流，主终端rtspclient获取视频流进行解码成NV12等平面格式的数据，写入主终端。

需要说明的是，对于现场视频数据的获取，主终端可以通过外接视频获取装置获取现场画面数据，也可以是通过虚拟视频获取装置读取现场画面数据，如在主终端中设置虚拟camera设备。

以上实施方式中，主终端未外接有显示装置，在其它实施方式中亦可以外接显示装置，所述显示装置为PC设备，如笔记本、或台式等等。因部分老师在教学过程中，还需要展示一些自己做的课件，故会自行带笔记本电脑，在笔记本电脑上显示其制作的课件。故此在一些应用场景中，主终端还外接有显示装置。

主终端获取显示装置上的显示画面，主终端虚拟成HID设备，主终端对所述显示装置进行反控制。具体可如下：

PC通过HDMI OUT接口把画面输入主终端，主终端按分辨率比例显示；主终端虚拟成HID(Human Interface Device)设备；同时在输入系统中接管触摸输入事件，提供配置：是否开启反控，如果开启了则把接管的触摸事件写入HID节点，送给PC实现反控制。即：先把PC画面先同步映射到另一个可以触摸的显示屏(在本实施方式中，即为主终端上的显示屏)上，然后点击触摸屏可以控制到PC上的画面。

进一步的，所述“所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端”，具体还包括步骤：

所述主终端通过转发服务器所述现场音视频数据和所述第一触控屏的显示画面至从互动终端；

所述“所述从互动终端发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端”，具体还包括步骤：

所述从互动终端通过转发服务器发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端。

在本实施方式中，优选为通过转发服务器与所述从互动终端进行信息交互。所述转发服务器可以为SFU服务器。

进一步的，所述“所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端”，具体还包括步骤：

所述主终端将所述现场音视频数据打包成第一数据格式，且标记为主流；

所述主终端将所述第一触控屏的显示画面打包为第二数据格式，且处理后标记为辅流。具体为：

主终端将麦克风阵列音频数据、摄像头数据打包为RTP格式，且标记为主流(主画面的音视频流)；白板画面以打包为RTP格式，添加BFCP信息标记为辅流(辅助画面的音视频流)；白板绘画轨迹信息标记为INFO；通过SIP协议与SFU服务器通信，SFU服务器转发主终端数据给从互动终端，同时从互动终端画面以及白板轨迹更新数据也通过SFU服务器转发给主终端，达到教学互动目的。

其中如图2所示，一个教学终端对多个从互动终端进行教学互动。

通过网络，实现主教室一名教师进行教学，互动教室只需助教进行辅助，结合教学互动系统，可以做到一个教师与多教室学生进行互动教学，大大节省教学资源；同时，实现教育不发达的地区可以通过这一系统让学生们享受与明师互动的远程教学模式。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于虚拟设备的互动系统，其特征在于，包括：主终端、第一外接装置、从互动终端和第二外接装置；

所述主终端通信连接所述从互动终端；

所述主终端连接所述第一外接装置，所述第一外接装置包括以下中的一种或多种：声音获取装置、视频获取装置、触控屏、显示装置；

所述主终端用于：获取所述第一外接装置的第一数据，并发送所述第一数据至所述从互动终端；

所述从互动终端连接所述第二外接装置，所述第二外接装置包括以下中的一种或多种：声音获取装置、视频获取装置、触控屏、显示装置；

所述从互动终端接用于：收所述主终端发送的第一数据，所述从互动终端获取所述第二外接装置的第二数据，并发送所述第二数据至主终端。

2.根据权利要求1所述的一种基于虚拟设备的互动系统，其特征在于，还包括：转发服务器；

所述转发服务器分别连接所述主终端和所述从互动终端；

所述主终端用于：通过所述转发服务器与所述从互动终端进行信息交互。

3.根据权利要求1所述的一种基于虚拟设备的互动系统，其特征在于，

主终端还用于：通过外接声音获取装置获取现场音频数据；

主终端还用于：通过外接视频获取装置获取现场画面数据；

从互动终端还用于：通过外接声音获取装置获取现场音频数据；

从互动终端还用于：通过外接视频获取装置获取现场画面数据；

或

主终端还用于：通过虚拟声音获取装置读取现场音频数据；

主终端还用于：通过虚拟视频获取装置读取现场画面数据；

从互动终端还用于：通过虚拟声音获取装置读取现场音频数据；

从互动终端还用于：通过虚拟视频获取装置读取现场画面数据。

4.根据权利要求1所述的一种基于虚拟设备的互动系统，其特征在于，

主终端还用于：获取显示装置上的显示画面，主终端虚拟成HID设备，主终端还用于：对所述显示装置进行反控制。

5.根据权利要求1至4任一所述的一种基于虚拟设备的互动系统，其特征在于，所述声音获取装置包括：麦克风阵列，所述视频获取装置包括：网络摄像头，所述触控屏包括：触控白板，所述显示装置包括：PC。

6.一种基于虚拟设备的互动方法，其特征在于，包括步骤：

主终端获取现场音视频数据；

所述主终端外接第一触控屏，所述主终端获取所述第一触控屏的显示画面；

所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端；

所述从互动终端外接第二触控屏，所述从互动终端接收所述主终端发送的现场音视频数据和所述第一触控屏的显示画面；

所述从互动终端获取现场音视频数据和所述第二触控屏的显示画面；

所述从互动终端发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端。

7.根据权利要求6所述的一种基于虚拟设备的互动方法，其特征在于，所述“主终端获取现场音视频数据”，具体还包括步骤：

主终端通过外接声音获取装置获取现场音频数据；

主终端通过外接视频获取装置获取现场画面数据；

所述“从互动终端获取现场音视频数据”，具体还包括步骤：

从互动终端通过外接声音获取装置获取现场音频数据；

从互动终端通过外接视频获取装置获取现场画面数据；

或

所述“主终端获取现场音视频数据”，具体还包括步骤：

主终端通过虚拟声音获取装置读取现场音频数据；

主终端通过虚拟视频获取装置读取现场画面数据；

所述“从互动终端获取现场音视频数据”，具体还包括步骤：

从互动终端通过虚拟声音获取装置读取现场音频数据；

从互动终端通过虚拟视频获取装置读取现场画面数据。

8.根据权利要求6所述的一种基于虚拟设备的互动方法，其特征在于，还包括步骤：

主终端获取显示装置上的显示画面，主终端虚拟成HID设备，主终端对所述显示装置进行反控制。

9.根据权利要求6所述的一种基于虚拟设备的互动方法，其特征在于，所述“所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端”，具体还包括步骤：

所述主终端通过转发服务器所述现场音视频数据和所述第一触控屏的显示画面至从互动终端；

所述“所述从互动终端发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端”，具体还包括步骤：

所述从互动终端通过转发服务器发送所述现场音视频数据和所述第二触控屏的显示画面至所述主终端。

10.根据权利要求6所述的一种基于虚拟设备的互动方法，其特征在于，所述“所述主终端发送所述现场音视频数据和所述第一触控屏的显示画面至从互动终端”，具体还包括步骤：

所述主终端将所述现场音视频数据打包成第一数据格式，且标记为主流；

所述主终端将所述第一触控屏的显示画面打包为第二数据格式，且处理后标记为辅流。

Images