CN115190287A - 一种应用于远程教学的立体视觉随动系统 - Google Patents

Abstract

本发明涉及一种应用于远程教学的立体视觉随动系统，涉及教学辅助领域，包括视频采集端,采集各角度的课堂音视频；课堂采集控制端，调整视频采集端的姿态；多媒体、控制数据高速网络接口，接收视频采集端采集到的音视频信息进行编码并发送；VR处理终端，接收编码后的音视频信息并进行解码处理；设备终端，接收VR处理终端处理后的音视频信息，并采集姿态信息反馈控制指令给多媒体、控制数据高速网络接口，多媒体、控制数据高速网络接口转发控制指令给课堂采集控制端；操作简单，实用性强，网络传输稳定延迟低，有较好的实时性，极强的自然交互性。

Description

一种应用于远程教学的立体视觉随动系统

技术领域

本发明涉及教学辅助技术领域，尤其涉及一种应用于远程教学的立体视觉随动系统。

背景技术

现有的远程教育通常使用普通摄像头采集师生图像，通过屏幕共享发布教学内容，初步实现了远程教学。

然而在缺失正常面授课堂环境的情况下，现有的远程教育还存在以下问题：

1.缺少临场感，难以激发学生的学习积极性和教师的教学热情；

2.课堂仅通过2D屏幕呈现，降低了教学内容和手段的多样性；

3.不能自然交互，师生间的互动联系被削弱，难以保证教学质量；

4.无法满足专递课堂、同步课堂等场景线下线上混合教学的需求。

发明内容

围绕现有远程教学设备缺乏临场感和自然交互性的问题，本发明针对现有技术的不足之处，提供了一种应用于远程教学的立体视觉随动系统，学生通过头戴VR眼镜和耳机实时获取教室音视频，并用头部运动姿态控制教室端放置摄像头的同步运动，同时利用5G技术完成远距离的信号传输，具备高临场感和自然交互性。

为达到上述目的，本发明采用以下技术方案，一种应用于远程教学的立体视觉随动系统，包括：

视频采集端,采集各角度的课堂音视频；

课堂采集控制端，调整所述视频采集端的姿态；

多媒体、控制数据高速网络接口，接收所述视频采集端采集到的音视频信息进行编码并发送；

VR处理终端，接收编码后的音视频信息并进行解码处理；

设备终端，接收所述VR处理终端处理后的音视频信息，并采集姿态信息反馈控制指令给所述多媒体、控制数据高速网络接口，所述多媒体、控制数据高速网络接口转发控制指令给所述课堂采集控制端。

作为本发明的进一步优化，所述课堂采集控制端包括主控制器以及与主控制器连接的云台、电源模块，所述视频采集端设于所述云台上。

作为本发明的进一步优化，所述视频采集端包括随动系统协处理器，以及与所述随动系统协处理器协处理器所连接的双目摄像头。

作为本发明的进一步优化，所述设备终端包括微处理器以及与其相连的头部姿态感知模块；

所述头部姿态感知模块采集佩戴者的头部姿态信息并通过多媒体、控制高速网络接口传送给视频采集端。

作为本发明的进一步优化，所述VR处理终端包括无线传输模块和视觉渲染模块。

一种应用于远程教学的立体视觉随动系统的工作方法：

通过视频采集端采集各角度的课堂音视频

通过多媒体、控制高速网络接口接收课堂的音视频信息并进行编码处理后发出；

通过VR处理终端接收编码后的音视频信息并进行解码处理并发出；

设备终端接收解码处理后的音视频信息，采集姿态信息并反馈控制指令给多媒体、控制高速网络接口，多媒体、控制高速网络接口转发控制指令给所述课堂采集控制端。

作为本发明的进一步优化，所述一种应用于远程教学的立体视觉随动系统的工作方法，还包括：

通过所述视频采集端接收到转发的控制指令后，课堂采集控制端通过自身角度与收到的角度信息进行整合，通过数字模糊PID算法控制与摄像机相连的双自由度云台，使得摄像头按照操作人员头部运动实时跟随运动。

作为本发明的进一步优化，所述一种应用于远程教学的立体视觉随动系统的工作方法，还包括：

通过所述VR处理终端对编码的音视频信息进行解压还原操作，还原为高清晰度的现场视频与音频；

通过VR处理终端，采用深度学习算法对图像进行重建，模拟光学变焦效果，扩大课堂可视范围，实现高质量数码变焦。

与现有技术相比较，本发明的有益效果:

本发明的有益效果如下：

1、操作简单，实用性强，网络传输稳定延迟低，有较好的实时性，极强的自然交互性。

2、通过VR技术，使得学生身临其境，极大提高了临场感，大大提高学生的学习效率和积极性。

附图说明

图1为课堂采集端设备示意图；

图2为设备终端示意图；

图3为本发明的项目技术框架图；

图4为本发明的项目技术路线图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

实施例1：

请参阅图1-4，一种应用于远程教学的立体视觉随动系统，包括视频采集端2,采集课堂音视频；课堂采集控制端1，控制所述视频采集端的姿态；多媒体、控制数据高速网络接口3，接收所述视频采集端2采集到的音视频信息编码并发出；VR处理终端5，接收所述网络信息服务器4编码的音视频信息并处理；设备终端4，接收所述VR处理终端5处理后的音视频信息，并反馈控制指令给所述多媒体、控制数据高速网络接口3，所述多媒体、控制数据高速网络接口3转发控制指令给所述课堂采集控制端1。

作为本发明的进一步优化，所述课堂采集控制端1包括主控制器以及与主控制器连接的云台、电源模块，所述视频采集端2设于所述云台上。

作为本发明的进一步优化，所述视频采集端包括2随动系统协处理器，以及与所述随动系统协处理器协处理器所连接的双目摄像头。

作为本发明的进一步优化，所述设备终端4包括微处理器以及与其相连的头部姿态感知模块；

所述头部姿态感知模块采集佩戴者的头部姿态信息并通过多媒体、控制高速网络接口3传送给视频采集端2。

作为本发明的进一步优化，所述VR处理终端5包括无线传输模块、视觉渲染模块。

一种应用于远程教学的立体视觉随动系统的工作方法：

视频采集端2采集课堂的音视频信息并发出；

多媒体、控制高速网络接口3接收音视频信息并进行编码处理后发出；

VR处理终端接收编码的音视频信息病进行解码处理并发出；

设备终端接收处理后的音视频信息，采集姿态信息并反馈控制指令给多媒体、控制高速网络接口3，多媒体、控制高速网络接口3转发控制指令给所述视频采集端；

视频采集端接收到转发的控制指令后，课堂采集控制端1通过自身角度与收到的角度信息进行整合，通过数字模糊PID算法控制与摄像机相连的双自由度云台，使得摄像头按照操作人员头部运动实时跟随运动。

VR处理器对编码的音视频信息进行解压还原操作，还原为高清晰度的现场视频与音频，VR处理终端通过深度学习算法对图像进行重建，模拟光学变焦效果，扩大课堂可视范围，实现高质量数码变焦。实现过程基于深度学习的图像超分辨率技术，通过对输入的裁切图像进行采样，然后再送入模型进行学习，输出具有高分辨率细节的图像，将音视频信息推送到特定的端口。

实施例2

所述课堂采集控制端1包括主控制器以及与主控制器连接的云台、无线传输模块、电源模块，通过驱动云台带动摄像头转动，实现对课堂不同方位的摄像。

所述视频采集端2包括随动系统协处理器，以及与随动系统协处理器协处理器所连接的双目摄像头模块。

其中的主控模块利用嵌入式处理器运行嵌入式Linux操作系统，该模块对图像信号以及音频信号进行采集、利用TCP/IP通信协议发送视频信号以及接收用户的控制信号并发出头部姿态信息。

在本实施例中，为了实现云台的驱动，设有步进电机，共两个，一个用于驱动云台左右转动，模拟用户头部水平转动。另一个用于驱动云台垂直转动，模拟用户头部俯仰运动。摄像头安装于云台上，步进电机驱动云台转动，从而实现了用户视角与视频采集端的摄像头视角的一致性。

随动系统协处理器对接接收到头部姿态信息进行整合，应用数字模糊 PID控制算法，产生步进电机所需的脉冲信号、方向信号。其中脉冲信号控制步进电机转动的角度、方向信号用于控制步进电机转动的方向。

本实施例中的头部姿态感应模块和VR处理终端，其中的头部姿态感应模块上由嵌入式单片机STM32和MPU9250传感器组成。在用户进行操作时，该模块会检测出用户抬头、摇头两个方向的角度值，通过USB转RS232串口线发送至VR处理终端，再通过网络传输系统发至主控模块。该嵌入式单片机STM32基于ARM内核，集成度高，外围电路简单，配合标准库文件，用户可以开发稳定性高的产品。MPU9250传感器内置了三轴陀螺仪、三轴数字加速度计、三轴磁力计，采用动力学解算和卡尔曼滤波，进而数据融合以及姿态解算，得到准确的角度值。

本实例中视频采集端的采用的摄像头为双目摄像头，来模拟人类两眼摄像。人们之所以能够看到立体的景物，是因为我们的双眼可以各自独立看东西，左右两眼有间距，大脑对两眼的图像融合，产生出有空间感的立体视觉效果在大脑中。

VR处理终端通过深度学习算法对图像进行重建，模拟光学变焦效果，扩大课堂可视范围，实现高质量数码变焦。实现过程基于深度学习的图像超分辨率技术，通过对输入的裁切图像进行采样，然后再送入模型进行学习，输出具有高分辨率细节的图像，无论是近处桌面还是远处黑板、教具都可在VR眼镜中清晰显示，大大提升了远程教学临场感。

以及本实施例中是基于5G通讯技术设计多媒体和控制数据的网络接口，同步课堂对带宽、时延、丢包率提出了很高要求。5G通讯的大带宽、低时延特性更加适合同步课堂应用，在5G通讯普及后可使用该服务完成覆盖面更广的同步课堂部署。如图2所示网络传输系统主要是由嵌入式处理器终端将视频以及音频等多媒体数据传输至VR处理终端，由VR处理终端将头部姿态信息传输至嵌入式处理器终端，保证远程同步课堂数据传输的高带宽、低延迟。

实施例3：

在本实施例中，选择树莓派作为控制器，具体的实施方式为：

首先选择入网方式，主控树莓派4B和树莓派ZERO上电进行接入网络，若可以检测到wifi并且wifi质量良好，则选用wifi入网方式；若wifi 质量不佳，则启动5G网络模组，采用5G接入网络。

网络信息服务器确认树莓派4B可以得到相应，网络信息服务器准备就绪后，向主控发出响应信号。

树莓派4B进行采集音视频以及编码，主控树莓派4B读取免驱摄像头的视频数据和拾音器的音频数据，将二者按照webrtc网页实时通信协议进行编码，等待服务器的响应。

采集端处理收到的数据并进行姿态校正，树莓派4B收到服务器转发的角度信息后，通过串口发送到协处理器，协处理器通过自身角度与收到的角度信息进行整合，通过数字模糊PID算法控制与摄像机相连的双自由度云台，使得摄像头按照操作人员头部运动实时跟随运动。

在前期工作准备好之后树莓派4b才可以向网络服务器发送数据，主控收到网络信息服务器发送的响应型号后，通过多媒体与控制数据高速网络接口开始向服务器发送编码后的音视频数据。

服务器将接收到的数据进行解压缩等操作，还原为高清晰度的现场视频与音频，将音视频流信息推送到特定的服务器端口。

设备终端中的树莓派通过5G网络访问服务器的特点端口。获取音视频流信息，VR眼镜通过HDMI接口连接至树莓派ZERO获取视频信息，耳机通过3.5mm耳机接口连接至树莓派ZERO获取音频信息。

服务器采用多媒体与控制数据高速网络接口中的数据接口向视频采集端转发佩戴者头部的角度信息。

头部姿态采集模块佩戴在操作人员头部，操作人员根据需要进行头部运动，树莓派ZERO通过读取MPU9250的数据。由于直接读取MPU9250得出的数值为寄存器的原始数据，需要进行四元数姿态解算得到姿态角，由于外界的干扰以及传感器本身的一些不确定因素，容易造成姿态角数据的波动，严重时毛刺现象较为严重，有可能使得执行器(视频采集控制端的步进电机)受到伤害，乃至于整个系统出现问题，因此后续采用卡尔曼滤波对解算后的姿态角进行处理，使得输出的姿态角变化更加平滑。最终获得佩戴者头部俯仰角和水平转动角。进行姿态解算以及卡尔曼滤波算法获得头部俯仰角和水平转动角，将角度信息通过Websock技术发送到服务器中。

网络波动时的处理方式，树莓派4B和树莓派ZERO在联网过程中，若遇到wifi信号突然变差以至于不能保证音视频以及控制信息无法实时传输时，则断用wifi联网，启用5G模组入网的方式来保证稳定性；若在一段时间内检测到wifi信号质量恢复正常，则断用5G模组入网，接入wifi，来减少网络端的留了费用。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (8)

1.一种应用于远程教学的立体视觉随动系统，其特征在于，包括:

视频采集端(2),用于采集各角度的课堂音视频；

课堂采集控制端(1)，用于调整所述视频采集端(2)的姿态；

多媒体、控制数据高速网络接口(3)，用于接收所述视频采集端(2)采集到的音视频信息并对其进行编码、发送；

VR处理终端(5)，用于接收编码后的音视频信息并进行解码处理；

设备终端(4)，用于接收所述VR处理终端(5)处理后的音视频信息，并采集姿态信息反馈控制指令给所述多媒体、控制数据高速网络接口(3)，所述多媒体、控制数据高速网络接口(3)转发控制指令给所述课堂采集控制端(1)。

2.根据权利要求1所述的一种应用于远程教学的立体视觉随动系统，其特征在于：所述课堂采集控制端(1)包括主控制器以及与主控制器连接的云台、电源模块，所述视频采集端(2)设于所述云台上。

3.根据权利要求1所述的一种应用于远程教学的立体视觉随动系统，其特征在于：所述视频采集端(2)包括随动系统协处理器，以及与所述随动系统协处理器协处理器所连接的双目摄像头。

4.根据权利要求1所述的一种应用于远程教学的立体视觉随动系统，其特征在于：所述设备终端(4)包括微处理器以及与其相连的头部姿态感知模块；

所述头部姿态感知模块采集佩戴者的头部姿态信息并通过多媒体、控制高速网络接口(3)传送给视频采集端(2)。

5.根据权利要求1所述的一种应用于远程教学的立体视觉随动系统，其特征在于：所述VR处理终端(5)包括无线传输模块和视觉渲染模块。

6.一种根据权利要求1-5任意一项所述的应用于远程教学的立体视觉随动系统的工作方法，包括以下步骤：

通过视频采集端(2)采集各角度的课堂音视频；

通过多媒体、控制高速网络接口(3)接收课堂的音视频信息并进行编码处理后发出；

通过VR处理终端接收编码后的音视频信息并进行解码处理并发出；

设备终端接收解码处理后的音视频信息，采集姿态信息并反馈控制指令给多媒体、控制高速网络接口(3)，多媒体、控制高速网络接口(3)转发控制指令给所述课堂采集控制端(1)。

7.根据权利要求6所述的一种应用于远程教学的立体视觉随动系统的工作方法，其特征在于：还包括：

通过所述视频采集端接收到转发的控制指令后，课堂采集控制端(1)通过自身角度与收到的角度信息进行整合，通过数字模糊PID算法控制与摄像机相连的双自由度云台，使得摄像头按照操作人员头部运动实时跟随运动。

8.根据权利要求6所述的一种应用于远程教学的立体视觉随动系统的工作方法，其特征在于：还包括：

通过所述VR处理终端(5)对编码的音视频信息进行解压还原操作，还原为高清晰度的现场视频与音频；

通过VR处理终端，采用深度学习算法对图像进行重建，模拟光学变焦效果，扩大课堂可视范围，实现高质量数码变焦。

Images