CN109391774A - 一种适用于教学过程的动态资源采集平台和方法 - Google Patents

Abstract

本发明公开了一种适用于教学过程的动态资源采集平台，包括上位机层和下位机层，所述上位机层包括视频设备、音频设备和工控主机，所述工控主机分别与视频设备和音频设备相连接；所述下位机层包括主控制器、电机、移动底盘和升降支架，所述移动底盘可以在电机的驱动力作用下根据主控制器发出的控制指令在水平方向上移动，其上设有高度可调节的升降支架；工控主机与主控制器之间采用串口通信，工控主机向主控制器下发位置调节指令，实现移动底盘和升降支架的位置调节。本发明技术方案针对现有技术中的教学过程数据资源收集不理想的情况，通过将视频设备和音频设备以及控制装置集成在同一载体平台上，可以对声源方向的教学过程数据资源进行锁定收集。

Description

一种适用于教学过程的动态资源采集平台和方法

技术领域

本发明属于音频、视频数据采集领域，具体涉及一种适用于教学过程的动态资源采集平台和方法。

背景技术

随着教育大数据技术的发展，多样化教育数据大数据的采集以及基于大数据分析的个性化定制学习成为智能教育时代的发展方向。在教育大数据的采集方面，主要包括传统的课堂直播/录播技术，以及基于物联网的智能感知技术。前者作为在线教育得以实施的关键技术手段，采用多媒体技术，将教学过程数字化为音视频资源得以存储和传播。后者多采用传感器+智能分析算法的模式，检测和分析教学过程中的行为、状态等信息。对于教育大数据的发展来说，获取足够多的教育资源是最为必要的。其中，在文字资源已经相对充足的当下，教育资源的音频和视频数据相对来说还是不足的。但是，在互联网教育时代，单纯的文字资源已经不能满足用户的多样化学习的需求。

针对该问题，常用的方式是对课堂的显示设备(如白板、投影屏幕等)采取固定拍摄的方式，同时教学人员位于固定位置，以获得高质量的教学过程数据。但是这种教学过程数据对用户来说缺乏多样性和互动性，导致用户兴趣不高。现有技术中，一般采取的是对多种形式的教学过程进行录制，对其进行分类标注后上传到云端以供用户选择。但是，在大数据教育环境下，数据的需求量巨大，且需要极大的更新速度，教学资源数据的录制效率就是很关键的。一般来说，资源数据的录制需要硬件和软件的配合。考虑到实际的需求，一方面录制教学资源数据的设备需要移动方便，便于在任何时间和地点进行录制；另一方面，录制教学资源数据的设备还需要具有良好的调节能力，如根据教学过程中授课者的位置变化进行跟随等。

目前的课堂录播和直播平台一般要求在课堂上安装数量众多的视音频采集设备，以及后台编码、转发、存储等一系列软硬件设备，需要专业人员在现场辅助拍摄，平台使用和维护较为复杂，且成本较高。其一方面难以适应多种场合下的应用需求，另一方面不具备自我调节的能力，在没有专业人员调节的情况下拍摄采集效果并不能达到最好的状态，所获得的视频、音频数据有时候难以满足后续大数据教育所进行的精细化标注的要求。同时，由于缺乏规范和标准，智能感知技术的应用场景、采集效率、数据格式等方面千差万别，很大程度阻碍了智能感知技术在教育大数据采集领域的应用推广。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于教学过程的动态资源采集方法和平台，至少可以部分解决上述问题。本发明技术方案针对现有技术中的教学过程数据资源收集不理想的情况，通过将视频设备和音频设备以及控制装置集成在同一载体平台上，可以对声源方向的教学过程数据资源进行锁定收集。

为实现上述目的，按照本发明的一个方面，提供了一种适用于教学过程的动态资源采集平台，包括上位机层和下位机层，其特征在于，

所述上位机层包括视频设备、音频设备和工控主机，所述工控主机分别与视频设备和音频设备相连接，并根据音频设备采集到的音频信息进行声源定位，生成控制指令以控制视频设备和/或音频设备进行视频数据和/或音频数据采集；

所述下位机层包括主控制器、移动底盘和升降支架，所述移动底盘可以在驱动力作用下根据主控制器发出的控制指令在水平方向上移动，其上设有高度可调节的升降支架，视频设备和/或音频设备通过旋转云台安装在升降支架上；

工控主机与主控制器之间采用串口通信，工控主机根据声源定位向主控制器下发位置调节指令，实现移动底盘和升降支架的位置调节，以适应不同教学过程的动态资源采集。

作为本发明技术方案的一个优选，下位机层还包括空间传感器，所述空间传感器包括至少一个安装在移动底盘上的超声波传感器，用于对所述移动底盘前进方向上的障碍物进行探测。

作为本发明技术方案的一个优选，下位机层还包括空间传感器，所述空间传感器包括四个超声波传感器，分别安装在移动底盘的四个方向上，用于对所述移动底盘前进方向上的障碍物进行探测。

作为本发明技术方案的一个优选，下位机层还包括光电编码器，所述光电编码器根据主控制器的控制指令，对移动底盘的速度、位移和运动方向进行调节。

作为本发明技术方案的一个优选，移动底盘上设有至少两个驱动轮，所述光电编码器对驱动轮进行控制，从而实现对移动底盘的速度、位移和运动方向进行调节。

作为本发明技术方案的一个优选，下位机层包的主控制器上设有多个扩展性传感器安装接口，以适应多种传感器的集成和拓展。

按照本发明的一个方面，提供了一种利用权利要求1～6任一项所述动态资源采集平台进行教学过程的动态资源采集方法，其特征在于，包括

S1启动工控主机，对视频设备和音频设备进行初始化并启动；

S2音频设备对所在空间范围内的音频信号进行捕捉和采集；

S3对收到的音频数据进行解析，计算动态资源采集平台与声源之间的距离，生成位置调节指令；

S4根据位置调节指令将移动底盘和升降支架调节至对应位置；

S5驱动视频设备和音频设备对准声源方位，分别开始进行视频数据和音频数据的采集，获取教学过程数据。

作为本发明技术方案的一个优选，步骤S1中所述初始化包括对视频设备和/或音频设备进行姿态注册，其步骤如下，

S11根据音频设备将平面空间分为若干个区间，每个区间对应音频设备的一个拾音波束；

S12选择任意一个区间作为起始区间，控制摄像机云台水平旋转，使摄像机主视线依次与每个区间对应的拾音波束方向重叠；

S13将每个区间及其对应的拾音波束方向和摄像机云台位置相关联，构建出视频设备、音频设备的空间关联表，以使得工控机可以根据声源定位驱动视频设备至对应位置进行视频数据采集。

作为本发明技术方案的一个优选，步骤S4中包括，

S41对位置调节指令进行解析，获取动态资源采集平台的水平位移路线和视频设备、音频设备的预设高度；

S42调节升降支架，将视频设备、音频设备固定到预设高度；

S43判断水平位移路线上是否存在障碍物，若存在则将障碍物信息反馈给工控主机生成新的位置调节指令进入步骤S41，否则将动态资源采集平台移动到对应位置。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

1)本发明技术方案，利用工控主机将视频设备和音频设备集成到同一个载体平台上，该载体平台包括能够水平移动的移动底盘和能够竖直移动的升降支架，其一方面可以实现适应多种环境下的教学过程数据拍摄的移动需求，另一方面水平方向的移动和竖直方向上的移动可以让视频设备和音频设备达到一定空间范围内的任何地点，提高了设备采集数据的准确性。

2)本发明技术方案，工控主机会根据音频设备采集到的音频数据对声源方向进行定位，并根据自身位置与声源之间的距离，控制移动底盘和升降支架移动到合适的位置，然后开始视频数据和音频数据的采集。其中由于采用了对音频数据进行分析从而实时对声源定位的方式，使得本发明技术方案的平台可以根据声源方位的改变，对应改变自身所处的位置和拍摄状态，进一步提高了视频数据和音频数据采集的准确性。

3)本发明技术方案，下位机层设置有可扩展的主控制器，其上设有空间传感器和光电编码器，空间传感器可以对移动底盘前进方向上的障碍物进行检测，以便工控主机根据当前位置和声源位置及时调整前进路线，而光电编码器可以对移动底盘的移动速度进行控制，两者相互配合，保证动态资源采集平台可以顺利到达指定的位置进行视频数据和音频数据的采集。

附图说明

图1是本发明技术方案实施例中动态资源采集平台的硬件连接示意图；

图2是本发明技术方案实施例中下位机层的信号分析流程图；

图3是本发明技术方案实施例中音视频采集设备空间注册关系；

图4是本发明技术方案实施例中工控机内部系统模块的连接图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。

如图1所示是本发明技术方案的动态资源采集平台实施例的硬件设备图，其中包括下位机层和上位机层，下位机层通过串口与上位机层连接。

下位机层，是动态资源采集平台的运动模块，主要包括主控制器(即主控制器)、空间传感器、以及底盘及支架。

本实施例中，下位机主控制器选择具有54路数字输入输出的Arduino meg2560，其主要功能是采集传感器数据，解析并转发指令，进行简单数据计算。Arduino通过烧录在芯片ATmega2560上的驱动程序采集所有传感器数据，转换成指定的数据格式，通过串口传送给上位机主控制器raspberry pi；在得到上位机指令后，Arduino将解析命令，发送到指定传感器。进一步地，Arduino通过L298P二路电机驱动器集成了超声波测距模块、Faulhaber2342L012直流电机、AB相光电编码器等，并可扩展集成多自由度机械臂，亦可配备12V6600mAh大容量电池。

作为本实施例的优选，下位机层的空间传感器由4个HC-SR04超声波传感器组成，优选分别安装在移动底盘的前侧(2个)和后侧(2个)，用于移动平台前进和后退时的障碍物探测。实际应用的时候，可以进一步根据使用场景的需求更改超声波传感器的安装位置，以便进一步对移动底盘的运动方向进行监测。

作为本实施例的优选，下位机层的移动底盘采用差速驱动运动模型，本实施例的移动底盘上优选安装了两个Faulhaber2342L012大扭矩(1.72Nm)电机和一个万向轮，转速达120转/分钟，驱动轮直径10cm，速度范围0-0.8m/s。两个驱动轮上分别安装了一个12CPR的AB双路输出光电编码器，以提高速度、位移和运动方向控制精度。车体使用圆形、不锈钢三层框架，可载重20kg，并提供了丰富的传感器安装接口，易于多传感器的集成和拓展。手动可升降支架是由一个托板和一个手动调节调节高度的支持杆组成的纯机械支架，用于安装音视频采集设备。

下位机层的数据处理流程如图2所示。其中，由串口构成的通信接口用于接收上位机发送的控制命令以及向上位机返回当前姿态参数及空间传感器数据(如超声雷达数据，激光雷达数据等)。

进一步地，控制命令的解析和执行流程如下：

1)命令解析。解析控制命令类型，然后驱动相应的模块执行相应步骤。控制命令分为三种类型，分别是运动控制命令、PID参数设置命令和传感器数据采集命令。

2)PID参数设置命令。调用PID设置接口完成参数设置。

3)运动控制命令执行。驱动直流电机执行运动命令，同时将命令执行完成后的姿态参数通过通信接口返回上位机，作为生成下一次运动控制命令的参考。由于受实际环境因素影响，电机实际速度和目标速度存在误差，为解决这个问题使用PID算法进行校准，可根据不同环境设置不同的PID参数，以满足机器人平衡要求。

4)传感器数据采集命令。启动传感器驱动模块，将传感器数据通过通信接口返回给上位机。

对于本实施例中的上位机层来说，其主要执行下位机层的控制任务和视频设备、音频设备的数据采集任务。具体来说，上位机层主要用于实现教学过程数据采集、采集控制、移动控制和交互配置等，本实施例中的上位机层包括1台工控主机、2个摄像机(视频设备)、1个全向麦克风(音频设备)和1个触摸显示屏。上位机层工控主机通过串口与下位机层主控制器进行通信；同时，上位机层工控主机通过以太网与云服务层的服务器进行通信。

作为本实施例的优选，上位机层工控主机是本发明中移动动态资源采集平台的核心控制部件和数据预处理部件。优选采用Intel x86架构CPU芯片，內建Intel HD Graphics显示核心支持HDMI输出，可以方便的与触摸显示屏进行连接，触摸屏作为一个优选的输入端，可供外部输入控制信息。此外，工控主机还可以同时提供2个千兆网口和4个以上RS232串口，以满足与下位机层设备和云服务层服务器的通信要求。

作为本实施例的优选，上位机层触摸显示屏可以用于显示平台各部件工作状态，同时与无线键盘配合使用完成部件参数的初始化设置，系统开关机等控制。触摸显示屏优选通过HDMI与工控主机连接。

本实施例中，上位机层摄像机主要完成教学过程的视频采集工作。即利用上位机层的视频设备(本实施例中优选摄像机)和音频设备(本实施例本实施例中麦克风优选全向麦克风)。作为本实施例的进一步优选，每个摄像机自带mini云台，摄像机固定在云台上，云台底座通过螺丝固定在升降支架的托板上。优选的，本实施例中采用2个摄像机(1个主摄像机、1个辅助摄像机)对教学过程数据资源进行采集，其中辅助摄像机用于在主摄像机执行拍摄任务时，如果出现不止一个声源信号，对距离最近的声源信号方向进行辅助摄像。进一步地，本实施例中的摄像机，通过1个4口集线器与工控主机相连，实现视频数据的上传和控制信号的下达。

作为本实施例的优选，上位机层优选利用全向麦克风完成声源定位和语音采集功能，其中包括1个六麦环形麦克板和1个采集板，麦克板与采集板通过音频线连接，然后通过USB线连接采集板和工控主机。本实施例中的，全向麦克风可以对有效采集范围的声音信号进行采集并提供给工控主机进行声源定位分析，从而实现教学过程的实时声音定位采集。

因此，作为本实施的进一步优选，本实施例的工控机为了实现上述功能，如图4所示，其中至少包含有以下模块，

声源定位模块，从音频信号中检测主声源方位，用于检测课堂交互事件定位，其结果输出给云台控制模块。

云台控制模块，用于通过向视频采集设备发送云台命令驱动其转到适当的拍摄姿态。

运动控制模块，用于控制移动底盘前、后、左、右位置调整，确保显示设备距离机器人在3m范围以内。

姿态注册模块，用于建立摄像机水平方向360度云台旋转参数与全向麦克风声源定位坐标的关联表，通过该关联表，摄像机可以根据声源定位坐标快速驱动云台，实现拍摄目标定位。一般而言，系统第一次使用时需执行设备空间姿态注册操作，姿态关联表一旦创建，可重复使用。

优选的，具体的注册方式如下：

1)空间方位角划分。六麦环形阵列中的6个麦克风均匀排列，形成6个拾音波束，各自对应60度范围。同时将摄像机旋转一周的云台参数，均匀划分为6个区间，每个区间对应全向麦克风的一个拾音波速。执行步骤2.1.2建立摄像机6个区间的云台参数与全向麦克风拾音波束的关联表。

2)空间方位角注册。设置第一个麦克风(id0)为注册起始方位，控制摄像机云台水平旋转，使摄像机主视线依次与6个麦克风重叠，依次记录每次摄像机主视线与麦克风重叠时的云台信息ptz_i及麦克风id_i，构建如下音视频空间关联表：

((ptz₀,id₀)；(pz₁,id₁)；(ptz₂,id₂)；(ptz₃,id₃)；(ptz₄,id₄)；(ptz₅,id₅))

从而实现摄像机云台姿态与六麦阵列音频采集设备的六个主方向一一对应。注册完成后视频设备B与6麦阵列音频设备的空间关系如图3所示。

本实施例中，为了保证教学过程(尤其是课堂交互过程)数据采集的及时性，需要对声源信号进行持续跟踪。本实施例中采用如下方式实现。

第一，区域初步定位。提取摄像机视频帧，调用显示区域检测方法，根据检测结果驱动摄像机调整云台和焦距参数实现课件显示区域完全覆盖，实现跟踪区域的初步定位；

第二，跟踪目标初始化。在当前像机姿态基础上，对视频帧使用高斯建模法进行运动块检测，将检测得到的运动块对应图像作为跟踪目标图像；

第三，使用跟踪目标图像对TLD目标跟踪算法进行初始化，并调用TLD跟踪模块实现目标位置(授课者位置)的持续追踪；

第四，根据TLD跟踪结果中的目标位置信息，驱动摄像机调整云台参数，使摄像机对跟踪目标实现画面完全覆盖；

第五，每隔n秒(n＝2,3...，可调)调用显示区域检测算法，计算显示区域和最近一次授课者位置的最大包围盒，使用该包围盒坐标驱动摄像机调整焦距参数，使摄像机对跟踪目标和显示区域实现画面完全覆盖。

进一步地，在利用本实施例的动态资源采集平台进行教学数据采集的时候，其中主要包括下列步骤：

1.机器平台姿态校正。首先进行方向校正：将平台摄像机置于初始姿态，通过运动控制模块驱动动态资源采集平台原地360旋转，同时调用环境感知模块，在摄像机画面中检测显示设备，当显示设备出现在摄像机画面正中时停止旋转动态资源采集平台。然后进行距离校正：利用空间传感器检测动态资源采集平台与显示设备距离，通过运动控制模块驱动动态资源采集平台前进或后退，使距离保持在3m左右。其中距离校正为可选操作。

2.设备空间姿态注册。调用姿态注册模块，创建视频采集设备与音频采集设备的姿态关联表。

3.初始化跟踪目标。将摄像机置于初始姿态，在摄像机画面中检测运动团块(优选包含人体特征)，将该运动团块图像作为主画面采集时跟踪目标的初始图像，设置跟踪目标对应的拾音区间为主方向。

4.主画面采集。利用初始目标图像初始化持续跟踪模块并开始对摄像机的每帧画面循环执行该模块，其输出结果：1)由云台控制模块驱动摄像机变化姿态和焦距，使授课者以及课件显示区域同时保持在视频画面内(简称画面保持)；2)若摄像机视线超出拾音器主方向时，设置当前视线方向对应的拾音区间为主方向。

一般情况下，画面保持的原则是调整摄像机云台和焦距参数，使摄像机画面完全覆盖授课者和课件显示区域。当授课者与课件显示区域发生冲突无法实现完成覆盖时，优先考虑对授课者实现画面完全覆盖。所谓画面完全覆盖，是指拍摄目标(授课者，课件显示区域)的在画面中的面积占整幅画面面积的3/4。

5.辅助画面采集。辅助画面采集包括课堂互动行为画面采集和课堂常规状态画面采集。课堂互动行为画面是指课堂发生的授课者以外的参与者在课堂上的语音、行为画面。课堂常规状态画面是课堂授课过程中，所有授课参与者共同构成的课堂状态画面。

对于课堂互动行为画面采集来说，当互动事件发生时，本实施例中优选通过声源定位模块检测事件声源的方位坐标，通过查找姿态关联表确定摄像机云台参数，调用云台控制模块驱动辅助摄像机进行姿态调整，实现互动行为画面采集。

具体来说，当六麦阵列主方向音量消失，并且在非主方向出现异常高音量(事件方向高音量)，此时判定为发生互动事件，设置六麦阵列为全向拾音模式，同时触发课堂互动行为画面采集。当事件方向高音量消失，原主方向高音量恢复，此时判定为互动事件结束，返回主画面采集模式。此外，在触发课堂互动行为画面采集后停止采集之前，但原事件方向高音量消失，其它方向(非原主方向)出现高音量，此时判定为多个连续互动事件，根据新的事件的声源方向，驱动辅助摄像机变换姿态持续课堂互动行为画面采集。

对于课堂常规状态画面采集来说，本实施例中，在没有课堂互动行为画面采集任务的时候，优选定时驱动辅助摄像机云台做低速水平匀速转动，实现对非主方向上的画面采集。其主要过程为，采用定时触发机制，初始姿态为主方向左侧第一个拾音区间，逆时针旋转云台。若采集过程中检测到课堂互动行为，则终止本次采集，执行课堂互动画面采集。进一步地，当辅助摄像机视线到达主方向右侧第一个拾音区间时，结束采集。

最后，对于平台所采集的一路音频信号经过AAC编码得到音频裸流，系统所采集的两路视频数据经过H.264编码得到两路视频裸流，将音频裸流分别加入两路视频裸流，封装成ts流格式，交由资源分发模块完成资源的网络分发工作。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种适用于教学过程的动态资源采集平台，包括上位机层和下位机层，其特征在于，

所述上位机层包括视频设备、音频设备和工控主机，所述工控主机分别与视频设备和音频设备相连接，并根据音频设备采集到的音频信息进行声源定位，生成控制指令以控制视频设备和/或音频设备进行视频数据和/或音频数据采集；

所述下位机层包括主控制器、移动底盘和升降支架，所述移动底盘可以在驱动力作用下根据主控制器发出的控制指令在水平方向上移动，其上设有高度可调节的升降支架，视频设备和/或音频设备通过旋转云台安装在升降支架上；

工控主机与主控制器之间采用串口通信，工控主机根据声源定位向主控制器下发位置调节指令，实现移动底盘和升降支架的位置调节，以适应不同教学过程的动态资源采集。

2.根据权利要求1所述的一种适用于教学过程的动态资源采集平台，其中，所述下位机层还包括空间传感器，所述空间传感器包括至少一个安装在移动底盘上的超声波传感器，用于对所述移动底盘前进方向上的障碍物进行探测。

3.根据权利要求1所述的一种适用于教学过程的动态资源采集平台，其中，所述下位机层还包括空间传感器，所述空间传感器包括四个超声波传感器，分别安装在移动底盘的四个方向上，用于对所述移动底盘前进方向上的障碍物进行探测。

4.根据权利要求1～3任一项所述的一种适用于教学过程的动态资源采集平台，其中，所述下位机层还包括光电编码器，所述光电编码器根据主控制器的控制指令，对移动底盘的速度、位移和运动方向进行调节。

5.根据权利要求4所述的一种适用于教学过程的动态资源采集平台，其中，所述移动底盘上设有至少两个驱动轮，所述光电编码器对驱动轮进行控制，从而实现对移动底盘的速度、位移和运动方向进行调节。

6.根据权利要求1～5任一项所述的一种适用于教学过程的动态资源采集平台，其中，所述下位机层包的主控制器上设有多个扩展性传感器安装接口，以适应多种传感器的集成和拓展。

7.一种利用权利要求1～6任一项所述动态资源采集平台进行教学过程的动态资源采集方法，其特征在于，包括

S1启动工控主机，对视频设备和音频设备进行初始化并启动；

S2音频设备对所在空间范围内的音频信号进行捕捉和采集；

S3对收到的音频数据进行解析，计算动态资源采集平台与声源之间的距离，生成位置调节指令；

S4根据位置调节指令将移动底盘和升降支架调节至对应位置；

S5驱动视频设备和音频设备对准声源方位，分别开始进行视频数据和音频数据的采集，获取教学过程数据。

8.根据权利要求7所述的动态资源采集方法，其中，步骤S1中所述初始化包括对视频设备和/或音频设备进行姿态注册，其步骤如下，

S11根据音频设备将平面空间分为若干个区间，每个区间对应音频设备的一个拾音波束；

S12选择任意一个区间作为起始区间，控制摄像机云台水平旋转，使摄像机主视线依次与每个区间对应的拾音波束方向重叠；

S13将每个区间及其对应的拾音波束方向和摄像机云台位置相关联，构建出视频设备、音频设备的空间关联表，以使得工控机可以根据声源定位驱动视频设备至对应位置进行视频数据采集。

9.根据权利要求7或8所述的动态资源采集方法，其中，所述步骤S4中包括，

S41对位置调节指令进行解析，获取动态资源采集平台的水平位移路线和视频设备、音频设备的预设高度；

S42调节升降支架，将视频设备、音频设备固定到预设高度；

S43判断水平位移路线上是否存在障碍物，若存在则将障碍物信息反馈给工控主机生成新的位置调节指令进入步骤S41，否则将动态资源采集平台移动到对应位置。