CN110808075B - 智能录播方法 - Google Patents

Abstract

本发明提供了一种智能录播方法，包括：多台录播设备，以及与所述录播设备通信连接的中控设备；在课堂环境状态下通过一录播设备获取教学过程信息；所述教学过程信息中包括课堂行为信息以及课堂内容信息；所述中控设备在所述教学过程信息中提取课堂行为信息，并与行为数据库中行为主体进行比对，判断所述课堂行为信息发生的主体；根据所述课堂行为信息发生的主体不同，所述中控设备发送控制指令自动切换与行为主体匹配的另一录播设备，通过另一录播设备获取与所述课堂行为信息对应的课堂内容信息。由此，可以根据课堂行为主体不同对应课堂信息进行录播，能更好提供良好的课堂秩序，同时可以快速有效的解决课堂异常问题的发生。

Description

智能录播方法

技术领域

本发明涉及数据处理领域，尤其涉及一种智能录播方法。

背景技术

近年来，随着计算机技术的发展，存在向用户播放视频的许多场景。典型地，例如在教育场景下，经常通过向用户(即，学生)播放教学视频的方式替代人工授课。传统的视频教学方式是由老师事先录制好教学视频、再在给定的时间向学生播放来进行的，这种方式一般称为录播。有时为了增加课程体验，会采用录播加直播的方式，即在向学生播放视频的过程中，额外在学生所处于的课堂上增加一位老师辅助视频管理和教学管理。

然而，无论是录播方式还是录播加教师辅助管理的视频提供方式，只能进行全景录播或者特写录播，不能有针对性的进行录播，比如，因此，导致在教学过程中特别课堂环境下不能根据课堂行为主体不同对应课堂信息进行录播。

发明内容

本发明实施例的目的是提供一种智能录播方法，以解决现有技术中的不能根据课堂行为主体不同对应课堂信息进行录播的问题。

为解决上述问题，第一方面，本发明提供了一种智能录播方法，所述方法包括：

一种智能录播方法，包括：多台录播设备，以及与所述录播设备通信连接的中控设备；

在课堂环境状态下通过一录播设备获取教学过程信息；所述教学过程信息中包括课堂行为信息以及课堂内容信息；

所述中控设备在所述教学过程信息中提取课堂行为信息，并与行为数据库中行为主体进行比对，判断所述课堂行为信息发生的主体；

根据所述课堂行为信息发生的主体不同，所述中控设备发送控制指令自动切换与行为主体匹配的另一录播设备，通过另一录播设备获取与所述课堂行为信息对应的课堂内容信息。

进一步优选的，所述课堂行为信息发生的主体包括：教师行为主体和学生行为主体；

学生的所述课堂行为信息包括：听讲、读写、练习、举手、互动、课堂注意力；

教师的所述课堂行为信息包括：讲授、演示、板书、提问、巡视、师生互动。

进一步优选的，包括：

在所述教学过程信息中所述课堂行为主体为教师时，所述中控设备控制与教师匹配的录播设备获取教师的课堂内容信息，并同时控制与学生匹配的录播设备获取学生的听讲行为信息以及课堂内容。

进一步优选的，还包括：

在所述教学过程信息中所述课堂行为为教师和学生进行课堂互动时，所述中控设备同时控制与教师和学生匹配的录播设备对互动的课堂内容进行跟踪录播，并将两个录播设备的录播的课堂内容进行关联设置。

进一步优选的，还包括：拾音器，所述拾音器与所述中控设备通信连接；

当任一录播设备进行录播时，通过所述拾音设备对课堂内容进行拾音，并将课堂内容的拾音信息发送至所述中控设备，所述中控设备将拾音内容按照时间与对应的录播设备进行关联设置，形成课堂的视音频数据。

进一步优选的，包括：

在所述教学过程信息中获取到学生课堂行为信息异常时，所述中控设备控制另一录播设备跟踪录播发生异常行为的学生的课堂行为信息，并对其进行标记。

进一步优选的，还包括：

对标记的异常行为进行分析，获取所述异常行为的发生时间信息，根据时间信息匹配教师的所述课堂行为以及对应的教学内容；

和/或，获取异常行为发生主体的周围学生的行为信息以及语音信息。

进一步优选的，还包括：

当同一学生的课堂行为信息发生异常标记的次数超过设定阈值时，发送提醒信息。

进一步优选的，所述异常行为的获取包括：、语音行为、以及表情行为。

进一步优选的，所述行为数据库具体包括：

根据课堂行为的主体不同构建根索引字段；

根据不同课堂行为的主体发生的行为不同，对应与根索引字段关联设置，并形成与行为主体对应的行为数据库；

所述课堂行为中包括异常行为。

通过应用本发明提供的智能录播方法，在教学过程中特别课堂环境下根据课堂行为主体不同对应课堂信息进行录播，能更好提供良好的课堂秩序，同时可以快速有效的解决课堂异常问题的发生。

附图说明

图1为本发明实施例一提供的一种智能录播方法流程示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

第一、第二、第三和第四等编号仅予以区分，并无其他含义。

图1为本发明实施例一提供的一种智能录播方法流程示意图。该方法应用在教学场景中，在教学过程中特别课堂环境下根据课堂行为主体不同对应课堂信息进行录播，为更好提供良好的课堂秩序，同时以快速有效的解决课堂异常问题的发生。该方法的执行主体为服务器、处理器、终端等具有处理功能的设备。如图1所示，该方法包括以下步骤：

本发明提供的一种智能录播方法具体的实施，包括：多台录播设备，以及与所述录播设备通信连接的中控设备；多台录播设备根据录播的内容不同启用对应的录播设备，同时通过中控设备用于控制每一台录播设备进行录播，并对录播的课堂过程信息进行分析,采集异常行为，并进行相应的处理。

步骤101，在课堂环境状态下通过一录播设备获取教学过程信息；所述教学过程信息中包括课堂行为信息以及课堂内容信息。

基于目前的校园教学的环境的智能信息化发展，将每个教师每个年级每个学科的课程进行录播，同时将录播的内容进行云端处理，保存，可以进行远程互动、远程教学、在先访问等行为；为了确保教师上课的质量、以及学生吸收知识的有效性，对学生的上课表现以及教师的上课内容进行录播，由于课堂上的人数比较多，需要进行全面的录播，因此针对不同的录播内容匹配对应的录播设备；在教学过程中一是对整个教室的进行录播为背景录播设备、针对教室板书的内容进行录播为板书录播设备、针对教室授课进行录播为教师录播设备、针对学生的进行录播的为学生录播设备等中的至少4个录播设备，同时为了可以进行全方位的录播，还可以设置更多。

步骤102，所述中控设备在所述教学过程信息中提取课堂行为信息，并与行为数据库中行为主体进行比对，判断所述课堂行为信息发生的主体。

在本发明中针对于课堂行为信息的获取、一是基于人工智能的分析、以及借助于大数据的统计，对每一个行为主体的发出的进行进行分析，判断该主体的属于学生还教师、针对不同的主体，中控设备启用对应录播设备；多路切换录播设备，可以对课堂上每个课堂内容都进行收录，以免影响后续的回访，造成数据的丢失，而影响远程以及校本资源的缺失。

步骤103，根据所述课堂行为信息发生的主体不同，所述中控设备发送控制指令自动切换与行为主体匹配的另一录播设备，通过另一录播设备获取与所述课堂行为信息对应的课堂内容信息。

具体的在根据行为主体的不同时，进一步的分析其课堂行为针对于教师的所述课堂行为信息包括：讲授、演示、板书、提问、巡视、师生互动；学生的所述课堂行为信息包括：听讲、读写、练习、举手、互动、课堂注意力；具体的的判断原则是根据上述提及的人工智能分析、以及大数据的统计，例如，教师在进行授课的过程中，发生主要行为一个是肢体语言、声音信息、以及肢体语言的板书事件、同时示意同学进行作答；而学生主要的在于其课堂的注意力，以及与老师进行互动时的“举手”、和互动回答问题。当教师在授课的过程中通过背景录播设备获取到这些行为信息时，中控设备控制教师录播设备进行录播教师的教学过程信息，同时也还会控制与学生匹配的录播设备来录播学生，获取的他们根据教师授课行为发出相应指令的对答过程。通过这个自动切换调配录播设备可以实现对教学课堂信息的无缝对接，无需人工操控，更加智能化信息化的记录课堂上每一个信息。

进一步优选的，包括：

在所述教学过程信息中所述课堂行为主体为教师时，所述中控设备控制与教师匹配的录播设备获取教师的课堂内容信息，并同时控制与学生匹配的录播设备获取学生的听讲行为信息以及课堂内容。

具体为：当教师在授课为语文课是，发出语音行为第24课第25页时，中控设备控制录播设备的摄录教师的课本，同时拾音设备拾取教师的信息，当然拾音设备也不仅仅是一台，根据使用的需求进行配置；当他在黑板上板书写字时，自动的通过板书录播设备录取黑板上的内容；当他示意同学进行举手回答问题时，根据学生举手的行为切换对应的学生录播设备对学生进行回答过程进行录播，这样就是实现教师行为发生主体对应的3种录播设备的启动与自动切换的录播，并形成该堂教学内容的一部分。

上述是以教师为主体还包括师生互动：

在所述教学过程信息中所述课堂行为为教师和学生进行课堂互动时，所述中控设备同时控制与教师和学生匹配的录播设备对互动的课堂内容进行跟踪录播，并将两个录播设备的录播的课堂内容进行关联设置。

在教学过程中进行教学互动时，需要同时开启教师录播设备和学生录播设备，当然背景录播设备是在整个课堂过程中一直处于工作状态，因为通过背景录播设备提取课堂行为信息；在互动过程中可以产生更多信息的问题，讨论的深度更加深刻，因此需要录播不能错过每个课堂环节，许多多至少两台以上的学生和教师录播设备进行启用，在进行互动过程红通过背景录播设备录播的信息传送至中控设备并进一步的完成行为信息的实时提取。在进行互动时，往往学生的问题比较多，当然也有一个个别学生发生进行与谈论无关的事情，这种通过异常行为提取来分析。

进一步优选的，还包括：拾音器，所述拾音器与所述中控设备通信连接；当任一录播设备进行录播时，通过所述拾音设备对课堂内容进行拾音，并将课堂内容的拾音信息发送至所述中控设备，所述中控设备将拾音内容按照时间与对应的录播设备进行关联设置，形成课堂的视音频数据。

在本申请中，为了形成完成教学资本，不仅仅是影像信息同时需要声音信息的支撑，才能形成完好的视音频数据，因此本身申请每个录播设备配置对应的拾音设备，以时间为信息的关联节点，进行关联设置完成视音频的整合；同时在行为信息中还包括语音行为的提取，例如，在回答老师提问题的时候，该学生没有肢体上行为，直接说“我回答”，这种也是行为信息的一种。通过设置拾音设备使课堂信息更加完整。

进一步优选的，包括：

在所述教学过程信息中获取到学生课堂行为信息异常时，所述中控设备控制另一录播设备跟踪录播发生异常行为的学生的课堂行为信息，并对其进行标记。

进一步优选的，还包括：

对标记的异常行为进行分析，获取所述异常行为的发生时间信息，根据时间信息匹配教师的所述课堂行为以及对应的教学内容；

和/或，获取异常行为发生主体的周围学生的行为信息以及语音信息。

进一步优选的，还包括：

当同一学生的课堂行为信息发生异常标记的次数超过设定阈值时，发送提醒信息。

进一步优选的，所述异常行为的获取包括：语音行为、以及表情行为。

在本申请中，不仅仅需要记录学生的正常教学过程的行为信息，为了更够更多的了解学生的个体行为，以及个体行为下的表征信息，通过将课堂信息与行为数据库中的行为进行比对，一个正常行为，另一个为异常行为，异常行为通过语言、表情、以及肢体等表现，这种判断是通过大数据统计的数据库，根据历史课堂行为信息进行提炼得并构建，另一个实则为人工智能分析，在启用录播设备进行录播过程中并将该行为进行标记，为了解决异常的问题，需要进行后期的分析；如果偶然发生的通过分析周围学生行为进行分析了解，并能够解决；而有些行为是持续进行中的这种需要进行进步一个辅导等；例如，偶然的一次课堂睡觉，这可能是由于生病、或者睡眠不足等导致的；例如长期的上课注意不集中，回答问题一直不在状态，长期的事件需要进行分析标记，了解背后的原因，以助于帮助学生回归到正常的课堂状态；还有包括，该学生的表情比较狰狞，这种尽快的解决是否生病等紧急的事情发生。

通过本申请上述提供的实施方式，可以有效的了解学生、掌握学生的学习动态，同时也进一步的了解教师的教学质量。

进一步优选的，所述行为数据库具体包括：

根据课堂行为的主体不同构建根索引字段；

根据不同课堂行为的主体发生的行为不同，对应与根索引字段关联设置，并形成与行为主体对应的行为数据库；

所述课堂行为中包括异常行为。

异常行为包括异常情绪悲伤、哭泣、生气等负面情绪，也可以包括高兴等正面情绪。在表情数据库中，存储有该些表情的模型，本申请的录播系统，可以通过AI识别，得到异常情绪。

在本申请中，教学行为数据库的建立可以有效判断学生的行为以及教师的行为，为实现智能化教学环境提供了有力的数据依据，可以快速处理判断学生的行为，根据行为匹配学生的学习状态，进一步的了解学生的心里，为学生的学习建立有效智能化高效、安全的教学环境。数据库的建立是基于历史数据建立的，一个比较长的大数据统计过程，当然行为的表现形式，通过大数据的统计，提取大概率行为而构建。

为了更进一步的明确的阐述本申请的录播设备具体为：录播系统对授课过程中的目标进行追踪录播。比如，教室a设置有五个摄像头并且在摄像头的预设距离内设置有拾音设备，五个摄像头分别用于拍摄授课老师、黑板、学生、正面全景和背面全景，第一授课老师正在讲授时，切换至第一摄像头拍摄的讲授视音频数据，讲授视音频数据在互动时，如果老师正在提问，则切换至第一摄像头拍摄的老师的提问画面，学生在回答时，切换至第二摄像头拍摄的学生的回答画面等，在答疑时，如果学生提问，则切换至第二摄像头拍摄的学生的提问画面，如果老师正在回答，切换至第一摄像头拍摄的老师的回答画面。在学生答题时，可以切换至第二摄像头拍摄的学生答题画面。至于具体如何实现切换，可以采用人工智能(Artificial Intelligence，AI)、智能识别技术和大数据技术，进行切换，从而在录制过程中，进行针对性的进行录制，并进行无缝切换。在切换的过程中，还可以针对每一段视频添加提示信息，比如，可以在第一授课视音频数据中，添加第一讲授视音频数据、第一互动视音频数据、第一答疑解惑视音频数据等关键字用于进行提示。

课堂听课视音频数据包括学生听课时的全景视音频数据，可以通过一个摄像头，对学生听课状态进行全景录制，从而得到学生听课视音频数据。后续通过智能识别技术，可以识别出具体的学生，并将识别出的学生与数据库中的学生图像信息进行比较，从而可以确定出具体的学生个体，并可以对该学生个体在一个科目的情绪信息进行分析。

在课堂中，为了语音信息的获取可以避免课堂软暴力，即授课老师的语言暴力，可以对授课老师的语言进行语音识别，从而判断是否存在语音暴力，具体实现过程如下：

首先，对课堂授课视音频数据中的语音信号进行预处理，得到第一数字信号；然后，对第一数字信号进行特征提取，得到特征参数；接着，通过声学模型、语言模型和发音词典，对特征参数与预建的限制性语言模型库中的参考模板的相似性进行打分；最后，根据得分，确定课堂授课视音频数据中是否存在限制性语言。

具体的，对语音信号依次进行采样、量化、预加重、分帧、加窗处理后，得到第一语音信号。

其中，采样的目的是对模拟音频信号波形进行分割，量化的目的是用整形值存储采样测得的振幅值。对语音信号进行预加重的目的，是为了对语音的高频部分进行加重，去除口唇辐射的影响，增加语音的高频分辨率。一般通过传递函数为一阶FIR高通数字滤波器来实现预加重，其中a为预加重系数，0.9<a<1.0。设n时刻的语音采样值为x(n)，经过预加重处理后的结果为y(n))＝x(n)-ax(n-1),这里取a＝0.98。语音信号具有短时平稳性(10--30ms内可以认为语音信号近似不变)，这样就可以把语音信号分为一些短段来来进行处理，这就是分帧，语音信号的分帧是采用可移动的有限长度的窗口进行加权的方法来实现。一般每秒的帧数约为33-100帧，视情况而定。一般的分帧方法为交叠分段的方法，前一帧和后一帧的交叠部分称为帧移，帧移与帧长的比值一般为0-0.5。加窗一般是加汉明窗或矩形窗，从而增大对高频分量的衰减。

可以根据第一数字信号的不同用途，提取不同的特征参数。其中，特征参数主要有线性预测系数(Linear Predictive Cepstral Coding，LPCC)、感知线性预测系数(Perceptual Linear Predictive，PLP)、梅尔频率倒谱系数(Mel Frequency CepstrumCoefficient，MFCC)。

以MFCC为例，可以利用快速傅氏变换(Fast Fourier Transformation，FFT)将第一数字信号从时域信号转变为频域信号；然后，对频域信号依照Mel刻度分布的三角滤波器组进行卷积；接着，根据卷积结果，对三角滤波器组中各三角滤波器的输出构成的向量进行离余弦变化(Discrete Cosine Transform，DCT)；最后，取DCT中前N个系数，得到第一数字信号的特征参数。

分别通过声学模型、语言模型和发音词典，对特征参数与预建的限制性语言模型库中的参考模板的相似性进行打分，得到声学模型对应的第一得分、语音模型对应的第二得分和发音词典对应的第三得分；对第一得分、第二得分和第三得分进行加权数据融合，得到最终得分，根据得分，以判断是否为限制性语言。比如，预建的限制性语言模型库中有“笨蛋”、“笨死了”等模板，经过打分后，得到的得分为98分，则可以确定存在限制性语言。

发明实施例二提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。

本发明实施例三提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。

本发明实施例四提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种智能录播方法，其特征在于，包括：多台录播设备，以及与所述录播设备通信连接的中控设备；

在课堂环境状态下通过一录播设备获取教学过程信息；所述教学过程信息中包括课堂行为信息以及课堂内容信息；

所述中控设备在所述教学过程信息中提取课堂行为信息，并与行为数据库中行为主体进行比对，判断所述课堂行为信息发生的主体；其中，所述课堂行为信息发生的主体包括：教师行为主体和学生行为主体；学生的所述课堂行为信息包括：听讲、读写、练习、举手、互动、课堂注意力；教师的所述课堂行为信息包括：讲授、演示、板书、提问、巡视、师生互动；

根据所述课堂行为信息发生的主体不同，所述中控设备发送控制指令自动切换与行为主体匹配的另一录播设备，通过另一录播设备获取与所述课堂行为信息对应的课堂内容信息；

其中，在所述教学过程信息中所述课堂行为主体为教师时，所述中控设备控制与教师匹配的录播设备获取教师的课堂内容信息，并同时控制与学生匹配的录播设备获取学生的听讲行为信息以及课堂内容；

在所述教学过程信息中所述课堂行为为教师和学生进行课堂互动时，所述中控设备同时控制与教师和学生匹配的录播设备对互动的课堂内容进行跟踪录播，并将两个录播设备的录播的课堂内容进行关联设置；

还包括：拾音器，所述拾音器与所述中控设备通信连接；

当任一录播设备进行录播时，通过所述拾音器 对课堂内容进行拾音，并将课堂内容的拾音信息发送至所述中控设备，所述中控设备将拾音内容按照时间与对应的录播设备进行关联设置，形成课堂的视音频数据；

所述方法还包括：在所述教学过程信息中获取到学生课堂行为信息异常时，所述中控设备控制另一录播设备跟踪录播发生异常行为的学生的课堂行为信息，并对其进行标记；当同一学生的课堂行为信息发生异常标记的次数超过设定阈值时，发送提醒信息。

2.根据权利要求1所述的智能录播方法，其特征在于，还包括：

对标记的异常行为进行分析，获取所述异常行为的发生时间信息，根据时间信息匹配教师的所述课堂行为以及对应的教学内容；

和/或，

获取异常行为发生主体的周围学生的行为信息以及语音信息。

3.根据权利要求1所述的智能录播方法，其特征在于，所述异常行为的获取包括：肢体行为、语音行为、以及表情行为。

4.根据权利要求1-3任一所述的智能录播方法，其特征在于，所述行为数据库具体包括：

根据课堂行为的主体不同构建根索引字段；

根据不同课堂行为的主体发生的行为不同，对应与根索引字段关联设置，并形成与行为主体对应的行为数据库；

所述课堂行为中包括异常行为。

Images