CN114694434A - 基于深度学习的视频教学课程智能生成方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的视频教学课程智能生成方法及系统，方法通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容；基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容；将板书内容与课程讲义进行合成，得到目标讲义板书；将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程，可以使得在家中即可完成高质量教学视频的录制，不再受限于具体的场地，节约了一定的录制成本的同时，还有效地方便了讲师对授课视频的录制。

Description

基于深度学习的视频教学课程智能生成方法及系统

技术领域

本发明属于智能视频教学技术领域，具体涉及一种基于深度学习的视频教学课程智能生成方法及系统。

背景技术

大量教学课程转换为在线进行，视频课程需求出现了井喷式的增长。与之矛盾的是高品质的视频课程往往需要使用专业的摄影棚进行录制。由于视频课程往往对录制的背景、板书书写有着严格的要求，若未使用摄影棚进行录制将产生大量的后期处理需求，不但成本高，而且疫情的阻隔使讲师使用摄影棚的难度和安全风险也非常高。

因此，如何提供一种简单的智能系统能够帮助讲师在家完成高质量的视频课程录制，成为了本领域的技术人员亟需解决的技术问题。

发明内容

为了至少解决现有技术存在的上述问题，本发明提供了一种基于深度学习的视频教学课程智能生成方法及系统，以使得在家中即可完成高质量课程视频的录制，方便教学的同时，还有利于节约录制成本。

本发明提供的技术方案如下：

一方面，一种基于深度学习的视频教学课程智能生成方法，包括：

通过智能终端和光学屏幕对讲师的授课录制初步视频课程，所述智能终端用于播放课程讲义，所述光学屏幕用于对所述课程讲义进行放大投影，所述光学屏幕还用于接收讲师书写的板书内容；

基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像；

基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容；

将所述板书内容与所述课程讲义进行合成，得到目标讲义板书；

将所述讲师人像和所述目标讲义板书融合至预设背景中，生成目标视频教学课程。

可选的，上述所述基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像，包括：

构建预设数量的蒙版图数据集，所述蒙版图数据集包括背景图子集和讲师人像子集；

初始化合成器，并与初始化的背景选择器、蒙版选择器和动作选择器进行串并，得到背景分割器；

根据所述蒙版图数据集对所述背景分割器进行训练，得到初步讲师人像图；

输入所述初步人像图至生成网络，并以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成网络，输出讲师人像。

可选的，上述所述以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成网络，输出讲师人像，包括：

对所述蒙版图数据集中的人像前景图加入噪点，并结合原始前景图对所述生成网络进行训练，得到鉴别网络；

基于所述鉴别网络，输出讲师人像。

可选的，上述所述基于所述鉴别网络，输出讲师人像，包括：

基于残差网、解码器组合的合成图像生成器，利用所述鉴别网络对所述讲师人像进行检测；

若检测合格，则加载目标背景图，得到输出讲师人像。

可选的，上述所述构建预设数量的蒙版图数据集，包括：

获取预设数量的无人像背景图和预设数量的讲师视频，并采集每个所述讲师视频的每一帧；

对每一帧的所述讲师视频进行蒙版抠图，分离每一帧所述讲师视频中的讲师人像和讲师背景；

获取预设数量的无人像背景图作为背景图子集，获取预设数量的讲师人像作为讲师人像子集。

可选的，上述所述基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容，包括：

确定所述光学屏幕放大投影的范围，并逐帧提取所述范围内的画面截图；

比对所述画面截图与所述课程讲义图片，去除所述画面截图中的课程讲义内容，导出板书内容。

可选的，上述所述将所述板书内容与所述课程讲义进行合成，得到目标讲义板书，包括：

根据所述板书内容，基于动作骨骼跟踪器，确定讲师笔迹；

将所述讲师笔迹由手写笔迹转化为数字信号笔迹，并将所述数字信号笔迹与所述课程讲义合成，得到目标讲义板书。

可选的，上述所述根据所述板书内容，基于动作骨骼跟踪器，确定讲师笔迹之前，还包括：

基于每一级沙漏网络、卷积层和热力图组成多级特征聚合网络；

输入所述多级特征聚合网络至PoseTrack数据集进行训练，得到动作骨骼跟踪器。

可选的，上述所述得到动作骨骼跟踪器之前，还包括：

通过评估公式对训练后的所述多级特征聚合网络进行评估；

所述评估公式为：

其中σ表示单级热力图。

另一方面，一种基于深度学习的视频教学课程智能生成系统，包括：

视频录制模块，用于通过智能终端和光学屏幕对讲师的授课录制初步视频课程，所述智能终端用于播放课程讲义，所述光学屏幕用于对所述课程讲义进行放大投影，所述光学屏幕还用于接收讲师书写的板书内容；

蒙版提取模块，用于基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容；

教学课程生成模块，用于将所述板书内容与所述课程讲义进行合成，得到目标讲义板书；将所述讲师人像和所述目标讲义板书融合至预设背景中，生成目标视频教学课程。

本发明的有益效果为：

本发明提供的一种基于深度学习的视频教学课程智能生成方法及系统，方法通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容；基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容；将板书内容与课程讲义进行合成，得到目标讲义板书；将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程，可以使得在家中即可完成高质量教学视频的录制，不再受限于具体的场地，节约了一定的录制成本的同时，还有效地方便了讲师对授课视频的录制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于深度学习的视频教学课程智能生成方法的一种流程图；

图2是本发明实施例提供的基于深度学习的视频教学课程智能生成系统的一种结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

图1是本发明实施例提供的基于深度学习的视频教学课程智能生成方法的一种流程图。

如图1所示，本实施例提供的一种基于深度学习的视频教学课程智能生成方法，包括以下步骤：

S11、通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容。

具体的，在课程录制的过程中，讲师可以使用最常见的平板电脑等对课程讲义进行播放，然后在通过光学屏幕将课程讲义进行投影放大，组成投影板，使得可以清晰的录制到课程讲义的内容，也可以使得讲师可以直接在投影板上进行讲解过程中的书写，无需电子白板，更加便于讲师的操作，同时也无需到摄影棚进行录制，在家中即可录制得到初步视频课程。

S12、基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像。

通过深度学习的方式，对上述步骤完成的初步视频课程进行人像信息的高精度蒙版提取。具体的过程可以是，首先构建预设数量的蒙版图数据集，蒙版图数据集包括背景图子集和讲师人像子集，预设数量是可以进行人为设定的参数，可以是两千张也可以是三千张等数据，根据实际需求进行人为确定。背景图子集包括两千张不同的背景图，讲师人像子集可以包括两千个不同的讲师人像，即最终构建的蒙版图数据集中的人像信息和背景图信息是单独的。而具体的构建蒙版图数据集的过程可以包括：获取预设数量的无人像背景图和预设数量的讲师视频，并采集每个讲师视频的每一帧；对每一帧的讲师视频进行蒙版抠图，分离每一帧讲师视频中的讲师人像和讲师背景；获取预设数量的无人像背景图作为背景图子集，获取预设数量的讲师人像作为讲师人像子集，因此便得到了讲师人像和讲师背景分离后的蒙版数据集。可以理解为拍摄一张没有人像的背景图，然后录制一段讲师出场的视频，提取视频中的每一帧，然后更换不同的背景图和讲师，重复以上操作，最后完成预设数量的蒙版图数据集。

其次，初始化合成器，并与初始化的背景选择器、蒙版选择器和动作选择器进行串并，得到背景分割器。之前可以是初始化图片编码器IE、背景编码器 BE、蒙版编码器SE和动作编码器ME，初始化背景选择器BS、蒙版选择器SS 和动作选择器MS，初始化合成器，初始化残差网，初始化解码器，初始化生成网络，初始化鉴别网络，加载动作骨骼追踪器。

背景分割器的学习率为10^-4，损失函数为：

其中，α是预测的蒙版值，α^*是目标的蒙版值，

为预测蒙版值的梯度，F^*是目标人像前景图，I是原始图像，L1正则规范化平滑参数为10^-6。

最后，根据蒙版图数据集对背景分割器进行训练，得到初步讲师人像图F，输入初步人像图至生成网络，并以蒙版图数据集中的人像前景图作为靶标，训练生成网络，输出讲师人像

具体的，以蒙版图数据集中的人像前景图作为靶标，训练生成网络，输出讲师人像，包括：对蒙版图数据集中的人像前景图加入噪点，并结合原始前景图对生成网络进行训练，得到鉴别网络；基于鉴别网络，输出讲师人像。基于鉴别网络，输出讲师人像则具体包括基于残差网、解码器组合的合成图像生成器，利用鉴别网络对讲师人像进行检测，若检测合格，则加载目标背景图，得到输出讲师人像。

其中的，对抗生成网络使用的损失函数可以为：

其中，G为生成网络，D为鉴别网络，z为噪音，学习率为8*10^-4。

S13、基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容。

具体的，基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容，包括：确定光学屏幕放大投影的范围，并逐帧提取范围内的画面截图；比对画面截图与课程讲义中的PPT图片，去除画面截图中的课程讲义内容，导出板书内容。

S14、将板书内容与课程讲义进行合成，得到目标讲义板书。

具体的，将板书内容与课程讲义进行合成，得到目标讲义板书，包括，根据板书内容，基于动作骨骼跟踪器，确定讲师笔迹；将讲师笔迹由手写笔迹转化为数字信号笔迹，并将数字信号笔迹与课程讲义PPT进行合成，得到目标讲义板书白版图像。而根据板书内容，基于动作骨骼跟踪器，确定讲师笔迹之前，还包括基于每一级沙漏网络、卷积层和热力图组成多级特征聚合网络；输入多级特征聚合网络至PoseTrack数据集进行训练，得到动作骨骼跟踪器，得到动作骨骼跟踪器之前，还包括：通过评估公式对训练后的多级特征聚合网络进行评估；评估公式为：

其中σ表示单级热力图。

S15、将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程。

在得到目标讲义板书后，与之前得到的讲师人像进行如何，然后匹配对应的特定的背景图，然后进行压制，便完成了对目标视频教学课程的生成。

本实施例提供的一种基于深度学习的视频教学课程智能生成方法，通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容；基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容；将板书内容与课程讲义进行合成，得到目标讲义板书；将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程，可以使得在家中即可完成高质量教学视频的录制，不再受限于具体的场地，节约了一定的录制成本的同时，还有效地方便了讲师对授课视频的录制。

基于同一总的发明构思本申请还保护一种基于深度学习的视频教学课程智能生成系统。

图2是本发明实施例提供的基于深度学习的视频教学课程智能生成系统的一种结构示意图。

如图2所示，本实施例提供的一种基于深度学习的视频教学课程智能生成系统，包括：

视频录制模块10，用于通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容；

蒙版提取模块20，用于基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容；

教学课程生成模块30，用于将板书内容与课程讲义进行合成，得到目标讲义板书；将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程。

本实施例提供的一种视频教学课程智能生成系统，通过智能终端和光学屏幕对讲师的授课录制初步视频课程，智能终端用于播放课程讲义，光学屏幕用于对课程讲义进行放大投影，光学屏幕还用于接收讲师书写的板书内容；基于深度学习，对初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对初步视频课程中的投影信息进行蒙版提取，得到板书内容；将板书内容与课程讲义进行合成，得到目标讲义板书；将讲师人像和目标讲义板书融合至预设背景中，生成目标视频教学课程，可以使得在家中即可完成高质量教学视频的录制，不再受限于具体的场地，节约了一定的录制成本的同时，还有效地方便了讲师对授课视频的录制。

关于装置部分的实施例，在对应的方法实施例中已经做了详细的介绍说明，因此，在对应的装置部分不再进行具体的阐述，可以相互参照进行理解。

采用本申请的一种视频教学课程智能生成方法及系统，应用于对授课教师所录制的课程视频进行全自动背景替换、板书合成等后期处理；该系统允许授课教师在任意的安静场地中录制视频、使用投影板进行书写，便可将视频背景替换为符合课程发布要求的正式背景、将板书与课程讲义进行合成；所述投影板可将平板电脑之播放内容利用光学设备放大，并允许教师在投影板上进行书写；该系统能将教师于投影屏上所书写的板书进行蒙版提取，与课程讲义合成，从而获得直接在电子白板上书写的效果；所述系统能对视频进行自动蒙版，提取出讲师人像及板书，并与制定背景及讲义进行合成处理；所述系统解决了授课教师由于疫情或其他原因无法前往摄影棚且个人缺乏专业幕布及电子白板的问题，极大降低了课程录制所需的场地、设备开销。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA) 等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的视频教学课程智能生成方法，其特征在于，包括：

通过智能终端和光学屏幕对讲师的授课录制初步视频课程，所述智能终端用于播放课程讲义，所述光学屏幕用于对所述课程讲义进行放大投影，所述光学屏幕还用于接收讲师书写的板书内容；

基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像；

基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容；

将所述板书内容与所述课程讲义进行合成，得到目标讲义板书；

将所述讲师人像和所述目标讲义板书融合至预设背景中，生成目标视频教学课程。

2.根据权利要求1所述的视频教学课程智能生成方法，其特征在于，所述基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像，包括：

构建预设数量的蒙版图数据集，所述蒙版图数据集包括背景图子集和讲师人像子集；

初始化合成器，并与初始化的背景选择器、蒙版选择器和动作选择器进行串并，得到背景分割器；

根据所述蒙版图数据集对所述背景分割器进行训练，得到初步讲师人像图；

输入所述初步人像图至生成网络，并以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成网络，输出讲师人像。

3.根据权利要求2所述的视频教学课程智能生成方法，其特征在于，所述以所述蒙版图数据集中的人像前景图作为靶标，训练所述生成网络，输出讲师人像，包括：

对所述蒙版图数据集中的人像前景图加入噪点，并结合原始前景图对所述生成网络进行训练，得到鉴别网络；

基于所述鉴别网络，输出讲师人像。

4.根据权利要求3所述的视频教学课程智能生成方法，其特征在于，所述基于所述鉴别网络，输出讲师人像，包括：

基于残差网、解码器组合的合成图像生成器，利用所述鉴别网络对所述讲师人像进行检测；

若检测合格，则加载目标背景图，得到输出讲师人像。

5.根据权利要求2所述的视频教学课程智能生成方法，其特征在于，所述构建预设数量的蒙版图数据集，包括：

获取预设数量的无人像背景图和预设数量的讲师视频，并采集每个所述讲师视频的每一帧；

对每一帧的所述讲师视频进行蒙版抠图，分离每一帧所述讲师视频中的讲师人像和讲师背景；

获取预设数量的无人像背景图作为背景图子集，获取预设数量的讲师人像作为讲师人像子集。

6.根据权利要求1所述的视频教学课程智能生成方法，其特征在于，所述基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容，包括：

确定所述光学屏幕放大投影的范围，并逐帧提取所述范围内的画面截图；

比对所述画面截图与所述课程讲义图片，去除所述画面截图中的课程讲义内容，导出板书内容。

7.根据权利要求6所述的视频教学课程智能生成方法，其特征在于，所述将所述板书内容与所述课程讲义进行合成，得到目标讲义板书，包括：

根据所述板书内容，基于动作骨骼跟踪器，确定讲师笔迹；

将所述讲师笔迹由手写笔迹转化为数字信号笔迹，并将所述数字信号笔迹与所述课程讲义合成，得到目标讲义板书。

8.根据权利要求7所述的视频教学课程智能生成方法，其特征在于，所述根据所述板书内容，基于动作骨骼跟踪器，确定讲师笔迹之前，还包括：

基于每一级沙漏网络、卷积层和热力图组成多级特征聚合网络；

输入所述多级特征聚合网络至PoseTrack数据集进行训练，得到动作骨骼跟踪器。

9.根据权利要求8所述的视频教学课程智能生成方法，其特征在于，所述得到动作骨骼跟踪器之前，还包括：

通过评估公式对训练后的所述多级特征聚合网络进行评估；

所述评估公式为：

其中σ表示单级热力图。

10.一种基于深度学习的视频教学课程智能生成系统，其特征在于，包括：

视频录制模块，用于通过智能终端和光学屏幕对讲师的授课录制初步视频课程，所述智能终端用于播放课程讲义，所述光学屏幕用于对所述课程讲义进行放大投影，所述光学屏幕还用于接收讲师书写的板书内容；

蒙版提取模块，用于基于深度学习，对所述初步视频课程中的人像信息进行蒙版提取，得到讲师人像；基于深度学习，对所述初步视频课程中的投影信息进行蒙版提取，得到板书内容；

教学课程生成模块，用于将所述板书内容与所述课程讲义进行合成，得到目标讲义板书；将所述讲师人像和所述目标讲义板书融合至预设背景中，生成目标视频教学课程。

Images