CN114202601A - 板书信息处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种板书信息处理方法、装置、电子设备及存储介质，该方法包括：获得表征书写板正面的板书信息的第一视频数据；对第一视频数据逐帧进行预处理，获取书写板区域的多个图像数据；对多个图像数据进行数据处理，获取多个图像数据的镜像数据；基于镜像数据获得第二视频数据，并根据第二视频数据进行板书信息显示，其中，书写板为透明玻璃板，第一视频数据为在书写板的背面侧采集获得。本发明可以有效的解决书写板板书被遮挡情况下板书信息的实时获取问题，且所获取的板书信息上能够保留原有的色彩等信息，提升了课堂的趣味性，有助于增强学生对知识的记忆和理解。

Description

板书信息处理方法、装置、电子设备及存储介质

技术领域

本发明涉及智慧教育技术领域，具体涉及一种板书信息处理方法、装置、电子设备及存储介质。

背景技术

随着社会的高速发展，人们对知识的重视程度越来越高，获取知识的渠道也不再局限于线下课堂这一渠道，在现代教学领域中，随着多媒体技术的应用，可获取知识的渠道也拓宽到了线上各式各样的网络直播或录播等。这些教育内容的直播或录播相对线下授课，不仅解决了人们线下渠道获取知识点时易遗漏和易忘记的问题，而且也能够很好的对讲解过的知识点或解答过的问题进行视频形式的存储，便于人们对知识点的回顾和总结。

发明内容

为了解决上述技术问题，本发明提供了一种板书信息处理方法、装置、电子设备及存储介质，可以有效的解决书写板板书被遮挡情况下板书信息的实时获取问题，同时也能够保留原有板书上的色彩等信息，提升了课堂的趣味性，有助于增强学生对知识的记忆和理解。

根据本发明第一方面，提供了一种板书信息处理方法，包括：获得表征书写板正面的板书信息的第一视频数据；对所述第一视频数据逐帧进行预处理，获取书写板区域的多个第一图像数据；对所述多个第一图像数据进行数据处理，获得所述多个第一图像数据的镜像数据；基于所述镜像数据获得第二视频数据，并根据所述第二视频数据进行板书信息显示，其中，所述书写板为透明玻璃板，以及所述第一视频数据为在所述书写板的背面侧采集获得。

可选地，获得的第一视频数据的数量为一个；以及对所述第一视频数据逐帧进行预处理的步骤包括：对所述第一视频数据进行解码，获得多个原始图像数据；定位所述多个原始图像数据中每个原始图像数据中的书写板区域，并对所述书写板区域内的数据信息进行提取，获得所述多个第一图像数据。

可选地，获得的第一视频数据的数量为多个；以及对所述第一视频数据逐帧进行预处理的步骤包括：对多个第一视频数据进行解码，获得多组原始图像数据；对所述多组原始图像数据中的每组原始图像数据进行图像拼接，获得多个第二图像数据；定位所述多个第二图像数据中每个第二图像数据中的书写板区域，并对所述书写板区域内的数据信息进行提取，获得所述多个第一图像数据，其中，每组原始图像数据中包含有所述多个第一视频数据中对应同一时间点的多个原始图像数据。

可选地，对所述多组原始图像数据中的每组原始图像数据进行图像拼接包括：提取每组原始图像数据中多个原始图像数据的关键特征像素点；对提取到的关键特征像素点进行特征匹配；从匹配到的多个关键特征像素点中筛选出多个目标像素点；根据所述多个目标像素点的坐标计算多个原始图像数据之间的仿射变换矩阵，获得该多个原始图像数据之间的映射关系；根据所述映射关系对该多个原始图像数据的对应区域进行图像拼接。

可选地，在对提取到的关键特征像素点进行匹配之前，还包括：对提取到的关键特征像素点进行优化处理，去除中不符合几何变换的关键特征像素点。

可选地，对所述书写板区域内的数据信息进行提取之后，还包括：对提取到的数据信息进行缩放处理，获得具有预定尺寸的第一图像数据。

可选地，对所述多个第一图像数据进行数据处理包括对所述多个第一图像数据中的每个第一图像数据执行如下操作：获取该第一图像数据的图像尺寸；创建具有相同图像尺寸的空白图像；获取该第一图像数据内每个像素的像素值；基于该第一图像数据内每个像素的像素值定义所述空白图像内每个像素的像素值，以获得该第一图像数据的镜像数据，其中，在该第一图像数据和所述空白图像内互为镜像关系的两个像素的像素值相同。

可选地，基于获取的所述镜像数据获得第二视频数据包括：计算获得所述第一视频数据中每帧原始图像数据的播放时间；获取从获得每帧原始图像数据到获得对应的镜像数据之间的数据处理时间；根据所述播放时间和所述数据处理时间获得相邻帧的图像数据之间的播放停留时间；根据所述镜像数据和所述播放停留时间合成所述第二视频数据。

可选地，获得第二视频数据之后还包括：对所述第二视频数据进行存储。

根据本发明第二方面，提供了一种板书信息处理装置，包括：图像采集单元，用于在书写板的背面对书写板正面的板书信息进行采集以获得第一视频数据；数据预处理单元，用于对所述第一视频数据逐帧进行预处理以获取书写板区域的多个第一图像数据；数据处理单元，用于对所述多个第一图像数据进行数据处理以获得所述多个第一图像数据的镜像数据；显示单元，用于根据所述镜像数据获得第二视频数据，并根据所述第二视频数据进行板书信息显示；存储单元，用于存储所述第二视频数据，其中，所述书写板为透明玻璃板。

根据本发明第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如上所述的板书信息处理方法中的步骤。

根据本发明第四方面，提供了一种存储介质，包括：所述存储介质上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的板书信息处理方法中的步骤。

采用本发明的技术方案，能够有效的解决书写板板书被遮挡情况下板书信息的实时获取问题，同时，也能够保留原有板书上的色彩等信息，提升了课堂的趣味性，有助于增强学生对知识的记忆和理解。

应当说明的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

图1示出根据本发明实施例提供的板书信息处理方法的流程示意图；

图2示出根据本发明实施例提供的图像拼接时的方法流程示意图；

图3示出根据本发明实施例提供的板书信息处理装置的结构示意图；

图4示出根据本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

现有的教学形式中，不管是线上的网络直播课堂还是线下课堂，目前来看都存在着一个无法避免的问题，即老师在黑板上书写的文字经常会被老师的身体遮挡，从而给学生记笔记或者结合黑板上所有的文字对某一知识点进行理解时带来困难。在前述现有的授课方式中，通常都是由老师尽量保持不大幅移动或温馨提醒的方法，来避免文字被遮挡的情况，这种方法是较为笨重和效率低的，而且没有能够从根本上解决问题所在。

随着人工智能、计算机视觉等行业的发展，文字的提取识别等技术也越来越成熟，算法也是日新月异，但是利用文字提取识别技术无法很好地还原文字的原本特点(例如文字颜色)还是无法满足人们对智慧教育的需求。

因此，针对上述问题，本发明提供了一种新的板书信息处理方法。

图1示出根据本发明实施例提供的板书信息处理方法的流程示意图。参考图1，本发明实施例提供的板书信息处理方法包括执行步骤S1至步骤S4。

在步骤S1中，获得表征书写板正面的板书信息的第一视频数据。

本发明实施例中，可通过向如摄像机等常用摄像设备发送采集指令的方式控制摄像设备对一个已经搭建好的教育场景如教室、网络课堂等中的教学信息进行采集，优选地，本发明实施例中以采集视频数据的形式采集教学信息，以保证线上教学的实时性。

在一个教育场景内，其所包含有书写板、书写笔、背景幕布等基本要素。其中，关键的要素是书写板，其是教育工作者如教师向各终端设备如学生使用的电脑、移动设备等展示重要教学内容的书写平台。本发明实施例中，采用透明玻璃板等可书写的透明板作为书写板，并定义书写板的正面为教育工作者利用书写笔例如为五彩马克笔进行书写的一面，定义书写板的背面为本发明实施例中采用摄像设备来采集书写板上的板书信息的一面。进而，教育工作者在透明玻璃板的正面进行板书信息书写，而本发明实施例中通过采集指令控制摄像设备在透明玻璃板的背面采集获得板书信息(包括书写好的板书内容、教育工作者的书写操作和擦除操作等信息)，由于教育工作者与摄像设备位于书写板的不同侧面，有效的避免了书写板上的板书信息被遮挡的问题，使得能够更清晰、直观、实时地向学生展示书写板上的内容，配合教师的实时书写加讲解，能够带给学生更大的视觉冲击和带入感，从而加深学生对知识的记忆。同时，由于采用透明玻璃板作为教学书写板，因此为避免外界环境如阳光等因素对玻璃板上内容造成干扰，可以根据不同的外界环境选择合适颜色的幕布作为背景，本发明对此不作限定。

可选地，在通过采集指令控制摄像设备对透明玻璃板正面的板书信息进行采集时，所控制的摄像设备的数量可以为一个或多个，具体可根据教育场景的大小以及每个摄像设备的有效采集范围进行合理选择，以尽可能使得最终所采集的视频画面不会形变和扭曲，本发明对此不作限定。其中，当通过采集指令控制的摄像设备的数量为一个时，相应获得的第一视频数据的数量为一个，此时数据采集成本低，可以将该摄像设备平放且固定角度地进行采集即可，例如放置在透明玻璃板中心所在的水平线上。当通过采集指令控制的摄像设备的数量为多个时，相应获得的第一视频数据的数量为多个，此时可根据具体的摄像设备数量合理设置每个摄像设备的安装位置，进而以多个角度实现对板书信息的完整和实时采集，准确性高。

本发明实施例中，可由服务器设备例如电脑终端或其它搭载着具有图像处理能力芯片的智能物联网设备生成采集指令，并对获得的第一视频数据进行进一步地数据处理。

在步骤S2中，对第一视频数据逐帧进行预处理，获取书写板区域的多个第一图像数据。

在本发明一个可能的实施例中，获得的第一视频数据的数量为一个。此时，步骤S2进一步包括：对第一视频数据进行解码，获得多个原始图像数据；定位多个原始图像数据中每个原始图像数据中的书写板区域，并对书写板区域内的数据信息进行提取，获得多个第一图像数据。

该实施例中，对步骤S1中摄像设备所采集的第一视频数据进行解码处理，也即将该第一视频数据中每一帧的图像数据逐帧的进行导出，获得多个单帧的原始图像数据，以将后续对视频流数据的处理过程转换为对多个单帧的图像数据的逐帧处理过程。

可选地，例如采用FFMPEG或opencv等对第一视频数据进行解码操作。

进一步地，基于拍摄角度和保证板书信息完整性的考虑，可以理解，在解码获得的多个原始图像数据中，每个原始图像数据中均会包含有书写板区域的图像数据和非书写板区域的图像数据，此时，通过对每个原始图像数据中的书写板区域进行定位，例如根据实际书写板的长宽比，在该原始图像数据中进行书写板轮廓筛选来进行书写板区域的定位，并根据定位结果提取该原始图像数据中书写板区域的数据信息，以获得该原始图像数据对应的第一图像数据。如此，可以减少非书写板区域对后续计算处理带来的噪声干扰，减少后续数据处理量和提高数据处理结果的准确性。

在本发明另一个可能的实施例中，获得的第一视频数据的数量为多个。此时，步骤S2进一步包括：对多个第一视频数据进行解码，获得多组原始图像数据；对多组原始图像数据中的每组原始图像数据进行图像拼接，获得多个第二图像数据；定位多个第二图像数据中每个第二图像数据中的书写板区域，并对书写板区域内的数据信息进行提取，获得多个第一图像数据。

该实施例中，对步骤S1中的多个摄像设备所采集的多个第一视频数据进行解码处理，也即将多个第一视频数据中每个第一视频数据的每一帧的图像数据逐帧的进行导出，获得多组单帧的原始图像数据，以将后续对视频流数据的处理过程转换为对多个单帧的图像数据的处理过程。其中，在所获得的多组单帧的原始图像数据，每一组原始图像数据中均包括多个第一视频数据中对应同一时间点的多个原始图像数据。

可选地，例如采用FFMPEG或opencv等对每个第一视频数据进行解码操作。

可以理解的是，每一组原始图像数据也即对应一个时间点下于多个不同角度采集的书写板的图像数据，每个角度采集到的图像数据中可能只包含有此时书写板上的部分有效内容，且相邻两个角度所采集到的图像数据中还可能涉及公共的内容。因此，这里需要对该组原始图像数据进行图像拼接转换，以根据该组原始图像数据还原出该时间点下的书写板上的完整的有效内容。

本实施例中，参考图2，对多组原始图像数据中的每组原始图像数据进行图像拼接的方法包括执行步骤S21至步骤S25。

在步骤S21中，提取每组原始图像数据中多个原始图像数据的关键特征像素点。示例性地，可以采用SIFT(Scale-invariant feature transform，尺度不变特征转换)算法或FAST(Features fromaccelerated segment test，角点检测)算法等特征提取算法对每组原始图像数据中的多个原始图像数据的关键特征像素点进行提取。其中，SIFT算法是在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，其实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。FAST算法的基本原理是使用圆周长为16个像素点(半径为3的Bresenham圆)来判定其圆心像素是否为角点。即在圆周上按顺时针方向从1到16的顺序对圆周像素点进行编号，如果在圆周上有N个连续的像素的亮度都比圆心像素的亮度加上阈值还要亮，或者比圆心像素的亮度减去阈值还要暗，则圆心像素被称为角点。其具体检测步骤为在圆周上的部分像素点上，进行非角点的检测；如果初步判断是角点，则在圆周上的全部像素点上进行角点检测；对角点进行非极大值抑制，得到角点输出。具体可参考现有技术进行理解，此处不做详述。

进一步地，为提高图像拼接结果的准确性，在提取到关键特征像素点之后，还包括对提取到的关键特征像素点进行优化处理，去除中不符合几何变换的关键特征像素点。示例性地，可采用RANSAC(RANdom SAmple Consensus，随机抽样一致算法)对提取到的关键特征像素点进行优化。其中，RANSAC算法的具体实现过程包括：随机选择两个点；通过这两个点，可以计算出这两个点所表示的模型方程；将所有的数据点(即本文中的关键特征像素点)套到这个模型中计算误差；找到所有满足误差阈值的点；重复前面的过程，直到达到一定迭代次数后，选出那个被支持的最多的模型。进而，不满足该模型的关键特征像素点即为需要去除的不符合几何变换的关键特征像素点。

在步骤S22中，对提取到的关键特征像素点进行特征匹配。示例性的，以一组原始图像数据中包含两个原始图像数据为例，本实施例中采用KNN算法(k-Nearest Neighbor，k最邻近分类算法)来进行关键特征像素点的特征匹配。在采用KNN算法对特征点匹配时，算法会以一组原始图像数据的其中一个原始图像数据中的关键特征像素点A为基础，从其余的原始图像数据中找出与该点的欧式距离最近的关键特征像素点B和次近的关键特征像素点C，其中，计算关键特征像素点A和关键特征像素点B之间的欧式距离的计算公式如下：

其中，distance(A,B)表示关键特征像素点A和关键特征像素点B之间的欧式距离，x1和y1表示关键特征像素点A的像素坐标，x2和y2表示关键特征像素点B的像素坐标。

可以理解的是，上述公式(1)仅是以计算关键特征像素点A和B之间的欧式距离为例进行的示例性说明，在实际应用中，可根据上述公式(1)计算出一个原始图像数据中的关键特征像素点A与其余的原始图像数据中任一关键特征像素点之间的欧式距离，之后通过比较所有的计算结果即可获得与该关键特征像素点A的欧式距离最近的关键特征像素点B和次近的关键特征像素点C的像素坐标。

在步骤S23中，从匹配到的多个关键特征像素点中筛选出多个目标像素点。示例性的，可采用如下公式对最优特征像素点即目标像素点的筛选，

其中，ratio表示关键特征像素点A和关键特征像素点B之间的欧式距离与关键特征像素点A和关键特征像素点C之间的欧式距离的比值，如果ratio小于预定的比例值，则可认为该关键特征像素点B为关键特征像素点A的目标像素点。

进一步地，本实施例中在进行关键特征像素点的特征匹配时，可根据关键特征像素点构建特征匹配器，即封装有KNN算法的函数，在使用时进行直接调用即可，方便快捷。

在步骤S24中，根据多个目标像素点的坐标计算多个原始图像数据之间的仿射变换矩阵，获得该多个原始图像数据之间的映射关系。本实施例中，在筛选出某一关键特征像素点如A的目标像素点如B后，通过计算关键特征像素点A和关键特征像素点B之间的位置关系，可以获得仿射变换矩阵，该矩阵可用来表示关键特征像素点A所在的原始图像数据和关键特征像素点B所在的原始图像数据之间的映射关系。

在步骤S25中，根据映射关系对该多个原始图像数据的对应区域进行图像拼接。本实施例中，在获得不同的原始图像数据的映射关系之后，根据该映射关系，通过透视变换分别取多个原始图像数据的对应区域的图像拼接，即可将每组原始图像数据中的多个原始图像数据拼接成一个第二图像数据。可以理解的是，在图像拼接完成后，多个原始图像数据中的每个关键特征像素点会与对应的目标像素点重合。其中，透视变换就是利用透视矩阵与每个原始图像数据的像素矩阵相乘，进而实现对每个原始图像数据的透视和仿射效果，包括实现对每个原始图像数据的缩放、修剪、旋转和形状变换等变换，之后通过对变换后的多个原始图像数据进行拼接，即可获得对应的第二图像数据。

进一步地，基于拍摄角度和保证板书信息完整性的考虑，可以理解，在拼接后获得的多个第二图像数据中，每个第二图像数据中均会包含有书写板区域的图像数据和非书写板区域的图像数据，此时，通过对每个第二图像数据中的书写板区域进行定位，例如根据实际书写板的长宽比，在该第二图像数据中进行书写板轮廓筛选来进行书写板区域的定位，并根据定位结果提取该第二图像数据中书写板区域的数据信息，以获得该第二图像数据对应的第一图像数据。如此，可以减少非书写板区域对后续计算处理带来的噪声干扰，减少后续数据处理量和提高数据处理结果的准确性。

进一步地，在对书写板区域内的数据信息进行提取之后，还包括：对提取到的数据信息进行相关的预处理操作，如缩放处理，获得具有预定尺寸的第一图像数据。例如，提取到的书写板区域内的数据信息经缩放处理后，可以自动转换为与显示终端的显示设备具有相同尺寸的图像数据，如此，能够提高最终的图像显示效果，使得最终生成的图像数据能够适配不同的终端设备，增强用户体验。

在步骤S3中，对多个第一图像数据进行数据处理，获得多个第一图像数据的镜像数据。

本实施例中，步骤S3进一步包括对多个第一图像数据中的每个第一图像数据执行如下操作：获取该第一图像数据的图像尺寸；创建具有相同图像尺寸的空白图像；获取该第一图像数据内每个像素的像素值；基于该第一图像数据内每个像素的像素值定义空白图像内每个像素的像素值，以获得该第一图像数据的镜像数据，其中，在该第一图像数据和空白图像内互为镜像关系的两个像素的像素值相同。如此，能够使得于书写板背面采集的第一视频数据中的每个图像数据在最终传输至终端设备显示时，展示给学生的板书信息与书写板正面书写的板书信息的书写角度一致，实现板书信息的正常显示。同时，本发明实施例中获得镜像数据时只需进行简单的像素值的查找和赋值，而无需进行过多的数据运算处理，方法简单。

示例性的，以某个第一图像数据D为例，其在步骤S3中的数据处理过程包括：首先，获取给第一图像数据D的尺寸即长宽(h,w)参数，并据此初始化一个与该第一图像数据D具有相同尺寸且所有像素的像素值均为0的空白图像E。之后，遍历该第一图像数据D中的所有像素的像素值，并建立该第一图像数据D中每个像素的坐标与其像素值之间的对应关系。此时，假设该第一图像数据D和空白图像E中左上角的起始像素的坐标均为(0,0)，那么从该第一图像数据D的起始像素开始，空白图像E中的任一像素(x,y)的像素值即可以根据如下公式获取，

E(x,y)＝D(w-x-1,y).....................(3)，

其中，E(x,y)表示空白图像E中像素(x,y)的像素值，D(w-x-1,y)表示该第一图像数据D中像素(w-x-1,y)的像素值。也即是说，本发明经步骤S3够，可以实现对多个第一图像数据的镜像操作。

在步骤S4中，基于镜像数据获得第二视频数据，并根据第二视频数据进行板书信息显示。

本实施例中，在经过步骤S2和步骤S3的数据处理后，即可得到预期的结果图像，即多个第一图像数据的镜像数据，示例性的，此时可以采用opencv的imshow来对得到的结果图像进行显示，即使用opencv图像处理算法对图像进行处理之后，调用imshow函数来显示处理结果，opencv算法和imshow函数可根据现有技术进行理解，此处不再详述。同时，由于本发明是对实时采集的第一视频数据进行的逐帧图像处理，所以在进行图像显示时，通过设置相邻两帧第一图像数据的镜像数据之间的适当的播放停留时间，就可以根据获得的镜像数据合成第二视频数据，并实现对板书信息的实时显示。

具体地，步骤S4进一步包括：计算获得第一视频数据中每帧原始图像数据的播放时间；获取从获得每帧原始图像数据到获得对应的镜像数据之间的数据处理时间；根据播放时间和数据处理时间获得相邻帧的图像数据之间的播放停留时间；根据镜像数据和播放停留时间合成第二视频数据。

示例性地，假设采集到的第一视频数据的帧率为fps_old，将要存储和显示的第二视频数据的帧率为fps_new，且计算获得的一帧图像数据的处理的时间为total，则根据如下公式：

1帧播放时间＝1秒钟/帧率＝单帧处理的时间+播放停留时间........(4)可以获知，将要存储和显示的第二视频数据的帧率，也就是第二视频数据中每一帧的图像数据的播放时间为：

fps_new＝(1000/fps_old-total)....................(5)，

其中，1000表示1000ms，即1秒。

如此，通过上述步骤S4中的操作，可以使得第二视频数据正常显示，避免了出现视频加速播放的效果，实现了对书写的板书信息的实时显示。

进一步地，获得第二视频数据之后还包括对第二视频数据进行存储。基于步骤S4中合成的第二视频数据，直接将其存储到设备相关的目录下即可。通过对视频数据的存储操作，使得学生在事后能够随时的对老师所讲的内容进行复习和巩固，有助于增强学生的学习效果。

需要说明的是，本发明实施例所公开的板书信息处理方法还可以做成插件库的形式供需要者调用。

进一步地，本发明实施例还公开了一种板书信息处理装置，用于实现前述的板书信息处理方法。参考图3，本发明实施例所公开的板书信息处理装置包括：图像采集单元10、数据预处理单元20、数据处理单元30、显示单元40和存储单元50。

其中，图像采集单元10用于在书写板的背面对书写板正面的板书信息进行采集以获得第一视频数据。

数据预处理单元20用于对第一视频数据逐帧进行预处理以获取书写板区域的多个第一图像数据。其中，本发明实施例在进行线上教学时所采用的书写板为透明玻璃板。

数据处理单元30用于对多个第一图像数据进行数据处理以获得多个第一图像数据的镜像数据。

显示单元40用于根据镜像数据获得第二视频数据，并根据第二视频数据进行板书信息显示。

存储单元50用于存储第二视频数据。

具体实施时，板书信息处理装置中的各个模块/单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现。同时，以上描述的板书信息处理装置中的各个模块/单元的具体实施可参见前述的板书信息处理方法实施例，在此不再赘述。

本发明实施例还提供了一种电子设备100，如图4所示，包括存储器120、处理器110及存储在存储器120上并可在处理器110上运行的程序，该程序被处理器310执行时可实现上述板书信息处理方法中各实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读的存储介质中，并由处理器进行加载和执行。为此，本发明实施例还提供了一种存储介质，该存储介质上存储有计算机程序或指令，该计算机程序或指令被处理器执行时可实现上述板书信息处理方法中各实施例的各个过程。其中，存储介质，如U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的板书信息处理方法中的步骤，因此，可以实现本发明实施例所提供的板书信息处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

综上，本发明首先在透明玻璃板(书写板)的背面对其正面书写的板书信息进行采集，在经过图像处理后将采集到的视频图像正常的进行显示，能够有效的解决书写板板书被遮挡情况下板书信息的实时获取问题，同时，由于是对采集后的图像数据的镜像还原，未改变每个像素的像素值，使得能够保留板书上的色彩等信息，提升了课堂的趣味性，有助于增强学生对知识的记忆和理解。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (10)

1.一种板书信息处理方法，其特征在于，包括：

获得表征书写板正面的板书信息的第一视频数据；

对所述第一视频数据逐帧进行预处理，获取书写板区域的多个第一图像数据；

对所述多个第一图像数据进行数据处理，获得所述多个第一图像数据的镜像数据；

基于所述镜像数据获得第二视频数据，并根据所述第二视频数据进行板书信息显示，

其中，所述书写板为透明玻璃板，以及所述第一视频数据为在所述书写板的背面侧采集获得。

2.根据权利要求1所述的板书信息处理方法，其特征在于，获得的第一视频数据的数量为一个；以及

对所述第一视频数据逐帧进行预处理的步骤包括：

对所述第一视频数据进行解码，获得多个原始图像数据；

定位所述多个原始图像数据中每个原始图像数据中的书写板区域，并对所述书写板区域内的数据信息进行提取，获得所述多个第一图像数据。

3.根据权利要求1所述的板书信息处理方法，其特征在于，获得的第一视频数据的数量为多个；以及

对所述第一视频数据逐帧进行预处理的步骤包括：

对多个第一视频数据进行解码，获得多组原始图像数据；

对所述多组原始图像数据中的每组原始图像数据进行图像拼接，获得多个第二图像数据；

定位所述多个第二图像数据中每个第二图像数据中的书写板区域，并对所述书写板区域内的数据信息进行提取，获得所述多个第一图像数据，

其中，每组原始图像数据中包含有所述多个第一视频数据中对应同一时间点的多个原始图像数据。

4.根据权利要求3所述的板书信息处理方法，其特征在于，对所述多组原始图像数据中的每组原始图像数据进行图像拼接包括：

提取每组原始图像数据中多个原始图像数据的关键特征像素点；

对提取到的关键特征像素点进行特征匹配；

从匹配到的多个关键特征像素点中筛选出多个目标像素点；

根据所述多个目标像素点的坐标计算多个原始图像数据之间的仿射变换矩阵，获得该多个原始图像数据之间的映射关系；

根据所述映射关系对该多个原始图像数据的对应区域进行图像拼接。

5.根据权利要求2和3中任一项所述的板书信息处理方法，其特征在于，对所述书写板区域内的数据信息进行提取之后，还包括：

对提取到的数据信息进行缩放处理，获得具有预定尺寸的第一图像数据。

6.根据权利要求1所述的板书信息处理方法，其特征在于，对所述多个第一图像数据进行数据处理包括对所述多个第一图像数据中的每个第一图像数据执行如下操作：

获取该第一图像数据的图像尺寸；

创建具有相同图像尺寸的空白图像；

获取该第一图像数据内每个像素的像素值；

基于该第一图像数据内每个像素的像素值定义所述空白图像内每个像素的像素值，以获得该第一图像数据的镜像数据，

其中，在该第一图像数据和所述空白图像内互为镜像关系的两个像素的像素值相同。

7.根据权利要求1所述的板书信息处理方法，其特征在于，基于所述镜像数据获得第二视频数据包括：

计算获得所述第一视频数据中每帧原始图像数据的播放时间；

获取从获得每帧原始图像数据到获得对应的镜像数据之间的数据处理时间；

根据所述播放时间和所述数据处理时间获得相邻帧的图像数据之间的播放停留时间；

根据所述镜像数据和所述播放停留时间合成所述第二视频数据。

8.一种板书信息处理装置，其特征在于，包括：

图像采集单元，用于在书写板的背面对书写板正面的板书信息进行采集以获得第一视频数据；

数据预处理单元，用于对所述第一视频数据逐帧进行预处理以获取书写板区域的多个第一图像数据；

数据处理单元，用于对所述多个第一图像数据进行数据处理以获得所述多个第一图像数据的镜像数据；

显示单元，用于根据所述镜像数据获得第二视频数据，并根据所述第二视频数据进行板书信息显示；

存储单元，用于存储所述第二视频数据，

其中，所述书写板为透明玻璃板。

9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。

Images