CN114860184A - 用于板书显示的处理设备、系统和方法 - Google Patents

Abstract

本公开提供了一种用于板书显示的处理设备、系统和方法，该处理设备包括：提取单元，用于从视频的第一图像帧提取第一板书图像以及从视频的第二图像帧提取第二板书图像；补全单元，用于根据第二图像帧的目标物分割图确定第二板书图像的遮挡区域，并通过第一板书图像的对应区域替换第二板书图像的遮挡区域来得到第三板书图像；输出单元，用于基于第二图像帧和第三板书图像生成输出图像帧，输出图像帧呈现目标物置于透明化板书内容后面的画面；其中，第一板书图像为板书数据完整的板书图像，第二板书图像为因目标物遮挡而需要补全板书数据的板书图像。本公开能够使视频中的板书数据完整地呈现出来。

Description

用于板书显示的处理设备、系统和方法

技术领域

本公开涉及视频处理的技术领域，具体涉及一种用于板书显示的处理设备、系统和方法。

背景技术

随着网络课堂的流行与普及，教学视频成为一种不可或缺的教育资源。教学视频是摄像设备拍摄教学场景而得到的视频。教学场景中，教师通过在书写板上书写数据进行教学，板书数据对于理解教学视频至关重要。然而，教师遮挡书写板的一些的情况下教学视频无法将板书数据完整呈现出来。

发明内容

为了解决上述技术问题，本公开提供了一种用于板书显示的处理设备、系统和方法。

根据本公开第一方面，提供了一种用于板书显示的处理设备，包括：

提取单元，用于从视频的第一图像帧提取第一板书图像以及从所述视频的第二图像帧提取第二板书图像；

补全单元，用于根据所述第二图像帧的目标物分割图确定所述第二板书图像的遮挡区域，并通过所述第一板书图像的对应区域替换所述第二板书图像的遮挡区域来得到第三板书图像；

输出单元，用于基于所述第二图像帧和所述第三板书图像生成输出图像帧，所述输出图像帧呈现目标物置于透明化板书内容后面的画面；

其中，所述第一板书图像为板书数据完整的板书图像，所述第二板书图像为因目标物遮挡而需要补全板书数据的板书图像。

可选地，所述提取单元通过执行如下步骤来提取所述视频中任一图像帧的板书图像：

获取该图像帧的目标物分割图，所述目标物分割图中目标物和背景达到一定对比度；

根据书写板的色板类型，基于该图像帧的灰度图获取待处理灰度图；

将所述目标物分割图和所述待处理灰度图进行图像运算操作以突显板书数据，并二值化处理所得图像以得到该图像帧的板书图像。

可选地，所述提取单元，用于通过获取该图像帧的目标物的蒙版图或掩码图来获取该图像帧的目标物分割图。

可选地，所述提取单元还用于根据所述视频任一图像帧的灰度图的像素值分布情况确定书写板的色板类型。

可选地，所述提取单元还用于对二值化处理所得图像进行字符的边缘平滑和增强处理，并将边缘平滑和增强处理后的图像确定为该图像帧的板书图像。

可选地，该图像帧内的图分为书写板区域和书写板周围区域；

所述提取单元还用于从该图像帧裁剪出书写板图；获取所述书写板图的目标物分割图，作为该图像帧的目标物分割图；获取所述书写板图的灰度图，作为待处理灰度图所基于的该图像帧的灰度图。

可选地，该图像帧携带有书写板四个顶点在图像帧内的坐标信息，所述提取单元通过执行如下步骤从该图像帧裁剪出书写板图：

根据所述坐标信息确定该图像帧内的书写板区域并将确定的书写板区域裁剪出来。

可选地，所述输出单元通过执行如下步骤来生成输出图像帧：

根据书写板的色板类型，对所述第三板书图像进行处理以获取透明化板书图像；

将所述透明化板书图像叠加到所述第二图像帧的书写板区域。

可选地，所述补全单元通过执行如下步骤来确定所述第二板书图像的遮挡区域：

根据所述第二板书图像和所述第一板书图像的差异得到板书差异图；

在所述板书差异图中确定所述第二板书图像的缺失区域；

根据所述第二图像帧的目标物分割图在所述缺失区域中确定所述第二板书图像的遮挡区域。

根据本公开的第二方面，提供了一种用于板书显示的处理系统，包括：

摄像设备，用于取得视频；

第一方面所述的任一种处理设备，电性连接所述摄像设备，用于处理所述视频；

显示设备，电性连接所述处理设备，用于显示处理后的所述视频。

根据本公开的第三方面，提供了一种用于板书显示的处理方法，包括：

从视频的第一图像帧提取第一板书图像以及从所述视频的第二图像帧提取第二板书图像；

根据所述第二图像帧的目标物分割图确定所述第二板书图像的遮挡区域，并通过所述第一板书图像的对应区域替换所述第二板书图像的遮挡区域来得到第三板书图像；

基于所述第二图像帧和所述第三板书图像生成输出图像帧，所述输出图像帧呈现目标物置于透明化板书内容后面的画面；

其中，所述第一板书图像为板书数据完整的板书图像，所述第二板书图像为因目标物遮挡而需要补全板书数据的板书图像。

本公开的有益效果：

本公开实施例提供的用于板书显示的处理设备包括提取单元、补全单元和输出单元。提取单元用于从视频的第一图像帧提取板书数据完整的第一板书图像以及从视频的第二图像帧提取需要补全板书数据的第二板书图像；补全单元用于根据第二图像帧的目标物分割图确定第二板书图像的遮挡区域，并通过第一板书图像的对应区域替换第二板书图像的遮挡区域来得到板书数据完整的第三板书图像；输出单元用于基于第二图像帧和第三板书图像生成输出图像帧，输出图像帧呈现目标物置于透明化板书内容后面的画面。因而，输出图像帧中板书数据完整地呈现在目标物前面，输出图像帧替代第二图像帧后观看视频的用户则不会因为目标物遮挡等原因错过板书数据。

应当说明的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1A、图1B和图1C示出了书写板在图像帧中的多种状态；

图2示出了本公开实施例中用于板书显示的处理设备的结构框图；

图3示出了本公开实施例中提取单元执行的方法流程图；

图4A示出了本公开实施例中一种示例性目标物的蒙版图或掩码图；

图4B示出了本公开实施例中一种示例性的目标物分割图；

图5示出了本公开实施例中一种示例性的图像帧灰度图；

图6A和图6B分别示出了本公开实施例中一种示例性的第一板书图像和第二板书图像；

图6C示出了本公开实施例中基于图6A和图6B得到的板书差异图；

图6D示出了本公开实施例中图6A所对应图像帧的补全后的板书图像；

图7示出了本公开实施例中一个示例性的图像帧；

图8示出了本公开实施例中补全单元执行的方法流程图；

图9示出了本公开实施例输出单元执行的方法流程图；

图10示出了本公开实施例中用于板书显示的处理系统的结构框图；

图11示出了本公开实施例中用于板书显示的处理方法的流程图。

具体实施方式

为了便于理解本公开，下面将参照相关附图对本公开进行更全面的描述。附图中给出了本公开的较佳实施例。但是，本公开可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本公开的公开内容的理解更加透彻全面。

在本文中使用以下用语：

(1)书写板：板书展示过程中供书写内容的板子，包括但不限于黑板、绿板、蓝板以及白板。

(2)板书数据：书写在书写板上的内容，包括但不限于以文字、符号以及图表等形式体现，本公开将板书数据的体现形式统称为字符。

(3)目标物：视频各图像帧中会遮挡板书数据的人或物体。

(4)目标物分割图：一幅图中目标物像素点和非目标物像素点具有不同像素值的图。

(5)灰度图：用灰度表示的图像。任一非灰度图皆可转换成灰度图。具体地，由于任何颜色都由红、绿、蓝三基色组成，假如原来某像素点的颜色在RGB空间内表示为(R，G，B)，则转换为灰度图后该像素点的灰度值Gray为R、G、B三者的加权和。

(6)灰度值：灰度的取值，范围一般从0到255，其中，白色为255，黑色为0。

(7)图像相乘：两图像间的一种基本运算，要求两图像具有相同的像素尺寸。具有相同像素尺寸的两图像进行图像相乘，即两图像对应像素点的像素值进行相乘。

(8)图像相与：两图像间的一种基本运算，要求两图像具有相同的像素尺寸且至少一个图像为二值化图像。一个图像和二值化图像相与，即该图像中对应二值化图像中黑色像素点的像素点成为黑色像素点，而对应二值化图像中白色像素点的像素点不改变像素值。

(9)二值化：本公开实施例中就是将图像上像素点的像素值设置为区分度较大的两个像素值。区分度较大的两个像素值例如为灰度值0(在三通道图像中即为R＝0、G＝0以及B＝0)和灰度值255(在三通道图像中即为R＝255、G＝255以及B＝255)，此情况下也就是将整个图像呈现出明显的只有黑和白的视觉效果。

(10)图像取反操作：使得图像中像素值为x的像素点成为像素值为(255-x)的像素点。

摄像设备拍摄一场景从而得到视频。本公开中摄像设备拍摄的场景内具有书写板，书写板上的板书数据会因目标物遮挡而使得拍摄所得到的视频无法将板书数据完整地呈现出来。例如，教学场景中，教师通过在书写板上书写数据进行教学，若教学过程中教师在某一时刻遮挡板书数据，则拍摄教学场景得到视频会出现某一帧图像中板书数据被教师这一目标物遮挡的现象。因而，如何在视频中将板书数据完整地呈现出来成为亟待解决的技术问题。

鉴于此，本公开实施例提供了一种用于板书显示的处理设备，经处理设备处理后的视频能够将板书数据完整地呈现出来。由于智慧教室搭建、微课堂制作、常态化课程录播、视频公开课的录播和直播都涉及到教学场景的录制，因而这些领域皆可使用本公开提供的用于板书显示的处理设备。

本公开实施例中处理设备所处理的视频可以是摄像头对现实场景原始录制的视频。原始录制的视频中各图像帧要拍摄清晰，以便图像帧中的板书内容能被人看清。需要说明的是，原始录制的视频中书写板可以如图1A所示是端正的，也可以有一定的倾斜，如图1B所示的横向倾斜或图1C所示的纵向倾斜或两种倾斜的混合。对于书写板有倾斜的视频，需要通过现有的图像矫正操作提前将视频中各图像帧统一矫正到图1A所示的端正状态，这样的话，一方面适于用户观看，另一方面方便后续不同图像帧之间进行板书图像的替换。

图2所示为本公开实施例提供的一种用于板书显示的处理设备。参照图2，该用于板书显示的处理设备100包括：

提取单元110，用于从视频的第一图像帧提取第一板书图像以及从视频的第二图像帧提取第二板书图像。第一板书图像为板书数据完整的板书图像，第二板书图像为因目标物遮挡而需要补全板书数据的板书图像。

补全单元120，用于根据第二图像帧的目标物分割图确定第二板书图像的遮挡区域，并通过第一板书图像的对应区域替换第二板书图像的遮挡区域来得到第三板书图像。

输出单元130，用于基于第二图像帧和第三板书图像生成输出图像帧，该输出图像帧呈现目标物置于透明化板书内容后面的画面。

具体地，视频播放时，输出图像帧用于替换第二图像帧来进行显示。

需要说明的是，上述第一图像帧可以是不存在目标物遮挡板书数据现象的图像帧，这样第一图像帧无需经过处理设备100处理就能提取出包括完整板书数据的第一板书图像；第一图像帧也可以是存在目标物遮挡板书数据现象的图像帧，这样第一图像帧需要处理设备100处理得到对应的输出图像帧，进而从第一图像帧对应的输出图像帧中提取出包括完整板书数据的第一板书图像。

上述第一图像帧用于第二图像帧中板书数据的补全，因而第一图像帧应与第二图像帧接近，例如第一图像帧为视频中第二图像帧的前一帧。实践中，对于一个视频，可以是视频的第一帧只作为初始帧使用，然后从视频的第二帧开始处理，直到处理到视频的最后一帧，从而视频在播放时基本能满足用户观看完整板书数据的需求。

下面对处理设备100包括的上述各单元进行详细说明。

图3所示为提取单元110提取视频中任一图像帧的板书图像时执行的步骤。参照图3，提取单元110通过执行如下步骤来提取视频中任一图像帧的板书图像：

步骤S111，获取该图像帧的目标物分割图。

需要说明的是，目标物分割图只是将该图像帧中目标物像素点和非目标物像素点通过不同像素值进行区分，因而目标物分割图中目标物和背景达到一定对比度即可，并且目标物分割图和视频的图像帧具有相同的尺寸。其中，在目标物为教师的情况下，目标物不仅包括教师的人体部位，而且包括教师随身附带的物品，例如有教师手中的粉笔、书本或话筒等，因此上述目标物像素点包括教师人体部位的像素点和教师随身附带物品的像素点。

具体地，可以是：目标物分割图中目标物像素点具有第一像素值且背景像素点具有第二像素值，第一像素值和第二像素值位于灰阶阈值的两侧。即，或者是：第一像素值小于灰阶阈值而第二像素值大于灰阶阈值，或者是：第一像素值大于灰阶阈值而第二像素值小于灰阶阈值。

需要强调的是，如无特别说明，本公开实施例中，对于一幅在R(红)、G(绿)、B(蓝)三通道内具有不同像素值的彩色图，将其像素值和一个值(例如灰阶阈值)进行比较时，其像素值是其灰度图的像素值。

上述灰阶阈值可以取0～255中的中间值，例如127或128，这样第一像素值和第二像素值各自对应的颜色即区分为通常所称的深色和浅色。

进一步，可以是：第一像素值对应的颜色为黑色且第二像素值对应的颜色为白色，或者，第一像素值对应的颜色为白色且第二像素值对应的颜色为黑色。此示例中，提取单元110通过已有的目标物分割算法获取该图像帧的目标物的蒙版图或掩码图来获取到目标物分割图。

具体地，若第一像素值对应的颜色为黑色且第二像素值对应的颜色为白色，则提取单元110获取该图像帧的目标物的蒙版图或掩码图后，将获取到的蒙版图或掩码图进行图像取反操作则得到该图像帧的目标物分割图。例如，图4A所示为目标物的蒙版图或掩码图，图4B为提取单元110对图4A所示图像进行图像取反操作后得到的目标物分割图(图4B中黑色外框为额外添加的用于标示目标物分割图范围的部分，并不属于目标物分割图的一部分)。

若第一像素值对应的颜色为白色且第二像素值对应的颜色为黑色，则提取单元110获取该图像帧的目标物的蒙版图或掩码图，即获取到该图像帧的目标物分割图。

关于蒙版图和掩码图，可以参照现有技术理解二者的作用，这里不作详细介绍。本公开实施例中，蒙版图如图4A所示，即目标物作为关注部分标注为白色，而非目标物标注为黑色；掩码图也如图4A所示，即目标物作为不被遮掩部分标注为白色，而非目标物作为需遮掩部分标注为黑色。

上述目标物分割算法多通过神经网络实现，所使用的神经网络包括但不限于MODNet(motion and apperance based moving object detection network)、U2Net(unet改进后得到的一种网络结构，unet即U型神经网络)、SOLO(Segmenting Objects byLocation)、SOLOv2(SOLO改进后得到的一种网络结构)、SINet、Extreme C3、HRNet_w18_small_V1(HRNet改进后得到的一种网络结构，HRNet即High-Resoultion Net)、Deeplabv3、deeplabv3p_xception65、ocrnet_hrnetw18_voc(ocrnet的全称为Object-ContextualRepresentations Net)、BiSeNetV2(BiSeNet改进后得到的一种网络结构，BiSeNet的全称为Bilateral Segmentation Network)及UNet_MobileNetV2。需要说明的是，上述神经网络是通过全部或部分英文单词简称后直接命名，本领域技术人员在使用中直接使用这些名称来表示对应的已有神经网络，这里对这些已有神经网络不进行赘述。

在目前目标物分割算法日益成熟的背景下，上述方法得到目标物分割图简单快捷，且在精度方面也有保障，这有利于后续板书数据提取的准确性。

步骤S112，根据书写板的色板类型，基于该图像帧的灰度图获取待处理灰度图。

需要说明的是，实践中，无论书写板属于哪种色板类型，包含书写板的图像帧中书写板和板书数据都达到一定对比度，基于该图像帧的灰度图获取的待处理灰度图中书写板和板书数据也达到一定对比度。

具体地，可以是：书写板是第一类色板的情况下待处理灰度图为该图像帧的灰度图，书写板为第二类色板的情况下待处理灰度图为该图像帧灰度图进行图像取反操作后得到的灰度图，其中，第一类色板的灰度图的像素值和目标物分割图的灰度图中目标物的像素值相近，第二类色板的灰度图的像素值和目标物分割图的灰度图中背景的像素值相近。

在目标物分割图中目标物像素点具有上述第一像素值且非目标物像素点具有上述第二像素值的情况下，可以是：第一类色板的像素值和第一像素值位于灰阶阈值的同一侧，且第一类色板的像素值和第二类色板的像素值位于灰阶阈值的两侧。即，在上述第一像素值小于灰阶阈值而第二像素值大于灰阶阈值的情况下，第一类色板的像素值小于灰阶阈值，以及，第二类色板的像素值大于灰阶阈值；在上述第一像素值大于灰阶阈值而第二像素值小于灰阶阈值的情况下，第一类色板的像素值大于灰阶阈值，以及，第二类色板的像素值小于灰阶阈值。

该步骤执行过程中，提取单元110需要先确定书写板的色板类型，确定方法可以是：根据任一图像帧的灰度图的像素值分布情况确定书写板的色板类型。由于书写板上即使书写了内容，仍然会分布许多大小不一的没有被书写内容覆盖的块状区域，因而可以通过任一个块状区域的灰度图的像素值确定书写板的色板类型。

所述块状区域要求其灰度图中像素值变化幅度不超过第一阈值。第一阈值例如是书写板和配套书写笔之间的像素值差值，这一像素值差值远远大于光照下书写板颜色在像素值上的变化幅度。示例性地，第一阈值设置为200。这样在浅色板使用黑色笔书写黑色内容而深色板使用白色笔书写白色内容的实践中，即使光照使得书写板上没有书写数据的区域在像素值上保持不一致，该方法也能确保块状区域为一个没有任何书写数据的区域。

在形状上，块状区域可以是书写板上分布的直径不小于第二阈值的圆形区域，也可以是书写板上分布的长和宽皆不小于第二阈值的长方形区域，还可以是书写板上预设的一个不书写内容的区域。这里的第二阈值可以根据书写板大小和书写板上字符大小来确定，具体地，可以设置为大于书写板一个字符的长度但不大于书写板的宽度。

在确定了所需的块状区域后，通过该块状区域的灰度图的像素值即可确定书写板的色板类型。例如，可选色板类型有上述第一类色板和第二类色板，则可以通过该块状区域的灰度图的所有像素值的平均值和灰阶阈值的大小关系确定书写板的色板类型为第一类色板还是第二类色板。在灰阶阈值为127或128的情况下，第一类色板和第二类色板分别为深色板和浅色板，常见的深色板例如有黑板和绿板，常见的浅色板例如有白板。

步骤S113，将目标物分割图和待处理灰度图进行图像运算操作以突显板书数据，并二值化处理所得图像以得到该图像帧的板书图像。

具体地，在目标物分割图中目标物像素点具有上述第一像素值且背景像素点具有上述第二像素值、以及可选色板类型有上述第一类色板和第二类色板的情况下，将目标物分割图和待处理灰度图进行图像运算操作以突显板书数据，可以是：将目标物分割图的灰度图和待处理灰度图进行图像运算操作以突显板书数据。

进一步，在第一像素值和第一类色板的像素值皆不大于灰阶阈值以及第二像素值和第二类色板的像素值皆大于灰阶阈值的示例中，若第一像素值对应的颜色不是黑色，则目标物分割图的灰度图和待处理灰度图可以进行图像相乘这一图像运算操作来突显板书数据；若第一像素值对应的颜色是黑色且第二像素值对应的颜色是白色，则目标物分割图的灰度图和待处理灰度图可以进行图像相乘或图像相与来突显板书数据。

这里图像相乘，即目标物分割图的灰度图和待处理灰度图这两图的对应像素点的像素值进行相乘。由于第一像素值和第一类色板的像素值皆不大于灰阶阈值，第二像素值和第二类色板的像素值皆大于灰阶阈值，因而，在第一类色板使用黑色笔书写黑色字符而第二类色板使用白色笔书写白色字符的实践中，相乘所得结果中待处理灰度图中板书数据像素点的对应像素值积最大，通过合理选取第三阈值则可将待处理灰度图中板书数据像素点和其它像素点(包括书写板像素点和目标物像素点)区分开。进一步，通过二值化处理，将大于第三阈值的像素点设置为灰度值等于0，将不大于第三阈值的像素点设置为灰度值等于255，这样一图像帧的板书图像即可提取出来，且提取出来的板书图像中板书数据为黑色。

若目标物分割图中第一像素值对应的颜色为黑色且第二像素值对应的颜色为白色，则目标物分割图的灰度图即为目标物分割图。此情况下目标物分割图的灰度图和待处理灰度图进行图像相与，即待处理灰度图中的目标物像素点成为黑色像素点，其余像素点的像素值不变。因而，相与所得结果中待处理灰度图中板书数据像素点对应像素值仍然最大，通过合理选取第四阈值则可将待处理灰度图中板书数据像素点和其它像素点(包括书写板像素点和目标物像素点)区分开。进一步，通过二值化处理，将大于第四阈值的像素点设置为灰度值等于0，将不大于第三阈值的像素点设置为灰度值等于255，这样一图像帧的板书图像即可提取出来，且提取出来的板书图像中板书数据同样为黑色。

以图4B所示的目标物分割图和图5所示的待处理灰度图为例，则得到的板书图像如图6A所示(同样，图6A中黑色外框为额外添加的用于标示当前帧板书图像范围的部分，并不属于当前帧板书图像的一部分)。

此外，在第一像素值和第一类色板的像素值皆大于灰阶阈值以及第二像素值和第二类色板的像素值皆不大于灰阶阈值的示例中，目标物分割图的灰度图和待处理灰度图可以进行图像相乘这一图像运算操作来突显板书数据，此情况下相乘所得结果中待处理灰度图中板书数据像素点的对应像素值积最小。通过合理选取第五阈值则可将待处理灰度图中板书数据像素点和其它像素点(包括书写板像素点和目标物像素点)区分开。进一步，通过二值化处理，将小于第五阈值的像素点设置为灰度值等于0，将不不小于第五阈值的像素点设置为灰度值等于255，这样一图像帧的板书图像即可提取出来，且提取出来的板书图像中板书数据为黑色。

可选的实施例中，提取单元110还用于：在步骤S113之后对二值化处理所得图像进行字符的边缘平滑和增强处理，字符的边缘平滑和增强处理后的图像才作为提取单元110最终提取出的板书图像。字符的边缘平滑和增强处理，即尽可能使得字符的线条粗细均匀且笔画内皆呈现黑色。字符的边缘平滑和增强处理使得板书内容的各个字符线条变得更为粗壮、清晰，从而避免了因粉笔在黑板或绿板上写得不实等原因造成的板书内容不清晰现象。

以上所述的步骤S111至步骤S113，主要目的在于板书数据的提取，因而只需要关注书写板区域即可。然而，一些视频中，图像帧如图7所示分为以灰色所示的书写板区域和以白色所示的书写板周围区域。该情况下，为了避免不必要的处理，提取单元110还用于：步骤S111之前，从图像帧裁剪出书写板图，即裁剪出图7中灰色区域。相应地，上述步骤S111是获取书写板图的目标物分割图，步骤S112涉及的图像帧的灰度图为该书写板图的灰度图。

为了方便从图像帧裁剪出书写板图，该图像帧可以携带有书写板四个顶点在图像帧内的坐标信息，这样提取单元110根据所述坐标信息即可确定出该图像帧内的书写板区域并将确定的书写板区域裁剪出来。

这里所述的帧内的坐标信息，实际上是书写板各个顶点在图像帧内的位置信息，可以通过多种方式表示。图7示出一种图像帧内的坐标信息，即图像帧左上角的坐标设为(0，0)，图像帧位于第一象限内，书写板四个顶点在图像帧内的坐标信息通过书写板左上角的坐标(x，y)和书写板的宽和高来表示。其它实施例中，书写板四个顶点在图像帧内的坐标信息还可以以各自在图7中的坐标表示。

具体地，书写板四个顶点在图像帧内的坐标信息，可以是手动标注的，也可以是机器通过现有技术自动检测到的。若是在摄像设备拍摄视频的过程中确定上述坐标信息，具体方法可以是在安装摄像设备时人工利用摄像设备标定书写板四个顶点的坐标信息。若是在完成拍摄后确定上述坐标信息，具体方法可以是操作人员在相关软件界面手动选择书写板区域，软件则自动读取选择区域的顶点坐标来作为上述坐标信息。由于在一个视频的拍摄过程中摄像设备的位置和拍摄角度是固定的，因而书写板在图像帧中的位置是固定的，这样只需通过拍摄的第一帧来计算书写板四个顶点在图像帧内的坐标信息即可，后面图像帧将不再参与书写板四个顶点在图像帧内的坐标信息的计算。

图8所示为补全单元120确定第二板书图像的遮挡区域时执行的步骤。参照图8，补全单元120通过执行如下步骤来确定第二板书图像的遮挡区域：

步骤S121，根据第二板书图像和第一板书图像的差异得到板书差异图。

步骤S122，在板书差异图中确定第二板书图像的缺失区域。

具体地，板书差异图可能既包括第二板书图像相对于第一板书图像增加的部分，又包括第二板书图像相对于第一板书图像缺失的部分。本步骤主要是从板书差异图中确定出第二板书图像相对于第一板书图像缺失的部分，即缺失区域。

步骤S123，根据第二图像帧的目标物分割图在缺失区域中确定第二板书图像的遮挡区域。

示例性地，第二板书图像如图6A所示，第一板书图像如图6B所示，则步骤S121的板书差异图如图6C所示。由于图6C中区域X1和区域X2是第二板书图像所没有的，因而图6C中区域X1和区域X2是步骤S122确定的第二板书图像的缺失区域。步骤S123执行，即根据图4B所示的目标物分割图确定第二板书图像的缺失区域中区域X2是遮挡区域。然后，补全单元120将第一板书图像的对应区域替换第二板书图像的遮挡区域，得到如图6D所示的第三板书图像。需要说明的是，为了更具象地理解，图6C所示的板书差异图中的区域X1、区域X2和区域X3皆有板书数据，实际上步骤S121确定的板书差异图只要能确定有差异的区域位置即可，以及，步骤S122确定缺失区域也只要能确定缺失区域的位置即可。

图9所示为输出单元130生成输出图像帧时执行的步骤。参照图9，输出单元130通过执行如下步骤来生成输出图像帧：

步骤S131，根据书写板的色板类型，对第三板书图像进行处理以获取透明化板书图像；

步骤S132，将透明化板书图像叠加到第二图像帧的书写板区域。

具体地，可以是：书写板是第一类色板的情况下，透明化板书图像为第三板书图像进行图像取反操作后再进行透明化处理得到的图像；书写板为第二类色板的情况下，透明化板书图像为第三板书图像进行透明化处理得到的图像。透明化板书图像的透明化程度可通过更改透明参数自行设置。其中，第一类色板的灰度图的像素值和第三板书图像的灰度图中板书数据的像素值相近，第二类色板的灰度图的像素值和第三板书图像的灰度图中背景的像素值相近。

进一步，若上述第三板书图像中板书数据具有第三像素值且背景具有第四像素值，则可以是：第一类色板的像素值和第三像素值皆小于灰阶阈值，第二类色板的像素值和第四像素值皆大于灰阶阈值；或者，第第一类色板的像素值和三像素值皆大于灰阶阈值，第二类色板的像素值和第四像素值皆小于灰阶阈值。

例如，第三板书图像中板书数据为黑色且背景为白色，则第一类色板为深色板，第二类色板为浅色板。该示例中，书写板是深色板的情况下，透明化板书图像为第三板书图像进行图像取反操作后再进行透明化处理得到的图像；书写板是浅色板的情况下，透明化板书图像为第三板书图像进行透明化处理得到的图像。

需要说明的是，提取单元S110在从视频的第二图像帧提取第二板书图像时，需要确保第二图像帧不受损坏，这样在本实施例中只需要将透明化板书图像叠加在第二图像帧的书写板区域即可。

本公开实施例中，透明化板书图像叠加到第二图像帧的书写板区域后，能够使得生成的输出图像帧呈现目标物置身于透明化板书内容后面的“虚拟现实”增强画面，这样不仅确保用户能够看到完整的板书内容，还使得用户能够看到目标物的移动从而基于目标物的移动更好地理解板书内容。

相应于上述处理设备100，本公开实施例还提供了一种用于板书显示的处理系统。如图10所示，该处理系统1000包括：摄像设备200，用于取得视频；以上所述的任一种处理设备100，电性连接摄像设备200，用于处理视频；显示设备300，电性连接处理设备100，用于显示处理后的视频。具体地，处理系统1000中，处理设备100、摄像设备200和显示设备300可以是集成在一个装置中，也可以是各自独立的设备，本公开实施例对此不作限定。该处理系统1000由于包括以上所述的处理设备100，因而显示设备300显示的处理后的视频中板书数据完整地呈现在目标物前面。

相应于上述处理设备100，本公开实施例还提供了一种用于板书显示的处理方法。如图11所示，该处理方法包括：

步骤S110，从视频的第一图像帧提取第一板书图像以及从视频的第二图像帧提取第二板书图像；

步骤S120，根据第二图像帧的目标物分割图确定第二板书图像的遮挡区域，并通过第一板书图像的对应区域替换第二板书图像的遮挡区域来得到第三板书图像；

步骤S130，基于第二图像帧和第三板书图像生成输出图像帧，输出图像帧呈现目标物置于透明化板书内容后面的画面。

由于该处理方法由上述处理设备100执行且能达到相同的技术效果，因而具体细节可参见前面的实施例，在此不再赘述。

需要说明的是，本说明书中在对各个实施例进行描述时，均重点说明的是与其他实施例的不同之处，而对于各个实施例之间相同或相似的部分可互相参考进行理解。对于系统实施例而言，由于其与方法实施例基本相似，因此相关之处可参考对方法实施例部分的说明。

此外，需要指出的是，在本公开的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本公开的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本公开的说明的情况下运用他们的基本编程技能就能实现的。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本公开所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本公开的保护范围之中。

Claims (11)

1.一种用于板书显示的处理设备，其特征在于，包括：

提取单元，用于从视频的第一图像帧提取第一板书图像以及从所述视频的第二图像帧提取第二板书图像；

补全单元，用于根据所述第二图像帧的目标物分割图确定所述第二板书图像的遮挡区域，并通过所述第一板书图像的对应区域替换所述第二板书图像的遮挡区域来得到第三板书图像；

输出单元，用于基于所述第二图像帧和所述第三板书图像生成输出图像帧，所述输出图像帧呈现目标物置于透明化板书内容后面的画面；

其中，所述第一板书图像为板书数据完整的板书图像，所述第二板书图像为因目标物遮挡而需要补全板书数据的板书图像。

2.根据权利要求1所述的处理设备，其特征在于，所述提取单元通过执行如下步骤来提取所述视频中任一图像帧的板书图像：

获取该图像帧的目标物分割图，所述目标物分割图中目标物和背景达到一定对比度；

根据书写板的色板类型，基于该图像帧的灰度图获取待处理灰度图；

将所述目标物分割图和所述待处理灰度图进行图像运算操作以突显板书数据，并二值化处理所得图像以得到该图像帧的板书图像。

3.根据权利要求2所述的处理设备，其特征在于，所述提取单元，用于通过获取该图像帧的目标物的蒙版图或掩码图来获取该图像帧的目标物分割图。

4.根据权利要求2所述的处理设备，其特征在于，所述提取单元还用于根据所述视频任一图像帧的灰度图的像素值分布情况确定书写板的色板类型。

5.根据权利要求2所述的处理设备，其特征在于，所述提取单元还用于对二值化处理所得图像进行字符的边缘平滑和增强处理，并将边缘平滑和增强处理后的图像确定为该图像帧的板书图像。

6.根据权利要求2所述的处理设备，其特征在于，

该图像帧内的图分为书写板区域和书写板周围区域；

所述提取单元还用于从该图像帧裁剪出书写板图；获取所述书写板图的目标物分割图，作为该图像帧的目标物分割图；获取所述书写板图的灰度图，作为待处理灰度图所基于的该图像帧的灰度图。

7.根据权利要求6所述的处理设备，其特征在于，该图像帧携带有书写板四个顶点在图像帧内的坐标信息，所述提取单元通过执行如下步骤从该图像帧裁剪出书写板图：

根据所述坐标信息确定该图像帧内的书写板区域并将确定的书写板区域裁剪出来。

8.根据权利要求1所述的处理设备，其特征在于，所述输出单元通过执行如下步骤来生成输出图像帧：

根据书写板的色板类型，对所述第三板书图像进行处理以获取透明化板书图像；

将所述透明化板书图像叠加到所述第二图像帧的书写板区域。

9.根据权利要求1所述的处理设备，其特征在于，所述补全单元通过执行如下步骤来确定所述第二板书图像的遮挡区域：

根据所述第二板书图像和所述第一板书图像的差异得到板书差异图；

在所述板书差异图中确定所述第二板书图像的缺失区域；

根据所述第二图像帧的目标物分割图在所述缺失区域中确定所述第二板书图像的遮挡区域。

10.一种用于板书显示的处理系统，其特征在于，包括：

摄像设备，用于取得视频；

权利要求1-9中任一项所述的处理设备，电性连接所述摄像设备，用于处理所述视频；

显示设备，电性连接所述处理设备，用于显示处理后的所述视频。

11.一种用于板书显示的处理方法，其特征在于，包括：

从视频的第一图像帧提取第一板书图像以及从所述视频的第二图像帧提取第二板书图像；

根据所述第二图像帧的目标物分割图确定所述第二板书图像的遮挡区域，并通过所述第一板书图像的对应区域替换所述第二板书图像的遮挡区域来得到第三板书图像；

基于所述第二图像帧和所述第三板书图像生成输出图像帧，所述输出图像帧呈现目标物置于透明化板书内容后面的画面；

其中，所述第一板书图像为板书数据完整的板书图像，所述第二板书图像为因目标物遮挡而需要补全板书数据的板书图像。

Images