CN110209873A

CN110209873A - 白板板书记录方法、设备、系统和存储介质

Info

Publication number: CN110209873A
Application number: CN201910481189.3A
Authority: CN
Inventors: 李文涛; 崔战伟
Original assignee: Beijing Dream Plus Information Technology Co Ltd
Current assignee: Beijing Dream Plus Information Technology Co Ltd
Priority date: 2019-06-04
Filing date: 2019-06-04
Publication date: 2019-09-06

Abstract

本申请涉及板书记录相关技术领域，具体涉及一种白板板书记录方法、设备、系统和存储介质。其中，本申请提供的白板板书记录方法，包括获取预设摄像装置拍摄的白板板书区域的视频；处理视频，使得处理后视频便于被人读取；存储处理后视频，或，向预设终端发送处理后视频，以供预设终端存储处理后视频。如此，在书写板书的过程中，可以通过预设摄像装置拍摄白板板书区域形成视频，对视频进行处理，使得视频便于被人读取，之后对视频进行存储，之后即使将书写在白板上的痕迹进行擦除，也可以通过保存的视频查找到擦除之前记录在白板上的内容。

Description

白板板书记录方法、设备、系统和存储介质

技术领域

本申请涉及板书记录相关技术领域，具体涉及一种白板板书记录方法、设备、系统和存储介质。

背景技术

目前，人们通常选择在白板上进行进行板书的写作时，用以辅助自己完成会议，教学等任务。

白板是通常白色的金属板材料制的书写平面。白板是一种可反复擦写的书写工具。通常用于教学，会议讨论，或个人与家庭记事。

但是白板上书写的字迹，擦过之后就会消失，无法保存，不利于记录。

发明内容

本申请提供一种白板板书记录方法、设备、系统和存储介质，以解决在白板上书写的字迹，擦过之后就会消失，无法保存，不利于记录。

基于本申请的第一方面，本申请提供了一种白板板书记录方法。本申请提供的白板板书记录方法，包括：

获取由预设摄像装置拍摄的白板板书区域的视频；

处理所述视频，使得处理后视频便于被人读取；

存储所述处理后视频，或，向预设终端发送所述处理后视频，以供所述预设终端存储所述处理后视频。

可选的，处理所述视频的方法，包括：

对所述视频逐帧进行几何变换，使得所述视频表现为通过对白板区域进行正面拍摄得到的。

可选的，所述几何变换包括：畸变校正和透视校正。

可选的，处理所述视频的方法，还包括：

对几何变换后的视频逐帧进行色彩校正，使得视频内白板上的板书突出表现。

可选的，所述方法，还包括：

对几何变换后的视频进行图样识别和文字识别，基于识别出的图样和文字生成包含识别出的图样和文字的图像；

基于识别出的图样和文字，执行预设的与所述图样和文字对应的指令。

可选的，所述方法还包括：

识别所述视频中的书写者的手部姿态；

当所述手部姿态为预设手部姿态时，存储所述处理后视频中对应此时的图像。

可选的，所述向预设终端发送所述处理后视频，以供所述预设终端存储所述处理后视频，包括：

向预设服务器发送所述处理后视频，以供服务器向预设终端发送所述处理后视频，以供所述预设终端存储所述处理后视频；

其中，所述服务器存储所述处理后视频。

基于本申请的第二方面，本申请提供了一种白板板书记录设备，所述设备包括：

获取装置，用于获取由预设摄像装置拍摄的白板板书区域的视频；；

处理装置，用于处理所述视频，使得处理后视频便于被人读取；

存储装置，用于存储所述处理后视频，或，向预设终端发送所述处理后视频，以供所述预设终端存储所述处理后视频。

可选的，所述处理装置，具体用于：

可选的，所述几何变换畸变校正和透视校正。

可选的，所述处理装置，还用于：

可选的，所述白板板书记录设备，还包括：

第一识别装置，对几何变换后的视频进行图样识别和文字识别，基于识别出的图样和文字生成包含识别出的图样和文字的图像。

可选的，所述白板板书记录设备，还包括：

第二识别装置，用于识别所述视频中的书写者的手部姿态；

存储装置，还用于当所述手部姿态为预设手部姿态时，存储所述处理后视频中对应此时的图像。

可选的，所述存储装置具体用于：

向预设服务器发送所述处理后视频，以供服务器向预设终端发送所述处理后视频；

其中，所述服务器存储所述处理后视频。

基于本申请的第三方面，本申请提供了一种白板板书记录系统，所述系统包括：摄像装置、控制装置、预设服务器和预设智能终端；

所述控制装置包括：处理器和存储器，所述处理器与存储器通过通信总线相连接：

其中，所述处理器，用于调用并执行所述存储器中存储的程序；

所述存储器，用于存储程序，所述程序至少用于执行本申请第一方面提供的白板板书记录方法。

基于本申请的第四方面，本申请提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如本申请第一方面提供的白板板书记录方法的各个步骤。

本申请提供的一种白板板书记录方法中，首先获取白板板书区域的视频；获取由预设摄像设备拍摄的白板板书区域的视频；处理视频，使得处理后视频便于被人读取；存储处理后视频，或，向预设终端发送处理后视频，以供预设终端存储处理后视频。如此，在书写板书的过程中，可以通过预设摄像装置拍摄白板板书区域形成视频，对视频进行处理，使得视频便于被人读取，之后对视频进行存储，之后即使将书写在白板上的痕迹进行擦除，也可以通过保存的视频查找到擦除之前记录在白板上的内容。

需要了解的是，虽然本申请提供的方案名称中包括白板，但是本申请提供方案的使用范围包括但不限于白板板书记录。例如还可以用于黑板板书记录。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例一提供的的白板板书记录方法的流程示意图；

图2为本申请实施例一提供的的白板板书记录方法中处理视频的方法的流程示意图；

图3为本申请实施例一提供的的白板板书记录方法的另一流程示意图；

图4为本申请实施例二提供的的白板板书记录设备的结构示意图；

图5为本申请实施例三提供的白板板书记录系统的结构示意图；

图6为本申请实施例三提供的白板板书记录系统中的控制装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

实施例一

图1为本申请实施例一提供的的白板板书记录方法的流程示意图；如图1所示，本申请提供的白板板书记录方法包括：

S101，获取预设摄像装置拍摄的白板板书区域的视频；

具体的，获取预设摄像装置拍摄的白板板书区域的视频的方式包括：通过预设摄像设备拍摄白板板书区域得到白板板书区域的视频。其中，摄像设备可以，通过固定装置设置在白板的上侧边缘，拍摄白板板书区域。当然，将摄像设备设置在白板的上侧边缘，虽然可以避免书写者的身体遮挡摄像设备对于白板的拍摄。但是，摄像设备可能无法将白板板书区域完全纳入拍摄范围。|为了使得摄像设备可以将白板板书区域完全纳入拍摄范围，本申请中摄像装置可以为广角摄像装置或者超广角摄像装置。

广角摄像装置的焦距一般为38－24毫米，视角为60－84度；超广角摄像装置的焦距为20－13毫米，视角为94-118度。由于广角摄像装置和超广角摄像装置的焦距短，视角大，在较短的拍摄距离范围内，能拍摄到较大面积的景物。与本申请中，广角摄像装置和超广角摄像装置均可以位于白班的一侧而拍摄到整个白板的内容。

S102，处理视频，使得处理后视频便于被人读取；

需要了解的，广角摄像装置和超广角摄像装置均具有较大的镜头畸变。镜头畸变实际上是光学透镜固有的透视失真的总称，主要指因为透视原因造成的失真，这种失真对于照片的成像质量是非常不利的，毕竟摄影的目的是为了再现，而非夸张。但因为这是透镜的固有特性(凸透镜汇聚光线、凹透镜发散光线)，所以镜头畸变无法消除，只能改善。高档镜头光学设计以及用料考究，利用镜片组的优化设计、选用高质量的光学玻璃(如萤石玻璃)来制造镜片，可以使透视变形降到很低的程度。但是完全消除畸变是不可能的，目前最高质量的镜头在极其严格的条件下测试，在镜头的边缘也会产生不同程度的变形和失真。

图2为本申请实施例一提供的的白板板书记录方法中处理视频的方法的流程示意图；如图2所示，本申请提供的处理视频的方法包括：

S201，对视频逐帧进行几何变换，使得视频表现为通过对白板区域进行正面拍摄得到的。

其中，几何变换包括：畸变校正和透视校正。

需要了解的是，一般而言，由摄像装置得到的视频是畸变的视频。视频内容因为畸变而失真。人类很难直接阅读畸变较为严重的视频。而广角摄像装置和超广角摄像装置拍摄的视频均具有较为严重的畸变。特别是在本申请中，摄像装置可以采用广角摄像装置和超广角摄像装置。广角摄像装置和超广角摄像装置拍摄的视频均具有较为严重的畸变。

畸变校正的过程包括：

获取镜头拍摄的视频；对视频中的每一帧图片通过矫正矩阵进行校正，得到矫正后的图片，基于校正后的图片进行合成校正后的视频。

其中，确定矫正矩阵的方法包括：

通过摄影设备对标准标定板进行拍照，得到多张图片；其中，标准标定板上具有预设的角点；

通过算法确定拍摄的图片中的角点，

通过多张图片中角点位置和实际标准标定板上的预设角点位置，计算出镜头的矫正矩阵。

通过畸变校正之后的到的图片已经基本符合人们的视觉习惯，便于人们读取视频中的内容。

但是，由于摄像装置一般设置在白板的一侧，拍摄的图像为侧面视角的拍摄图像，给人的观感并不是十分理想，不是特别符合人的视角习惯。为了解决上述问题，可以对图像进行透视变换。

透视变换是改变中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。透视变换同样是一种改变对象尺寸和形状的操作，一个平面图形经透视变换后可产生立体效果。在对象作透视变换时，其限制框的四个角点不一定非要限制在它们的边长方向，四个角点也可发生移动，从而获得更复杂的透视变换效果，主要用于改变图片的拍摄视角。

在本申请通过透视变换可以改变每一帧图片的拍摄视角，使得每一帧图片的拍摄视角呈现出正面拍摄的效果(即：人正视白板时的视角)。如此，拍摄的视频更加符合人的视角习惯，更加便于人读取拍摄视频的内容。

S202，对几何变换后的视频逐帧进行色彩校正，使得视频内白板上的板书突出表现。

具体的，步骤S202中，色彩校正主要包括白平衡矫正和色彩增强等操作。

需要了解的是，白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。许多人在使用数码摄像机拍摄的时候都会遇到这样的问题：在日光灯的房间里拍摄的影像会显得发绿，在室内钨丝灯光下拍摄出来的景物就会偏黄，而在日光阴影处拍摄到的照片则莫名其妙地偏蓝，其原因就在于“白平衡”的设置上。通过对视频中的每一帧图片进行白平衡矫正可以使得各种光照条件下，由白板构成的背景图像更加的鲜明亮白。

进一步的，彩色增强一般通过突出颜色之间的色彩差别，提高解译效果的技术。本申请中使用色彩增强增强图片的颜色对比，可以使得白板上的书写的板书更加鲜艳也更加显眼，突出白板上的有效信息(即：白板上书写的信息)，如此达到类似于打印机等扫描写有文字的纸张形成的效果，提高人对于存储的视频中的白板上书写的内容的识别度。

当然，为了使得白板上的内容更加适合人读取，还可以对色彩校正后或者几何变换后的视频逐帧进行图样识别和文字识别，基于识别出的图样和文字生成包含识别出的图样和文字的图像。

如此设置，书写者在白板上写完板书后，对于板书进行图像识别和文字识别。基于深度学习的图样识别和文字识别均为目前已经成熟的现有技术，可以完成对于文字和图样的识别。之后，基于识别出的文字和图样的位置关系和内容进行生成新的图像(包含识别出的图样和文字的图像)。

进一步的，还可以基于识别出的图样和文字，执行预设的与所述图样和文字对应的指令。

需要了解的，预设的指令需要进行提前输入系统，使某一种识别出的“图像文字的结合、单独的图像或单独的文字”为一个预设指令的触发条件。当对视频中的每一帧图片进行识别时，识别到预设的“图像文字的结合、单独的图像或单独的文字”时，执行对应的操作。

例如：系统内可以预存有：当识别出图样为“一个箭头指向一个圆圈，且圆圈内撰写有一个邮箱”的内容时，那么执行预设指令，预设指令的内容为：向“圆圈内撰写的邮箱”发送本视频(或发送本视频中的某一时刻的图片)。

如此设置，当对视频逐帧进行图样识别和文字识别时，识别出的图样和文字为“一个箭头指向一个圆圈，且圆圈内撰写有一个邮箱对应文字”那么基于上述识别的图像和文字，发出指令，向“圆圈内撰写的邮箱”发送本视频(或发送本视频中的某一时刻的图片)。

具体的识别过程类似于将包含手写文字的图片转档成文本文档，之后再次将其转档成为图片格式的过程。当然在保存生成的包含识别出的图样和文字的图像时，可以同时保存原始图片(此处保存原始图片为进行文字识别和图像识别之前，进行任一步骤时的图像)。如此当发现生成包含识别出的图样和文字的图像存在错误时，可以找到原始图片，基于原始图片重新确定书写者的手写的内容。

S103，存储处理后视频，或，向预设终端发送处理后视频，以供预设终端存储处理后视频。

具体的，步骤S103还可以包括：向预设服务器发送处理后视频，以供服务器向预设终端发送处理后视频；以供预设终端存储处理后视频。

其中，服务器也可以存储处理后视频。

如此设置，借助预设服务器向预设终端发送视频，同时可以利用服务器对视频进行存储。减少了对视频进行存储和发送时对于本地装置的要求。

进一步的，预设终端可以为对板书有需求的相关人员(例如：通过白板进行会议讨论时远程会议参与者、通过白板进行讲课时听讲的学生等)的个人终端(例如：电脑、手机、平板等产品)。如此，相关人员可以直接通过自己的个人终端获取白板上的内容，并记录白板上书写的内容，十分便利。

当然为了进一步降低执行该方法时，对于装置硬件的要求，同时也为了使得对于视频的保存更加具有针对性，参照图3，本申请提供的方案还包括：

S301，识别视频中的书写者的手部姿态；

需要说明的是，书写者白板上撰写板书时，手部会自然的进入摄像装置的拍摄范围。进一步的，识别手部姿态的方法可以为：采用基于深度学习的手部姿态识别模型，识别手部姿态。基于深度学习的手部姿态识别模型为现有的模型，是一种基于手部24个关键点位来进行手势识别的模型，为现有技术。目前，通过基于深度学习的手部姿态识别模型可以识别多种手部姿态(例如：鼓掌、攥拳头、打对勾等等)。

S302，当手部姿态为预设手部姿态时，存储处理后视频中对应此时的图像。

例如：预设手部姿态可以为打对勾，当识别出书写者的手部姿态为打对勾时，存储基于此时拍摄的画面生成的包含识别出的图样和文字的图像，(具体的，存储过程参照步骤S102和S103中提供的方法，其区别仅仅是：步骤S102和S103中是对于视频中的每一帧图像进行操作，之后存储整个视频。而S302中，仅仅对于预设手部姿态可以为打对勾时，摄像装置获取的图片进行处理和存储。其中护理图像的方法可以参照S102提供的处理视频的方式中处理每一帧图像的方法。进一步的，S302中可以同时存储处理后的图片和对应的原始图片)。

进一步的，为了避免预设手部姿态对于摄像装置拍摄白板区域造成遮挡。摄像装置可以设置在白班的左上部分。如此设置对于大部分的右手写作的人而言，企协作过程中，手部不会对写完的内容造成遮挡。

进一步的，为了避免对将书写者的进行书写时的姿态误判为预设手部姿态。本申请提供的方案中可以规定识别手部姿态的位置。即：仅仅识别该位置出现的手部姿态。例如，当拍摄装置设置在左上角时，该位置可以为白板的右下角对应的位置(一般在正常的书写过程中很少将手部放置在白板的右下角)。如此，只有当书写者的手部进入白板的右下角对应的位置时，才会对手部姿势进行识别，而不会因为书写者的手部在进行正常写作时造成误判。

当然，当检测到预设手部姿势时可以发出预设提示音，用于提醒书写者，手部姿势已被成功识别。如此设置，便于书写者确定手部姿势的识别状况。例如书写者在规定位置进行了预设手部姿势，但是由于某种原因，本申请中的装置未能正确识别该手势，那么提示音不会响起，书写者未听到提示音，可以重复预设手势，以确保本申请中的装置可以正确识别该手势，并执行步骤S302。

需要了解的是，虽然本申请提供的方案名称中包括白板，但是本申请提供方案的使用范围包括但不限于白板板书记录。例如还可以用于黑板板书记录以及其他的同类情景。

实施例二

图4为本申请实施例二提供的的白板板书记录设备的结构示意图；如图4所示，本申请提供的白板板书记录设备包括：

获取装置401，用于获取由预设摄像装置拍摄的白板板书区域的视频；；

处理装置402，用于处理视频，使得处理后视频便于被人读取；

存储装置403，用于存储处理后视频，或，向预设终端发送处理后视频，以供预设终端存储处理后视频。

可选的，处理装置，具体用于：

对视频进行几何变换，使得视频表现为通过对白板区域进行正面拍摄得到的。

可选的，几何变换畸变校正和透视校正。

可选的，处理装置，还用于：

可选的，白板板书记录设备，还包括：

第二识别装置，用于识别视频中的书写者的手部姿态；

存储装置403，还用于当手部姿态为预设手部姿态时，存储处理后视频中对应此时的图像。

可选的，存储装置具体用于：

向预设服务器发送处理后视频，以供服务器向预设终端发送处理后视频；

其中，服务器存储处理后视频。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例三

图5为本申请实施例三提供的白板板书记录系统的结构示意图；图6为本申请实施例三提供的白板板书记录系统中的控制装置的结构示意图；参照图5和图6，本申请提供的白板板书记录系统包括：摄像装置501、控制装置502、预设服务器503和预设智能终端504；

控制装置502包括：处理器5021和存储器5022，处理器5021与存储器5022通过通信总线相连接：

其中，处理器5021，用于调用并执行存储器5022中存储的程序；

存储器5022，用于存储程序，程序至少用于本申请实施例一挺提供的的白板板书记录方法。

实施例四

本实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如实施例一提供的白板板书记录方法的各个步骤。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种白板板书记录方法，其特征在于，所述方法包括：

获取预设摄像装置拍摄的白板板书区域的视频；

处理所述视频，使得处理后视频便于被人读取；

2.根据权利要求1所述的白板板书记录方法，其特征在于，处理所述视频的方法，包括：

3.根据权利要求2所述的白板板书记录方法，其特征在于，所述几何变换包括：畸变校正和透视校正。

4.根据权利要求2所述的白板板书记录方法，其特征在于，处理所述视频的方法，还包括：

5.根据权利要求2所述的白板板书记录方法，其特征在于，所述方法，还包括：

对几何变换后的视频逐帧进行图样识别和文字识别，基于识别出的图样和文字生成包含识别出的图样和文字的图像；

6.根据权利要求1所述的白板板书记录方法，其特征在于，所述方法还包括：

识别所述视频中的书写者的手部姿态；

7.根据权利要求1所述的白板板书记录方法，其特征在于，所述向预设终端发送所述处理后视频，以供所述预设终端存储所述处理后视频，包括：

其中，所述服务器存储所述处理后视频。

8.一种白板板书记录设备，其特征在于，所述设备包括：

获取装置，用于获取白板板书区域的视频；

9.一种白板板书记录系统，其特征在于，所述系统包括：摄像装置、控制装置、预设服务器和预设智能终端；

所述存储器，用于存储程序，所述程序至少用于执行权利要求1～7任一项所述的白板板书记录方法。

10.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1～7任一项所述的白板板书记录方法的各个步骤。