CN111881904A - 板书记录方法和系统 - Google Patents
板书记录方法和系统 Download PDFInfo
- Publication number
- CN111881904A CN111881904A CN202010759147.4A CN202010759147A CN111881904A CN 111881904 A CN111881904 A CN 111881904A CN 202010759147 A CN202010759147 A CN 202010759147A CN 111881904 A CN111881904 A CN 111881904A
- Authority
- CN
- China
- Prior art keywords
- writing
- blackboard
- image
- original
- descriptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000007480 spreading Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/109—Font handling; Temporal or kinetic typography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
Abstract
本申请涉及一种板书记录方法和系统，其中，该板书记录方法包括：获取有效图像；其中有效图像包括以多通道保存的像素矩阵；将有效图像转换成描述性内容；其中描述性内容通过以下至少一种方式表示：至少一条曲线；或者曲线能被样式编辑，样式至少包括曲线的颜色、粗细、线型；或者曲线的路径通过开始点、结束点以及连接折点的位置信息表示；按照获取原始板书图像的时序将对应的描述性内容组合成板书记录文件。本发明与现有技术的区别之处在于：将板书内容由图像转换成描述性内容来表示，实现了减少板书文件占用的存储空间、减少改造教室的成本、将板书中的中英文混写或手写的符号、公式、图形完整地记录下来的技术效果。
Description
技术领域
本申请涉及教学用具控制领域，特别是涉及一种板书记录方法和系统。
背景技术
板书是教师在教学过程中为帮助学生理解掌握知识而利用黑板以凝练、简洁的文字、符号、图表等呈现的教学信息的总称。在教学活动中，板书是老师引导学生逐步掌握知识点的基本手段，而实际教学场景下，教师黑板的可书写范围有限，因此老师会在讲完一部分内容后将对应的板书擦除。
相关技术中为了将板书保留下来方便查看，通常采用如下的方式记录板书：学生在听课同时手写记录板书中的必要内容；采用摄像、拍照记录板书的视频、图像信息的方式；通过电子白板及后台服务器来记录板书；针对板书内容采取光学字符识别(OpticalCharacter Recognition，简称OCR)后识别出文字并保存。以上各类方法存在一定的缺陷或限制：学生手动记录板书容易因为专注听课而没有记录下重要的板书内容；视频记录的方式虽然能完整记录教师讲课的过程，但是视频文件往往比较大，会占用较多的存储空间，视频文件有时还需要特定的播放器才能播放，并且视频、图像中的内容无法提取或复制出来，因此视频记录的方式不适用于分享、传播以及快速检索重点学习内容；采取OCR识别板书时存在对板书中的中英文混写或手写的符号、公式、图形识别困难而造成重点学习内容丢失的问题。
目前针对相关技术中板书记录方法存在的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种板书记录方法和系统，以至少解决相关技术中板书记录方法占用的存储空间大、板书内容无法准确的提取或者复制出来的问题。
第一方面，本申请实施例提供了一种板书处理方法，获取有效图像；其中，所述有效图像包括从原始板书图像中提取的带有板书笔迹的图像；将所述有效图像转换成描述性内容；其中，所述描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，样式编辑包括编辑曲线的颜色、粗细、线型的至少一种；或者至少一坐标点。
在其中一些实施例中，将所述有效图像转换成描述性内容包括：扫描所述有效图像的像素矩阵中像素位置和像素值的关联关系；将所述有效图像的像素矩阵转换为描述性内容，所述描述性内容用于描述所述有效图像中线段的颜色、粗细以及位置关系。
在其中一些实施例中，将所述有效图像的像素矩阵转换为描述性内容包括：所述有效图像通过边缘检测算法，得到初步边缘图像；其中，所述初步边缘图像包括用点和链标识的初步的描述表示，所述初步的描述表示至少包括由边缘检测得到的骨架线、轮廓匹配的中轴线；对所述初步边缘图像进行平滑化及去噪处理，得到描述性内容。
在其中一些实施例中，获取有效图像包括：获取原始板书图像；根据所述原始板书图像中的书写板边框裁剪所述原始板书图像，得到目标板书图像；其中，所述目标板书图像包括书写板边框内部的图像；根据所述目标板书图像中的板书笔迹裁剪所述目标板书图像，得到有效图像。
在其中一些实施例中，获取原始板书图像包括：按照预设频率控制拍摄装置获取的所述原始板书图像；或者手动控制拍摄装置获取的所述原始板书图像；或者根据书写板的内容变化触发拍摄装置获取的所述原始板书图像。
在其中一些实施例中所述描述性内容的传输形式包括JSON格式、XML格式、Protobuf或自定义二进制格式的至少一种。
在其中一些实施例中，将所述有效图像中，色彩特征值与书写板表面的色彩特征值相同的像素点调成预先设定的背景色。
第二方面，本申请实施例提供了一种板书记录方法，包括：获取有效图像；其中，所述有效图像包括从原始板书图像中提取的带有板书笔迹的图像；将所述有效图像转换成描述性内容；其中，所述描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，所述样式编辑包括编辑曲线的颜色、粗细、线型之一；或者至少一坐标点；按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件。
在其中一些实施例中，按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件包括：将相邻两个所述描述性内容通过差分计算出差异区域；将时序在后的所述描述性内容的所述差异区域记录在时序在前的所述描述性内容中；记录时序在前的所述描述性内容的时间帧的引用关系；组合成板书记录文件。
在其中一些实施例中，在按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件之后，该方法还包括：将所述板书记录文件进行压缩打包生成笔记文件。
在其中一些实施例中，在所述板书记录文件上进行将图像转为文字输出的文字识别，其中文字识别包括：识别所述有效图像中的字符；将所述有效图像中的字符转换为文本；将所述文本的字体格式设置为预先设定的字体格式。
在其中一些实施例中，在所述板书记录文件上通过复制局部或者全局区域，将图像复制输出，方便与其他系统交换数据。
第三方面，本申请实施例提供了一种板书记录系统，包括获取模块，用于获取有效图像；其中，所述有效图像包括从原始板书图像中提取的带有板书笔迹的图像；转换模块，用于将所述有效图像转换成描述性内容；其中，所述描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，所述样式编辑包括编辑曲线的颜色、粗细、线型之一；或者至少一坐标点；存储模块，用于按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件。
在其中一些实施例中，所述获取模块包括以下至少之一：摄像设备以及摄像设备连接的网络单元；或者通过在线教室输出的视频；或者采集器定时抓取的原始板书图像。
在其中一些实施例中，采集器定时抓取的书写板上的内容，包括：为采集器提供接口，手动控制拍摄装置获取原始板书图像。
在其中一些实施例中，所述获取模块包括背景分离单元：用于根据所述原始板书图像中的书写板边框裁剪板书图像，得到目标板书图像；根据目标板书图像中的板书笔迹裁剪目标板书图像，得到有效图像。
第四方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的板书记录方法。
第五方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的板书记录方法。
相比于相关技术，本申请实施例提供的板书记录方法和系统，解决了相关技术中因通过摄像、拍照记录板书的方法占用的存储空间大、板书内容无法准确的提取或者复制出来的问题，通过对板书内容的抓取和解析，将图像数据转换为表述性内容，实现了减少板书文件占用的存储空间、减少改造教室的成本、将板书中的中英文混写或手写的符号、公式、图形完整地记录下来的技术效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的板书记录方法的流程图；
图2是根据本申请实施例的板书记录系统的结构框图；
图3是根据本申请实施例的电子装置的硬件结构示意图；
图4是本申请中使用板书记录方法进行板书处理的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
本实施例提供了一种板书记录方法，图1是根据本申请实施例的板书记录方法的流程图，如图1所示，该流程包括板书处理步骤、板书记录步骤，具体而言，该方法包括：
步骤101，获取有效图像；其中有效图像包括以多通道保存的像素矩阵。
本发明提出的方案是先确定有效图像，其中有效图像为原始板书图像经过图像处理后得到的以多通道保存的像素矩阵。
在一种实施例中，在获取有效图像还包括：
获取原始板书图像；
根据原始板书图像中的书写板边框裁剪板书图像，得到目标板书图像；
根据目标板书图像中的书写笔迹裁剪目标板书图像，得到有效图像。
具体而言，在原始板书图像可以为拍摄装置朝向书写板位置拍摄得到的图像，也可以是通过其他输入设备如电子设备显示的在线教学视频获得的图像。获取原始板书图像的方式可以为按照预设的频率或时间控制拍摄装置获取；或者由教师手动控制抓取板书的时间点；或者根据书写板的内容变化触发拍摄装置获取。其中拍摄装置拍摄到的书写板的内容变化可以是书写板前人员遮挡使图像发生变化，或者记录在书写板上的内容变化使图像发生变化。
在本实施例中，可以通过图像边缘检测算法找到原始板书图像内的书写板的边框，并取得边框内部的图像；可以通过背景分离算法根据书写笔迹过滤背景，得到有效图像。
在其中一个实施例中，将有效图像中，色彩特征值与书写板表面的色彩特征值相同的像素点调成预先设定的背景色如透明色。该步骤可以使板书的笔记更分明，可读性更好。
步骤102，将有效图像转换成描述性内容；其中描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，样式编辑包括编辑曲线的颜色、粗细、线型的至少一种；或者至少一坐标点。
在本实施例中，将有效图像转换成描述性内容包括：将有效图像通过边缘检测算法，得到初步边缘图像；其中初步边缘图像包括用点和链标识的初步的描述表示，初步的描述表示至少包括由边缘检测得到的骨架线、轮廓匹配的中轴线；对初步边缘图像进行平滑化及去噪处理，得到描述性内容。
如图4所示，以通过拍摄装置获取的原始板书图像为例，具体而言，板书处理方法包括：获得原始图像；通过图像算法对原始板书图像进行处理，包括对原始板书图像进行图像去噪、图像变换、图像分析、图像压缩、图像增强、图像模糊处理等；通过边缘检测获得了多个区域；找到黑板的边框后取得黑板的边框内部的图像；通过背景分离算法将背景分离得到黑板的图像；对得到的黑板图像经描述性文本表示后再还原得到的描述性内容；将平滑处理前后的图像放大后对比可以看到经过平滑处理过的描述性文本表示的图像更加清晰。
本发明与现有技术的区别之处在于：将板书内容由图像转换成一条或者多条曲线来描述，采用如html上的css style描述曲线样式，并用位置信息表示曲线路径上的开始点、结束点以及连接折点。
具体而言，相关技术中板书直接以视频或者图像的形式保存，占用的存储空间大，且视频、图像中的内容无法提取或复制出来，因此视频、图像文件不适用于分享、传播以及快速检索重点学习内容。而采取OCR识别图像时存在对板书中的中英文混写或手写的符号、公式、图形识别困难而造成重点学习内容丢失的问题，本方案通过将图像转换成描述性内容记录，减少了板书内容占用的存储空间，且曲线样式比采取OCR在描绘板书上的英文、符号、公式、图形时精确度更高，不容易造成识别错误引起的板书内容丢失问题。本发明通过获取有效图像，将有效图像转换成描述性内容。有效图像是通过图像算法对原始板书图像进行处理后的图像，具体地，对原始图像进行处理包括通过图像边缘检测算法获取板书的边框、获取边框内的第一图像、过滤第一图像的背景后得到第二图像，将第二图像作为有效图像。
需要说明的是，原始板书图像可以为多通道保存的像素矩阵，包括RGB通道、alpha通道，根据原始板书图像中的板书内容获取有效图像后，可以将有效图像的像素矩阵转换为描述性内容，包括点、曲线以及曲线的颜色、线型、粗细以及位置关系。原始板书图像也可以为单通道灰度图，将单通道灰度图转换为描述性内容，可以是点、曲线、以及曲线的粗细、线型、以及位置关系。
值得注意的是，在本实施例中，任何一根连续的线条都称为曲线，曲线包括直线、折线、线段、圆弧等。获取描述性内容中可以是一个单独点，也可以是由开始点、结束点以及连接折点来表示的曲线，其中点的位置信息可以是开始点、结束点以及连接折点的相对位置、坐标。在本实施例中，直接使用坐标点表示描述性内容比使用点与点之间的相对位置在计算上更加方便。
步骤S103，按照获取原始板书图像的时序将对应的描述性内容组合成板书记录文件。
在其中一个实施例中，在按照获取原始板书图像的时序将对应的描述性内容组合成板书记录文件包括：
将相邻两个描述性内容通过差分计算出差异区域；
将时序在后的描述性内容的差异区域记录在时序在前描述性内容中；
记录时序在前的描述性内容的时间帧的引用关系；
组合成板书记录文件。
在本实施例中，获取的描述性内容可以是由多条曲线描述的板书内容。由于前后时间不同的板书记录之间存在重复部分，为了进一步减少存储空间，将相邻两个描述性内容通过差分计算出差异区域，只记录描述性内容中差异区域的部分，并且记录差异比较的前一部分的时间帧的引用关系，比如<ref＝id:1234>引用了id为1234的这一帧内容，在其后续加入差异区域的部分，差异部分用不同的段落标识来体现，可以加上增加或者减少的内容，再复现这个id为1234的一帧图像，就能在前一帧的基础上描绘出后一帧的信息。通过差分计算可以只得到板书随时间变换的描述性内容，而不用记录、存储全部的描述性内容，减少板书记录文件的存储空间。
在其中一些实施例中，描述性内容的传输形式包括JSON格式、XML格式、Protobuf或自定义二进制格式的至少一种。
在其中一些实施例中，为了进一步减少存储空间，在按照获取原始板书图像的时序将对应的描述性内容组合成板书记录文件之后，可以将板书记录文件进行压缩打包生成笔记初始文件。具体地，可以采用如gzip的压缩方式，学生获取板书内容时，可以通过下载笔记初始文件，解压到自己的设备中进行知识点的学习、回顾。
值得注意的是，在板书记录文件中记录的是书写板上的全部内容，包括但不限于文字、图形、符号。在其中一些实施例中，可以在板书记录文件上进行将图像转为文字输出的文字识别，其中文字识别包括：识别有效图像中的字符；将有效图像中的字符转换为文本；将文本的字体格式设置为预先设定的字体格式。在其中一些实施例中，在板书记录文件上能快速检索学习重点内容，通过复制局部或者全局区域，将图像复制输出，便于分享、传播以及笔记整理。
目前相关技术中的板书记录技术主要以拍照、录像、电子白板为主，且一般板书记录文件不经过处理直接存储。通过上述步骤101-步骤103，本发明减少了改造教室、安装电子白板的成本，在拍摄装置获取板书的视频或者图像后，通过将图像处理后转换成描述性内容进行存储，可有效地减少板书记录文件存储空间，可以方便提取板书中的内容，实现了高效的记录板书的技术效果。
本实施例还提供了一种板书记录系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例的板书记录系统的结构框图，如图2所示，该系统包括：包括获取模块，用于获取有效图像；其中有效图像包括根据板书笔迹从原始板书图像中提取的图像；转换模块，用于将有效图像转换成描述性内容；其中描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，样式编辑包括编辑曲线的颜色、粗细、线型的至少一种；或者至少一坐标点；存储模块，用于按照获取原始板书图像的时序将对应的描述性内容组合成板书记录文件。
在其中一个实施例中，获取模块被配置为用于直接拍摄板书图像的摄像设备以及摄像设备连接的网络单元；或者用于从在线教室中获取输出视频；或者根据采集器定时抓取原始板书图像。
在其中一些实施例中，采集器可以为定时出发，也可以是人工出发，具体地，可以采集器定时抓取的书写板上的内容，还也可以为采集器提供接口，手动控制拍摄装置获取原始板书图像。
在其中一些实施例中，在其中一些实施例中，获取模块还被配置为包括背景分离单元：用于根据原始板书图像中的书写板边框裁剪板书图像，得到目标板书图像；根据目标板书图像中的书写笔迹裁剪目标板书图像，得到有效图像。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器302可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器304。举例来说而非限制，存储器304可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器304可在数据处理装置的内部或外部。在特定实施例中，存储器304是非易失性(Non-Volatile)存储器。在特定实施例中，存储器304包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器304(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的任意一种板书记录方法。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
可选地，在本实施例中，上述处理器302可以被设置为通过计算机程序执行以下步骤：
S101，获取有效图像；其中，有效图像包括从原始板书图像中提取的带有板书笔迹的图像。
S102，将有效图像转换成描述性内容；其中描述性内容通过以下至少一种方式表示：至少一条曲线；或者曲线能被样式编辑，样式至少包括曲线的颜色、粗细、线型；或者至少一坐标点。
S103，按照获取原始板书图像的时序将对应的描述性内容组合成板书记录文件。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的板书记录方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种板书记录方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (18)
1.一种板书处理方法，其特征在于，所述方法包括：
获取有效图像；其中，所述有效图像包括从原始板书图像中提取的带有板书笔迹的图像；
将所述有效图像转换成描述性内容；其中，所述描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，样式编辑包括编辑曲线的颜色、粗细、线型的至少一种；或者至少一坐标点。
2.根据权利要求1所述的板书处理方法，其特征在于，将所述有效图像转换成描述性内容包括：
扫描所述有效图像的像素矩阵中像素位置和像素值的关联关系；
将所述有效图像的像素矩阵转换为描述性内容，所述描述性内容用于描述所述有效图像中线段的颜色、粗细、线型以及位置关系。
3.根据权利要求2所述的板书处理方法，其特征在于，将所述有效图像的像素矩阵转换为描述性内容包括：
将所述有效图像通过边缘检测算法，得到初步边缘图像；其中，所述初步边缘图像包括用点和链标识的初步的描述表示，所述初步的描述表示至少包括由边缘检测得到的骨架线、轮廓匹配的中轴线；
对所述初步边缘图像进行平滑化及去噪处理，得到描述性内容。
4.根据权利要求1所述的板书处理方法，其特征在于，获取有效图像包括：获取原始板书图像；
根据所述原始板书图像中的书写板边框裁剪所述原始板书图像，得到目标板书图像；其中，所述目标板书图像包括书写板边框内部的图像；
根据所述目标板书图像中的板书笔迹裁剪所述目标板书图像，得到有效图像。
5.根据权利要求4所述的板书处理方法，其特征在于，获取原始板书图像包括：
按照预设频率控制拍摄装置获取的所述原始板书图像；
或者手动控制拍摄装置获取的所述原始板书图像；
或者根据书写板的内容变化触发拍摄装置获取的所述原始板书图像。
6.根据权利要求1所述的板书处理方法，其特征在于，所述描述性内容的传输形式包括JSON格式、XML格式、Protobuf或自定义二进制格式的至少一种。
7.根据权利要求1所述的板书处理方法，其特征在于，将所述有效图像中，色彩特征值与书写板表面的色彩特征值相同的像素点调成预先设定的背景色。
8.一种板书记录方法，其特征在于，所述方法包括：
获取有效图像；其中，所述有效图像包括从原始板书图像中提取的带有板书笔迹的图像；
将所述有效图像转换成描述性内容；其中，所述描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，所述样式编辑包括编辑曲线的颜色、粗细、线型之一；或者至少一坐标点；
按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件。
9.根据权利要求8所述的板书记录方法，其特征在于，按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件包括：
将相邻两个所述描述性内容通过差分计算出差异区域；
将时序在后的所述描述性内容的所述差异区域记录在时序在前的所述描述性内容中；
记录时序在前的所述描述性内容的时间帧的引用关系；
组合成板书记录文件。
10.根据权利要求8所述的板书记录方法，其特征在于，在按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件之后，该方法还包括：
将所述板书记录文件进行压缩打包生成笔记文件。
11.根据权利要求8所述的板书记录方法，其特征在于，在所述板书记录文件上进行将图像转为文字输出的文字识别，其中文字识别包括：
识别所述有效图像中的字符；
将所述有效图像中的字符转换为文本；
将所述文本的字体格式设置为预先设定的字体格式。
12.根据权利要求8所述的板书记录方法，其特征在于，在所述板书记录文件上通过复制局部或者全局区域，将图像复制输出。
13.一种板书记录系统，其特征在于，包括：
获取模块，用于获取有效图像；其中，所述有效图像包括从原始板书图像中提取的带有板书笔迹的图像；
转换模块，用于将所述有效图像转换成描述性内容；其中，所述描述性内容通过以下至少一种方式表示：至少一条曲线；或者能被样式编辑的曲线，所述样式编辑包括编辑曲线的颜色、粗细、线型之一；或者至少一坐标点；
存储模块，用于按照获取所述原始板书图像的时序将对应的所述描述性内容组合成板书记录文件。
14.根据权利要求13所述的板书记录系统，其特征在于，所述获取模块包括以下至少之一：摄像设备以及摄像设备连接的网络单元；或者通过在线教室输出的视频；或者采集器定时抓取的原始板书图像。
15.根据权利要求14所述的板书记录系统，其特征在于，采集器定时抓取的书写板上的内容，包括：
为采集器提供接口，手动控制拍摄装置获取原始板书图像。
16.根据权利要求13所述的板书记录系统，其特征在于，所述获取模块包括背景分离单元：用于根据所述原始板书图像中的书写板边框裁剪板书图像，得到目标板书图像；根据所述目标板书图像中的板书笔迹裁剪所述目标板书图像，得到有效图像。
17.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求8至12中任一项所述的板书记录方法。
18.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求8至12中任一项所述的板书记录方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010759147.4A CN111881904A (zh) | 2020-07-31 | 2020-07-31 | 板书记录方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010759147.4A CN111881904A (zh) | 2020-07-31 | 2020-07-31 | 板书记录方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111881904A true CN111881904A (zh) | 2020-11-03 |
Family
ID=73204899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010759147.4A Pending CN111881904A (zh) | 2020-07-31 | 2020-07-31 | 板书记录方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881904A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112558812A (zh) * | 2020-12-15 | 2021-03-26 | 深圳市康冠商用科技有限公司 | 笔锋生成方法、装置、智能设备及存储介质 |
| CN113326813A (zh) * | 2021-07-08 | 2021-08-31 | 长春电子科技学院 | 数学课堂板书电子格式转换方法 |
| CN114945107A (zh) * | 2022-04-15 | 2022-08-26 | 北京奕斯伟计算技术股份有限公司 | 视频处理方法和相关装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102200884A (zh) * | 2010-03-26 | 2011-09-28 | 精工爱普生株式会社 | 笔迹数据生成系统以及笔迹数据生成方法 |
| CN103927909A (zh) * | 2014-04-29 | 2014-07-16 | 南京数模微电子有限公司 | 触摸式移动终端的交互式教学系统与方法 |
| JP2015176187A (ja) * | 2014-03-13 | 2015-10-05 | シャープ株式会社 | 描画装置、描画制御プログラムおよび描画制御方法 |
| CN105988567A (zh) * | 2015-02-12 | 2016-10-05 | 北京三星通信技术研究有限公司 | 手写信息的识别方法和装置 |
| CN107506719A (zh) * | 2017-08-18 | 2017-12-22 | 广州视源电子科技股份有限公司 | 教学板书显示方法、装置、设备及计算机可读存储介质 |
| CN107506720A (zh) * | 2017-08-18 | 2017-12-22 | 广州视源电子科技股份有限公司 | 板书处理方法、装置、设备和计算机可读存储介质 |
| US20180082663A1 (en) * | 2015-06-04 | 2018-03-22 | Eiji Kemmochi | Information processing apparatus, image displaying method, and non-transitory computer readable medium |
| CN108171282A (zh) * | 2017-12-29 | 2018-06-15 | 安徽慧视金瞳科技有限公司 | 一种黑板笔迹自动合成方法 |
| CN108763320A (zh) * | 2018-04-28 | 2018-11-06 | 广东蜂助手网络技术股份有限公司 | 一种书写笔记数据存储方法、装置、终端及存储介质 |
| CN108805108A (zh) * | 2018-07-17 | 2018-11-13 | 珠海向导科技有限公司 | 一种板书笔迹记录方法 |
| CN109150990A (zh) * | 2018-07-27 | 2019-01-04 | 掌阅科技股份有限公司 | 笔记分享方法、设备及计算机存储介质 |
| CN110209873A (zh) * | 2019-06-04 | 2019-09-06 | 北京梦想加信息技术有限公司 | 白板板书记录方法、设备、系统和存储介质 |
| CN111008969A (zh) * | 2019-12-06 | 2020-04-14 | 浙江蓝鸽科技有限公司 | 黑板板书提取与智能识别方法及系统 |
-
2020
- 2020-07-31 CN CN202010759147.4A patent/CN111881904A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102200884A (zh) * | 2010-03-26 | 2011-09-28 | 精工爱普生株式会社 | 笔迹数据生成系统以及笔迹数据生成方法 |
| JP2015176187A (ja) * | 2014-03-13 | 2015-10-05 | シャープ株式会社 | 描画装置、描画制御プログラムおよび描画制御方法 |
| CN103927909A (zh) * | 2014-04-29 | 2014-07-16 | 南京数模微电子有限公司 | 触摸式移动终端的交互式教学系统与方法 |
| CN105988567A (zh) * | 2015-02-12 | 2016-10-05 | 北京三星通信技术研究有限公司 | 手写信息的识别方法和装置 |
| US20180082663A1 (en) * | 2015-06-04 | 2018-03-22 | Eiji Kemmochi | Information processing apparatus, image displaying method, and non-transitory computer readable medium |
| CN107506720A (zh) * | 2017-08-18 | 2017-12-22 | 广州视源电子科技股份有限公司 | 板书处理方法、装置、设备和计算机可读存储介质 |
| CN107506719A (zh) * | 2017-08-18 | 2017-12-22 | 广州视源电子科技股份有限公司 | 教学板书显示方法、装置、设备及计算机可读存储介质 |
| CN108171282A (zh) * | 2017-12-29 | 2018-06-15 | 安徽慧视金瞳科技有限公司 | 一种黑板笔迹自动合成方法 |
| CN108763320A (zh) * | 2018-04-28 | 2018-11-06 | 广东蜂助手网络技术股份有限公司 | 一种书写笔记数据存储方法、装置、终端及存储介质 |
| CN108805108A (zh) * | 2018-07-17 | 2018-11-13 | 珠海向导科技有限公司 | 一种板书笔迹记录方法 |
| CN109150990A (zh) * | 2018-07-27 | 2019-01-04 | 掌阅科技股份有限公司 | 笔记分享方法、设备及计算机存储介质 |
| CN110209873A (zh) * | 2019-06-04 | 2019-09-06 | 北京梦想加信息技术有限公司 | 白板板书记录方法、设备、系统和存储介质 |
| CN111008969A (zh) * | 2019-12-06 | 2020-04-14 | 浙江蓝鸽科技有限公司 | 黑板板书提取与智能识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| MUDIT AGRAWAL 等: "UPX: A New XML Representation for Annotated Datasets of Online Handwriting Data", 《PROCEEDINGS OF THE 2005 EIGHT INTERNATIONAL CONFERENCE ON DOCUMENT ANALYSIS AND RECOGNITION 》 * |
| 余佳航: "基于计算机视觉的原笔迹提取与汉字识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112558812A (zh) * | 2020-12-15 | 2021-03-26 | 深圳市康冠商用科技有限公司 | 笔锋生成方法、装置、智能设备及存储介质 |
| CN113326813A (zh) * | 2021-07-08 | 2021-08-31 | 长春电子科技学院 | 数学课堂板书电子格式转换方法 |
| CN114945107A (zh) * | 2022-04-15 | 2022-08-26 | 北京奕斯伟计算技术股份有限公司 | 视频处理方法和相关装置 |
| CN114945107B (zh) * | 2022-04-15 | 2024-02-02 | 北京奕斯伟计算技术股份有限公司 | 视频处理方法和相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11849196B2 (en) | Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter | |
| CN109803180B (zh) | 视频预览图生成方法、装置、计算机设备及存储介质 | |
| CN111881904A (zh) | 板书记录方法和系统 | |
| US8280158B2 (en) | Systems and methods for indexing presentation videos | |
| WO2019200783A1 (zh) | 动态图表类页面数据爬取方法、装置、终端及存储介质 | |
| WO2021035223A1 (en) | Automatic data extraction and conversion of video/images/sound information from a board-presented lecture into an editable notetaking resource | |
| WO2019033656A1 (zh) | 板书处理方法、装置、设备和计算机可读存储介质 | |
| CN112261477B (zh) | 视频处理方法及装置、训练方法和存储介质 | |
| WO2019090903A1 (zh) | 一种视频处理方法、装置、终端设备和存储介质 | |
| KR102399508B1 (ko) | 레이아웃 분석 방법, 판독 보조 장치, 회로, 및 매체 | |
| CN109492206A (zh) | Ppt演示文档录制方法、装置、计算机设备和存储介质 | |
| CN111462554A (zh) | 网上课堂视频知识点识别方法和装置 | |
| CN113436222A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| WO2019033660A1 (zh) | 教学关联信息的确定方法、装置、教学设备及存储介质 | |
| US11348254B2 (en) | Visual search method, computer device, and storage medium | |
| CN110928478A (zh) | 应用于教学的手写笔迹重现系统、方法和装置 | |
| CN111382647A (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| CN111275048B (zh) | 一种基于ocr文字识别技术的ppt复现方法 | |
| CN110795918B (zh) | 确定阅读位置的方法、装置及设备 | |
| CN111008295A (zh) | 书页检索方法、装置、电子设备和存储介质 | |
| JP2017084304A (ja) | 画像表示装置、画像表示方法 | |
| CN111753108B (zh) | 演示文稿生成方法、装置、设备及介质 | |
| US20240078007A1 (en) | Information processing apparatus, information processing method, and program | |
| CN111556251A (zh) | 电子书生成方法、设备及介质 | |
| CN110427820B (zh) | 一种基于神经网络的ppt边框识别方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201103 |