CN111008969A - 黑板板书提取与智能识别方法及系统 - Google Patents

黑板板书提取与智能识别方法及系统 Download PDF

Info

Publication number
CN111008969A
CN111008969A CN201911241316.9A CN201911241316A CN111008969A CN 111008969 A CN111008969 A CN 111008969A CN 201911241316 A CN201911241316 A CN 201911241316A CN 111008969 A CN111008969 A CN 111008969A
Authority
CN
China
Prior art keywords
blackboard
area
frame
writing
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911241316.9A
Other languages
English (en)
Other versions
CN111008969B (zh
Inventor
张新华
王朝选
申会强
吴高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lancoo Technology Co ltd
Original Assignee
Zhejiang Lancoo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lancoo Technology Co ltd filed Critical Zhejiang Lancoo Technology Co ltd
Priority to CN201911241316.9A priority Critical patent/CN111008969B/zh
Publication of CN111008969A publication Critical patent/CN111008969A/zh
Application granted granted Critical
Publication of CN111008969B publication Critical patent/CN111008969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本申请涉及教学领域，公开了一种黑板板书提取与智能识别方法及系统。该方法包括：预先用摄像机标定黑板，确定黑板区域；每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；以及将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。本申请的实施方式能够对摄像机拍摄的教学视频进行有效优化，提高了黑板板书的提取的可靠性和准确性。

Description

黑板板书提取与智能识别方法及系统
技术领域
本申请涉及教学领域，特别涉及黑板板书提取技术。
背景技术
网上课堂视频可以作为学生课后自习、老师课后教学观摩的素材，深受用户喜爱。随着网上课堂视频等产品的普及，一个地区所有教室一年内产生的网上课堂视频数量为百万数量级，而摄像机在拍摄视频时需要兼容教师教学行为拍摄和黑板板书特写拍摄功能，拍摄画面中包含很多无效信息，增加了黑板板书的提取的困难。
发明内容
本申请的目的在于提供一种黑板板书提取与智能识别方法及系统，能够对摄像机拍摄的教学视频进行有效优化，提高了黑板板书的提取的可靠性和准确性。
本申请公开了一种黑板板书提取与智能识别方法，包括：
预先用摄像机标定黑板，确定黑板区域；
每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；
如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
在一个优选例中，所述每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新，进一步包括：
每隔预设时间，分别将所述摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图；
根据所述二值图判断所述黑板板书是否有更新。
在一个优选例中，所述根据所述二值图判断所述黑板板书是否有更新，进一步包括：
如果所述二值图的像素个数之和小于第一预设阈值，则判定所述黑板板书没有更新，以及如果所述二值图的像素个数之和大于第二预设阈值，则确定所述黑板板书有更新或所述黑板区域有遮挡物；
将所述二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块；
如果某个矩形区块下边沿在所述黑板区域下边沿的上方，则判定所述黑板板书有更新，及如果某个矩形区块下边沿在所述黑板区域下边沿的下方，则判定所述黑板区域有遮挡物。
在一个优选例中，所述根据比对结果判断黑板板书是否有更新之后，还包括：
如果所述黑板板书没有更新，则将当前图像帧更新为所述基准图像帧，其中初始基准图像帧为所述摄像机开机后的第一张图像帧。
在一个优选例中，所述黑板包括多联规格相同的子黑板。
在一个优选例中，识别所述当前图像帧的所述黑板区域中的有效区域，进一步包括：
将所述当前图像帧从RGB颜色空间转换为Lab颜色空间，提取所述Lab颜色空间中的b通道图像；
将所述b通道图像按照图像的灰度特性分成背景和黑板边框；
将所述黑板边框进行二值化处理，得到边框二值图；
根据所述边框二值图确认所述黑板区域中的有效区域。
在一个优选例中，所述预先用摄像机标定黑板，确定黑板区域之后，还包括：
框选所述摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值；
所述根据所述边框二值图确认所述黑板区域中的有效区域，进一步包括：
根据所述边框二值图得到所述当前图像帧的黑板边框形态图，如果所述黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；
计算所述黑板边框形态图中每个闭合区域的图像像素值；
如果某一闭合区域的图像像素值与所述完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；
计算每个被标识的闭合区域中的所有像素的颜色平均值和所述黑板区域内的所有像素的颜色平均值；
如果某个被标识的闭合区域中的所有像素的颜色平均值与所述黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为所述有效区域。
本申请还公开了一种黑板板书提取与智能识别系统，包括：
标定模块，用于预先用摄像机标定黑板，确定黑板区域；
判断模块，用于每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；
识别模块，用于如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
提取模块，用于将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
本申请还公开了一种黑板板书提取与智能识别系统，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。
本申请还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。
本申请实施方式中，至少包括以下优点：
标定黑板框定黑板区域，每隔预设时间，将摄像机所拍摄视频的当前图像帧和基准图像帧进行比对来判断黑板板书是否有更新，如果判定黑板板书有更新则确定当前图像帧为有效帧，识别该有效帧中的该黑板区域中的有效区域，采用例如OCR算法将有效区域中的黑板板书转化为文本；其中通过周期性识别摄像机视频中的有效帧，减少了参与OCR算法识别图像帧的数量，节约了硬件计算资源，而且在识别有效帧的基础上，进一步识别有效帧中的黑板区域中的有效区域以剔除无效区域和非黑板区域，减少了OCR算法的计算量，提高了黑板板书的提取效率和准确度。
进一步地，根据当前图像帧和基准图像帧得到二者的灰度图化后的差值二值图，并对二值图进行特征分析，以实现对当前图像帧的黑板板书内容是否更新做出准确判定，进一步提高了黑板板书的提取的可靠性和准确性。
进一步地，在识别黑板区域中的有效区域过程中，利用黑板边框与黑板板面、背景墙壁颜色色差的这一特征，将摄像机拍摄的图像抽象分离为包含黑板边框的形态图，通过黑板边框形态图实现了黑板区域的自动标定和有效区域的自动识别，实现了黑板区域中有效区域的自动识别过程，将摄像机所拍摄图像中所包含的墙壁、教学仪器等无效信息进行了滤除，提高了有效区域识别的可靠性和准确性，进一步提高了黑板板书的提取的可靠性和准确性。
并且，针对在摄像机拍摄的网上课堂视频，需要兼容教师教学行为拍摄与黑板板书特写拍摄功能，本申请的实施方式实现了一个摄像机兼容教师教学行为的拍摄与黑板板书提取的功能，有效地降低了网上课堂产品的硬件成本造价。
本申请的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本申请所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本申请上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征A+B+C，在另一个例子中公开了特征A+B+D+E，而特征C和D是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征E技术上可以与特征C相组合，则，A+B+C+D的方案因技术不可行而应当不被视为已经记载，而A+B+C+E的方案应当视为已经被记载。
附图说明
图1是根据本申请第一实施方式的黑板板书提取与智能识别方法流程示意图；
图2是根据本申请第一实施方式的一个示例图像在标定黑板框选出黑板区域后的状态图；
图3是根据本申请第一实施方式的步骤b的一个具体实施例；
图4是根据本申请第一实施方式的摄像机拍摄的当前图像帧和基准图像帧的灰色图的差值二值图的一个示例的示意图；
图5是根据本申请第一实施方式的左右拉合形式的示例黑板的某一拉合状态的示意图；
图6是根据本申请第一实施方式的上下拉合形式的示例黑板的某一拉合状态的示意图；
图7是根据本申请的示例黑板的四联子黑板依次排布的状态图；
图8是根据本申请的示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；
图9是根据本申请的示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；
图10是根据本申请的示例黑板的包含三个闭合区域的一种黑板边框形态图的示意图；
图11是根据本申请的示例黑板的包含五个闭合区域的一种黑板边框形态图的示意图；
图12是根据本申请的示例黑板的包含四个闭合区域的一种黑板边框形态图的示意图；
图13是根据本申请第二实施方式的黑板板书提取与智能识别系统结构示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
部分概念的说明：
有效区域：黑板区域中具有完整子黑板的闭合区域。
无效区域：黑板区域中某块子黑板被其他子黑板部分或全部遮挡，造成黑板板书不完整而无法对其进行识别的闭合区域。
非黑板区域：黑板区域中因子黑板拉开后露出的区域。
有效帧：网上课堂视频中产生了黑板板书更新的图像帧。
光学字符识别(Optical Character Recognition，OCR)方法是手写字符识别的通用方法，可以将黑板板书图片中的手写字符转化为文本。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
目前，由于网上课堂摄像机需要兼容教师教学行为拍摄与黑板板书特写拍摄功能，而摄像机所拍摄的图像除了包含黑板外，还包含墙壁、教学仪器等其他背景，如果直接对摄像机拍摄的黑板板书进行识别，由于图像中包含大量的无效信息，算法运算结果会生成大量乱码，会导致算法准确低；同时考虑到教师书写更新黑板板书的频率为可能是若干分钟一次，而标准视频中图片帧率为25帧/秒，如果对摄像机拍摄视频中的每一帧的图像进行识别黑板板书，将会浪费大量的硬件计算资源，也会导致算法效率低。
为了解决至少以上问题，本申请的第一实施方式涉及一种黑板板书提取与智能识别方法，其流程如图1所示，该方法包括以下步骤：
在步骤101中，预先用摄像机标定黑板，确定黑板区域。
该步骤101中可以是在第一次安装摄像机时采用人工方式用该摄像机标定黑板。在一个实施例中，在安装摄像机时，通过软件设置，令工程安装人员在操作界面上用矩形框框选黑板，系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域，由于打开摄像机后其位置和拍摄角度是固定的，黑板在摄像画面中区域也是固定的，因此，仅在安装的时候进行一次框选黑板就可以完成标定工作。且不限于此实施例，其他可以实现黑板标定的具体实施方式都在本说明书的保护范围内。例如，图2所示为摄像机标定黑板框选出黑板区域后的示例状态图，框选出黑板区域后，该帧图像被划分为背景区域和黑板区域。
需要说明的是，本申请的摄像机是指能够采集图像的任何装置和设备，例如但不限于包括可以定时获取图像功能的视频采集装置和图片采集装置等。
之后，进入步骤102，每隔预设时间，将该摄像机拍摄的当前图像帧和基准图像帧进行比对。
在一个实施例中，可以是在所述摄像机拍摄期间实时执行该步骤102。在另一个实施例中，也可以对已拍摄完成的某堂课视频执行该步骤102。
该预设时间可以根据情况进行设置。在一个实施例中，该预设时间可以根据教师两次书写板书的所间隔的最短时间设置；例如如果教师两次书写板书的所间隔的最短时间为t，则该预设时间可以设置为≤t。在另一个实施例中，该预设时间可以根据经验进行设置；例如考虑到标准视频中图片帧率为25帧/秒，该预设时间可以设置为1s、2s、3s等。
之后，进入步骤103，根据步骤102中的比对结果判断黑板板书是否有更新。
可选地，该步骤102和步骤103进一步包括以下步骤a和b：
在步骤a中，每隔预设时间，分别将该摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图。之后执行步骤b，根据该二值图判断该黑板板书是否有更新。
可选地，该步骤b进一步包括以下步骤①～⑥：
在步骤①中，将该二值图的像素个数之和与第一预设阈值比对以判断该二值图的像素个数之和是否小于第一预设阈值，如果该二值图的像素个数之和小于该第一预设阈值，则判定黑板板书没有更新；以及，
在步骤②中，将该二值图的像素个数之和与第二预设阈值比对以判断该二值图的像素个数之和是否大于第二预设阈值，如果该二值图的像素个数之和大于第二预设阈值，则判定该黑板板书有更新或该黑板区域有遮挡物；之后执行步骤③，将该二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块；之后执行步骤④，将各矩形区块下边沿与黑板区域比对，判断该各矩形区块下边沿是否在该黑板区域下边沿的上方；如果在该黑板区域下边沿的上方，则执行步骤⑤判定该黑板板书有更新；否则执行步骤⑥判定该黑板区域有遮挡物。
需要说明的是，上述可选实施例中的步骤①和步骤②③④⑤⑥可以同时执行或者先后执行。图3为第一实施方式中基于步骤①和步骤②③④⑤⑥先后执行的步骤b的一个具体实施例。
另外，为了更好的理解，对上述实施例进一步举例说明：如图4所示为摄像机拍摄的当前图像帧和基准图像帧的灰色图的差值二值图的一个示例，为了明显区分，图中将黑板区域用灰色矩形框框定，该二值图中第一白色区域块对应的矩形区块下边沿在黑板区域下边沿的上方，为黑板板书更新造成的，第二白色区域块(比第一白色区域块面积大的)对应的矩形区块下边沿在黑板区域下边沿的下方，为教师(遮挡物)移动造成的。需要说明的是，该例子中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。
可选地，如图1所示，该步骤103之后还包括以下步骤105：
在步骤105中，如果该黑板板书没有更新，则将当前图像帧更新为该基准图像帧，其中初始基准图像帧为该摄像机开机后的第一张图像帧。
之后，进入步骤104，如果该黑板板书有更新，则识别该当前图像帧的该黑板区域中的有效区域。
可以根据黑板边框与黑板板面、背景墙壁颜色色差较大的这一特征，将该当前图像帧抽象分离为只包含黑板边框的形态图和其他。可选地，该步骤104中“识别该当前图像帧的该黑板区域中的有效区域”进一步实现为以下子步骤A、B、C和D：
在步骤A中，将该当前图像帧从RGB颜色空间转换为Lab颜色空间，提取该Lab颜色空间中的b通道图像；之后执行步骤B，将该b通道图像按照图像的灰度特性分成背景和黑板边框；之后执行步骤C，将该黑板边框进行二值化处理，得到边框二值图；之后执行步骤D，根据该边框二值图确认该黑板区域中的有效区域。
在一个实施例中，该步骤B和C进一步包括以下步骤I、II和III：
在步骤I中，确定该b通道图像大小为M×N，黑板边框的像素个数占整幅图像的比例为ω0，其平均灰度为μ0，背景像素个数占整幅图像的比例为ω1，其平均灰度为μ1，b通道图像的总平均灰度记为μ；
之后执行步骤II，设置一个阈值T，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则有：
ω0＝N0/M×N (1)
ω1＝N1/M×N (2)
N0+N1＝M×N (3)
ω0+ω1＝1 (4)
μ＝ω0*μ0+ω1*μ1 (5)
g＝ω0(μ0-μ)2+ω1(μ1-μ)2 (6)
将式(5)代入式(6)，得到等价公式：
g＝ω0ω1(μ0-μ1)2 (7)并采用遍历的方法得到使g最大的阈值T，该阈值T是最优的二值化阈值；
之后执行步骤III，根据该阈值T将该黑板边框进行二值化处理，得到边框二值图。
可选地，该黑板可以是单联黑板，也可以是包括多联规格相同的子黑板。在一个实施例中，该黑板包括多联规格相同的子黑板。例如该多联子黑板为四联黑板，如图5所示为左右拉合形式的示例黑板的某一拉合状态的示意图，如图6所示为上下拉合形式的示例黑板的某一拉合状态的示意图。
在一个实施例中，该黑板是多联规格相同的子黑板。在该实施例中，该101之后还包括以下步骤：框选该摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值。在该实施例中，该步骤D可以进一步实现为以下步骤：根据该边框二值图得到该当前图像帧的黑板边框形态图，如果该黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；计算该黑板边框形态图中每个闭合区域的图像像素值；如果某一闭合区域的图像像素值与该完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；计算每个被标识的闭合区域中的所有像素的颜色平均值和该黑板区域内的所有像素的颜色平均值；如果某个被标识的闭合区域中的所有像素的颜色平均值与该黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为该有效区域。需要指出，该实施例中的第三预设阈值和第四预设阈值可以根据具体情况进行设置，例如但不限于可以根据经验进行设置。
之后，进入步骤106，将该当前图像帧的该有效区域中的该黑板板书转化为文本。
在一个实施例中，该步骤106可以进一步实现为：采用OCR算法将该当前图像帧的该有效区域中的该黑板板书转化为文本。但不仅限于此实施例，其他可以将该当前图像帧的该有效区域中的该黑板板书转化为文本的现有的或待开发的方法都在本申请的保护范围内。
为了能够更好地理解本申请的技术方案，下面结合一个具体的示例来进行说明，该示例中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。该示例黑板为四联左右可拉合式黑板，该示例黑板包括四联规格相同的子黑板(子黑板1、子黑板2、子黑板3、子黑板4)，如图7所示为四联子黑板依次排布的状态图，其中子黑板1和子黑板4分别固定于最左侧和最右侧，子黑板2和子黑板3可以左右移动拉合，根据本说明书中的实施方式，可以按照以下四个步骤对该示例黑板的黑板板书进行提取，具体包括：
步骤一，打开摄像机，标定示例黑板。
1)安装摄像机时，通过软件设置，由工程安装人员在操作界面上用矩形框框选黑板；
2)系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域；
3)由工程人员框选黑板的一联完整子黑板，后台软件读取框选的坐标，并计算出该完整子黑板在拍摄图像中所占的像素个数，记为D。
步骤二，摄像机拍摄期间，基于摄像机所拍摄视频判断黑板板书是否有更新。
1)记录摄像机后的第一张图像帧，作为初始基准帧图像；
2)拍摄期间，每隔时间t(t＝1s)获取该摄像机视频的当前图像帧，分别将当前图像帧和基准图像帧转化为灰度图；
3)将当前图像帧与基准图像帧转化后的灰度图作差，并将差值图进行二值图化处理，生成二值图；
4)当二值图的像素个数之和小于第一预设阈值，则判定黑板板书没有更新，黑板区域中也没有遮挡物(如教师)，图像的差别是光线变化造成的，用当前图像帧更新基准图像帧，当二值图的像素个数之和大于第二预设阈值，则判定黑板板书有更新或黑板区域中有遮挡物(如教师)，之后继续进行5)；
5)将3)中所得的二值图根据区域连通性分为若干个区域块，求出能包含每个区域块的最小面积的矩形区块，对各矩形区块的位置进行以下分析：
当区域块矩形下边缘的纵坐标小于黑板下边缘纵坐标时，判定该区域块为遮挡物移动造成的，黑板板书没有更新；
当区域块矩形下边缘的纵坐标大于黑板下边缘纵坐标时，判定黑板板书有更新。
步骤三，识别黑板区域中的有效区域。
1)基于步骤一框选的黑板区域和步骤二确定的二值图得到黑板边框的形态图，其中如果黑板边框形态图中某个闭合区域下边沿为非闭合曲线时，则判定教师遮挡黑板造成的，可以将该区域补充为闭合的区域。
2)由黑板边框形态图，计算出每个闭合区域所占的像素值d。
3)每个闭合区域所占的像素值与步骤一标定的一联完整子黑板所占的像素进行对比分析：当满足|d-D|＜α时，该闭合区域的大小与标定的子黑板区域大小相近，判定为该闭合区域为完整子黑板或者非黑板区域，其中阈值α为经验值。
4)满足3)的各闭合区域需要通过颜色判别法进行进一步甄别是否存在非黑板区域(例如可能存在图8和图9所示的闭合区域2和闭合区域3大小与完整黑板像素值相近，但是都为非黑板区域)，即获取满足3)的各闭合区域内所有对各区域的图像像素的颜色求平均值，分别为C1、C2、C3……、Cn，并求得黑板区域内所有像素的平均值Cav，满足|Cav-Cn|＜δ时，Cn对应的闭合区域为有效区域，否则为非黑板区域，其中阈值δ为经验值。例如可能得到的以下i ii iii三种情况的黑板边框形态图：
i.得到的黑板边框形态图包含三个闭合区域，效果如图10所示。可以判定：图中闭合区域2为非黑板，闭合区域1、闭合区域3为有效区域。
ii.得到的黑板边框形态图包含五个闭合区域，效果如图11所示，可以判定：图中区域3为非黑板区域，闭合区域1、闭合区域5为无效区域，闭合区域2、区域4为有效区域。
iii.得到的黑板边框形态图包含四个闭合区域。该情况下，又可以细分为三种子情况，需要进一步对各区域的图像像素的颜色求平均值，分别为C1、C2、C3、C4，并求得黑板内所有像素的平均值Cav，则：
若同时满足|Cav-C1|＜δ，|Cav-C2|＜δ，|Cav-C3|＜δ，|Cav-C4|＜δ时，为图12所示的第一种子情况，四个闭合区域都为黑板有效区域。
若同时满足|Cav-C1|＜δ，|Cav-C2|＞δ，|Cav-C3|＜δ，|Cav-C4|＜δ时，为图8所示的第二种子情况，闭合区域1、闭合区域3、闭合区域4为有效区域，闭合区域2为非黑板区域。
若同时满足|Cav-C1|＜δ，|Cav-C2|＜δ，|Cav-C3|＞δ，|Cav-C4|＜δ时，为如图9所示的第三种子情况，闭合区域1、闭合区域2、闭合区域4为有效区域，区域3为非黑板区域。
5)将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本，直至摄像机拍摄结束或关闭。
本申请的第二实施方式涉及一种黑板板书提取与智能识别系统，其结构如图13所示，该黑板板书提取与智能识别系统包括标定模块、判断模块、识别模块和提取模块。
具体的，该标定模块，用于预先用摄像机标定黑板，确定黑板区域。
该步骤101中可以采用人工标定黑板或者自动标定黑板的方式。
在一个实施例中，在安装摄像机时，通过软件设置，令工程安装人员在操作界面上用矩形框框选黑板，系统软件自动读取所框选的黑板矩形顶点的坐标，该矩形区域即为黑板区域，由于打开摄像机后其位置和拍摄角度是固定的，黑板在摄像画面中区域也是固定的，因此，仅在安装的时候进行一次框选黑板就可以完成标定工作。且不限于此实施例，其他可以实现黑板标定的具体实施方式都在本说明书的保护范围内。例如，图2所示为摄像机标定黑板框选出黑板区域后的示例状态图，框选出黑板区域后，该帧图像被划分为背景区域和黑板区域。
可选地，该黑板可以是单联或者是包括多联规格相同的子黑板。在一个实施例中，该黑板包括多联规格相同的子黑板。在该实施例中，该标定模块还用于框选该摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值。
该判断模块，用于每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新。
该预设时间可以根据情况进行设置。在一个实施例中，该预设时间可以根据教师两次书写板书的所间隔的最短时间设置；例如如果教师两次书写板书的所间隔的最短时间为t，则该预设时间可以设置为≤t。在另一个实施例中，该预设时间可以根据经验进行设置；例如考虑到标准视频中图片帧率为25帧/秒，该预设时间可以设置为1s、2s、3s等。
可选地，该判断模块还用于每隔预设时间，分别将该摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图，根据该二值图判断该黑板板书是否有更新。
可选地，该判断模块还用于如果该二值图的像素个数之和小于第一预设阈值，则判定该黑板板书没有更新，以及如果该二值图的像素个数之和大于第二预设阈值，则确定该黑板板书有更新或该黑板区域有遮挡物，将该二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块，以及如果某个矩形区块下边沿在该黑板区域下边沿的上方，则判定该黑板板书有更新，及如果某个矩形区块下边沿在该黑板区域下边沿的下方，则判定该黑板区域有遮挡物。
该识别模块，如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域。
可选地，该识别模块还用于将该当前图像帧从RGB颜色空间转换为Lab颜色空间，提取该Lab颜色空间中的b通道图像，将该b通道图像按照图像的灰度特性分成背景和黑板边框，将该黑板边框进行二值化处理，得到边框二值图，以及根据该边框二值图确认该黑板区域中的有效区域。
在一个实施例中，该识别模块还用于先确定该b通道图像大小为M×N，黑板边框的像素个数占整幅图像的比例为ω0，其平均灰度为μ0，背景像素个数占整幅图像的比例为ω1，其平均灰度为μ1，b通道图像的总平均灰度记为μ；然后设置一个阈值T，图像中像素的灰度值小于阈值T的像素个数记作N0，像素灰度大于阈值T的像素个数记作N1，则有：
ω0＝N0/M×N (1)
ω1＝N1/M×N (2)
N0+N1＝M×N (3)
ω0+ω1＝1 (4)
μ＝ω0*μ0+ω1*μ1 (5)
g＝ω0(μ0-μ)2+ω1(μ1-μ)2 (6)将式(5)代入式(6)，得到等价公式：
g＝ω0ω1(μ0-μ1)2 (7)并采用遍历的方法得到使g最大的阈值T，该阈值T是最优的二值化阈值；然后根据该阈值T将该黑板边框进行二值化处理，得到边框二值图。
可选地，该系统还包括更新模块，用于如果该黑板板书没有更新，则将当前图像帧更新为该基准图像帧，其中初始基准图像帧为该摄像机开机后的第一张图像帧。
在一个实施例中，该黑板包括多联规格相同的子黑板，该识别模块还用于根据该边框二值图得到该当前图像帧的黑板边框形态图，如果该黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域，计算该黑板边框形态图中每个闭合区域的图像像素值，如果某一闭合区域的图像像素值与该完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域，计算每个被标识的闭合区域中的所有像素的颜色平均值和该黑板区域内的所有像素的颜色平均值，以及如果某个被标识的闭合区域中的所有像素的颜色平均值与该黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为该有效区域。需要指出，该实施例中的第三预设阈值和第四预设阈值可以根据具体情况进行设置，例如但不限于可以根据经验进行设置。
该提取模块，用于将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
在一个实施例中，该提取模块还用于采用OCR算法将该当前图像帧的该有效区域中的该黑板板书转化为文本。且不限于此实施例，该提取模块也可以采用其他现有的或待开发的方法将该当前图像帧的该有效区域中的该黑板板书转化为文本的。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本申请中的黑板并非特指黑色的板面，多为黑色、墨绿色、白色或米黄色等。传统意义上讲它是一个可以用粉笔反复书写的平面，板面坚硬，多用于教学。
需要说明的是，本领域技术人员应当理解，上述黑板板书提取与智能识别系统的实施方式中所示的各模块的实现功能可参照前述黑板板书提取与智能识别方法的相关描述而理解。上述黑板板书提取与智能识别系统的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本申请实施例上述黑板板书提取与智能识别系统如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
此外，本申请实施方式还提供一种黑板板书提取与智能识别系统，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。其中，该处理器可以是中央处理单元(Central Processing Unit，简称“CPU”)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称“DSP”)、专用集成电路(Application SpecificIntegrated Circuit，简称“ASIC”)等。前述的存储器可以是只读存储器(read-onlymemory，简称“ROM”)、随机存取存储器(random access memory，简称“RAM”)、快闪存储器(Flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
在本申请提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

Claims (10)

1.一种黑板板书提取与智能识别方法，其特征在于，包括：
预先用摄像机标定黑板，确定黑板区域；
每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；
如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
2.如权利要求1所述的黑板板书提取与智能识别方法，其特征在于，所述每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新，进一步包括：
每隔预设时间，分别将所述摄像机拍摄的当前图像帧和基准图像帧灰度图化后作差，并将差值图进行二值图化处理生成二值图；
根据所述二值图判断所述黑板板书是否有更新。
3.如权利要求2所述的黑板板书提取与智能识别方法，其特征在于，所述根据所述二值图判断所述黑板板书是否有更新，进一步包括：
如果所述二值图的像素个数之和小于第一预设阈值，则判定所述黑板板书没有更新，以及如果所述二值图的像素个数之和大于第二预设阈值，则确定所述黑板板书有更新或所述黑板区域有遮挡物；
将所述二值图根据连通性分为若干区域块，计算并绘制能够包括每个区域块的最小面积的矩形区块；
如果某个矩形区块下边沿在所述黑板区域下边沿的上方，则判定所述黑板板书有更新，及如果某个矩形区块下边沿在所述黑板区域下边沿的下方，则判定所述黑板区域有遮挡物。
4.如权利要求1所述的黑板板书提取与智能识别方法，其特征在于，所述根据比对结果判断黑板板书是否有更新之后，还包括：
如果所述黑板板书没有更新，则将当前图像帧更新为所述基准图像帧，其中初始基准图像帧为所述摄像机开机后的第一张图像帧。
5.如权利要求1-4中任意一项所述黑板板书提取与智能识别方法，其特征在于，所述黑板包括多联规格相同的子黑板。
6.如权利要求5所述黑板板书提取与智能识别方法，其特征在于，识别所述当前图像帧的所述黑板区域中的有效区域，进一步包括：
将所述当前图像帧从RGB颜色空间转换为Lab颜色空间，提取所述Lab颜色空间中的b通道图像；
将所述b通道图像按照图像的灰度特性分成背景和黑板边框；
将所述黑板边框进行二值化处理，得到边框二值图；
根据所述边框二值图确认所述黑板区域中的有效区域。
7.如权利要求6所述黑板板书提取与智能识别方法，其特征在于，所述预先用摄像机标定黑板，确定黑板区域之后，还包括：
框选所述摄像机拍摄画面中一联完整子黑板，并计算该完整子黑板的图像像素值；
所述根据所述边框二值图确认所述黑板区域中的有效区域，进一步包括：
根据所述边框二值图得到所述当前图像帧的黑板边框形态图，如果所述黑板边框形态图中某个区域下边沿为非闭合曲线，则将该区域补充为闭合区域；
计算所述黑板边框形态图中每个闭合区域的图像像素值；
如果某一闭合区域的图像像素值与所述完整子黑板的图像像素值的差值的绝对值小于第三预设阈值，则标识该闭合区域；
计算每个被标识的闭合区域中的所有像素的颜色平均值和所述黑板区域内的所有像素的颜色平均值；
如果某个被标识的闭合区域中的所有像素的颜色平均值与所述黑板区域中的所有像素的颜色平均值的差值的绝对值小于第四预设阈值，则确定该闭合区域为所述有效区域。
8.一种黑板板书提取与智能识别系统，其特征在于，包括：
标定模块，用于预先用摄像机标定黑板，确定黑板区域；
判断模块，用于每隔预设时间，将所述摄像机拍摄的当前图像帧和基准图像帧进行比对，并根据比对结果判断黑板板书是否有更新；
识别模块，用于如果所述黑板板书有更新，则识别所述当前图像帧的所述黑板区域中的有效区域；
提取模块，用于将所述当前图像帧的所述有效区域中的所述黑板板书转化为文本。
9.一种黑板板书提取与智能识别系统，其特征在于，包括：
存储器，用于存储计算机可执行指令；以及，
处理器，用于在执行所述计算机可执行指令时实现如权利要求1至7中任意一项所述的方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至7中任意一项所述的方法中的步骤。
CN201911241316.9A 2019-12-06 2019-12-06 黑板板书提取与智能识别方法及系统 Active CN111008969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911241316.9A CN111008969B (zh) 2019-12-06 2019-12-06 黑板板书提取与智能识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911241316.9A CN111008969B (zh) 2019-12-06 2019-12-06 黑板板书提取与智能识别方法及系统

Publications (2)

Publication Number Publication Date
CN111008969A true CN111008969A (zh) 2020-04-14
CN111008969B CN111008969B (zh) 2023-07-18

Family

ID=70114977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911241316.9A Active CN111008969B (zh) 2019-12-06 2019-12-06 黑板板书提取与智能识别方法及系统

Country Status (1)

Country Link
CN (1) CN111008969B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881904A (zh) * 2020-07-31 2020-11-03 城云科技（中国）有限公司 板书记录方法和系统
CN113554904A (zh) * 2021-07-12 2021-10-26 江苏欧帝电子科技有限公司 一种多模式协同教育智能处理方法和系统
CN114898409A (zh) * 2022-07-14 2022-08-12 深圳市海清视讯科技有限公司 数据处理方法和设备
CN114945107A (zh) * 2022-04-15 2022-08-26 北京奕斯伟计算技术股份有限公司 视频处理方法和相关装置
CN115410232A (zh) * 2022-11-01 2022-11-29 深圳市鹏创软件有限公司 板书抓拍方法、装置、电子设备及可读存储介质
CN116798047A (zh) * 2023-05-08 2023-09-22 华南师范大学 一种基于图像识别的教学板书分析方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244735A (ja) * 1999-02-18 2000-09-08 Fuji Xerox Co Ltd 電子黒板
JP2002015276A (ja) * 2000-06-28 2002-01-18 Nec Corp 黒板に書かれた文字を認識する装置及びそのシステム
EP1307039A2 (en) * 2001-10-26 2003-05-02 Ricoh Company, Ltd. Image processing apparatus and image scanning apparatus
EP1431913A1 (en) * 2002-12-20 2004-06-23 Fujitsu Limited Method for detecting boundaries between areas having different features in image data
JP2006162692A (ja) * 2004-12-02 2006-06-22 Hosei Univ 講義コンテンツ自動作成システム
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
CN102096812A (zh) * 2011-01-30 2011-06-15 吴柯维 一种教学智能录播系统用教师黑板书写动作检测方法
JP2012150760A (ja) * 2011-01-21 2012-08-09 Hitachi Solutions Ltd 電子黒板システム及びプログラム
US20130050718A1 (en) * 2011-08-31 2013-02-28 Konica Minolta Business Technologies, Inc. Image forming apparatus
KR20130080710A (ko) * 2012-01-05 2013-07-15 순천향대학교 산학협력단 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템
CN107452018A (zh) * 2017-08-02 2017-12-08 北京翰博尔信息技术股份有限公司 主讲人跟踪方法及系统
CN109543530A (zh) * 2018-10-19 2019-03-29 福州瑞芯微电子股份有限公司 一种板书位置检测方法、存储介质及系统
CN110298343A (zh) * 2019-07-02 2019-10-01 哈尔滨理工大学 一种手写黑板板书识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244735A (ja) * 1999-02-18 2000-09-08 Fuji Xerox Co Ltd 電子黒板
JP2002015276A (ja) * 2000-06-28 2002-01-18 Nec Corp 黒板に書かれた文字を認識する装置及びそのシステム
EP1307039A2 (en) * 2001-10-26 2003-05-02 Ricoh Company, Ltd. Image processing apparatus and image scanning apparatus
EP1431913A1 (en) * 2002-12-20 2004-06-23 Fujitsu Limited Method for detecting boundaries between areas having different features in image data
JP2006162692A (ja) * 2004-12-02 2006-06-22 Hosei Univ 講義コンテンツ自動作成システム
CN101699469A (zh) * 2009-11-09 2010-04-28 南京邮电大学 课堂录像中教师黑板书写动作的自动识别方法
JP2012150760A (ja) * 2011-01-21 2012-08-09 Hitachi Solutions Ltd 電子黒板システム及びプログラム
CN102096812A (zh) * 2011-01-30 2011-06-15 吴柯维 一种教学智能录播系统用教师黑板书写动作检测方法
US20130050718A1 (en) * 2011-08-31 2013-02-28 Konica Minolta Business Technologies, Inc. Image forming apparatus
KR20130080710A (ko) * 2012-01-05 2013-07-15 순천향대학교 산학협력단 판서 내용도 함께 촬영하여 제공하는 판서 기반 강의촬영 시스템
CN107452018A (zh) * 2017-08-02 2017-12-08 北京翰博尔信息技术股份有限公司 主讲人跟踪方法及系统
CN109543530A (zh) * 2018-10-19 2019-03-29 福州瑞芯微电子股份有限公司 一种板书位置检测方法、存储介质及系统
CN110298343A (zh) * 2019-07-02 2019-10-01 哈尔滨理工大学 一种手写黑板板书识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张军等: "图像识别技术在录播系统中的应用研究", 《现代教育技术》, no. 01 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881904A (zh) * 2020-07-31 2020-11-03 城云科技（中国）有限公司 板书记录方法和系统
CN113554904A (zh) * 2021-07-12 2021-10-26 江苏欧帝电子科技有限公司 一种多模式协同教育智能处理方法和系统
CN114945107A (zh) * 2022-04-15 2022-08-26 北京奕斯伟计算技术股份有限公司 视频处理方法和相关装置
CN114945107B (zh) * 2022-04-15 2024-02-02 北京奕斯伟计算技术股份有限公司 视频处理方法和相关装置
CN114898409A (zh) * 2022-07-14 2022-08-12 深圳市海清视讯科技有限公司 数据处理方法和设备
CN114898409B (zh) * 2022-07-14 2022-09-30 深圳市海清视讯科技有限公司 数据处理方法和设备
CN115410232A (zh) * 2022-11-01 2022-11-29 深圳市鹏创软件有限公司 板书抓拍方法、装置、电子设备及可读存储介质
CN116798047A (zh) * 2023-05-08 2023-09-22 华南师范大学 一种基于图像识别的教学板书分析方法及系统

Also Published As

Publication number Publication date
CN111008969B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111008969A (zh) 黑板板书提取与智能识别方法及系统
CN110933331B (zh) 教学视频的合成方法及系统
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN106254933B (zh) 字幕提取方法及装置
CN108171297B (zh) 一种答题卡识别方法
CN105868758B (zh) 图像中文本区域检测方法、装置及电子设备
CN108805116B (zh) 图像文本检测方法及其系统
CN108764352B (zh) 重复页面内容检测方法和装置
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
WO2015074521A1 (en) Devices and methods for positioning based on image detection
CN110110667B (zh) 一种硅藻图像的处理方法、系统及相关组件
CN108235115B (zh) 一种歌曲视频中人声区域定位的方法及终端
CN110956138A (zh) 一种基于家教设备的辅助学习方法及家教设备
JP2012243216A (ja) 画像処理装置及び画像処理プログラム
CN112446262A (zh) 文本分析方法、装置、终端和计算机可读存储介质
KR20190042077A (ko) 디지털 객체 고유 식별자(doi) 인지 방법 및 디바이스
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
CN113436222A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
CN112508033A (zh) 检测方法、存储介质和电子装置
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
JP5929282B2 (ja) 画像処理装置及び画像処理プログラム
CN112132750A (zh) 一种视频处理方法与装置
CN110782392A (zh) 图像处理方法、装置、电子设备及存储介质
CN113965814B (zh) 基于视频会议场景的多会场关键帧提取方法及系统
CN113569859B (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant