CN116245744A - 一种基于目标检测的教室黑板纯净板书还原方法 - Google Patents

一种基于目标检测的教室黑板纯净板书还原方法 Download PDF

Info

Publication number
CN116245744A
CN116245744A CN202211569298.9A CN202211569298A CN116245744A CN 116245744 A CN116245744 A CN 116245744A CN 202211569298 A CN202211569298 A CN 202211569298A CN 116245744 A CN116245744 A CN 116245744A
Authority
CN
China
Prior art keywords
blackboard
video
classroom
foreground
pure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211569298.9A
Other languages
English (en)
Inventor
王龚
钟隆仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN202211569298.9A priority Critical patent/CN116245744A/zh
Publication of CN116245744A publication Critical patent/CN116245744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Drawing Aids And Blackboards (AREA)

Abstract

本发明涉及一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的方法包括以下步骤：S1、对课堂实录视频进行预处理，区分前景和背景，得到处理后的图像序列；S2、根据图像序列，采用目标检测算法获取前景位置信息，得到视频中每一帧的前景位置信息；S3、遍历每一帧的前景位置信息，寻找与前景的IOU最小的图像，替换视频帧，重新合成视频，完成板书的还原。与现有技术相比，本发明具有准确还原板书、有效消除其它前背景干扰等优点。

Description

一种基于目标检测的教室黑板纯净板书还原方法
技术领域
本发明涉及图像目标检测领域，尤其是涉及一种基于目标检测的教室黑板纯净板书还原方法。
背景技术
一直以来，课堂笔记都对学生课后重新巩固课堂内容起着至关重要的作用。近几年，很多课程已经从线下转为了线上，老师在线上课时的各种资料，诸如声音、视频乃至课程笔记，经由互联网、电子设备等软硬件的支持，能够得到很好的保存。但是，线下授课的相关资料，比如干净的板书，却受限于计算机视觉技术的发展，很难像线上授课那样，得到板书的完整轨迹。
尽管目前线下授课有了相关的电子白板软件，使得老师可以在摄影屏幕上通过特制的笔，再由板书软件的加持，从而获得干净的板书轨迹。但是这种可投影书写的屏幕和软件，由于其价格等因素，很难普及到全国各地。其次，对于真实课堂视频板书还原，我们需要将视频的前景(主要是老师等)、背景(黑板)分离，再将背景的板书内容，根据时间戳信息，在相应的位置上补上对应时间的板书内容。而对于涵盖时序信息的视频背景复原，目前还没有找到可用的方法。
因此，如何对教室黑板纯净板书进行有效的还原，成为需要解决的技术问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于目标检测的教室黑板纯净板书还原方法。
本发明的目的可以通过以下技术方案来实现：
一种基于目标检测的教室黑板纯净板书还原方法，所述的方法包括以下步骤：
S1、对课堂实录视频进行预处理，区分前景和背景，得到处理后的图像序列；
S2、根据图像序列，采用目标检测算法获取前景位置信息，得到视频中每一帧的前景位置信息；
S3、遍历每一帧的前景位置信息，寻找与前景的IOU最小的图像，替换视频帧，重新合成视频，完成板书的还原。
进一步地，所述的前景为老师；所述的背景为黑板及黑板上的板书。
进一步地，所述的课堂实录视频通过固定摄像机拍摄。
进一步地，所述的黑板的位置相对于课堂实录视频画面的位置是固定的。
进一步地，所述的步骤S1具体为：将视频裁剪，仅保留黑板部分；使用ffmpeg库，将视频按照帧率fps＝25转化为图像序列；采用PIL库的Image函数，将图像序列转化为RGB像素矩阵HWC。
进一步地，所述的步骤S2具体为：将一系列图像序列输入到目标检测算法yolov3中，得到视频中每一帧的前景位置信息(x,y,x1,y1)，其中x,y表示检测的目标的左上角坐标，x1,y1表示检测的目标的右下角坐标。
进一步地，所述的步骤S3具体为：对t1时刻的视频帧img1进行前景擦除，和背景还原，假定前景位置信息为(x,y,x1,y1)，在t1时刻的前后几秒内，通过遍历的方法，寻找到一帧图像img2，使得img2与img1的IOU值最小，然后用img2在位置(x,y,x1,y1)的像素，替换到img1在位置(x,y,x1,y1)的像素，将替换好的视频帧，重新通过ffmpeg库，合成视频，完成板书的还原。
进一步地，所述的IOU的计算方式为：将img1与img2的交集的面积除以img1与img2的并集的面积。
一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如上任一项所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：
一、本发明通过将前景和背景分离，使用成熟的目标检测算法，精确地得到了前景(老师)的位置信息，如此便可以直接将视频的前背景完美区分开了。然后，通过遍历算法和IOU指标评测，选择适合的背景填充到当前图像的前景区域。最后合并为视频，有效的完成了板书的还原。
二、本发明在预处理阶段就精确的将课堂的黑板区域切割好了，这种切割过的视频只包含两部分：黑板和老师，也就是视频的前景和背景，这样就有效的消除了其它前景背景的干扰，使得还原的板书更加准确。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种基于目标检测的教室黑板纯净板书还原方法，所述的方法包括以下步骤：
S1、对课堂实录视频进行预处理，区分前景和背景，得到处理后的图像序列；所述的前景为老师；所述的背景为黑板及黑板上的板书。
所述的课堂实录视频通过固定摄像机拍摄，由于教室内摄像头的位置是固定的，所以，在所有课堂实录视频中，黑板的位置相对于堂实录视频画面的位置是固定的；借助这一信息，直接将视频裁剪至黑板下侧边缘处的高度位置，仅保留黑板部分；其次，为了获取视频前景位置信息，即老师的位置信息，使用ffmpeg库(音视频处理库)，将视频按照帧率fps＝25转化为图像序列；最后采用PIL库(图像处理库)的Image函数(图像函数)，将图像序列转化为RGB像素矩阵HWC(三维矩阵，长、宽和通道数)。在预处理阶段，精确的将课堂的黑板区域切割好了，这种切割过的视频只包含两部分：黑板及黑板上的板书和老师，也就是视频的前景和背景，这样就没有其它前景背景的干扰。
S2、根据图像序列，采用目标检测算法获取前景位置信息，得到视频中每一帧的前景位置信息。
将一系列图像序列输入到目标检测算法yolov3中，得到视频中每一帧的前景位置信息(x,y,x1,y1)，由于目标检测算法给出的是对于物体的一个长方形框，该框将会包裹住目标物体，所以x,y表示检测的目标的左上角坐标，x1,y1表示检测的目标的右下角坐标。由于上一步视频经过裁剪，这里获取的前景位置信息仅是老师与黑板重叠的区域，将视频的前背景完美区分开。
S3、遍历每一帧的前景位置信息，寻找与前景的IOU(交并比)最小的图像，替换视频帧，重新合成视频，完成板书的还原。
IOU是交并比，当两个目标检测区域重叠的部分越多，IOU的值越大，它在目标检测区域作为指标用来衡量模型预测值和真实值之间的置信度。对t1时刻的视频帧img1进行前景擦除，和背景还原，假定前景位置信息为(x,y,x1,y1)，在t1时刻的前后几秒内，通过遍历的方法，寻找到一帧图像img2，使得img2与img1的IOU值最小，然后用img2在位置(x,y,x1,y1)的像素，替换到img1在位置(x,y,x1,y1)的像素，将替换好的视频帧，重新通过ffmpeg库，合成视频，完成板书的还原；所述的IOU的计算方式为：将img1与img2的交集的面积除以img1与img2的并集的面积。
本发明提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上所述的方法。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的方法包括以下步骤：
S1、对课堂实录视频进行预处理，区分前景和背景，得到处理后的图像序列；
S2、根据图像序列，采用目标检测算法获取前景位置信息，得到视频中每一帧的前景位置信息；
S3、遍历每一帧的前景位置信息，寻找与前景的IOU最小的图像，替换视频帧，重新合成视频，完成板书的还原。
2.根据权利要求1所述的一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的前景为老师；所述的背景为黑板及黑板上的板书。
3.根据权利要求2所述的一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的课堂实录视频通过固定摄像机拍摄。
4.根据权利要求3所述的一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的黑板的位置相对于课堂实录视频画面的位置是固定的。
5.根据权利要求4所述的一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的步骤S1具体为：将视频裁剪，仅保留黑板部分；使用ffmpeg库，将视频按照帧率fps＝25转化为图像序列；采用PIL库的Image函数，将图像序列转化为RGB像素矩阵HWC。
6.根据权利要求1所述的一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的步骤S2具体为：将一系列图像序列输入到目标检测算法yolov3中，得到视频中每一帧的前景位置信息(x,y,x1,y1)，其中x,y表示检测的目标的左上角坐标，x1,y1表示检测的目标的右下角坐标。
7.根据权利要求1所述的一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的步骤S3具体为：对t1时刻的视频帧img1进行前景擦除，和背景还原，假定前景位置信息为(x,y,x1,y1)，在t1时刻的前后几秒内，通过遍历的方法，寻找到一帧图像img2，使得img2与img1的IOU值最小，然后用img2在位置(x,y,x1,y1)的像素，替换到img1在位置(x,y,x1,y1)的像素，将替换好的视频帧，重新通过ffmpeg库，合成视频，完成板书的还原。
8.根据权利要求7所述的一种基于目标检测的教室黑板纯净板书还原方法，其特征在于，所述的IOU的计算方式为：将img1与img2的交集的面积除以img1与img2的并集的面积。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
CN202211569298.9A 2022-12-08 2022-12-08 一种基于目标检测的教室黑板纯净板书还原方法 Pending CN116245744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211569298.9A CN116245744A (zh) 2022-12-08 2022-12-08 一种基于目标检测的教室黑板纯净板书还原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211569298.9A CN116245744A (zh) 2022-12-08 2022-12-08 一种基于目标检测的教室黑板纯净板书还原方法

Publications (1)

Publication Number Publication Date
CN116245744A true CN116245744A (zh) 2023-06-09

Family

ID=86630301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211569298.9A Pending CN116245744A (zh) 2022-12-08 2022-12-08 一种基于目标检测的教室黑板纯净板书还原方法

Country Status (1)

Country Link
CN (1) CN116245744A (zh)

Similar Documents

Publication Publication Date Title
CN107909022B (zh) 一种视频处理方法、装置、终端设备和存储介质
CN106686452B (zh) 一种动态图片的生成方法及装置
CN111242962A (zh) 远程培训视频的生成方法、装置、设备及存储介质
CN112261477A (zh) 视频处理方法及装置、训练方法和存储介质
CN111954055B (zh) 视频特效的展示方法、装置、电子设备及存储介质
CN108564057B (zh) 一种基于opencv的人物相似度系统的建立方法
CN112995678B (zh) 一种视频运动补偿方法、装置及计算机设备
CN107205172A (zh) 一种基于视频内容发起搜索的方法及装置
Yokoi et al. Virtual camerawork for generating lecture video from high resolution images
CN113627306A (zh) 关键点处理方法及装置、可读存储介质、终端
CN113709389A (zh) 一种视频渲染方法、装置、电子设备及存储介质
CN117459661A (zh) 一种视频处理方法、装置、设备及机器可读存储介质
US20230353702A1 (en) Processing device, system and method for board writing display
CN110298229B (zh) 视频图像处理方法及装置
CN110069664B (zh) 动漫作品封面图提取方法及其系统
CN114222065B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN116245744A (zh) 一种基于目标检测的教室黑板纯净板书还原方法
CN114202601A (zh) 板书信息处理方法、装置、电子设备及存储介质
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
CN114245193A (zh) 显示控制方法、装置和电子设备
CN111144256B (zh) 基于视频动态分析的电子表格公式合成与错误检测方法
CN113657137A (zh) 数据处理方法、装置、电子设备及存储介质
CN112200739A (zh) 一种视频处理的方法、装置、可读存储介质和电子设备
CN113962964B (zh) 基于时序图像数据的指定对象擦除方法及装置
CN114363521B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination