CN116168233A - 一种基于网格图像patch分类的黑板板书还原方法 - Google Patents

一种基于网格图像patch分类的黑板板书还原方法 Download PDF

Info

Publication number
CN116168233A
CN116168233A CN202211616900.XA CN202211616900A CN116168233A CN 116168233 A CN116168233 A CN 116168233A CN 202211616900 A CN202211616900 A CN 202211616900A CN 116168233 A CN116168233 A CN 116168233A
Authority
CN
China
Prior art keywords
grid
patch
image
classification
blackboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211616900.XA
Other languages
English (en)
Inventor
王龚
钟隆仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN202211616900.XA priority Critical patent/CN116168233A/zh
Publication of CN116168233A publication Critical patent/CN116168233A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Facsimiles In General (AREA)

Abstract

本发明涉及一种基于网格图像patch分类的黑板板书还原方法，所述的方法包括以下步骤：S1、对课堂实录视频进行预处理，得到处理后的图像序列，图像序列中的每个图像都划分为n个w h大小的网格patch；S2、根据图像序列，采用图像分类算法对每个网格patch进行分类，得到每个网格patch的被遮挡部分和未遮挡部分的分类情况，对被遮挡部分执行步骤S3；S3、遍历当前网格patch所在时刻前后几秒内的其它图像同等位置的网格patch，寻找未遮挡的网格patch，替换到当前所在时刻的网格patch位置，重新合成视频，完成黑板板书的还原。与现有技术相比，本发明具有细粒度高、速度快、准确率高等优点。

Description

一种基于网格图像patch分类的黑板板书还原方法
技术领域
本发明涉及图像分类和语义分割领域，尤其是涉及一种基于网格图像patch分类的黑板板书还原方法。
背景技术
得益于电子设备的发展，越来越多的学生会选择重新观看实录课堂视频，以温习课堂内容，更是会将注意力放在自己没有听明白的地方。但是，课堂实录视频的缺点也是显而易见的，老师这个前景会明显的遮挡住作为背景的黑板及其上面的板书，这就使得学生会因为没有及时看到板书，而错过一个重要知识点。而解决这个遮挡的问题，其实就是一个背景复原的问题。
现有的技术，主要是考虑将视频区分为前景和背景，前景一般是老师等遮挡物，背景一般是黑板等被遮挡物。为了区分前景和背景，一般是使用某种算法，比如目标检测算法，将主要的视频前景物检测出来，然后对其进行擦除，再根据视频上下文信息对擦除的部分进行恢复。这类技术主要的缺点在于：1)强烈依赖目标检测算法，如果检测的不准确，很难根据前景和背景等信息进行后续的恢复；2)前景区域有时占比整个画面比较大，把前景当成一个整体去擦除和修复，细粒度不够高。
因此，如何实现更加精确、有效的实录视频中黑板板书还原，成为需要解决的技术问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于网格图像patch分类的黑板板书还原方法。
本发明的目的可以通过以下技术方案来实现：
一种基于网格图像patch分类的黑板板书还原方法，所述的方法包括以下步骤：
S1、对课堂实录视频进行预处理，得到处理后的图像序列，图像序列中的每个图像都划分为n个w×h大小的网格patch，其中w表示每个网格patch的宽，h表示每个网格patch的长；
S2、根据图像序列，采用图像分类算法对每个网格patch进行分类，得到每个网格patch的被遮挡部分和未遮挡部分的分类情况，对被遮挡部分执行步骤S3；
S3、遍历当前网格patch所在时刻前后几秒内的其它图像同等位置的网格patch，寻找未遮挡部分的网格patch，替换到当前所在时刻的网格patch位置，重新合成视频，完成黑板板书的还原。
进一步地，所述的课堂实录视频通过固定摄影设备拍摄。
进一步地，所述的黑板的位置在课堂实录视频中的位置固定不变。
进一步地，所述的被遮挡部分为黑板及黑板上的板书被教师所遮挡的部分；所述的未遮挡部分为完整的板书部分。
进一步地，所述的步骤S1具体为：将视频裁剪，仅保留黑板部分，使用ffmpeg库，将视频按照指定帧率fps转化为图像序列，采用PIL库的Image函数，将图像序列转化为RGB像素矩阵HWC。
进一步地，所述的指定帧率fps＝25。
进一步地，所述的步骤S2具体为：由人工标记每一个网格patch，得到真实场景下的有标签的网格patch数据集，根据图像分类算法进行训练得到分类模型，输入图像序列，得到课堂实录视频中每一帧图像的所有网格patch的分类结果，对于分类结果为被遮挡部分的网格patch，执行步骤S3。
进一步地，所述的步骤S3具体为：对t1时刻的课堂实录视频帧img1的各个被遮挡部分的网格patch进行还原，假定当前t1时刻被遮挡部分的网格patch的位置编号为i1,i2,i3,……,ij-1,ij，在t1时刻的前后几秒内，通过遍历的方法，寻找到编号为ij的未遮挡部分的网格patch，然后用该网格patch替换到img1处的编号为ij的被遮挡部分的网格patch，将替换好的视频帧，重新通过ffmpeg库，合成视频，完成板书的还原，其中j≤n。
一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如上任一项所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：
一、本发明通过将黑板进行网格图像patch分类划分，每一个网格大小为w*h，只需针对每一个patch采用图像分类算法做出判断，而无需对视频帧做全局的判断来检测出前景信息，大大减小了计算复杂度，有效的提高了还原效率。
二、本发明采用图像分类算法对网格图像patch进行未遮挡和被遮挡的判断，然后根据时间上下文信息，对被遮挡的网格图像patch进行替换为未被遮挡的patch，最后合并为视频，由于仅需要处理被遮挡的patch，再对这一小块patch进行修复，而无需对当前图像的前景作为整体进行修复，含有更高的细粒度，从而得到更好的还原度。
三、本发明的网格图像patch的切分方法，具有可调整性，可平衡还原速度和还原精度，当网格图像patch的长和宽等于一个适当的像素大小，可有效防止由于像素过大导致还原准确度不高，以及由于像素过小，导致像素级修复计算复杂度高的问题。
附图说明
图1为本发明的方法流程示意图；
图2为本发明的划分网格patch示意图；
图3为本发明的被遮挡部分的网格patch示意图；
图4为本发明的未遮挡部分的网格patch示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1所示，一种基于网格图像patch分类的黑板板书还原方法，所述的方法包括以下步骤：
S1、对课堂实录视频进行预处理，得到处理后的图像序列，图像序列中的每个图像都划分为n个w×h大小的网格patch，其中w表示每个网格patch的宽，h表示每个网格patch的长，n由原始图像的宽和长决定。
所述的课堂实录视频通过固定摄像设备拍摄，由于教室内摄像头的位置是固定的，所以，在所有课堂实录视频中，黑板的位置相对于堂实录视频画面的位置是固定的；借助这一信息，直接将视频裁剪至黑板下侧边缘处的高度位置，仅保留黑板部分；其次使用ffmpeg库(音视频处理库)，将视频按照帧率fps＝25转化为图像序列；最后采用PIL库(图像处理库)的Image函数(图像函数)，将图像序列转化为RGB像素矩阵HWC(三维矩阵，长、宽和通道数)。在预处理阶段，精确的将课堂的黑板区域切割好了，这种切割过的视频只包含两部分：黑板及黑板上的板书和教师，这样就没有其它的干扰，同时对黑板进行人为网格patch(网格切片)分类划分，生成一系列patches。
S2、根据图像序列，采用图像分类算法对每个网格patch进行分类，得到每个网格patch的被遮挡部分和未遮挡部分的分类情况，对被遮挡部分执行步骤S3。
由人工标记每一个网格patch，得到真实场景下的有标签的网格patch数据集，根据图像分类算法进行训练得到分类模型，输入一系列patches，得到课堂实录视频中每一帧图像的所有网格patch的分类结果，如图2所示，其中被遮挡部分为黑板及黑板上的板书被教师所遮挡的部分，未遮挡部分为完整的板书部分，对于分类结果为被遮挡部分的网格patch，执行步骤S3。
S3、遍历当前网格patch所在时刻前后几秒内的其它图像同等位置的网格patch，寻找未遮挡部分的网格patch，替换到当前所在时刻的网格patch位置，重新合成视频，完成黑板板书的还原。
如图3对t1时刻的课堂实录视频帧img1的各个被遮挡部分的网格patch进行还原，假定当前t1时刻被遮挡部分的网格patch的位置编号为i1,i2,i3,……,ij-1,ij(j≤n)，如图4所示，在t1时刻的前后几秒内，通过遍历的方法，寻找到编号为ij(j≤n)的未遮挡部分的网格patch，然后用该网格patch替换到img1处的编号为ij(j≤n)的被遮挡部分的网格patch，将替换好的视频帧，重新通过ffmpeg库，合成视频，完成板书的还原。
由于提前将视频转化为了图像序列，而针对每一个图像序列又划分为了固定大小为w*h的网格patches。对每一个网格patch，都记录了其所在课堂实录视频中的时刻信息，以及它在当前图像的位置信息。采用遍历算法的时候，仅需要对上述步骤得到的被遮挡部分的网格patch进行遍历即可，寻得在时间信息上是上下文关系，在空间位置信息上，是对应关系的其它未遮挡部分的网格patch进行替换，大大减小了计算复杂度，有效的提高了还原效率。
一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如上任一项所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的方法。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的方法包括以下步骤：
S1、对课堂实录视频进行预处理，得到处理后的图像序列，图像序列中的每个图像都划分为n个w×h大小的网格patch，其中w表示每个网格patch的宽，h表示每个网格patch的长；
S2、根据图像序列，采用图像分类算法对每个网格patch进行分类，得到每个网格patch的被遮挡部分和未遮挡部分的分类情况，对被遮挡部分执行步骤S3；
S3、遍历当前网格patch所在时刻前后几秒内的其它图像同等位置的网格patch，寻找未遮挡部分的网格patch，替换到当前所在时刻的网格patch位置，重新合成视频，完成黑板板书的还原。
2.根据权利要求1所述的一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的课堂实录视频通过固定摄影设备拍摄。
3.根据权利要求2所述的一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的黑板的位置在课堂实录视频中的位置固定不变。
4.根据权利要求1所述的一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的被遮挡部分为黑板及黑板上的板书被教师所遮挡的部分；所述的未遮挡部分为完整的板书部分。
5.根据权利要求4所述的一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的步骤S1具体为：将视频裁剪，仅保留黑板部分，使用ffmpeg库，将视频按照指定帧率fps转化为图像序列，采用PIL库的Image函数，将图像序列转化为RGB像素矩阵HWC。
6.根据权利要求5所述的一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的指定帧率fps＝25。
7.根据权利要求1所述的一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的步骤S2具体为：由人工标记每一个网格patch，得到真实场景下的有标签的网格patch数据集，根据图像分类算法进行训练得到分类模型，输入图像序列，得到课堂实录视频中每一帧图像的所有网格patch的分类结果，对于分类结果为被遮挡部分的网格patch，执行步骤S3。
8.根据权利要求1所述的一种基于网格图像patch分类的黑板板书还原方法，其特征在于，所述的步骤S3具体为：对t1时刻的课堂实录视频帧img1的各个被遮挡部分的网格patch进行还原，假定当前t1时刻被遮挡部分的网格patch的位置编号为i1,i2,i3,……,ij-1,ij，在t1时刻的前后几秒内，通过遍历的方法，寻找到编号为ij的未遮挡部分的网格patch，然后用该网格patch替换到img1处的编号为ij的被遮挡部分的网格patch，将替换好的视频帧，重新通过ffmpeg库，合成视频，完成板书的还原，其中j≤n。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
CN202211616900.XA 2022-12-15 2022-12-15 一种基于网格图像patch分类的黑板板书还原方法 Pending CN116168233A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211616900.XA CN116168233A (zh) 2022-12-15 2022-12-15 一种基于网格图像patch分类的黑板板书还原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211616900.XA CN116168233A (zh) 2022-12-15 2022-12-15 一种基于网格图像patch分类的黑板板书还原方法

Publications (1)

Publication Number Publication Date
CN116168233A true CN116168233A (zh) 2023-05-26

Family

ID=86412239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211616900.XA Pending CN116168233A (zh) 2022-12-15 2022-12-15 一种基于网格图像patch分类的黑板板书还原方法

Country Status (1)

Country Link
CN (1) CN116168233A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319809A (zh) * 2023-11-24 2023-12-29 广州劲源科技发展股份有限公司 一种监控视野的智能调节方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319809A (zh) * 2023-11-24 2023-12-29 广州劲源科技发展股份有限公司 一种监控视野的智能调节方法
CN117319809B (zh) * 2023-11-24 2024-03-01 广州劲源科技发展股份有限公司 一种监控视野的智能调节方法

Similar Documents

Publication Publication Date Title
Chen et al. Robust video content alignment and compensation for rain removal in a cnn framework
KR100645300B1 (ko) 시청각 프리젠테이션의 컨텐츠를 요약화하여 색인화하는방법 및 장치
Johnston et al. A review of digital video tampering: From simple editing to full synthesis
CN108447021B (zh) 基于分块和逐帧优化的视频缩放方法
CN111222450B (zh) 模型的训练及其直播处理的方法、装置、设备和存储介质
US20180197577A1 (en) Thumbnail generation for video
Qian et al. Video background replacement without a blue screen
Guo et al. Joint raindrop and haze removal from a single image
CN116168233A (zh) 一种基于网格图像patch分类的黑板板书还原方法
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN113055613A (zh) 一种基于矿山场景下的全景视频拼接的方法及装置
CN116612015A (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
Yokoi et al. Virtual camerawork for generating lecture video from high resolution images
CN113284080A (zh) 图像处理方法及装置、电子设备及存储介质
CA3061908C (en) Ball trajectory tracking
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN117459661A (zh) 一种视频处理方法、装置、设备及机器可读存储介质
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN106101485B (zh) 一种基于反馈的前景轨迹判定方法和装置
CN113379615A (zh) 图像处理方法及装置、存储介质和电子设备
Hu et al. CNN-based deghosting in high dynamic range imaging
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
Hou et al. Multi-branch network with ensemble learning for text removal in the wild
CN111815689B (zh) 一种半自动化标注方法、设备、介质及装置
Ye et al. A survey on learning-based low-light image and video enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination