CN114945107B - 视频处理方法和相关装置 - Google Patents
视频处理方法和相关装置 Download PDFInfo
- Publication number
- CN114945107B CN114945107B CN202210396715.8A CN202210396715A CN114945107B CN 114945107 B CN114945107 B CN 114945107B CN 202210396715 A CN202210396715 A CN 202210396715A CN 114945107 B CN114945107 B CN 114945107B
- Authority
- CN
- China
- Prior art keywords
- image
- writing
- blackboard
- board
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
Abstract
提供了一种视频处理方法和相关装置。该处理方法包括:从板书无遮挡的视频中获取连续帧的板书图像;针对当前帧的板书图像,计算其与基准图像之间的差异区域;对每个差异区域,采用基准图像中的对应图像块替换当前帧的板书图像中的对应图像块,以得到新的板书图像;输出新的板书图像,形成新的视频,其中,当前帧的板书图像依次为连续帧的板书图像中第一帧板书图像之后的每个板书图像,基准图像为与前一帧板书图像相关联的板书图像。该处理方法通过将连续帧的板书图像关联起来以解决画面中笔迹的抖动性问题。
Description
技术领域
本公开涉及电子教学的技术领域,具体涉及一种视频处理方法和相关装置。
背景技术
随着网络课堂的流行与普及,教学视频成为一种不可或缺的教育资源。教学视频是摄像头拍摄教学场景而得到的视频。教学场景中,教师通过在写字板上书写内容进行教学,板书内容对于理解视频至关重要。
发明内容
为了解决上述技术问题,本公开提供了一种视频处理方法和相关装置。
根据本公开的第一方面,提供一种视频处理方法,包括:
从板书无遮挡的视频中获取连续帧的板书图像;
针对当前帧的板书图像,计算其与基准图像之间的差异区域;
对每个差异区域,采用所述基准图像中的对应图像块替换当前帧的板书图像中的对应图像块,以得到新的板书图像;
对每个差异区域,采用所述当前帧的板书图像中的对应图像块替换基准图像中的对应图像块,并将所有差异区域被替换后的基准图像作为新的板书图像;
输出新的板书图像,形成新的视频,
其中,所述当前帧的板书图像依次为所述连续帧的板书图像中第一帧板书图像之后的每个板书图像,所述基准图像为与前一帧板书图像相关联的板书图像。
可选地,对于所述连续帧的板书图像中的第二帧板书图像为当前帧的板书图像,所述基准图像为所述第一帧板书图像,对于所述第二帧板书图像之后的当前帧的板书图像,所述基准图像为前一帧板书图像经计算得到的新的板书图像。
可选地,对于第二帧板书图像为当前帧的板书图像,所述基准图像为将所述板书无遮挡的视频的多帧无板书内容的图像进行融合后得到的图像。
可选地,所述板书无遮挡的视频通过以下步骤得到:从原始视频中提取板书内容;对教师遮挡的板书内容进行补全;以及将补全后的完整板书内容与所述原始视频进行合成。
可选地,所述针对当前帧的板书图像,计算其与基准图像之间的差异区域包括:
计算所述当前帧的板书图像与所述基准图像之间的像素级差异,并基于差异性大于所述差异阈值的像素点得到所述差异区域,或者,
分别将所述当前帧的板书图像与所述基准图像划分成多个图像块,并将图像块的差异性大于所述差异阈值的图像块作为所述差异区域。
可选地,还包括:将不规则形状的差异区域扩展为规则形状。
可选地,还包括:调节所述新的板书图像中的写字板的颜色。
可选地,所述调节所述新的板书图像中的写字板的颜色,包括:
获得矫正后的写字板图像,所述矫正后的写字板图像只包含可书写的有效区域,不包含写字板的边框并且没有板书内容;
计算所述矫正后的写字板图像的每个色彩通道的平均值或者获得用户预设的每个色彩通道的固定值;
对于深色板,将所述新的板书图像中每个色彩通道下的、小于第一阈值的像素值修改为该色彩通道下的平均值或者用户预设的每个色彩通道的固定值;
对于浅色板,将所述新的板书图像中每个色彩通道下的、大于第二阈值的像素值修改为该色彩通道下的平均值或者用户预设的每个色彩通道的固定值。
根据本公开的第二方面,提供一种视频处理装置,包括:
板书字迹去抖动模块,用于执行上述一些项提供的视频处理方法,并输出所述新的板书图像;
板书背景色控制模块,用于调节所述新的板书图像中的写字板的颜色。
根据本公开第三方面,提供一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现上述任一项所述视频处理方法的步骤。
根据本公开第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序或指令,所述计算机程序或指令被处理器执行时实现上述任一项所述视频处理方法的步骤。
本公开提出了一种视频处理方法,通过将连续帧的板书图像关联起来以解决画面中笔迹的抖动性问题。进一步地,实现写字板自身底色的控制方法,该方法使得板书图像在透明显示过程中,可以实现成写字板背景色的控制,使画面更贴近于真实场景。
应当说明的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
通过参照以下附图对本公开实施例的描述,本公开的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是本公开实施例提供的视频处理方法的流程图;
图2用于示意板书无遮挡的视频中的一个示例性的帧图像;
图3a和图3b用于示意一个差异区域在两幅图上对应的图像块;
图4是本公开实施例提供的将板书图像转换为具有写字板底色的板书图像的方法的流程图;
图5是本公开实施例提供的视频的处理装置的示意图;
图6是用于实施本公开各个实施例的电子设备的示意图;
图7是本公开实施例提供的教学系统的示意图。
具体实施方式
为了便于理解本公开,下面将参照相关附图对本公开进行更全面的描述。附图中给出了本公开的较佳实施例。但是,本公开可以通过不同的形式来实现,并不限于本文所描述的实施例。相反的,提供这些实施例的目的是使对本公开的公开内容的理解更加透彻全面。
在本文中使用以下概念:
写字板:教学或会议等诸多场景下供书写内容的板子,包括但不限于黑板、绿板、蓝板以及白板。本公开所涉及到的写字板包括但不局限于黑板、绿板、蓝板以及白板,甚至是电子板,这里为方便后文描述简洁,将这些板书介质统称为写字板。其中将白色系或浅色系写字板统称为浅色板;将深色系写字板,如黑板、绿板等统称为深色板。
板书内容:书写在写字板上的内容,包括但不限于以文字、符号以及图表等形式体现,本公开将板书内容的体现形式统称为字符。
灰度图:用灰度表示的图像。任一非灰度图皆可转换成灰度图。具体地,由于任何颜色都由红、绿、蓝三基色组成,假如原来某像素点的颜色在RGB空间内表示为(R,G,B),则转换为灰度图后该像素点的灰阶值Gray为R、G、B三者的加权和。
但是背景技术中提及的教学视频,由于教师遮挡写字板可能导致视频无法将板书内容完整呈现出来。因此在板书内容提取与遮挡内容补全的方案中,通过将现场拍摄的视频进行板书内容提取,并将遮挡的内容进行补全得到完整板书内容,最后将完整板书内容与现场拍摄的视频合成得到板书无遮挡的视频,这样,通过视频观看课程的学生就不会因为教师身体遮挡板书而错过重要内容,极大地提升了学生的课堂体验。当然,这种处理还可以应用于诸如会议、培训等场景下的视频。
但由于从现场拍摄的视频中,连续多帧的板书图像之间会存在一些细微差异,其中板书内容的笔迹边缘的差异会造成播放视频时人眼观看到板书内容具有笔迹抖动的现象,所述笔迹抖动是指同一位置的同个笔迹在观看时笔迹边缘不断闪动,从而影响观感。
图1是本公开第一实施例提供的视频处理方法的流程图。参考图上所示,包括以下步骤。
在步骤S100中,从板书无遮挡的视频中取出连续帧中的一帧板书图像。
在步骤S110中,将连续帧中的第一帧板书图像作为基准图像。
其中,步骤S100所指的板书无遮挡的视频要求对应视频中的每帧板书图像中的板书内容都被完整呈现。由于教学场景中,教师通过在写字板上书写内容进行教学,若教学过程中教师在某一时刻遮挡板书内容,则视频会出现某一帧图像中板书内容被遮挡的现象,因此通过摄像装置拍摄得到的原始的视频通常不是板书无遮挡的视频,上文提到,可以通过板书内容提取与遮挡内容补全的方案得到板书无遮挡的视频。该方案得到的板书无遮挡的视频中的示例性的帧图像如图2所示,从图上可以看出,板书内容可完整呈现,教师作为透明的图层不影响到板书内容的完整呈现。
步骤S100和S110的操作包括:先将板书无遮挡的视频作为本步骤的输入,从视频中开始具有板书内容的时刻取出连续帧的板书图像,然后将连续帧中的第一帧板书图像作为初次循环的基准图像,然后从连续帧中取出一帧板书图像作为当前帧的板书图像。这里板书图像是指具有板书内容的图像。
在步骤S120中,计算当前帧的板书图像与基准图像之间的多个差异区域,并得到差异性大于差异阈值的至少一个差异区域。
我们知道,不同视频流采用不同颜色空间,例如RGB和YUV。以RGB为例来举例说明本步骤该如何计算。RGB颜色空间采用R值、G值和B值来表征帧图像中的每个像素点,每个帧图像例如包括640*480个像素点,则R值、G值和B值的最大值为255,最小值为0,RGB均为255时,呈现的颜色是白色,RGB均为0时,呈现的颜色为黑色。
基于RGB,作为本步骤的一个实施方式,分别计算取出的板书图像和基准图像的每个像素的RGB平均值,公式是:RGB平均值=(R值+G值+B值)/3,然后将取出的板书图像和基准图像的对应位置的RGB平均值进行比较,如果差异值大于事先设定的差异阈值,则对应像素的位置将其记录在第一集合中,最终根据第一集合构建差异区域。图3a和图3b用于示意一个差异区域在两幅图上对应的图像块X1和X2,但应指出,图上示出的图像块X1和X2均为规则形式,但本实施方式得到的差异区域可以是不规则形状。可选地,为方便后续的步骤,将不规则形状的差异区域扩展为规则形状。另外,本实施方式可以输出两个或以上的差异区域。
基于RGB,作为本步骤的另一个实施方式,分别将取出的板书图像和基准图像转换为灰度图,然后基于上述实施方式比较两个灰度图中的相应像素,以得到差异区域。
基于RGB,作为本步骤的第三实施方式,由于相邻两帧板书图像之间差别很小,因此可以将取出的板书图像和基准图像分别划分成多个图像块,然后计算每个图像块的所有R值、G值和B值的平均值,将相应图像块的平均值进行比对,然后将差异性大于第一阈值的图像块提取出来再划分为多个图像块,并计算每个图像块的所有R值、G值和B值总和的平均值,将相应图像块的平均值进行比对,获得差异性大于第二阈值的图像块,以此类推,直到获得差异性大于第N阈值的图像块,并根据差异性大于第N阈值的图像块得到差异区域。应理解,第一阈值至第N阈值可以不同,例如逐渐增大。
在步骤S130中,对于至少一个差异区域中的每个差异区域,采用取得的板书图像中的对应图像块替换基准图像中的对应图像块,并将所有差异区域被替换后的基准图像作为新的板书图像。
在步骤S140中,从连续帧中取出下一帧板书图像。
步骤S130和S140可继续参考图3b所示,假设X2为差异区域对应到基准图像得到的图像块,X1为差异区域对应到取得的板书图像的图像块,则采用X1替换X2以得到一个新的板书图像,并采用新的板书图像替换基准图像,然后从板书无遮挡的视频中取出下一帧板书图像。
在步骤S150中,判断存在下一帧板书图像。步骤S140的最后操作是从连续帧中取出下一帧板书图像,如果这个操作成功,说明当前取得的板书图像不是最后一帧板书图像,还存在下一帧板书图像,则跳转到步骤S120,如果失败,说明当前取得的板书图像是最后一帧板书图像,不存在下一帧板书图像,跳出循环,执行步骤S160。
在步骤S160中,输出多个新的板书图像,以形成新视频。
在本实施例中,基准图像是与当前帧的板书图像相关联的板书图像,当前帧的板书图像在循环体内是变化的,因此在每次循环结尾处可重新获得新的基准图像。结合附图,即在由步骤S120至S150组成的循环体中,初次循环的基准图像为连续帧中的第一帧板书图像,但在每个循环末尾,可重新获得新的基准图像,该新的基准图像依旧是与当前帧的板书图像相关联的板书图像,然后基于新的基准图像进行下一次循环。循环的结束条件是取出所有的板书图像。当执行完循环后,将得到多个板书图像,将新的板书图像按时间顺序组成新的视频,该新的视频都进行了关联,因此不会出现有笔迹抖动的现象。
为了说明上述实施例,可以以一个更具体的示例(示例一)进行阐述。例如板书无遮挡的视频Video_input={f1,f2,…,fn},n为正整数,f1至fn表示时间上连续的帧图像,则在第一次循环中,将f1和f2比较得到差异区域,将差异区域在f1和f2中对应的图像块分为记为f1_patch和f2_patch,然后用f2_patch去替换f1中的f1_patch,将所有差异区域替换后得到f2’;然后在第二个循环中,将f2’和f3进行比较得到差异区域,将差异区域在f2’和f3中对应的图像块分为记为f2’_patch和f3_patch,然后用f3_patch去替换f2’中的f2’_patch,将所有差异区域替换后得到f3’;以此类推,最后会得到f2’至fn’这(n-1)帧图像,然后将序列Video_output={f1,f2’,…,fn’}作为新的视频输出。
在其他的示例中,可以将时间间隔拉长些,间隔n1帧刷新一次,即间隔n1帧重新选取一个初始基准图像。例如板书无遮挡的视频Video_input={f1,f2,…,fn1,fn1+1…,fn},n1是中间的某一帧,前fn1所有的序列按照前述示例一得到{f1,f2’,…,fn1’}。到处理fn1+1时,不进行差异计算(不做处理),直接输出(充当前一处理阶段的f1的角色,作为基准图像),后面的序列按照示例一再执行一遍,得到{fn1+1,…,fn’}。最终得到的时间序列就是{f1,f2’,…,fn1’,fn1+1,…,fn’},fn1+1相当于刷新的那一帧,这样也能达到整体去抖动的效果。
在一些实施例中,初次循环的基准图像可以为其他图像,例如将板书无遮挡的视频的若干个帧的无板书内容的图像进行融合,将融合后的图像作为基准图像,或者采用摄像装置拍摄一个光线和角度都合适的无板书内容的图像作为基准图像。
在一些实施例中,对于上述的序列例如{f2’,…,fn’}中的每个帧图像,还可以进行字符的边缘平滑和增强处理,字符的边缘平滑和增强处理,尽可能使得字符的线条粗细均匀且笔画内皆呈现黑色。字符的边缘平滑和增强处理使得板书内容的各个字符线条变得更为粗壮、清晰,从而避免因为图像块替换步骤造成板书笔迹不清楚的现象。
由于板书无遮挡的视频中的写字板和板书内容经常被替换为白色写字板和黑色板书内容或者被替换成黑色写字板和白色板书内容,与写字板原始的颜色脱离了关系,在透明显示时沉浸感和趣味性稍差些。因此作为优选实施例,还可以对写字板的颜色进行控制,其中写字板的颜色可作为整个视频的背景色。可以将写字板的颜色的控制设置为可选项,并通过相应的命令参数进行控制。例如,若启动写字板的颜色控制,则使用写字板底色或者用户预设的写字板颜色进行显示,则执行图4的步骤进行处理得到具有写字板底色的图像或者用户预设的写字板颜色,否则采用默认的写字板颜色和板书内容颜色输出视频,如果是深色板,默认背景色是黑色、笔迹为白色,如果是浅色板,默认背景色是白色、笔迹为黑色。
在步骤S410中,获得矫正后的写字板图像Irgb,该写字板图像只包含写字板内可书写的有效区域图像,不包含写字板的边框,并且没有板书内容。可以根据原始拍摄的视频来获得上述矫正后的写字板图像Irgb。
在步骤S420中,计算纠正后的写字板图像Irgb每个色彩通道的平均值,其中,R通道的平均值是R_mean,将所有像素的R值累计然后再除以像素总数得到,G通道的平均值是G_mean,将所有像素的G值累计然后再除以像素总数得到,B通道的平均值是B_mean,将所有像素的B值累计然后再除以像素总数得到。
在步骤S430中,根据每个色彩通道的平均值,获得背景色为写字板底色的板书图像,例如,对于深色板中的每个像素点,如果该像素点的R值小于第一阈值,则采用上述R_mean填充替换该像素点的R值,否则保留该像素点的R值,采用同样的方案对每个像素点的G值和B值执行判断和替换的步骤,最终将板书图像中的写字板替换为深色板。但对于浅色板中的每个像素点,如果该像素点的R值大于第二阈值,则采用上述R_mean填充替换该像素点的R值,否则保留该像素点的R值,采用同样的方案对每个像素点的G值和B值执行判断和替换的步骤,最终将板书图像中的写字板替换为浅色板。第一阈值和第二阈值可以自行设置,例如为0和255的中间值。
此外,如果希望将写字板设定为用户预设的写字板颜色,则对于深色板,如果像素点的R值、G值或B值小于相应阈值,则采用用户预设的相应色彩通道的固定值填充替换该像素点的R值、G值或B值,而对于浅色板,则像素点的R值、G值或B值大于相应阈值,则采用用户预设的相应色彩通道的固定值填充替换该像素点的R值、G值或B值。
本公开还提出一种视频的处理装置,如图5所示。该装置500包括板书字迹去抖动模块510和板书背景色控制模块520。板书字迹去抖动模块510可以执行上文各个实施例(不包括图4的实施例)提及的视频处理方法以得到新视频,新视频由于将连续的板书帧图像之间关联起来,从而不存在画面中笔迹抖动的问题。
板书背景色控制模块520用于控制输出的视频中的写字板背景色。具体而言,可以采用一个命令参数对写字板的颜色进行控制,例如该命令参数可以决定使用默认背景色,还是使用原始的写字板底色。如果使用原始的写字板底色,则可以按照图4的步骤进行。板书背景色控制模块520使得板书图像在透明显示过程中,可以实现成写字板背景色的控制,使画面更贴近于真实场景。
应理解,上述板书字迹去抖动模块510和板书背景色控制模块520实现为计算机程序时,可以相互独立,而且两个功能模块均可以做成插件库的形式供需要者和需要的软硬件平台调用。
综上,通过上述模块或方法,产生的视频不仅画面显示稳定而且呈现效果也贴近于真实场景,进而能够保证学生对板书内容的理解和记忆不被打断,增强课堂的代入感。
本公开实施例还提供了一种电子设备1300,如图6所示,包括存储器1310和处理器1320及存储在存储器1310上并可在处理器1320上运行的程序,该程序被处理器1320执行时可实现上述视频处理方法中各实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。当然,该电子设备还可以包括电源组件1330、网络接口1340和输入输出接口1350等辅助子设备。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读的可读存储介质中,并由处理器进行加载和执行。为此,本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序或指令,该计算机程序或指令被处理器执行时可实现上述视频处理方法中各实施例的各个过程。其中,计算机可读存储介质,如U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
由于该可读存储介质中所存储的指令,可以执行本公开实施例所提供的任一种视频处理方法中的步骤,因此,可以实现本公开实施例所提供的任一种视频处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
图7是本公开实施例提供的教学系统的示意图。该教学系统包括:摄像设备701、处理设备702和显示设备703。所述摄像设备701用于拍摄视频。所述处理设备702电性连接所述摄像设备,从摄像装置接收视频,并可按照本说明书内提供的方法或其他方法将视频转换为板书无遮挡的视频,然后执行上述各个实施例提供的视频处理方法,并输出新视频。显示设备703用于将处理设备702输出的新视频显示在显示屏上。可以理解,一方面,该教学系统可以集成为一个电子产品,该电子产品包括摄像头、显示器以及处理器等部件,另一方面,该教学系统也可经由网络(例如局域网)通信的多个设备实现。
需要说明的是,本说明书中在对各个实施例进行描述时,均重点说明的是与其他实施例的不同之处,而对于各个实施例之间相同或相似的部分可互相参考进行理解。对于系统实施例而言,由于其与方法实施例基本相似,因此相关之处可参考对方法实施例部分的说明。
此外,需要指出的是,在本公开的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行,某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言,能够理解本公开的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本公开的说明的情况下运用他们的基本编程技能就能实现的。
最后应说明的是:显然,上述实施例仅仅是为清楚地说明本公开所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本公开的保护范围之中。
Claims (9)
1.一种视频处理方法,包括:
从板书无遮挡的视频中获取连续帧的板书图像;
针对当前帧的板书图像,计算其与基准图像之间的差异区域,所述差异区域的差异性大于差异阈值;
对每个差异区域,采用所述当前帧的板书图像中的对应图像块替换基准图像中的对应图像块,并将所有差异区域被替换后的基准图像作为新的板书图像;
输出新的板书图像,形成新的视频,
其中,所述当前帧的板书图像依次为所述连续帧的板书图像中第一帧板书图像之后的每个板书图像,当所述当前帧的板书图像为所述连续帧的板书图像中的第二帧板书图像时,所述基准图像为所述第一帧板书图像,当所述当前帧的板书图像为所述第二帧板书图像之后的当前帧的板书图像时,所述基准图像为上轮替换得到的新的板书图像。
2.根据权利要求1所述的视频处理方法,其中,所述板书无遮挡的视频通过以下步骤得到:从原始视频中提取板书内容;对教师遮挡的板书内容进行补全;以及将补全后的完整板书内容与所述原始视频进行合成。
3.根据权利要求1所述的视频处理方法,其中,所述针对当前帧的板书图像,计算其与基准图像之间的差异区域包括:
计算所述当前帧的板书图像与所述基准图像之间的像素级差异,并基于差异性大于所述差异阈值的像素点得到所述差异区域,或者,
分别将所述当前帧的板书图像与所述基准图像划分成多个图像块,并将图像块的差异性大于所述差异阈值的图像块作为所述差异区域。
4.根据权利要求3所述的视频处理方法,还包括:将不规则形状的差异区域扩展为规则形状。
5.根据权利要求1至4任一项所述的视频处理方法,还包括:调节所述新的板书图像中的写字板的颜色。
6.根据权利要求5所述的视频处理方法,其中,所述调节所述新的板书图像中的写字板的颜色,包括:
获得矫正后的写字板图像,所述矫正后的写字板图像只包含可书写的有效区域,不包含写字板的边框并且没有板书内容;
计算所述矫正后的写字板图像的每个色彩通道的平均值或者获得用户预设的每个色彩通道的固定值;
对于深色板,将所述新的板书图像中每个色彩通道下的、小于第一阈值的像素值修改为该色彩通道下的平均值或者用户预设的每个色彩通道的固定值;
对于浅色板,将所述新的板书图像中每个色彩通道下的、大于第二阈值的像素值修改为该色彩通道下的平均值或者用户预设的每个色彩通道的固定值。
7.一种视频处理装置,包括:
板书字迹去抖动模块,用于执行权利要求1至4任意一项所述的视频处理方法,并输出所述新的板书图像;
板书背景色控制模块,用于调节所述新的板书图像中的写字板的颜色。
8.一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序被所述处理器执行时实现如权利要求1-6中任一项所述视频处理方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序或指令,所述计算机程序或指令被处理器执行时实现如权利要求1-6中任一项所述视频处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210396715.8A CN114945107B (zh) | 2022-04-15 | 2022-04-15 | 视频处理方法和相关装置 |
US18/090,840 US20230334886A1 (en) | 2022-04-15 | 2022-12-29 | Video processing method and related devices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210396715.8A CN114945107B (zh) | 2022-04-15 | 2022-04-15 | 视频处理方法和相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114945107A CN114945107A (zh) | 2022-08-26 |
CN114945107B true CN114945107B (zh) | 2024-02-02 |
Family
ID=82907048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210396715.8A Active CN114945107B (zh) | 2022-04-15 | 2022-04-15 | 视频处理方法和相关装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230334886A1 (zh) |
CN (1) | CN114945107B (zh) |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007122445A1 (en) * | 2006-04-20 | 2007-11-01 | Nokia Corporation | Data input to an electronic device using writing |
CN101216945A (zh) * | 2007-12-26 | 2008-07-09 | 广东威创视讯科技股份有限公司 | 绘制图形的方法及装置 |
CN102541314A (zh) * | 2010-12-13 | 2012-07-04 | 株式会社理光 | 一种信息处理设备和信息处理方法 |
CN105988568A (zh) * | 2015-02-12 | 2016-10-05 | 北京三星通信技术研究有限公司 | 获取笔记信息的方法和装置 |
CN107403411A (zh) * | 2017-07-27 | 2017-11-28 | 广州视源电子科技股份有限公司 | 板书记录方法、装置、设备及计算机可读存储介质 |
CN107659799A (zh) * | 2016-07-25 | 2018-02-02 | 佳能株式会社 | 摄像装置、图像处理方法和存储介质 |
CN107749986A (zh) * | 2017-09-18 | 2018-03-02 | 深圳市天英联合教育股份有限公司 | 教学视频生成方法、装置、存储介质和计算机设备 |
CN108171282A (zh) * | 2017-12-29 | 2018-06-15 | 安徽慧视金瞳科技有限公司 | 一种黑板笔迹自动合成方法 |
CN108550157A (zh) * | 2018-04-04 | 2018-09-18 | 安徽海青智能科技有限公司 | 一种教学板书的无遮挡处理方法 |
CN109147004A (zh) * | 2018-08-20 | 2019-01-04 | 广州视源电子科技股份有限公司 | 笔迹显示方法、装置、设备及存储介质 |
CN109493400A (zh) * | 2018-09-18 | 2019-03-19 | 平安科技(深圳)有限公司 | 手写样本生成方法、装置、计算机设备及存储介质 |
CN111008969A (zh) * | 2019-12-06 | 2020-04-14 | 浙江蓝鸽科技有限公司 | 黑板板书提取与智能识别方法及系统 |
CN111881904A (zh) * | 2020-07-31 | 2020-11-03 | 城云科技(中国)有限公司 | 板书记录方法和系统 |
CN112507927A (zh) * | 2020-12-16 | 2021-03-16 | 罗普特科技集团股份有限公司 | 一种板书内容自动生成方法和装置 |
WO2021075280A1 (ja) * | 2019-10-17 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2022019478A1 (ko) * | 2020-07-24 | 2022-01-27 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN114120163A (zh) * | 2021-09-14 | 2022-03-01 | 南京谦萃智能科技服务有限公司 | 视频帧处理方法、装置及其相关设备和存储介质 |
CN114202601A (zh) * | 2021-11-17 | 2022-03-18 | 北京奕斯伟计算技术有限公司 | 板书信息处理方法、装置、电子设备及存储介质 |
CN114205521A (zh) * | 2021-11-12 | 2022-03-18 | 国网通用航空有限公司 | 一种运动视频图像的稳像方法、装置、设备及存储介质 |
CN114283156A (zh) * | 2021-12-02 | 2022-04-05 | 珠海移科智能科技有限公司 | 一种用于去除文档图像颜色及手写笔迹的方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5142491B2 (ja) * | 2006-07-31 | 2013-02-13 | 株式会社リコー | 画像表示装置、画像表示方法及び画像表示プログラム |
-
2022
- 2022-04-15 CN CN202210396715.8A patent/CN114945107B/zh active Active
- 2022-12-29 US US18/090,840 patent/US20230334886A1/en active Pending
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007122445A1 (en) * | 2006-04-20 | 2007-11-01 | Nokia Corporation | Data input to an electronic device using writing |
CN101216945A (zh) * | 2007-12-26 | 2008-07-09 | 广东威创视讯科技股份有限公司 | 绘制图形的方法及装置 |
CN102541314A (zh) * | 2010-12-13 | 2012-07-04 | 株式会社理光 | 一种信息处理设备和信息处理方法 |
CN105988568A (zh) * | 2015-02-12 | 2016-10-05 | 北京三星通信技术研究有限公司 | 获取笔记信息的方法和装置 |
CN107659799A (zh) * | 2016-07-25 | 2018-02-02 | 佳能株式会社 | 摄像装置、图像处理方法和存储介质 |
CN107403411A (zh) * | 2017-07-27 | 2017-11-28 | 广州视源电子科技股份有限公司 | 板书记录方法、装置、设备及计算机可读存储介质 |
CN107749986A (zh) * | 2017-09-18 | 2018-03-02 | 深圳市天英联合教育股份有限公司 | 教学视频生成方法、装置、存储介质和计算机设备 |
CN108171282A (zh) * | 2017-12-29 | 2018-06-15 | 安徽慧视金瞳科技有限公司 | 一种黑板笔迹自动合成方法 |
CN108550157A (zh) * | 2018-04-04 | 2018-09-18 | 安徽海青智能科技有限公司 | 一种教学板书的无遮挡处理方法 |
CN109147004A (zh) * | 2018-08-20 | 2019-01-04 | 广州视源电子科技股份有限公司 | 笔迹显示方法、装置、设备及存储介质 |
CN109493400A (zh) * | 2018-09-18 | 2019-03-19 | 平安科技(深圳)有限公司 | 手写样本生成方法、装置、计算机设备及存储介质 |
WO2021075280A1 (ja) * | 2019-10-17 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN111008969A (zh) * | 2019-12-06 | 2020-04-14 | 浙江蓝鸽科技有限公司 | 黑板板书提取与智能识别方法及系统 |
WO2022019478A1 (ko) * | 2020-07-24 | 2022-01-27 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN111881904A (zh) * | 2020-07-31 | 2020-11-03 | 城云科技(中国)有限公司 | 板书记录方法和系统 |
CN112507927A (zh) * | 2020-12-16 | 2021-03-16 | 罗普特科技集团股份有限公司 | 一种板书内容自动生成方法和装置 |
CN114120163A (zh) * | 2021-09-14 | 2022-03-01 | 南京谦萃智能科技服务有限公司 | 视频帧处理方法、装置及其相关设备和存储介质 |
CN114205521A (zh) * | 2021-11-12 | 2022-03-18 | 国网通用航空有限公司 | 一种运动视频图像的稳像方法、装置、设备及存储介质 |
CN114202601A (zh) * | 2021-11-17 | 2022-03-18 | 北京奕斯伟计算技术有限公司 | 板书信息处理方法、装置、电子设备及存储介质 |
CN114283156A (zh) * | 2021-12-02 | 2022-04-05 | 珠海移科智能科技有限公司 | 一种用于去除文档图像颜色及手写笔迹的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114945107A (zh) | 2022-08-26 |
US20230334886A1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110650368B (zh) | 视频处理方法、装置和电子设备 | |
EP2525561B1 (en) | Data-generating device, data-generating method, data-generating program, and recording medium | |
US9813566B2 (en) | Information processing device, information processing method, and program for generating a layout | |
CN109803172B (zh) | 一种直播视频的处理方法、装置及电子设备 | |
US9100530B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9503609B2 (en) | Data-generating device, data-generating method, data-generating program and recording medium | |
CN113297937B (zh) | 一种图像处理方法、装置、设备及介质 | |
US20230074060A1 (en) | Artificial-intelligence-based image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product | |
CN105761683A (zh) | 一种应用于电泳显示器的图像处理方法 | |
CN114943663A (zh) | 一种教学系统 | |
CN114945107B (zh) | 视频处理方法和相关装置 | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
CN115604887A (zh) | 一种氛围灯组控制方法、控制台及装置 | |
CN114049865B (zh) | 屏幕刷新方法、装置、计算机可读存储介质及计算机设备 | |
CN114708363A (zh) | 游戏直播封面生成方法及服务器 | |
JP2008139828A (ja) | 画像処理装置、画像処理方法、電気光学装置及び電子機器 | |
CN114494005A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112488972A (zh) | 一种绿幕图像与虚拟图像实时合成的方法和装置 | |
CN113034412A (zh) | 视频处理方法及装置 | |
US20230350632A1 (en) | Processing method for board writing display and related devices | |
CN112884659A (zh) | 图像对比度增强方法、装置和显示设备 | |
Cooper et al. | Is There an Uncanny Valley in Frame Rate Perception? | |
CN113194267B (zh) | 图像处理方法及装置、拍照方法及装置 | |
US20230351786A1 (en) | Method and related device for board writing extraction | |
CN113784077B (zh) | 一种信息处理方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |