CN113554904B - 一种多模式协同教育智能处理方法和系统 - Google Patents

一种多模式协同教育智能处理方法和系统 Download PDF

Info

Publication number
CN113554904B
CN113554904B CN202110785472.2A CN202110785472A CN113554904B CN 113554904 B CN113554904 B CN 113554904B CN 202110785472 A CN202110785472 A CN 202110785472A CN 113554904 B CN113554904 B CN 113554904B
Authority
CN
China
Prior art keywords
video
writing
blackboard
time axis
blackboard writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110785472.2A
Other languages
English (en)
Other versions
CN113554904A (zh
Inventor
周雪松
杨定高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Oudi Electronic Technology Co ltd
Original Assignee
Jiangsu Oudi Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Oudi Electronic Technology Co ltd filed Critical Jiangsu Oudi Electronic Technology Co ltd
Priority to CN202110785472.2A priority Critical patent/CN113554904B/zh
Publication of CN113554904A publication Critical patent/CN113554904A/zh
Application granted granted Critical
Publication of CN113554904B publication Critical patent/CN113554904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种多模式协同教育智能处理方法和系统，该方法包括：获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；获取所述老师在讲课过程中所书写的板书；将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。通过本申请解决了现有技术中在课程直播可能出现的板书不清楚的问题，提高了板书的清晰度，进一步提高了课程直播的效果。

Description

一种多模式协同教育智能处理方法和系统
技术领域
本申请涉及到教育领域，具体而言，涉及一种多模式协同教育智能处理方法和系统。
背景技术
随着网络和智能设备的发展，智能教室技术也在教学过程中得到的广泛的应用。在基于网络的教育中，网络直播是非常重要的一个资源共享的手段。
例如，老师A在某地的教室内进行讲课，学生通过摄像头就可以在另一个地方同步收看老师A的加课直播视频，这对于解决教育资源不均衡问题有很大的帮助。
现在教学过程中的网络直播都是通过视频直播的方式进行，一般是通过一个摄像头将老师讲课的视频进行同步直播。虽然另一个地方的学生能够看到老师讲课的实时视频，但是，对于老师在黑板上书写的字迹有可能会不清楚，对于这个问题，在现有技术中没有什么很好的解决方案。
发明内容
本申请实施例提供了一种多模式协同教育智能处理方法和系统，以至少解决现有技术中在课程直播可能出现的板书不清楚的问题。
根据本申请的一个方面，提供了一种多模式协同教育智能处理方法，包括：获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；获取所述老师在讲课过程中所书写的板书；将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
进一步地，获取所述老师在所述讲课过程中所写的板书包括：将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。
进一步地，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
进一步地，获取所述老师在所述讲课过程中所写的板书包括：获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。
进一步地，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
根据本申请的另一个方面，还提供了一种多模式协同教育智能处理系统，包括：第一获取模块，用于获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；第二获取模块，用于获取所述老师在讲课过程中所书写的板书；生成模块，用于将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；发送模块，用于将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
进一步地，所述第二获取模块，用于将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。
进一步地，所述生成模块用于将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
进一步地，所述第二获取模块用于获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。
进一步地，所述生成模块用于建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
在本申请实施例中，采用了获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；获取所述老师在讲课过程中所书写的板书；将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。通过本申请解决了现有技术中在课程直播可能出现的板书不清楚的问题，提高了板书的清晰度，进一步提高了课程直播的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的多模式协同教育智能处理方法的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种多模式协同教育智能处理方法，图1是根据本申请实施例的多模式协同教育智能处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；
步骤S104，获取所述老师在讲课过程中所书写的板书；
步骤S106，将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；
步骤S108，将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
在一个可选的实施方式中，所述显示设备在接收到第一视频、所述板书之后和所述时间轴以后，在显示屏幕上使用画中画的方式进行显示，所述板书为主显示，所述第一视频作为所述主显示的一部分进行辅显示。
作为另一个可选的实施方式，可以将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分，所述服务器将所述第一显示视频发送给步骤S108中的显示设备。
作为另一个可选的可以增加的实施方式，还可以将所述第一视频中声音进行提取，得到第一声音文件，将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音。将合成后的第二显示视频发送给所述显示设备。比较优的是，可以获取所述服务器与所述显示设备之间的网络延迟，当网络延迟大于等于第一阈值时，将所述第二显示视频发送给所述显示设备，当所述网络延迟小于所述第一阈值时，将所述第一显示视频发送给所述显示设备。
通过上述步骤，将板书和时间轴与视频一起单独发送给显示设备，这样可以通过显示设备单独进行板书的显示，从而解决了现有技术中在课程直播可能出现的板书不清楚的问题，提高了板书的清晰度，进一步提高了课程直播的效果。
获取老师在讲课过程中所写的板书有多种解决方案，例如，如果老师使用的传统的黑板，此时，可以从第一视频中提取该板书，从画面中提取线条的技术可以采用现有的提取方法，无论哪种提取方法只要能提取出板书的线条都可以取得本实施例中的效果。在本实施例中提供了一种可选的比较优的实施方式。
在本可选的实施方式中，可以采用基于神经网络的机器学习的方式来进行线条的提取。神经网络模型可以使用很多种开源的平台进行搭建，在此不再一一进行说明。搭建好的神经网络模型，是否能够使用该模型取决于训练数据。在本可选实施方式中，训练数据是老师书写板书的视频和该板书对应的矢量线条。经过超过预定量的训练数据的训练就可以得到一个机器学习模型，该模型的输入是一段视频，输入就是板书的矢量线条。
在本可选实施方式中，可以获将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。如果使用了上述的机器学习模型来进行板书内容的识别，则将视频段落输入到该机器学习模型中，该机器学习模型的输出就是板书对应的矢量线条。
进一步地，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书(即上个步骤中提取的板书内容，板书内容可以是矢量线条)的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
在另外一个教学环境中，如果老师所使用的黑板是智能设备，该智能设备具有触摸屏幕，此时，获取所述老师在所述讲课过程中所写的板书可以包括：获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。
在该可选实施方式，建立时间轴的方式也比较简单，可以建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
上述两种方式中，可以根据教室的情况来灵活进行选择。作为一个可选的实施方式，可以将所述第一视频、所述板书以及所述时间轴发送至显示设备之后，再发送给服务器。服务器可以保存该第一视频、板书和时间轴。这样就可以形成录制的课程，供以后的学生来进行学习。
在发送给服务器之后，所述服务器可以将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分，所述服务器将所述第一显示视频发送给步骤S108中的显示设备。
作为另一个可选的实施方式，在录制完一个阶段的视频之后，在服务器上包括有多个课程视频，多个视频课程之间的拼接顺序按照课程表的方式来进行排列。这样有助于学生查找课程，以及按照课程表上的课程进行上课。
作为另一个可选的可以增加的实施方式，服务器还可以将所述第一视频中声音进行提取，得到第一声音文件，将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音。
所述服务器保存所述第一显示视频和所述第二显示视频，并将所述第一显示视频和所述第二显示设备均配置课程名称标签。所述服务器在接收到回放所述课程名称对应的课程的情况下，将所述第一显示视频或者所述第二显示视频发送给回放设备。比较优的是，所述服务器可以获取所述服务器与所述回放设备之间的网络带宽，当网络带宽大于等于第二阈值时，将所述第一显示视频发送给所述回放设备，当所述网络带宽小于所述第二阈值时，将所述第二显示视频发送给所述回放设备。
上述图1中的示出步骤以及上述可选的步骤也可以是由该服务器执行的。或者，当老师使用智能设备在讲课时，也可以由具有计算功能的上述智能设备来执行有服务器所执行的步骤。
在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。在本实施例中，就提供了设备、装置或系统，该系统可以称为一种多模式协同教育智能处理系统，所述系统包括：第一获取模块，用于获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；第二获取模块，用于获取所述老师在讲课过程中所书写的板书；生成模块，用于将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；发送模块，用于将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
该系统用于实现上述实施例中的方法步骤，已经进行说明的，在此不再赘述。
例如，作为一个可选的实施方式，所述第二获取模块用于将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。在该可选的实施方式中，比较优地，所述生成模块用于将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
又例如，作为另一个可选的实施方式，所述第二获取模块用于获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。在该可选的实施方式中，比较优地，所述生成模块用于建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
通过上述实施例解决了现有技术中在课程直播可能出现的板书不清楚的问题，提高了板书的清晰度，进一步提高了课程直播的效果。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种多模式协同教育智能处理方法，其特征在于，包括：
获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；
获取所述老师在讲课过程中所书写的板书，其中，获取所述老师在所述讲课过程中所写的板书包括：将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容进行提取；将提取到的板书内容形成板书视频；
将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同，其中，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变；
将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书；
将所述第一视频中声音进行提取，得到第一声音文件；
将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分；
将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音；
将合成后的第二显示视频发送给所述显示设备；其中，获取服务器与所述显示设备之间的网络延迟，当网络延迟大于等于第一阈值时，将所述第二显示视频发送给所述显示设备，当所述网络延迟小于所述第一阈值时，将所述第一显示视频发送给所述显示设备。
2.根据权利要求1所述的方法，其特征在于，获取所述老师在所述讲课过程中所写的板书包括：
获取所述老师在触摸屏幕上写下的所述板书；
将所述板书转化为矢量线条并进行保存。
3.根据权利要求2所述的方法，其特征在于，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：
建立所述矢量线条的出现与时间的对应关系；
将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
4.一种多模式协同教育智能处理系统，其特征在于，包括：
第一获取模块，用于获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；
第二获取模块，用于获取所述老师在讲课过程中所书写的板书；
生成模块，用于将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；
发送模块，用于将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书；
所述系统还用于：将所述第一视频中声音进行提取，得到第一声音文件；将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分；将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音；将合成后的第二显示视频发送给所述显示设备；其中，获取服务器与所述显示设备之间的网络延迟，当网络延迟大于等于第一阈值时，将所述第二显示视频发送给所述显示设备，当所述网络延迟小于所述第一阈值时，将所述第一显示视频发送给所述显示设备；
其中，所述第二获取模块，用于将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容进行提取；将提取到的板书内容形成板书视频；
所述生成模块用于将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
5.根据权利要求4所述的系统，其特征在于，所述第二获取模块用于获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。
6.根据权利要求5所述的系统，其特征在于，所述生成模块用于建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
CN202110785472.2A 2021-07-12 2021-07-12 一种多模式协同教育智能处理方法和系统 Active CN113554904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110785472.2A CN113554904B (zh) 2021-07-12 2021-07-12 一种多模式协同教育智能处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110785472.2A CN113554904B (zh) 2021-07-12 2021-07-12 一种多模式协同教育智能处理方法和系统

Publications (2)

Publication Number Publication Date
CN113554904A CN113554904A (zh) 2021-10-26
CN113554904B true CN113554904B (zh) 2023-04-07

Family

ID=78102980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110785472.2A Active CN113554904B (zh) 2021-07-12 2021-07-12 一种多模式协同教育智能处理方法和系统

Country Status (1)

Country Link
CN (1) CN113554904B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095747B (zh) * 2021-11-29 2023-12-05 Oook(北京)教育科技有限责任公司 直播互动系统和方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118854A (zh) * 2017-06-22 2019-01-01 格局商学教育科技（深圳）有限公司 一种全景沉浸式直播互动教学系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020054026A1 (en) * 2000-04-17 2002-05-09 Bradley Stevenson Synchronized transmission of recorded writing data with audio
CN101316356B (zh) * 2007-05-29 2010-12-08 北京大学 面向远程教育的板书动态图像压缩方法
US20170300752A1 (en) * 2016-04-18 2017-10-19 Yen4Ken, Inc. Method and system for summarizing multimedia content
CN107155080A (zh) * 2016-09-06 2017-09-12 北京新学堂网络科技有限公司 一种模仿现场授课场景的课程视频制作方法
CN109324811B (zh) * 2017-07-28 2021-10-15 深圳市鹰硕技术有限公司 一种用于更新教学录播数据的装置
CN107909022B (zh) * 2017-11-10 2020-06-16 广州视睿电子科技有限公司 一种视频处理方法、装置、终端设备和存储介质
CN108881765A (zh) * 2018-05-25 2018-11-23 讯飞幻境(北京)科技有限公司 轻量录播方法、装置及系统
CN110085060A (zh) * 2019-04-19 2019-08-02 石家庄科达文教用品有限公司 多终端直播交互系统
WO2021035223A1 (en) * 2019-08-22 2021-02-25 Educational Vision Technologies, Inc. Automatic data extraction and conversion of video/images/sound information from a board-presented lecture into an editable notetaking resource
CN110933331B (zh) * 2019-12-06 2022-03-01 浙江蓝鸽科技有限公司 教学视频的合成方法及系统
CN111008969B (zh) * 2019-12-06 2023-07-18 浙江蓝鸽科技有限公司 黑板板书提取与智能识别方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118854A (zh) * 2017-06-22 2019-01-01 格局商学教育科技（深圳）有限公司 一种全景沉浸式直播互动教学系统

Also Published As

Publication number Publication date
CN113554904A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN104408983A (zh) 基于录播设备的智能教学信息处理装置和方法
CN104539436A (zh) 一种课堂内容实时直播方法及系统
CN107967830A (zh) 在线教学互动的方法、装置、设备及存储介质
CN109697906B (zh) 一种基于互联网教学平台的跟随教学方法
CN113554904B (zh) 一种多模式协同教育智能处理方法和系统
CN111639154A (zh) 直播搜题方法、装置、终端设备和存储介质
CN112216311B (zh) 在线课堂重现方法、系统、设备及介质
KR20190110365A (ko) Ｔｃｐ 기반의 양방향 통신 패킷 프로토콜을 이용한 콘텐츠 제공 시스템
CN105721837A (zh) 一种学生自适应学习系统和方法
US20200194036A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
CN104484840A (zh) 一种用于智慧教学系统的课件生成装置及其生成方法
CN104504948A (zh) 一种用于智慧教学系统显示推送课程的方法及装置
CN110136500A (zh) 全自动多画面教学直播系统
CN112712738B (zh) 学生显示处理方法和装置、电子装置
CN111383490A (zh) 一种实现教务远程管理的多媒体教学系统
CN114154895A (zh) 一种学习评估与推荐课程关联处理方法和系统
KR20180092679A (ko) 학습 콘텐츠를 위한 실시간 첨삭 시스템
CN111081101A (zh) 一种互动录播系统、方法及装置
CN112270854A (zh) 一种教学系统、教学设备及教学方法
Murray Reviving the Technical in Television History
CN104484422A (zh) 一种用于智慧教学系统的信息处理方法及装置
Lipuma et al. Categorization of video used in a digital learning online professional learning exchange for professional development by the State of New Jersey
JP6866411B2 (ja) 学習システム、動画自動生成方法及びプログラム
KR20180002992A (ko) 시청각 변속 트레이닝 원리를 이용한 외국어학습방법 및 그 시스템
CN116095415A (zh) 一种课件回放方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Multimodal Collaborative Education Intelligent Processing Method and System

Effective date of registration: 20230608

Granted publication date: 20230407

Pledgee: Nanjing Branch of Jiangsu Bank Co.,Ltd.

Pledgor: JIANGSU OUDI ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2023320000315

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20230407

Pledgee: Nanjing Branch of Jiangsu Bank Co.,Ltd.

Pledgor: JIANGSU OUDI ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2023320000315

PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Multi mode Collaborative Education Intelligent Processing Method and System

Granted publication date: 20230407

Pledgee: Nanjing Branch of Jiangsu Bank Co.,Ltd.

Pledgor: JIANGSU OUDI ELECTRONIC TECHNOLOGY Co.,Ltd.

Registration number: Y2024320000073