CN112235605A - 视频处理系统和视频处理方法 - Google Patents

视频处理系统和视频处理方法 Download PDF

Info

Publication number
CN112235605A
CN112235605A CN202011207039.2A CN202011207039A CN112235605A CN 112235605 A CN112235605 A CN 112235605A CN 202011207039 A CN202011207039 A CN 202011207039A CN 112235605 A CN112235605 A CN 112235605A
Authority
CN
China
Prior art keywords
data
video
scene data
video processing
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011207039.2A
Other languages
English (en)
Other versions
CN112235605B (zh
Inventor
陈奕名
张建鑫
张赫
霍卫涛
王超
同亚龙
张俊
李力
赵飞
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Oriental Education Technology Group Co ltd
Original Assignee
New Oriental Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Oriental Education Technology Group Co ltd filed Critical New Oriental Education Technology Group Co ltd
Priority to CN202011207039.2A priority Critical patent/CN112235605B/zh
Publication of CN112235605A publication Critical patent/CN112235605A/zh
Application granted granted Critical
Publication of CN112235605B publication Critical patent/CN112235605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一种视频处理系统和视频处理方法。该视频处理系统包括：多个边缘设备，分别设置不同的地点，且每个边缘设备配置为获取所在地点的场景数据；物联网设备，与多个边缘设备耦接，且配置为接收并存储场景数据；后端设备，与物联网设备耦接，且配置为根据业务需求从物联网设备调用对应的场景数据，并进行相应的后端数据处理。该视频处理系统可以为学生提供更好的高清课程视频观看体验，同时降低设备成本。

Description

视频处理系统和视频处理方法
技术领域
本公开的实施例涉及一种视频处理系统及视频处理方法。
背景技术
近年来，由于传统教学模式已逐渐不能满足学生对于多媒体信息化便于回放、随时回顾等教学方式的需求，伴随互联网特别是移动互联网的发展和普及，网络教学技术也得到了快速发展。
发明内容
本公开至少一实施例提供一种视频处理系统，包括：多个边缘设备，分别设置不同的地点，且每个边缘设备配置为获取所在地点的场景数据；物联网设备，与所述多个边缘设备耦接，且配置为接收并存储所述场景数据；后端设备，与所述物联网设备耦接，且配置为根据业务需求从所述物联网设备调用对应的场景数据，并进行相应的后端数据处理。
例如，在本公开至少一实施例提供的视频处理系统中，所述场景数据包括课堂教学场景数据。
例如，本公开至少一实施例提供的视频处理系统还包括：前端展示设备，配置为向至少一个终端提供后端数据处理后的所述场景数据，通过所述终端向用户展示处理后的所述场景数据。
例如，在本公开至少一实施例提供的视频处理系统中，所述边缘设备包括图像采集单元和第一数据处理装置；所述图像采集单元配置为采集所述场景数据；所述第一数据处理装置与至少一个所述图像采集单元耦接，且配置为接收所述至少一个图像采集单元采集的场景数据，并对所述场景数据进行数据预处理操作。
例如，在本公开至少一实施例提供的视频处理系统中，所述图像采集单元配置为直接从视频播放设备获取所述场景数据或从监控设备采集所述场景数据。
例如，在本公开至少一实施例提供的视频处理系统中，所述数据预处理操作包括对采集的所述场景数据根据督课算法或补课算法进行处理操作，所述补课算法包括板书行为检测、音频降噪处理、板书定位或视频清晰化处理；所述督课算法包括课堂参与人行为检测。
例如，在本公开至少一实施例提供的视频处理系统中，所述第一数据处理装置配置为根据所述后端设备或所述物联网设备的控制或自主地在非数据采集阶段对所述场景数据进行数据预处理操作。
例如，在本公开至少一实施例提供的视频处理系统中，所述前端展示设备还配置为基于所述边缘设备所在的地点部署所述第一数据处理装置对应的地点信息。
例如，在本公开至少一实施例提供的视频处理系统中，所述物联网设备包括第二数据处理装置和存储单元；所述第二数据处理装置与所述后端设备连接，且配置为基于所述后端设备的算法调度对所述场景数据进行数据处理操作；所述存储单元配置为存储所述场景数据。
例如，在本公开至少一实施例提供的视频处理系统中，所述数据处理操作包括视频合成、视频片段切分。
例如，在本公开至少一实施例提供的视频处理系统中，所述第二数据处理装置包括物联网服务器集群。
例如，在本公开至少一实施例提供的视频处理系统中，所述第二数据处理装置还与所述多个边缘设备耦接，且配置为对所述边缘设备进行设备巡检。
例如，在本公开至少一实施例提供的视频处理系统中，所述第二数据处理装置还通过所述后端设备与所述前端展示设备耦接，且配置为根据所述前端展示设备的操作指令对选择的边缘设备的第一数据处理装置的信息或图像采集单元的动作进行设置，或对所述场景数据的展示进行设置。
例如，在本公开至少一实施例提供的视频处理系统中，所述业务需求包括课堂幻灯片、教师手写板书的视频切换、视频知识点切分、习题练习、师生互动。
例如，在本公开至少一实施例提供的视频处理系统中，所述课程教学场景数据包括课堂教学过程中的音频和视频。
本公开至少一实施例还提供一种适于计算机执行的视频处理方法，包括：通过设置在不同地点的多个边缘设备分别获取各个地点的场景数据；通过物联网设备接收并存储所述场景数据；通过后端设备根据业务需求从所述物联网设备调用对应的场景数据，并进行相应的后端数据处理。
例如，本公开至少一实施例提供的视频处理方法还包括：通过前端展示设备向至少一个终端提供后端数据处理后的所述场景数据，通过所述终端向用户展示处理后的所述场景数据。
例如，在本公开至少一实施例提供的视频处理方法中，所述边缘设备包括图像采集单元和第一数据处理装置，通过设置在不同地点的多个边缘设备分别获取各个地点的场景数据，包括：通过所述图像采集单元采集所述场景数据；通过所述第一数据处理装置接收所述至少一个图像采集单元采集的场景数据，并对所述场景数据进行数据预处理操作。
例如，在本公开至少一实施例提供的视频处理方法中，通过所述第一数据处理装置接收所述至少一个图像采集单元采集的场景数据，并对所述场景数据进行数据预处理操作，包括：对采集的所述场景数据根据督课算法或补课算法进行处理操作，所述补课算法包括板书行为检测、音频降噪处理、板书定位或视频清晰化处理；所述督课算法包括课堂参与人行为检测。
例如，在本公开至少一实施例提供的视频处理方法中，所述物联网设备包括第二数据处理装置和存储单元；通过物联网设备接收并存储所述场景数据，包括：通过所述第二数据处理装置基于所述后端设备的算法调度对进行所述数据预处理操作后的所述场景数据进行数据处理操作；通过所述存储单元存储进行所述数据预处理操作后的所述场景数据。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A为本公开至少一实施例提供的一种视频处理方法的一个示例的流程图；
图1B为本公开至少一实施例提供的一种边缘设备的示意图；
图1C为图1B所示的边缘设备的剖面示意图；
图1D为本公开至少一实施例提供的一种板书区域放大示意图；
图2为本公开至少一实施例提供的另一种视频处理方法的流程图；
图3为本公开至少一实施例提供的一种获取场景数据的流程图；
图4为本公开至少一实施例提供的一种接收并存储场景数据的流程图；
图5为一种可用于实施本公开实施例提供的视频处理方法的系统；
图6为本公开至少一实施例提供的一种视频处理系统的示意框图；
图7为本公开至少一实施例提供的另一种视频处理系统的示意框图；
图8为本公开至少一实施例提供的又一种视频处理系统的示意图；以及
图9为本公开至少一实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
当下智能教室越来越重要，其功能不仅仅局限于教室硬件设备的智能化(例如智能开关、智能投影仪等)，更多地体现于课堂内容的智能记录与智能处理。对通用教育场景来讲，补课与督课是耗费学校人力物力最高的两个需求。
目前线下课的学员出勤率难保证，老师补课任务重，且补课时间和学生的空闲时段对不上，造成补课滞后。而插班补课效果差，家长也很难为这种补课形式买单，造成课程退费率高、损失大等问题。同时当前市面上的解决方案存在成本高昂、体验较差(不能实现原班教学场景和有针对性的知识点学习等)、线下设备的远程管理难等问题。为解决此问题，初期在教室内布置补课摄像头拍摄老师与黑白区域，在学校统一放置服务器，用于回传上课视频，供缺课的学生补课观看。但是，此类解决办法安装与维护成本过高，不能适用于大部分教育补课场景。
同时，教育场景需求中最关注教师与学生的表现，如果有越轨行为需要及时发现与制止。因此教育场景会通过摄像头对老师与学生行为的监督，即督课。与补课场景不同，督课更关注的是学生与老师的行为，两种场景拍摄重点不同。通常情况下，督课摄像头会由学校购买整套设备统一管理，此类设备功能与补课服务器功能相似，想要同时具备补课与督课方案的学校需要承担更高的成本。
目前线下课堂的音视频采集处理解决方案主要分为三种。一种是直接接入线下教室监控系统视频进行观看，通过复用现有监控设备完成线下课堂的音视频采集；第二种是在教室中部署专业录课设备，例如硬盘录像机、音视频编解码服务器、高速球型摄像机或多路高清摄像头等专业录像设备；第三种是采用“双师课堂”的模式，主讲教师采用直播或录播的方式给学生上课，在云端或线下直播间完成课堂音视频采集。
然而，第一种直接接入线下教室监控系统视频进行观看的方案，首先是音视频质量无法达到预期要求，幻灯片以及教师手写板书都存在看不清的问题，受环境光线、噪音等因素影响较大，且无法满足多个孩子同时观看的并发要求。第二种部署专业录课设备的方案，首先是成本较高，单教室成本在万元以上，很难大规模应用服务学生，另外整个使用过程无法做到无感知，需要教师进行一定的设备使用培训才能完成。第三种方式严格意义上讲已经不是传统意义上的线下授课模式，会降低学生的接受效果，主讲老师无法根据学生的现场反馈调整授课策略，同时无法记录线下老师的辅导过程。
本公开至少一实施例提供一种视频处理系统，包括：多个边缘设备，分别设置不同的地点，且每个边缘设备配置为获取所在地点的场景数据；物联网设备，与多个边缘设备耦接，且配置为接收并存储场景数据；后端设备，与物联网设备耦接，且配置为根据业务需求从物联网设备调用对应的场景数据，并进行相应的后端数据处理。
本公开一些实施例还提供对应于上述视频处理系统的视频处理方法。
本公开至少一实施例提供的视频处理系统，可以节约设备成本，提高学生的补课体验，拓宽了产品的应用范围，提高了产品的市场竞争力。
下面结合附图对本公开的实施例及其示例进行详细说明。
本公开至少一实施例提供一种视频处理系统和适于计算机执行的视频处理方法，例如，可以应用于学生补课场景下，例如用于对教室原有监控录像设备(例如，摄像机)录制的课程教学视频进行视频处理，以将处理后的视频用于学生补课；或者还可以应用于无人超市的场景，例如，对无人超市中收银区域的监控等，本公开的实施例对此不作限制。下面以应用于学生补课场景为例，对本公开的视频处理系统和方法进行详细地介绍。
例如，该视频处理方法可以以软件、硬件、固件或其任意组合的方式实现，由例如手机、数码相机、平板电脑、笔记本电脑、桌面电脑、网络服务器等设备中的处理器加载并执行，以提高课程回放的观看效果和效率，节约设备成本。
例如，该视频处理方法适用于一计算装置，该计算装置是包括具有计算功能的任何电子设备，例如可以为手机、数码相机、笔记本电脑、平板电脑、台式计算机、网络服务器等，可以加载并执行该视频处理方法，本公开的实施例对此不作限制。例如，该计算装置可以包括中央处理单元(Central Processing Unit，CPU)或图形处理单元(GraphicsProcessing Unit，GPU)、数字信号处理器(DSP)等具有数据处理能力和/或指令执行能力的其它形式的处理单元、存储单元等，该计算装置上还安装有操作系统、应用程序编程接口(例如，OpenGL(Open Graphics Library)、Metal等)等，通过运行代码或指令的方式实现本公开实施例提供的视频处理方法。例如，该计算装置还可以包括例如显示部件的输出部件，该显示部件例如为液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(OrganicLight Emitting Diode，OLED)显示屏、量子点发光二极管(Quantum Dot Light EmittingDiode，QLED)显示屏等，本公开的实施例对此不作限制。例如，该显示部件可以显示进行后端数据处理后的场景数据。
图1A为本公开至少一实施例提供的一种视频处理方法的一个示例的流程图。下面结合图1A对本公开至少一实施例提供的视频处理方法进行详细地介绍。例如，在一些示例中，如图1A所示，该视频处理方法包括步骤S110至步骤S130。
步骤S110：通过设置在不同地点的多个边缘设备分别获取各个地点的场景数据。
步骤S120：通过物联网设备接收并存储场景数据。
步骤S130：通过后端设备根据业务需求从物联网设备调用对应的场景数据，并进行相应的后端数据处理。
对于步骤S110，例如，场景数据包括课堂教学场景数据。例如，课程教学场景数据包括课堂教学过程中的音频和视频。
例如，课堂教学过程中的视频包括课件部分和板书部分中的至少一个。例如，课件部分为老师通过教学设备播放的幻灯片(PPT)等，板书部分包括老师在黑板上或投影器件上等书写的教学内容，本公开的实施例对此不作限制。
例如，课程教学过程中的音频部分可以包括老师上课讲述的教学内容、学生提问或回答的内容，以及老师在课程教学过程中播放的音频等，本公开的实施例对此不作限制。
图1B为本公开至少一实施例提供的一种边缘设备的示意图；图1C为图1B所示的边缘设备的剖面示意图。如图1B和图1C所示，该边缘设备100包括图像采集单元101和第一数据处理装置102。例如，在一些示例中，该第一数据处理装置102包括边缘盒子，本公开的实施例对此不作限制。
例如，在一些示例中，该边缘设备100可以安装至教室前部的屋顶位置，并将图像采集单元101朝向课件展示区域和黑板，以获取课程教学场景数据。例如，该课程教学场景数据中的视频包括讲台上的课件区域、板书区域、老师等部分。
例如，在另一些示例中，在无人超市场景中，该边缘设备100可以安装至超市门口的屋顶位置，并将图像采集单元101朝向收银台区域，以监控超市的人流和收银区域的异常等，从而获取场景数据。
例如，边缘盒子利用教室已有安防摄像头，实现督课数据(包括图片，视频，声音等)的控制与拉取，以降低边缘盒子整体成本。
例如，如图1B所示，边缘盒子可以做成一个附带各类接口的整体(只当主机，外接各类数据采集)，亦可作为一个带有图像采集单元101的整体，本公开的实施例对此不作限制。例如，如图1B所示，该边缘设备100还包括供电电源103、网络总线104、预留接口105、入网106等，本公开的实施例对此不作限制。
例如，该图像采集单元101可以是包括CMOS(互补金属氧化物半导体)传感器、CCD(电荷耦合器件)传感器等的装置，例如，为监控录像设备，本公开的实施例对此不作限制。
图3为本公开至少一实施例提供的一种获取场景数据的流程图。也就是说，图3为图1A所示的步骤S110的一个示例的流程图。下面结合图3对本公开实施例提供的场景数据的获取方法进行详细地介绍。例如，如图3所示，步骤S110包括步骤S111和步骤S112。
步骤S111：通过图像采集单元配置为采集场景数据。
步骤S112：通过第一数据处理装置接收至少一个图像采集单元采集的场景数据，并对场景数据进行数据预处理操作。
例如，每个第一数据处理装置102与图像采集单元101剥离开，且第一数据处理装置102与至少一个图像采集单元101耦接，从而可以实现每个第一数据处理装置102可以接收多个图像采集单元101采集的场景数据，提高了设备的利用率，节约了设备的成本。
例如，对于步骤S111，例如，图像采集单元配置为直接从视频播放设备获取场景数据或从监控设备采集所述场景数据。例如，该视频播放设备可以是电子白板一体机等，本公开的实施例对此不作限制。
对于步骤S112，例如，数据预处理操作包括对采集的场景数据根据督课算法或补课算法进行处理操作。即，步骤S112包括：对采集的场景数据根据督课算法或补课算法进行处理操作。
例如，补课算法包括板书行为检测、音频降噪处理、板书定位或视频清晰化处理等教师上课过程涉及到的人工智能算法。例如，督课算法包括课堂参与人行为检测，例如，教师越轨(暴力，辱骂等不良行为)行为检测等涉及到的督课算法。本公开的实施例对此不作限制。
例如，第一数据处理装置102可以根据后端设备或物联网设备的控制或自主地在非数据采集阶段(例如，空闲阶段)对场景数据进行数据预处理操作。例如，边缘盒子利用高效时间调度技术，即白天录制，夜间处理机制，大幅降低算力成本。
例如，边缘设备100主要负责线下课堂音视频信号采集与轻量级人工智能算法预处理。下面对边缘设备1001的具体工作原理进行详细地介绍。
首先，进行线下课堂音视频信号采集。课堂幻灯片视频数据可以通过一个HDMI/VGA分配器直接拉取高清幻灯片数据，若为电子白板等一体机，也可接入一体机的视频输出进行场景数据采集。教师手写板书和讲台授课等数据可以通过设备自带的摄像头进行采集，也可接入线下教室自带的监控摄像头作为数据源。音频信号可以从监控摄像头视频中提取降噪，也可独立接入单麦克风或麦克风阵列进行音频采集和降噪。例如，边缘设备的硬件设备示意图见图1B或图1C。需要注意的是，图中摄像头只是示意图，图像采集单元不局限于图1B中的摄像头，包括：投影仪，摄像头，电脑，智能电视，智能手机，智能终端等，本公开的实施例对此不作限制。若存在教室不便于安装部署设备的情况，同样支持将以上几路数据信号通过网线和光纤的方式接入机房采用集中式部署方案。
其次，通过第一数据处理装置进行相关人工智能算法的预处理。边缘设备内置针对线下教室场景的人体识别、手写姿态识别、板书区域分割等技术，无需上传服务器即可判断当前教师上课状态。在老师正常上课时，视频信号以幻灯片视频数据为主，而当检测到教师有板书行为时，则自动切换至板书视角视频，并根据教师、黑板位置进行电子放大，让板书尽可能清晰的呈现在视频中，如图1D所示。同时，还可以检测线下教室场景内的异常行为上报服务器端，例如教师玩手机、学生打闹等异常行为，从而实现督课。该边缘设备100中的第一数据处理装置102针对采集到的补课与督课数据，进行了特殊化与结构化处理，以提高数据回传效率，降低云端算力成本。特殊化与结构化处理包括：教师板书行为检测，音频降噪处理，板书定位，视频清晰化处理等教师上课过程涉及到的人工智能算法；教师越轨(暴力，辱骂等不良行为)行为检测等涉及到的督课算法。
需要注意的是，上述补课算法、督课算法及其他数据预处理算法可参考本领域的相关描述，在此不再赘述。
在本公开的实施例中，使用低成本的AIOT边缘设备，通过合理的算力峰值时间调度、一体化的安装方式、设备耦合技术等一系列针对教学场景下的优化大幅降低线下课堂音视频采集处理的整体方案成本，同时还能够部署各类针对线下课堂场景优化后的人工智能算法。
对于步骤S120，例如，物联网设备包括AIOT(AIOT定义为AI+IOT，即带有人工智能算法的物联网终端设备)。例如，物联网设备，与多个边缘设备耦接，从而接收并存储场景数据。
例如，如图8所示，物联网设备200包括第二数据处理装置201和存储单元202。
图4为本公开至少一实施例提供的一种接收并存储场景数据的流程图。也就是说，图4为图1A所示的步骤S120的一个示例的流程图。下面结合图4对本公开实施例提供的场景数据的数据处理方法进行详细地介绍。例如，如图4所示，步骤S120包括步骤S121和步骤S122。
步骤S121：通过第二数据处理装置基于后端设备的算法调度对进行数据预处理操作后的场景数据进行数据处理操作。
步骤S122：通过存储单元存储进行数据预处理操作后的场景数据。
例如，第二数据处理装置201与后端设备300连接，且配置为基于后端设备300的算法调度对场景数据进行数据处理操作。
例如，第二数据处理装置201包括物联网服务器集群。数据处理操作包括视频合成、视频片段切分等。例如，具体的知识点切分方法以及视频合成方法可参考本领域的设计，在此不再赘述。
例如，存储单元202配置为存储场景数据。例如，存储单元202可以在空闲时段存储每个教室的图像采集单元采集的视频、音频或第一数据处理装置102预处理后的数据。本公开的实施例对此不作限制。
例如，第二数据处理装置201还与多个边缘设备100耦接，且配置为对边缘设备100进行设备巡检。例如，设备巡检具体指因网络异常导致未拉取数据、摄像头角度太偏、摄像头距离黑板太远、有物体遮挡画面、摄像头成像质量较差、摄像头位置有变化等事件的报警机制。
具体的设备巡检方法可以参考本领域的设计，在此不再赘述。
例如，该物联网设备200主要负责AIOT设备接入与控制、设备巡检、存储设备信息、传输算法数据等功能。
例如，在本公开的实施例中，通过AIOT课堂音视频解决方案实现了线下线上教育场景的打通。创新原班教学形式，实现线下课堂的线上补课复习。通过AI技术，智能识别老师板书姿态和板书重点内容，将课程视频智能切分知识点、习题练习、师生互动等短视频，实现学生有针对性的复习学习提升，同时还能够有效监督教师与学生的行为，兼顾补课和督课的功能。另一方面，积累的宝贵的课堂视频资源，为后续搭建在线教育领域的视频内容体系提供基础。
对于步骤S130，例如，后端设备主要负责整体调度，例如，算法调度和数据库的调度，其中包括后台算法处理调度与业务调度。这部分主要负责支撑边缘设备端以及服务器端算法模块的相关管理调度，以及前端功能展示的服务支持。例如，后端设备可以由硬件、软件或固件的任一组合实现，本公开的实施例对此不作限制。
例如，业务需求包括课堂幻灯片、教师手写板书的视频切换、视频知识点切分、习题练习、师生互动等，本公开的实施例对此不作限制。
例如，在本领域中，通常将教学数据存储在后端设备，且对应不同业务的场景数据存储至相应的业务后端中，一个业务需要另一个业务的数据时，会形成两个业务之间的互通，容易造成耦合影响，开发程度高。在本公开的实施例中，物联网设备200中的存储单元202对场景数据进行存储，后端从可根据不同的业务需求分别从物联网设备200的存储单元202中调用相应的数据，不再形成两个不同业务之间的互通，从而降低不同业务之间印务调用数据而产生的耦合，降低开发难度。
不同的业务例如包括小学相关的业务或初中相关的业务，例如，当基础弱的初中生需要调用小学相关的视频等进行补课时，可以直接从存储单元202中调取小学相关的补课视频，而不需要与小学相关的业务之间形成互通。
本公开至少一实施例提供的视频处理系统，可以节约设备成本，提高学生的补课体验，拓宽了产品的应用范围，提高了产品的市场竞争力。
图2为本公开至少一实施例提供的另一种视频处理方法的流程图。例如，如图2所示，在图1A所示的示例的基础上，该视频处理方法还包括步骤S140。
步骤S140：通过前端展示设备向至少一个终端提供后端数据处理后的场景数据，通过终端向用户展示处理后的场景数据。
例如，终端可以是手机或电脑等，本公开的实施例对此不作限制。
例如，前端展示设备400还配置为基于边缘设备100所在的地点部署第一数据处理装置102对应的地点信息。例如，不同的边缘设备100位于不同的教室，当边缘设备100将场景数据上传到第二数据处理装置201(例如，服务器)，可以将其对应的教室信息一起上传，从而可以关联边缘设备和教室，从而降低安装成本。
例如，物联网设备200中的第二数据处理装置201还通过后端设备300与前端展示设备400耦接，且配置为根据前端展示设备的操作指令对选择的边缘设备100的第一数据处理装置102的信息或图像采集单元102的动作进行设置(例如，更新边缘盒子(第一数据处理装置102)的版本、控制摄像头(图像采集单元)转动等)，或对场景数据的展示进行设置。例如，终端设备上有相应的按键，通过点击相应的按键，发送相应的控制指令控制边缘设备100的状态。
前端展示设备400包括运维前端401、APP 402、小程序403以及网页404等，主要负责设备展示、控制指令发送、现场扫码实施部署边缘盒子的教室信息以及学生端视频展示等。下面对其进行详细地介绍。
例如，运维前端401包括手机和电脑等终端设备，通过手机扫码会填信息(例如，填写边缘盒子在哪个教室等)，以更新服务器集群(例如，第二数据处理装置201)中的盒子在哪个教室，盒子插上电后，就能和服务器的地址对应上。
例如，现场安装部署边缘设备所在的地点是可以直接手机扫描边缘盒子上设备二维码输入教室信息即可快速绑定教室信息，关联边缘设备与教室，从而降低安装成本，后续维护均可通过云端下发指令进行。
例如，对于学生端的视频展示(对场景数据的展示进行设计)，可以通过课堂幻灯片、教师手写板书的视频切换为学生提供更加行之有效的课程观看手段和更好的观看体验，还能够将课程视频智能切分知识点、习题练习、师生互动等短视频，实现学生有针对性的复习和学习提升。
例如，当终端运行的是小程序403的情况下，后端设备300可以从服务器，例如，第二数据处理装置201，调用相应的可运行代码，从而实现相应的功能。
需要说明的是，在本公开的实施例中，本公开上述各个实施例提供的视频处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的视频处理方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的视频处理方法可以执行一次，也可以按照预定条件执行多次。
本公开实施例主要提出了一种针对线下课堂幻灯片、教师手写板书、讲台授课等关键区域的高清音视频采集、处理、播放的AIOT(AIOT定义为AI+IOT，即带有人工智能算法的物联网终端设备)硬件解决方案。基于此，本提案解决了以下几项具体问题。
本公开实施例提供的视频处理方法可以实现以下效果：第一点是通过一款可以灵活实施部署的低成本边缘设备(例如，AIOT边缘盒子硬件)解决了线下课堂音视频的采集处理问题；第二点是解决了当前线下课堂教育场景，不改变教师行为习惯的前提下，无需任何额外操作即可录制高清幻灯片视频；第三点是通过部署在AIOT边缘盒子硬件设备上的针对线下教室场景的人体识别、手写姿态识别、板书区域分割等技术，解决了教师手写板书、讲台授课等关键事件的检测和视频录制；第四点是边缘盒子利用教室已有安防摄像头，实现督课数据(包括图片，视频，声音等)的控制与拉取，以降低边缘盒子整体成本；第五点是边缘盒子利用高效时间调度技术，即白天录制，夜间处理机制，大幅降低算力成本；第六点是边缘盒子可以做成一个附带各类接口的整体(只当主机，外接各类数据采集)，亦可作为一个带有采集设备的整体；第七点是提出了通过切换幻灯片视频和教师手写板书视频的方式，为学生提供更好的高清课程视频观看体验。
图5为一种可用于实施本公开实施例提供的视频处理方法的系统。如图5所示，该系统10为人工智能物联网系统，例如可以包括用户终端11、网络12、服务器13以及数据库14。例如，该系统10可以用于实施本公开任一实施例提供的视频处理方法。
用户终端11例如为电脑11-1或手机11-2。可以理解的是，用户终端11可以是能够执行数据处理的任何其他类型的电子设备，其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备、车载电子设备、监控设备等。用户终端也可以是设置有电子设备的任何装备，例如车辆、机器人等。本公开的实施例对于用户终端的硬件配置或软件配置(例如操作系统的类型(例如Windows、MacOS等)或版本)等不作限制。
用户可以对安装在用户终端11上的应用程序或在用户终端11上登录的网站进行操作，应用程序或网站通过网络12将用户行为数据传输给服务器13，用户终端11还可以通过网络12接收服务器13传输的数据。用户终端11可以通过运行子程序或子线程的方式实施本公开实施例提供的视频处理方法。
例如，在一些实施例中，可以利用用户终端11的处理单元执行本公开实施例提供的视频处理方法。在一些实现方式中，用户终端11可以利用用户终端11内置的应用程序执行场景切换方法。在另一些实现方式中，用户终端11可以通过调用用户终端11外部存储的应用程序执行本公开至少一实施例提供的视频处理方法。
在另一些实施例中，用户终端11将获取的视频经由网络12发送至服务器13，并由服务器13执行视频处理方法。在一些实现方式中，服务器13可以利用服务器内置的应用程序执行视频处理方法。在另一些实现方式中，服务器13可以通过调用服务器13外部存储的应用程序执行视频处理方法。
网络12可以是单个网络，或至少两个不同网络的组合。例如，网络12可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器13可以是一个单独的服务器，或一个服务器群组，例如，物联网服务器集群，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器13可以是本地的或远程的。
数据库14可以泛指具有存储功能的设备。数据库13主要用于存储从用户终端11和服务器13工作中所利用、产生和输出的各种数据。数据库14可以是本地的，或远程的。数据库14可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。
数据库14可以经由网络12与服务器13或其一部分相互连接或通信，或直接与服务器13相互连接或通信，或是上述两种方式的结合。
在一些实施例中，数据库15可以是独立的设备。在另一些实施例中，数据库15也可以集成在用户终端11和服务器14中的至少一个中。例如，数据库15可以设置在用户终端11上，也可以设置在服务器14上。又例如，数据库15也可以是分布式的，其一部分设置在用户终端11上，另一部分设置在服务器14上。
例如，模型数据库可以部署在数据库14上。当需要获取采集的场景数据时时，用户终端11通过网络12访问数据库14，并通过网络12获取数据库14中存储的场景数据。本公开的实施例对于数据库的类型不做限制，例如可以为关系型数据库或非关系型数据库等。
图6为本公开至少一实施例提供的一种视频处理系统的示意框图。例如，在图6所示的示例中，该视频处理系统100包括多个边缘设备100、物联网设备200和后端设备300。例如，这些单元可以通过硬件(例如电路)模块、软件模块或二者的任意组合等实现，以下是实施例与此相同，不再赘述。例如，可以通过中央处理单元(CPU)、图像处理器(GPU)、张量处理器(TPU)、现场可编程逻辑门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现这些单元。
例如，多个边缘设备100，分别设置不同的地点，且每个边缘设备配置为获取所在地点的场景数据。例如，该边缘设备100可以实现步骤S110，其具体实现方法可以参考步骤S110的相关描述，在此不再赘述。
物联网设备200，与多个边缘设备100耦接，且配置为接收并存储场景数据。例如，该物联网设备200可以实现步骤S120，其具体实现方法可以参考步骤S120的相关描述，在此不再赘述。
后端设备300，与物联网设备200耦接，且配置为根据业务需求从物联网设备200调用对应的场景数据，并进行相应的后端数据处理。例如，该后端设备300可以实现步骤S130，其具体实现方法可以参考步骤S130的相关描述，在此不再赘述。
图7为本公开至少一实施例提供的另一种视频处理系统的示意框图。例如，如图7所示，在图6所示的示例的基础上，该视频处理系统1还包括前端展示设备140。
例如，前端展示设备400，配置为向至少一个终端提供后端数据处理后的场景数据，通过终端向用户展示处理后的场景数据。例如，该前端展示设备400可以实现步骤S140，其具体实现方法可以参考步骤S140的相关描述，在此不再赘述。
图8为本公开至少一实施例提供的又一种视频处理系统的示意图。例如，如图8所示，边缘设备100包括图像采集单元101和第一数据处理装置102。例如，在一些示例中，该第一数据处理装置102包括边缘盒子，本公开的实施例对此不作限制。
例如，图像采集单元101配置为采集场景数据。
例如，第一数据处理装置102与至少一个所述图像采集单元102耦接，且配置为接收至少一个图像采集单元102采集的场景数据，并对场景数据进行数据预处理操作。
需要注意的是，图8中仅示出了一个第一数据处理装置102与一个图像采集单元连接的示例，本公开的实施例对此不作限制，还可以包括一个第一数据处理装置102与多个图像采集单元101连接的情形。
例如，图像采集单元102配置为直接从视频播放设备获取场景数据或从监控设备采集场景数据。
例如，数据预处理操作包括对采集的场景数据根据督课算法或补课算法进行处理操作。例如，补课算法包括板书行为检测、音频降噪处理、板书定位或视频清晰化处理；例如，督课算法包括课堂参与人行为检测。
例如，第一数据处理装置102配置为根据后端设备或所述物联网设备的控制或自主地在非数据采集阶段对所述场景数据进行数据预处理操作。
例如，前端展示设备400还配置为基于边缘设备所在的地点部署第一数据处理装置102对应的地点信息。
例如，物联网设备200包括第二数据处理装置201和存储单元202。
例如，第二数据处理装置201与后端设备300连接，且配置为基于后端设备300的算法调度对场景数据进行数据处理操作。例如，存储单元202配置为存储场景数据。
例如，数据处理操作包括视频合成、视频片段切分等。
例如，第二数据处理装置201包括物联网服务器集群。
例如，第二数据处理装置201还与多个边缘设备100耦接，且配置为对边缘设备100进行设备巡检。
例如，第二数据处理装置201还通过后端设备300与前端展示设备400耦接，且配置为根据前端展示设备400的操作指令对选择的边缘设备100的第一数据处理装置102的信息或图像采集单元101的动作进行设置，或对场景数据的展示进行设置。
例如，该第一数据处理装置102和第二数据处理装置201可以是中央处理单元(CPU)、数字信号处理器(DSP)、图像处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以为通用处理器或专用处理器，并且可以控制视频处理装置200中的其它组件以执行期望的功能。
存储单元202可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器210可以运行该程序指令，以实现本公开实施例中(由处理器210实现)的功能以及/或者其它期望的功能，例如视频处理方法等。在该计算机可读存储介质中还可以存储各种应用程序和各种数据，例如场景数据以及应用程序使用和/或产生的各种数据等。
例如，存储单元202和第二数据处理装置201可以通过总线系统连接，总线系统可以是常用的串行、并行通信总线等，本公开的实施例对此不作限制。
例如，业务需求包括课堂幻灯片、教师手写板书的视频切换、视频知识点切分、习题练习、师生互动。
例如，课程教学场景数据包括课堂教学过程中的音频和视频。
需要说明的是，为表示清楚、简洁，本公开实施例并没有给出该视频处理系统1的全部组成单元。为实现视频处理系统的必要功能，本领域技术人员可以根据具体需要提供、设置其他未示出的组成单元，本公开的实施例对此不作限制。
关于视频处理系统1的相关描述和技术效果可以参考本公开的实施例中提供的视频处理方法的相关描述和技术效果，这里不再赘述。
视频处理系统1可以用于各种适当的电子设备(例如图5中的终端设备或服务器)。图9为本公开至少一实施例提供的一种电子设备的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、数码相机、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。例如，图7所示的边缘设备100、物联网设备200、后端设备300和前端展示设备400中的至少一个均可以采用图9中的电子设备实现，本公开的实施例对此不作限制。
例如，如图9所示，在一些示例中，电子设备500包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有计算机系统操作所需的各种程序和数据。处理装置301、ROM302以及RAM303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
例如，以下部件可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括诸如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信装置309。通信装置309可以允许电子设备500与其他设备进行无线或有线通信以交换数据，经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储装置309。虽然图8示出了包括各种装置的电子设备500，但是应理解的是，并不要求实施或包括所有示出的装置。可以替代地实施或包括更多或更少的装置。
例如，该电子设备500还可以进一步包括外设接口(图中未示出)等。该外设接口可以为各种类型的接口，例如为USB接口、闪电(lighting)接口等。该通信装置309可以通过无线通信来与网络和其他设备进行通信，该网络例如为因特网、内部网和/或诸如蜂窝电话网络之类的无线网络、无线局域网(LAN)和/或城域网(MAN)。无线通信可以使用多种通信标准、协议和技术中的任何一种，包括但不局限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi(例如基于IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n标准)、基于因特网协议的语音传输(VoIP)、Wi-MAX，用于电子邮件、即时消息传递和/或短消息服务(SMS)的协议，或任何其他合适的通信协议。
例如，电子设备可以为手机、平板电脑、笔记本电脑、电子书、游戏机、电视机、数码相框、导航仪等任何设备，也可以为任意的电子设备及硬件的组合，本公开的实施例对此不作限制。
例如，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述视频处理功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；所获取的网际协议地址指示内容分发网络中的边缘节点。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的各个实施例中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (20)

1.一种视频处理系统，包括：
多个边缘设备，分别设置不同的地点，且每个边缘设备配置为获取所在地点的场景数据；
物联网设备，与所述多个边缘设备耦接，且配置为接收并存储所述场景数据；
后端设备，与所述物联网设备耦接，且配置为根据业务需求从所述物联网设备调用对应的场景数据，并进行相应的后端数据处理。
2.根据权利要求1所述的视频处理系统，其中，所述场景数据包括课堂教学场景数据。
3.根据权利要求1或2所述的视频处理系统，还包括：
前端展示设备，配置为向至少一个终端提供后端数据处理后的所述场景数据，通过所述终端向用户展示处理后的所述场景数据。
4.根据权利要求3所述的视频处理系统，其中，所述边缘设备包括图像采集单元和第一数据处理装置；
所述图像采集单元配置为采集所述场景数据；
所述第一数据处理装置与至少一个所述图像采集单元耦接，且配置为接收所述至少一个图像采集单元采集的场景数据，并对所述场景数据进行数据预处理操作。
5.根据权利要求4所述的视频处理系统，其中，所述图像采集单元配置为直接从视频播放设备获取所述场景数据或从监控设备采集所述场景数据。
6.根据权利要求4所述的视频处理系统，其中，所述数据预处理操作包括对采集的所述场景数据根据督课算法或补课算法进行处理操作，
所述补课算法包括板书行为检测、音频降噪处理、板书定位或视频清晰化处理；
所述督课算法包括课堂参与人行为检测。
7.根据权利要求4所述的视频处理系统，其中，所述第一数据处理装置配置为根据所述后端设备或所述物联网设备的控制或自主地在非数据采集阶段对所述场景数据进行数据预处理操作。
8.根据权利要求4所述的视频处理系统，其中，所述前端展示设备还配置为基于所述边缘设备所在的地点部署所述第一数据处理装置对应的地点信息。
9.根据权利要求4所述的视频处理系统，其中，所述物联网设备包括第二数据处理装置和存储单元；
所述第二数据处理装置与所述后端设备连接，且配置为基于所述后端设备的算法调度对所述场景数据进行数据处理操作；
所述存储单元配置为存储所述场景数据。
10.根据权利要求9所述的视频处理系统，其中，所述数据处理操作包括视频合成、视频片段切分。
11.根据权利要求9所述的视频处理系统，其中，所述第二数据处理装置包括物联网服务器集群。
12.根据权利要求9所述的视频处理系统，其中，所述第二数据处理装置还与所述多个边缘设备耦接，且配置为对所述边缘设备进行设备巡检。
13.根据权利要求9所述的视频处理系统，其中，所述第二数据处理装置还通过所述后端设备与所述前端展示设备耦接，且配置为根据所述前端展示设备的操作指令对选择的边缘设备的第一数据处理装置的信息或图像采集单元的动作进行设置，或对所述场景数据的展示进行设置。
14.根据权利要求2所述的视频处理系统，其中，所述业务需求包括课堂幻灯片、教师手写板书的视频切换、视频知识点切分、习题练习、师生互动。
15.根据权利要求2所述的视频处理系统，其中，所述课程教学场景数据包括课堂教学过程中的音频和视频。
16.一种适于计算机执行的视频处理方法，包括：
通过设置在不同地点的多个边缘设备分别获取各个地点的场景数据；
通过物联网设备接收并存储所述场景数据；
通过后端设备根据业务需求从所述物联网设备调用对应的场景数据，并进行相应的后端数据处理。
17.根据权利要求16所述的视频处理方法，还包括：
通过前端展示设备向至少一个终端提供后端数据处理后的所述场景数据，通过所述终端向用户展示处理后的所述场景数据。
18.根据权利要求16所述的视频处理方法，其中，所述边缘设备包括图像采集单元和第一数据处理装置，
通过设置在不同地点的多个边缘设备分别获取各个地点的场景数据，包括：
通过所述图像采集单元采集所述场景数据；
通过所述第一数据处理装置接收所述至少一个图像采集单元采集的场景数据，并对所述场景数据进行数据预处理操作。
19.根据权利要求18所述的视频处理方法，其中，通过所述第一数据处理装置接收所述至少一个图像采集单元采集的场景数据，并对所述场景数据进行数据预处理操作，包括：
对采集的所述场景数据根据督课算法或补课算法进行处理操作，
其中，所述补课算法包括板书行为检测、音频降噪处理、板书定位或视频清晰化处理；
所述督课算法包括课堂参与人行为检测。
20.根据权利要求18或19所述的视频处理方法，其中，所述物联网设备包括第二数据处理装置和存储单元；
通过物联网设备接收并存储所述场景数据，包括：
通过所述第二数据处理装置基于所述后端设备的算法调度对进行所述数据预处理操作后的所述场景数据进行数据处理操作；
通过所述存储单元存储进行所述数据预处理操作后的所述场景数据。
CN202011207039.2A 2020-11-03 2020-11-03 视频处理系统和视频处理方法 Active CN112235605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011207039.2A CN112235605B (zh) 2020-11-03 2020-11-03 视频处理系统和视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011207039.2A CN112235605B (zh) 2020-11-03 2020-11-03 视频处理系统和视频处理方法

Publications (2)

Publication Number Publication Date
CN112235605A true CN112235605A (zh) 2021-01-15
CN112235605B CN112235605B (zh) 2023-03-10

Family

ID=74122578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011207039.2A Active CN112235605B (zh) 2020-11-03 2020-11-03 视频处理系统和视频处理方法

Country Status (1)

Country Link
CN (1) CN112235605B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969022A (zh) * 2021-01-29 2021-06-15 新东方教育科技集团有限公司 摄像头调整方法、系统、存储介质及电子设备
CN113965793A (zh) * 2021-10-12 2022-01-21 上海赛连信息科技有限公司 一种智能录制布局切换的方法和装置
CN114666554A (zh) * 2022-05-23 2022-06-24 创意信息技术股份有限公司 一种边缘网关云服务管理系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141271A (zh) * 2007-09-13 2008-03-12 李宝龙 众教直播录播网络教学系统
CN202496030U (zh) * 2012-03-30 2012-10-17 青岛海信电器股份有限公司 一种基于电视机的教学系统
CN203859826U (zh) * 2014-03-13 2014-10-01 中海油信息科技有限公司 视频统一集成平台
CN104318244A (zh) * 2014-10-16 2015-01-28 深圳锐取信息技术股份有限公司 一种基于教学视频的行为检测方法及装置
CN105913698A (zh) * 2016-06-13 2016-08-31 网易（杭州）网络有限公司 一种播放课程多媒体信息的方法和装置
CN106454331A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 视频信号质量检测系统及方法
CN107316257A (zh) * 2017-06-06 2017-11-03 南京信息工程大学 一种基于课堂学生行为分析的教学质量评估方法及系统
CN107529030A (zh) * 2017-09-22 2017-12-29 安徽辉墨教学仪器有限公司 一种基于云存储服务的教学系统
CN108961882A (zh) * 2018-08-14 2018-12-07 邢台职业技术学院 一种网络教育共享学习系统
CN109588864A (zh) * 2018-12-11 2019-04-09 郑州大学 一种基于雾计算的智能学习监测系统
CN110381326A (zh) * 2019-06-19 2019-10-25 北京百度网讯科技有限公司 视频系统及处理方法、设备与计算机可读介质
CN111782387A (zh) * 2020-03-23 2020-10-16 韶鼎人工智能科技有限公司 融合边缘计算的私有云多终端智能相册管理系统和方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141271A (zh) * 2007-09-13 2008-03-12 李宝龙 众教直播录播网络教学系统
CN202496030U (zh) * 2012-03-30 2012-10-17 青岛海信电器股份有限公司 一种基于电视机的教学系统
CN203859826U (zh) * 2014-03-13 2014-10-01 中海油信息科技有限公司 视频统一集成平台
CN104318244A (zh) * 2014-10-16 2015-01-28 深圳锐取信息技术股份有限公司 一种基于教学视频的行为检测方法及装置
CN105913698A (zh) * 2016-06-13 2016-08-31 网易（杭州）网络有限公司 一种播放课程多媒体信息的方法和装置
CN106454331A (zh) * 2016-11-02 2017-02-22 北京弘恒科技有限公司 视频信号质量检测系统及方法
CN107316257A (zh) * 2017-06-06 2017-11-03 南京信息工程大学 一种基于课堂学生行为分析的教学质量评估方法及系统
CN107529030A (zh) * 2017-09-22 2017-12-29 安徽辉墨教学仪器有限公司 一种基于云存储服务的教学系统
CN108961882A (zh) * 2018-08-14 2018-12-07 邢台职业技术学院 一种网络教育共享学习系统
CN109588864A (zh) * 2018-12-11 2019-04-09 郑州大学 一种基于雾计算的智能学习监测系统
CN110381326A (zh) * 2019-06-19 2019-10-25 北京百度网讯科技有限公司 视频系统及处理方法、设备与计算机可读介质
CN111782387A (zh) * 2020-03-23 2020-10-16 韶鼎人工智能科技有限公司 融合边缘计算的私有云多终端智能相册管理系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112969022A (zh) * 2021-01-29 2021-06-15 新东方教育科技集团有限公司 摄像头调整方法、系统、存储介质及电子设备
CN112969022B (zh) * 2021-01-29 2023-09-01 新东方教育科技集团有限公司 摄像头调整方法、系统、存储介质及电子设备
CN113965793A (zh) * 2021-10-12 2022-01-21 上海赛连信息科技有限公司 一种智能录制布局切换的方法和装置
CN114666554A (zh) * 2022-05-23 2022-06-24 创意信息技术股份有限公司 一种边缘网关云服务管理系统

Also Published As

Publication number Publication date
CN112235605B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN112235605B (zh) 视频处理系统和视频处理方法
CN107945592B (zh) 一种同步互助课堂教学系统
CN104575142A (zh) 体验式数字化多屏无缝跨媒体互动开放教学实验室
US20170111595A1 (en) Methods and apparatuses for controlling video content displayed to a viewer
WO2022017184A1 (zh) 交互方法、装置、电子设备及计算机可读存储介质
CN105376547A (zh) 一种基于3d虚拟合成技术的微课录制系统及方法
CN207399423U (zh) 一种分布式网络视频处理装置
US10083618B2 (en) System and method for crowd sourced multi-media lecture capture, sharing and playback
CN112652200A (zh) 人机交互系统、方法、服务器、交互控制设备及存储介质
CN112492231B (zh) 远程交互方法、装置、电子设备和计算机可读存储介质
CN114205635A (zh) 一种直播评论展示方法、装置、设备、程序产品及介质
Shrum et al. Video ethnography in practice: Planning, shooting, and editing for social analysis
CN110933350A (zh) 一种电子云镜录播系统、方法及装置
CN115086686A (zh) 视频处理方法及相关装置
WO2021088890A1 (zh) 显示系统及显示方法
WO2021052074A1 (zh) 一种与图像互动的方法、装置、介质和电子设备
Emwinromwankhoe Media convergence and broadcasting practice in Nigeria: Three broadcast stations in focus
US11677836B2 (en) Server apparatus, communication system and communication method
CN110139030A (zh) 混合现实处理系统、方法、服务器及其存储介质
CN105072412A (zh) 一种移动设备中远距离查看并录制现场实况的控制方法
Zhu et al. Design and application of project-based teaching of convergence media smart classroom based on VR+ AR technology
Michielsen et al. Hyperlocal user-generated video contributions on public displays
Hu et al. Research on the application of internet of things and artificial intelligence technology in smart classroom
CN109167986A (zh) 一种教学投影方法及系统
CN109905766A (zh) 一种动态视频海报生成方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant