CN113542787A - 直播实验教学视频进行加工的方法与系统 - Google Patents

直播实验教学视频进行加工的方法与系统 Download PDF

Info

Publication number
CN113542787A
CN113542787A CN202110803256.6A CN202110803256A CN113542787A CN 113542787 A CN113542787 A CN 113542787A CN 202110803256 A CN202110803256 A CN 202110803256A CN 113542787 A CN113542787 A CN 113542787A
Authority
CN
China
Prior art keywords
experimental
preset
video frame
value
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110803256.6A
Other languages
English (en)
Inventor
崔炜
佟佳睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Original Assignee
Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd filed Critical Shanghai Squirrel Classroom Artificial Intelligence Technology Co Ltd
Priority to CN202110803256.6A priority Critical patent/CN113542787A/zh
Publication of CN113542787A publication Critical patent/CN113542787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了直播实验教学视频进行加工的方法与系统，涉及智能学习技术领域。所述方法，包括：实时获取当前直播实验教学视频的当前视频帧；将所述当前视频帧进行灰度化处理，获得灰度化图像；识别所述灰度化图像中出现的实验工具；从预设实验工具介绍信息库中，获取所述灰度化图像中出现的实验工具对应的介绍信息；在当前直播实验教学视频中展示所述介绍信息。本发明能智能的识别出直播实验教学视频中的实验工具，并及时的展示实验工具的介绍信息。

Description

直播实验教学视频进行加工的方法与系统
技术领域
本发明涉及智能学习技术领域，尤其涉及直播实验教学视频进行加工的方法与系统。
背景技术
随着互联网的快速发展，直播实验教学应用而生。直播实验教学作为线上教育新兴领域，一直备受关注。线上直播教学具有时空上自由性、直播的强交互性等等优点，有效地激发了学生的兴趣。在直播实验教学视频中，对实验过程中的实验工具的讲解，还是主要通过教师人工进行讲解，若教师没有对视频中出现的实验工具进行介绍，会使得教学的交互性下降，降低教学质量。例如：由于有些学生不了解直播教学视频中使用的实验工具，可能会听不懂该课程，显然，对于不同基础的学生而言，会得到不同的教学效果。
目前，还没有一种有效地直播实验教学视频加工方案，能对直播实验教育视频中的实验工具做智能分析识别，并及时给出对应的介绍信息。
发明内容
本发明提供直播实验教学视频进行加工的方法与系统，用于解决目前还没有有效地直播实验教学视频加工方案，教学视频中的实验工具介绍完全依赖于人工，直播教学系统智能化程度低的问题。本发明提供直播实验教学视频进行加工的方法与系统，能智能的识别出直播实验教学视频中的实验工具，并及时的展示实验工具的介绍信息。
第一方面，本发明提供的直播实验教学视频进行加工的方法，包括以下步骤：
实时获取当前直播实验教学视频的当前视频帧；
将所述当前视频帧进行灰度化处理，获得灰度化图像；
识别所述灰度化图像中出现的实验工具；
从预设实验工具介绍信息库中，获取所述灰度化图像中出现的实验工具对应的介绍信息；
在当前直播实验教学视频中展示所述介绍信息。
在一可选实施例中，所述将所述当前视频帧信息进行灰度化处理，获得灰度化图像，包括：
根据以下第一公式计算所述当前视频帧中每个像素点的灰度化值：
H(x,y)＝0.289R(x,y)+0.597G(x,y)+0.114B(x,y)
在第一公式中，H(x,y)为当前视频帧中像素坐标为(x,y)的像素点的灰度化值；R(x,y)为当前视频帧中像素坐标为(x,y)的像素点的红色亮度值，G(x,y)为当前视频帧中像素坐标为(x,y)的像素点的绿色亮度值，B(x,y)为当前视频帧中像素坐标为(x,y)的像素点的蓝色亮度值。
在一可选实施例中，所述识别所述灰度化图像中出现的实验工具，包括：
根据第二公式计算所述灰度化图像中出现各预设实验工具的概率值；
将计算出的最大概率值对应的预设实验工具确定为灰度化图像中出现的实验工具；
所述第二公式为：
Figure BDA0003165456940000021
其中，Ps表示灰度化图像中出现预设实验工具s的概率值，s为所述预设实验工具介绍信息库中预设实验工具s的唯一编号；x＝0,1,…,X；y＝0,1,…,Y；X和Y分别为所述灰度化图像的横坐标和纵坐标的最大值，
Figure BDA0003165456940000022
和
Figure BDA0003165456940000023
分别为预设实验工具s的平均横差值和平均纵差值，Hs为预设实验工具s的平均灰度化值，rs为预设纠偏系数。
在一可选实施例中，根据以下第三公式计算当前视频帧对应的纠偏系数rs：
Figure BDA0003165456940000031
其中，e为自然常数，取值为2.72。
在一可选实施例中，所述在当前直播实验教学视频中展示所述介绍信息，包括：
将所述介绍信息以文字信息的方式加入所述直播实验教学视频中进行展示。
第二方面，本发明提供的直播实验教学视频进行加工的系统，包括：
视频帧获取模块，用于实时获取当前直播实验教学视频的当前视频帧；
灰度化模块，用于将所述当前视频帧进行灰度化处理，获得灰度化图像；
识别模块，用于识别所述灰度化图像中出现的实验工具；
介绍信息获取模块，用于从预设实验工具介绍信息库中，获取所述灰度化图像中出现的实验工具对应的介绍信息；
展示模块，用于在当前直播实验教学视频中展示所述介绍信息。
在一可选实施例中，所述灰度化模块，具体用于根据以下第一公式计算所述当前视频帧中每个像素点的灰度化值：
H(x,y)＝0.289R(x,y)+0.597G(x,y)+0.114B(x,y)
在第一公式中，H(x,y)为当前视频帧中像素坐标为(x,y)的像素点的灰度化值；R(x,y)为当前视频帧中像素坐标为(x,y)的像素点的红色亮度值，G(x,y)为当前视频帧中像素坐标为(x,y)的像素点的绿色亮度值，B(x,y)为当前视频帧中像素坐标为(x,y)的像素点的蓝色亮度值。
在一可选实施例中，所述识别模块，包括：
概率值计算子模块，用于根据第二公式计算所述灰度化图像中出现各预设实验工具的概率值；
检索子模块，用于将计算出的最大概率值对应的预设实验工具确定为灰度化图像中出现的实验工具；
所述第二公式为：
Figure BDA0003165456940000041
其中，Ps表示灰度化图像中出现预设实验工具s的概率值，s为所述预设实验工具介绍信息库中预设实验工具s的唯一编号；x＝0,1,…,X；y＝0,1,…,Y；X和Y分别为所述灰度化图像的横坐标和纵坐标的最大值，
Figure BDA0003165456940000043
和
Figure BDA0003165456940000044
分别为预设实验工具s的平均横差值和平均纵差值，Hs为预设实验工具s的平均灰度化值，rs为预设纠偏系数。
在一可选实施例中，所述识别模块，还包括：
纠偏系数计算子模块，用于根据以下第三公式计算当前视频帧对应的纠偏系数rs：
Figure BDA0003165456940000042
其中，e为自然常数，取值为2.72。
在一可选实施例中，所述展示模块，具体用于将所述介绍信息以文字信息的方式加入所述直播实验教学视频中进行展示。
本发明提供的直播实验教学视频进行加工的方案，首先获取当前直播实验教学视频的当前视频帧，然后智能化地识别出当前视频帧中的实验工具，最后将实验工具对应的介绍信息进行展示。本发明能够自动识别视频中的实验工具并自动匹配和展示相关介绍信息，能解决现有直播教学系统存在的问题，无人工依赖性，系统的智能化程度高，能有效提高直播教学质量。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中直播实验教学视频进行加工的方法的流程图；
图2为本发明实施例中直播实验教学视频进行加工的系统的实施例一结构示意图；
图3为本发明实施例中直播实验教学视频进行加工的系统的实施例二结构示意图；
图4为本发明实施例中直播实验教学视频进行加工的系统的实施例三结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为本发明实施例中直播实验教学视频进行加工的方法的流程图。如图1所示，该方法包括以下步骤S101-S105：
S101：实时获取当前直播实验教学视频的当前视频帧。
本实施例中，通过实时获取当前直播实验教学视频的当前视频帧，便于后续实验工具的识别和检索获取实验工具的介绍信息进行展示，从而保证了介绍信息展示的及时性。
S102：将所述当前视频帧进行灰度化处理，获得灰度化图像。
优选地，根据如下第一公式计算所述当前视频帧中每个像素点的灰度化值：
H(x,y)＝0.289R(x,y)+0.597G(x,y)+0.114B(x,y) (1)
在第一公式中，H(x,y)为当前视频帧中像素坐标为(x,y)的像素点的灰度化值；R(x,y)为当前视频帧中像素坐标为(x,y)的像素点的红色亮度值，G(x,y)为当前视频帧中像素坐标为(x,y)的像素点的绿色亮度值，B(x,y)为当前视频帧中像素坐标为(x,y)的像素点的蓝色亮度值。
本实施例中，直播实验教学视频采用了RGB色彩模式，此色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，是运用最广的颜色系统之一。假设一个像素点的RGB值为(0,0,10)，则H(x,y)＝0.289*0+0.597*0+0.114*10＝1.14。
S103：识别所述灰度化图像中出现的实验工具。
作为一可选实施例，本步骤S103，可以包括步骤S1031-S1032：
S1031：根据第二公式计算所述灰度化图像中出现各预设实验工具的概率值。
优选地，所述第二公式为：
Figure BDA0003165456940000061
其中，Ps表示灰度化图像中出现预设实验工具s的概率值，s为所述预设实验工具介绍信息库中预设实验工具s的唯一编号；x＝0,1,…,X；y＝0,1,…,Y；X和Y分别为所述灰度化图像的横坐标和纵坐标的最大值，Hs为预设实验工具s的平均灰度化值，rs为预设纠偏系数；
Figure BDA0003165456940000062
和
Figure BDA0003165456940000063
分别为预设实验工具s的平均横、纵差值，具体的，
Figure BDA0003165456940000064
是预设实验工具s灰度化图像以后横坐标的最大值和最小值的差值的平均值，同理
Figure BDA0003165456940000065
是预设实验工具s灰度化图像以后纵坐标的最大值和最小值的差值的平均值，例如：若前期预设实验工具“烧杯”时候，有两幅烧杯的灰度化图像，第一幅烧杯的灰度化图像中横坐标的最大值和最小值的差值为L1，第二幅烧杯的灰度化图像中横坐标的最大值和最小值的差值为L2，则预设实验工具“烧杯”的平均横差值为
Figure BDA0003165456940000071
一般情况下，同一预设实验工具的平均横差值
Figure BDA0003165456940000072
和平均纵差值
Figure BDA0003165456940000073
分均为固定值，因此在使用第二公式(2)计算之前，可以先为各预设实验工具预设其平均横差值
Figure BDA0003165456940000074
和平均纵差值
Figure BDA0003165456940000075
本实施例中，为了消除图像拉伸、同类实验工具可能出现不同尺寸的情况如大烧杯、小烧杯等对实验工具识别的影响，在第二公式中，引入纠偏系数rst。优选地，根据以下第三公式计算当前视频帧对应的纠偏系数rs：
Figure BDA0003165456940000076
其中，e为自然常数，取值为2.72。
S1032：将计算出的最大概率值对应的预设实验工具确定为灰度化图像中出现的实验工具。
本实施例中，可以将上述第二公式计算获得灰度化图像中出现各预设实验工具的概率值进行由大到小排序，第一个概率值对应的实验工具即为灰度化图像中出现的实验工具。
S104：从预设实验工具介绍信息库中，获取所述灰度化图像中出现的实验工具对应的介绍信息。
本实施例中，预设实验工具介绍信息库中记录了实验工具及其对应的介绍信息，这些介绍信息可以为文字或者图片信息等，其存储方式可以为数据库。
S105：在当前直播实验教学视频中展示所述介绍信息。
作为一可选实施例，本步骤S105，包括：将所述介绍信息以文字信息的方式加入所述直播实验教学视频中进行展示。
本实施例中，例如当识别到当前直播实验教学视频中实验工具为烧杯时，出现介绍烧杯种类及用法的信息，将帮助学生对实验有全方位的了解，扩充其知识面，使学生更快更全面掌握实验教学中的相关知识。
本发明实施例提供的直播实验教学视频进行加工的方法，充分考虑到实验工具介绍信息的及时性及准确性在直播教学中的重要性，以及实验工具外形的确定性，在进行图像识别时，充分利用了预设实验工具介绍信息库中存储的信息，减少在图像识别过程中的数据处理和计算时间，大大提升识别效率；此外，为了消除图像拉伸、同类实验工具可能出现不同尺寸的情况对实验工具识别准确度的影响，引入纠偏系数进行修正，确保识别的准确性。在识别出相关实验工具后，选择数据库中相应的介绍信息，在画面中以文字形式展现，帮助学生对实验有全方位的了解，扩充其知识面，使学生更快更全面掌握实验教学中的相关知识，有效地提升了教学质量，识别过程无人工依赖性，相关系统智能化程度高。
对应于本发明实施例提供的直播实验教学视频进行加工的方法，本发明实施例还提供直播实验教学视频进行加工的系统，如图2所示，该系统包括：
视频帧获取模块1，用于实时获取当前直播实验教学视频的当前视频帧；
灰度化模块2，用于将所述当前视频帧进行灰度化处理，获得灰度化图像。优选地，灰度化模块2，具体用于根据上述第一公式计算所述当前视频帧中每个像素点的灰度化值。
识别模块3，用于识别所述灰度化图像中出现的实验工具。
作为一可选实施例，如图3所示，在图2所示的直播实验教学视频进行加工的系统实施例一结构的基础上，进一步的，识别模块3，包括：
概率值计算子模块31，用于根据上述第二公式计算所述灰度化图像中出现各预设实验工具的概率值；
检索子模块32，用于将计算出的最大概率值对应的预设实验工具确定为灰度化图像中出现的实验工具。
作为一可选实施例，如图4所示，在图3所示的直播实验教学视频进行加工的系统实施例二结构的基础上，进一步的，识别模块3，还包括：
纠偏系数计算子模块33，用于根据上述第三公式计算当前视频帧对应的纠偏系数rs。
介绍信息获取模块4，用于从预设实验工具介绍信息库中，获取所述灰度化图像中出现的实验工具对应的介绍信息。
展示模块5，用于在当前直播实验教学视频中展示所述介绍信息。优选地，展示模块，具体用于将所述介绍信息以文字信息的方式加入所述直播实验教学视频中进行展示。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.直播实验教学视频进行加工的方法，其特征在于，包括以下步骤：
实时获取当前直播实验教学视频的当前视频帧；
将所述当前视频帧进行灰度化处理，获得灰度化图像；
识别所述灰度化图像中出现的实验工具；
从预设实验工具介绍信息库中，获取所述灰度化图像中出现的实验工具对应的介绍信息；
在当前直播实验教学视频中展示所述介绍信息。
2.如权利要求1所述的直播实验教学视频进行加工的方法，其特征在于，所述将所述当前视频帧信息进行灰度化处理，获得灰度化图像，包括：
根据以下第一公式计算所述当前视频帧中每个像素点的灰度化值：
H(x，y)＝0.289R(x，y)+0.597G(x，y)+0.114B(x，y)
在第一公式中，H(x，y)为当前视频帧中像素坐标为(x，y)的像素点的灰度化值；R(x，y)为当前视频帧中像素坐标为(x，y)的像素点的红色亮度值，G(x，y)为当前视频帧中像素坐标为(x，y)的像素点的绿色亮度值，B(x，y)为当前视频帧中像素坐标为(x，y)的像素点的蓝色亮度值。
3.如权利要求2所述的直播实验教学视频进行加工的方法，其特征在于，所述识别所述灰度化图像中出现的实验工具，包括：
根据第二公式计算所述灰度化图像中出现各预设实验工具的概率值；
将计算出的最大概率值对应的预设实验工具确定为灰度化图像中出现的实验工具；
所述第二公式为：
Figure FDA0003165456930000011
其中，Ps表示灰度化图像中出现预设实验工具s的概率值，s为所述预设实验工具介绍信息库中预设实验工具s的唯一编号；x＝0，1，...，X；y＝0，1，...，Y；X和Y分别为所述灰度化图像的横坐标和纵坐标的最大值，
Figure FDA0003165456930000021
和
Figure FDA0003165456930000022
分别为预设实验工具s的平均横差值和平均纵差值，Hs为预设实验工具s的平均灰度化值，rs为预设纠偏系数。
4.如权利要求3所述的直播实验教学视频进行加工的方法，其特征在于，根据以下第三公式计算当前视频帧对应的纠偏系数rs：
Figure FDA0003165456930000023
其中，e为自然常数，取值为2.72。
5.如权利要求1-4中任一项所述的直播实验教学视频进行加工的方法，其特征在于，所述在当前直播实验教学视频中展示所述介绍信息，包括：
将所述介绍信息以文字信息的方式加入所述直播实验教学视频中进行展示。
6.直播实验教学视频进行加工的系统，其特征在于，包括：
视频帧获取模块，用于实时获取当前直播实验教学视频的当前视频帧；
灰度化模块，用于将所述当前视频帧进行灰度化处理，获得灰度化图像；
识别模块，用于识别所述灰度化图像中出现的实验工具；
介绍信息获取模块，用于从预设实验工具介绍信息库中，获取所述灰度化图像中出现的实验工具对应的介绍信息；
展示模块，用于在当前直播实验教学视频中展示所述介绍信息。
7.如权利要求6所述的直播实验教学视频进行加工的系统，其特征在于，所述灰度化模块，具体用于根据以下第一公式计算所述当前视频帧中每个像素点的灰度化值：
H(x，y)＝0.289R(x，y)+0.597G(x，y)+0.114B(x，y)
在第一公式中，H(x，y)为当前视频帧中像素坐标为(x，y)的像素点的灰度化值；R(x，y)为当前视频帧中像素坐标为(x，y)的像素点的红色亮度值，G(x，y)为当前视频帧中像素坐标为(x，y)的像素点的绿色亮度值，B(x，y)为当前视频帧中像素坐标为(x，y)的像素点的蓝色亮度值。
8.如权利要求7所述的直播实验教学视频进行加工的系统，其特征在于，所述识别模块，包括：
概率值计算子模块，用于根据第二公式计算所述灰度化图像中出现各预设实验工具的概率值；
检索子模块，用于将计算出的最大概率值对应的预设实验工具确定为灰度化图像中出现的实验工具；
所述第二公式为：
Figure FDA0003165456930000031
其中，Ps表示灰度化图像中出现预设实验工具s的概率值，s为所述预设实验工具介绍信息库中预设实验工具s的唯一编号；x＝0，1，...，X；y＝0，1，...，Y；X和Y分别为所述灰度化图像的横坐标和纵坐标的最大值，
Figure FDA0003165456930000032
和
Figure FDA0003165456930000033
分别为预设实验工具s的平均横差值和平均纵差值，Hs为预设实验工具s的平均灰度化值，rs为预设纠偏系数。
9.如权利要求8所述的直播实验教学视频进行加工的系统，其特征在于，所述识别模块，还包括：
纠偏系数计算子模块，用于根据以下第三公式计算当前视频帧对应的纠偏系数rs：
Figure FDA0003165456930000034
其中，e为自然常数，取值为2.72。
10.如权利要求6-9中任一项所述的直播实验教学视频进行加工的系统，其特征在于，所述展示模块，具体用于将所述介绍信息以文字信息的方式加入所述直播实验教学视频中进行展示。
CN202110803256.6A 2021-07-15 2021-07-15 直播实验教学视频进行加工的方法与系统 Pending CN113542787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803256.6A CN113542787A (zh) 2021-07-15 2021-07-15 直播实验教学视频进行加工的方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803256.6A CN113542787A (zh) 2021-07-15 2021-07-15 直播实验教学视频进行加工的方法与系统

Publications (1)

Publication Number Publication Date
CN113542787A true CN113542787A (zh) 2021-10-22

Family

ID=78128195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803256.6A Pending CN113542787A (zh) 2021-07-15 2021-07-15 直播实验教学视频进行加工的方法与系统

Country Status (1)

Country Link
CN (1) CN113542787A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764358A (zh) * 2018-05-31 2018-11-06 广东工业大学 一种太赫兹图像识别方法、装置、设备及可读存储介质
CN110942685A (zh) * 2018-09-25 2020-03-31 云奥信息科技(广州)有限公司 一种视觉教学系统
CN112040256A (zh) * 2020-08-14 2020-12-04 华中科技大学 一种直播实验教学过程视频标注方法和系统
US20200394415A1 (en) * 2017-12-08 2020-12-17 Nec Communication Systems, Ltd. Object detection apparatus, prediction model generation apparatus, object detection method, and program
CN112735198A (zh) * 2020-12-31 2021-04-30 深兰科技（上海）有限公司 实验教学系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200394415A1 (en) * 2017-12-08 2020-12-17 Nec Communication Systems, Ltd. Object detection apparatus, prediction model generation apparatus, object detection method, and program
CN108764358A (zh) * 2018-05-31 2018-11-06 广东工业大学 一种太赫兹图像识别方法、装置、设备及可读存储介质
CN110942685A (zh) * 2018-09-25 2020-03-31 云奥信息科技(广州)有限公司 一种视觉教学系统
CN112040256A (zh) * 2020-08-14 2020-12-04 华中科技大学 一种直播实验教学过程视频标注方法和系统
CN112735198A (zh) * 2020-12-31 2021-04-30 深兰科技（上海）有限公司 实验教学系统及方法

Similar Documents

Publication Publication Date Title
CN110400275B (zh) 一种基于全卷积神经网络和特征金字塔的颜色校正方法
CN106204690B (zh) 一种图像处理方法及装置
CN109600605B (zh) 4k超高清视频的检测方法、电子设备及计算机程序产品
CN103051913A (zh) 一种3d片源格式自动识别的方法
CN110363837B (zh) 游戏中纹理图像的处理方法及装置、电子设备、存储介质
CN115205626A (zh) 一种应用于涂层缺陷检测领域的数据增强方法
CN114040094B (zh) 一种基于云台相机的预置位调节方法和设备
CN111787240B (zh) 视频生成方法、装置和计算机可读存储介质
CN104408784A (zh) 电子签到方法
CN111722964A (zh) 一种投屏延时的测试方法及终端
CN113822907A (zh) 图像处理方法及装置
CN113542787A (zh) 直播实验教学视频进行加工的方法与系统
CN115223179A (zh) 基于答题码的课堂教学数据处理方法和系统
US8712161B2 (en) Image manipulating system and method
CN111724054A (zh) 一种评估方法、装置、终端设备及存储介质
US20230290118A1 (en) Automatic classification method and system of teaching videos based on different presentation forms
WO2023279944A1 (zh) 评估矿物价格的方法和计算机系统
CN116311554A (zh) 基于视频目标检测的学生课堂异常行为识别方法与系统
CN113315995A (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN112396923A (zh) 一种市场营销的教学模拟系统
CN108133210B (zh) 一种图像格式识别方法及装置
CN112118437A (zh) 虚拟现实的课堂模拟方法和系统
CN113014918B (zh) 一种基于偏度和结构特征的虚拟视点图像质量评价方法
CN111435420A (zh) 电视终端中习题批改的方法、装置及计算机存储介质
CN115100081B (zh) Lcd显示屏灰阶图像增强方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination