CN117440162B - 一种多媒体互动教学方法及系统 - Google Patents

一种多媒体互动教学方法及系统 Download PDF

Info

Publication number
CN117440162B
CN117440162B CN202311743982.9A CN202311743982A CN117440162B CN 117440162 B CN117440162 B CN 117440162B CN 202311743982 A CN202311743982 A CN 202311743982A CN 117440162 B CN117440162 B CN 117440162B
Authority
CN
China
Prior art keywords
frame
image data
sub
block
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311743982.9A
Other languages
English (en)
Other versions
CN117440162A (zh
Inventor
侯雯
宫靖
谭天
贾首时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qiqihar Medical University
Original Assignee
Qiqihar Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qiqihar Medical University filed Critical Qiqihar Medical University
Priority to CN202311743982.9A priority Critical patent/CN117440162B/zh
Publication of CN117440162A publication Critical patent/CN117440162A/zh
Application granted granted Critical
Publication of CN117440162B publication Critical patent/CN117440162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像通信技术领域，具体涉及一种多媒体互动教学方法及系统，具体包括：采集教学合成影像的各帧影像数据，获取每帧影像数据中各子块；根据每帧影像数据中各子块与相邻子块之间的内部灰度值差异性构建每帧影像数据的单帧整体同一性指数；构建每帧影像数据的单帧整体同一性指数；结合相邻帧影像数据之间子块偏移情况以及不同帧影像数据之间的差异度构建每帧影像数据的教学互动帧相关系数，输入COF算法得到每帧影像的异常系数值，将异常系数值大于异常阈值的各帧影像作为GOP结构的I帧，进行视频压缩。从而实现教学视频内容快速压缩，解决了传统方法划分GOP结构不精确的问题，提高了视频压缩的效率，增加视频传输流畅度。

Description

一种多媒体互动教学方法及系统
技术领域
本发明涉及图像通信技术领域，具体涉及一种多媒体互动教学方法及系统。
背景技术
多媒体互动教学是一种结合了多媒体技术和互动性质的教育方法，旨在提高学生的学习效果和参与度。这种教学方法使用文本、影像、音频、视频和互动性应用程序等多种媒体元素，以更生动、多样化的方式呈现课程内容。由于教学系统中需要将合成的影像传输到学生机并实时显示，满足流畅且清晰的要求。通过原始影像数据传输需要占用较大的带宽资源传递这些冗余信息，从而造成资源浪费。因此进行视频压缩。
视频编码的效率和压缩比受到帧分组策略的影响。传统算法通常使用帧间差分方法，逐数据点计算相邻两帧之间的关联度，然后将高关联度的帧组合成一个GOP结构。然而，这种方法的主要问题在于需要逐数据点计算，效率较低，且在处理单帧重复区域较多和帧间区域偏移较大的视频时效果不佳。
综上所述，本发明通过采集教学合成影像的各帧影像数据，分析每帧影像数据中各区域的数据点变化以及与不同帧影像数据的运动变化关系，构建教学互动帧相关系数，根据各帧影像数据的教学互动帧相关系数获取影像数据GOP结构的I帧，提高视频压缩效率。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种多媒体互动教学方法及系统，所采用的技术方案具体如下：
第一方面，本发明实施例提供了一种多媒体互动教学方法，该方法包括以下步骤：
采集教学合成影像的各帧影像数据；
获取每帧影像数据中各子块；根据各子块内数据点的灰度值变化得到每帧影像数据中各子块的单帧内区域邻近相似系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据的单帧整体同一性指数；根据单帧整体同一性指数得到相邻两帧影像数据中对应子块之间的教学文本区变化系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据中各子块的平均出现率；根据平均出现率及教学文本区变化系数得到每帧影像数据与前一帧影像数据之间的教学互动帧相关系数；
对于除第一帧影像数据外的各帧影像数据，根据每帧影像数据的教学互动帧相关系数得到每帧影像数据的异常系数值；根据每帧影像数据的异常系数值得到GOP结构的I帧，进行视频压缩；
所述根据各子块内数据点的灰度值变化得到每帧影像数据中各子块的单帧内区域邻近相似系数，具体包括：在每帧影像数据中，获取各子块内所有灰度值的标准差及信息熵；获取各子块的所有相邻子块；计算各子块与各相邻子块的所述信息熵之间的差值绝对值；计算各子块的所有所述差值绝对值的和值；计算所述和值与所述标准差的乘积；将所述乘积作为各子块的单帧内区域邻近相似系数；
所述根据各子块的单帧内区域邻近相似系数得到每帧影像数据的单帧整体同一性指数，表达式为：
式中，表示第t帧影像数据的单帧整体同一性指数，/>表示第t帧影像数据中子块的个数，/>表示对第t帧影像数据中子块两两组合的个数，/>和/>分别表示第t帧影像数据中第k和第i个子块的单帧内区域邻近相似系数，/>为以2为底的对数函数；
所述根据单帧整体同一性指数得到相邻两帧影像数据中对应子块之间的教学文本区变化系数，具体包括：获取每帧影像数据中每个子块的中心坐标；对于任意相邻的两帧影像数据，将两帧影像数据的第i个子块作为对应子块；计算两帧影像数据中对应子块的中心坐标之间的欧氏距离；计算后一帧影像数据与前一帧影像数据的单帧整体同一性指数之间的比值；计算所述欧氏距离与所述比值之间的乘积；将所述乘积作为两帧影像数据中对应子块之间的教学文本区变化系数；
所述根据各子块的单帧内区域邻近相似系数得到每帧影像数据中各子块的平均出现率，具体包括：在各帧影像数据中，计算其他各子块与第i个子块的单帧内区域邻近相似系数之间的比值；计算所述比值与1的差值平方；计算所有所述差值平方的均值；将所述均值作为单帧影像数据中第i个子块的平均出现率；
所述根据平均出现率及教学文本区变化系数得到每帧影像数据与前一帧影像数据之间的教学互动帧相关系数，具体包括：获取每帧影像数据各子块与前一帧影像数据对应子块之间的教学文本区变化系数；计算所述教学文本区变化系数与每帧影像数据中各子块的平均出现率的乘积绝对值；计算每帧影像数据中所有所述乘积绝对值的均值；将每帧影像数据的单帧整体同一性指数与所述均值的乘积作为每帧影像数据与前一帧影像数据之间的教学互动帧相关系数。
优选的，所述获取每帧影像数据中各子块，具体为：将每帧影像数据输入快速模糊聚类算法，输出为每帧影像数据中各子块。
优选的，所述根据每帧影像数据的教学互动帧相关系数得到每帧影像数据的异常系数值，具体为：
将每帧影像数据的教学互动帧相关系数输入COF算法，COF算法的输出为每帧影像数据的异常系数值。
优选的，所述根据每帧影像数据的异常系数值得到GOP结构的I帧，进行视频压缩，具体为：
预设异常阈值，将异常系数值大于异常阈值的各帧影像数据作为GOP结构的I帧；将第一帧影像数据也作为GOP结构的I帧；通过单向预测及双向预测获取GOP结构的P帧和B帧，通过完整的GOP结构进行视频压缩。
第二方面，本发明实施例还提供了一种多媒体互动教学系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述方法的步骤。
本发明实施例至少具有如下有益效果：
本发明通过计算教学合成影像中单帧影像数据的特性及相邻帧影像数据间的变化率，构建了每一帧影像数据的教学互动帧相关系数，根据各帧影像数据的教学互动帧相关系数获取影像数据GOP结构的I帧，解决了传统方法划分GOP结构不精确的问题，提高了视频压缩的效率，有利于增加多媒体互动教学中网络实时传输的流畅度；与传统算法相比，能够根据视频内容快速实现帧分组，联合帧内区域相关性和帧间区域偏移关联性降低误划分干扰，在提高压缩比的同时，降低网络传输质量的要求；
本发明通过采集教学合成影像的各帧影像数据；获取每帧影像数据中各子块；根据各子块内数据点的灰度值变化得到每帧影像数据中各子块的单帧内区域邻近相似系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据的单帧整体同一性指数；根据单帧整体同一性指数得到相邻两帧影像数据中对应子块之间的教学文本区变化系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据中各子块的平均出现率；根据平均出现率及教学文本区变化系数得到每帧影像数据与前一帧影像数据之间的教学互动帧相关系数；对于除第一帧影像数据外的各帧影像数据，根据每帧影像数据的教学互动帧相关系数得到每帧影像数据的异常系数值；根据每帧影像数据的异常系数值得到GOP结构的I帧，提高了视频压缩的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种多媒体互动教学方法的步骤流程图；
图2为多媒体互动教学方法的步骤示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种多媒体互动教学方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种多媒体互动教学方法及系统的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种多媒体互动教学方法的步骤流程图，该方法包括以下步骤：
步骤S001，采集教学合成影像的各帧影像数据。
教学过程中需要教师与学生进行实时互动，将教师机端的教学合成影像视频通过编码压缩的方式上传到服务器，通过服务器处理后，传递到学生机上进行显示。因此采集教师机端的教学合成影像作为待压缩视频数据，将待压缩视频数据中第帧影像数据用/>表示。
步骤S002，分析每帧影像数据中各子块的灰度变化以及与不同帧影像数据的运动变化关系，构建教学互动帧相关系数。
通过上述步骤获得了屏幕中的待压缩视频数据。对于视频压缩算法中GOP参数定义了连续视频帧的编码结构，它将每个帧编码为独立的数据单元，将视频帧划分为I帧、P帧和B帧。其中I帧为关键帧需要帧内编码，P帧作为预测帧采用帧间预测编码，与前一帧比较得到当前帧的灰度值，B帧作为双向预测帧采用双向预测编码，通过与前后两帧比较得到当前帧的灰度值。
一个GOP结构由I帧、P帧和多个B帧组成，例如，GOP={I,B,B,P,B,B,P}。如果在传输过程中丢失了I帧，那么对应的GOP结构中的P帧和B帧将无法解码，从而导致屏幕上出现乱码。GOP参数确定了在多少视频帧之后设置一个关键帧I帧。传统方法是通过计算相邻两帧之间的差异来划分GOP参数，但对于快速运动和剧烈变化的视频，这可能会导致运动模糊。因此，根据场景视频信息，需要自适应地调整视频的GOP结构。
首先，在同一帧影像数据中可能存在多个相似的区域而出现空间冗余，因此针对每一帧影像数据分析其对应的局部区域相关性，本实施例采用超像素分割算法中的快速模糊聚类算法（QuickShift），对每一帧影像数据进行分割得到多个子块，设置每帧影像数据中子块个数为，需要说明的是，/>的值实施者可自行设定，本实施例将/>的值设定为。QuickShift超像素分割为公知技术，具体过程不再赘述。通过超像素分割可以将每一帧影像数据划分为不同的子块，每个子块作为一个区域，每一帧影像数据可以得到120个区域，并按照从左到右，从上到下的顺序对子块进行编号，得到子块序列SP，接下来分析将以子块区域进行，提高检测效率。
通过上述方式将单帧影像数据的数据点归类到不同的子块中，每个子块代表一个区域的信息，该区域的信息可能和相邻子块区域的信息所关联，因此获取各子块的所有相邻子块，根据各子块与其相邻子块内的数据点的灰度值差异构建每帧影像数据的单帧内区域邻近相似系数：
式中，表示第t帧影像数据第i个子块的单帧内区域邻近相似系数，/>表示第t帧影像数据第i个子块内部所有数据点灰度值的标准差，/>为第t帧影像数据中与第i个子块相邻的子块个数，/>表示第i个子块的第j个相邻的子块，/>和/>分别表示第i个子块和其第j个相邻的子块中所有灰度值的信息熵。
单帧内区域邻近相似系数表示了该子块与邻域子块的相似程度，若相邻的两个子块其数据点值的差异偏小，计算的信息熵值将非常接近，计算的值会变小，计算的/>值越小，说明该子块与周围区域的相似程度越高。
由于教学视频的帧影像数据中可能出现不同空间位置处的子块颜色接近，在GOP视频压缩编码中，这些相同的子块可以用其中的某一块来表示。由此，根据计算每帧影像数据的单帧整体同一性指数：
式中，表示第t帧影像数据的单帧整体同一性指数，/>表示第t帧影像数据中子块的个数，本实施例设置为120个，/>表示对第t帧影像数据中子块两两组合的个数，和/>分别表示第t帧影像数据中第k和第i个子块的单帧内区域邻近相似系数，为以2为底的对数函数。
对单帧影像数据中每个两子块的单帧内区域邻近相似系数比值进行对数运算，若单帧影像数据内子块之间的重复度比较高，则比值接近1，对应的单帧整体同一性指数是一个较小的值；相反，如果该帧影像数据不存在重复子块时，则每两个子块的比值都不为1，因此得到的/>较大。
进一步分析不同画面帧之间的相关特性，在互动教学系统中，教师机上文本的变化频繁，连续帧中主要的变化表现为教学文本的增加，以及教师的动作变化，此外其他区域帧间差异相对较小。在传统的影像数据压缩算法通过逐数据点比较相邻两帧之间的关联性划分GOP，效率太低，并且容易出现误判，即相邻两帧由于运动快速造成区域级较大移动，可能被判为需划分两个帧分组GOP。
因此计算每帧影像数据与前一帧影像数据之间子块偏移距离，得到教学文本区变化系数：
式中，表示第/>和/>帧影像数据之间第i个子块的教学文本区变化系数，/>和/>分别表示第/>和第/>帧影像数据之间第i个子块的中心坐标，/>和/>分别表示第t帧和第t-1帧影像数据的单帧整体同一性指数，表示计算两个中心坐标间的欧氏距离。
衡量了不同帧之间子块的移动距离，即画面的变化速率。在同一个GOP结构中，不同帧间大多数子块能够一一对应。若不同帧子块能够彼此对应，说明该部分区域无明显变化，计算的子块中心坐标偏差距离偏小；若不同帧子块没有对应，说明该部分区域变化明显，可能是新增加的文本部分，同时计算的子块中心坐标偏差距离也会变大。最后计算的教学文本区变化系数变大。
GOP结构内帧间差异偏小，不同GOP结构间差异偏大，根据该特性，结合教学文本区变化系数，构建教学互动帧相关系数：
式中，表示第t帧影像数据与第t-1帧影像数据间的教学互动帧相关系数，/>表示第t帧影像数据的单帧整体同一性指数，/>表示该帧影像数据中子块的个数，表示在第t帧影像数据内第i个子块的平均出现率，/>表示第/>和/>帧影像数据之间第i个子块的教学文本区变化系数，/>和/>分别表示在第t帧影像数据内第k个和第i个子块的单帧内区域邻近相似系数。
在影像数据中，教师互动会有一些肢体语言的表达，包括一些微小的动作，因运动子块造成的帧间差异偏大可能被设定为关键帧，通过对画面变化进行平衡。教师的动作虽变化，但相邻帧内的单帧内区域邻近相似系数接近，因此，若只是微小动作变化导致子块偏移，计算的/>值也会偏小。计算的教学互动帧相关系数也会偏小，认为相邻帧间变化不大。当出现教学文本区大量转变时，此时/>和/>同步增大，最终计算的教学互动帧相关系数会变大。
步骤S003，根据各帧影像数据的教学互动帧相关系数获取影像数据GOP结构的I帧，结合完整GOP结构进行视频压缩。
至此，除影像数据视频的第一帧外，视频中每一帧影像数据都可计算出一个教学互动帧相关系数，将连续帧的视为一个时间序列数据，在GOP结构中，将真实变化较大的帧定义为关键帧。将第一帧设置为I帧；进一步，将除第一帧外的其他帧影像数据，使用COF算法检测分析每帧影像数据的差异，COF算法的输入为每帧影像数据的教学互动帧相关系数值，输出为每帧影像数据对应的异常系数值，记为/>。设置异常阈值，需要说明的是，异常阈值实施者可自行设定，本实施例将异常阈值设定为3，若/>值大于异常阈值，则将对应的/>帧设置为GOP结构的I帧。通过单向预测及双向预测获取GOP结构的P帧和B帧，通过完整的GOP结构进行视频压缩，其中GOP结构的P帧和B帧的获取及视频压缩方法均为公知技术，具体过程不在赘述。相邻I帧的图片记为一个GOP结构，I帧为开始帧，中间帧为B帧，结束帧为P帧。I帧和P帧为一个，B帧可存在多个。上述方法的步骤示意图如图2所示。
与传统算法相比，能够根据视频内容快速实现帧分组，联合帧内区域相关性和帧间区域偏移关联性降低误划分干扰，在提高压缩比的同时，降低网络传输质量的要求。
基于与上述方法相同的发明构思，本发明实施例还提供了一种多媒体互动教学系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种多媒体互动教学方法中任意一项所述方法的步骤。
综上所述，本发明实施例提供了一种多媒体互动教学方法，通过计算教学影像数据中单帧影像数据的特性及相邻帧影像数据间的变化率，构建了每一帧影像数据的教学互动帧相关系数，根据各帧影像数据的教学互动帧相关系数获取影像数据GOP结构的I帧，解决了传统方法划分GOP结构不精确的问题，提高了视频压缩的效率，有利于增加多媒体互动教学中网络实时传输的流畅度；与传统算法相比，能够根据视频内容快速实现帧分组，联合帧内区域相关性和帧间区域偏移关联性降低误划分干扰，在提高压缩比的同时，降低网络传输质量的要求；
本实施例通过采集教学影像数据的各帧影像数据；获取每帧影像数据中各子块；根据各子块内数据点的灰度值变化得到每帧影像数据中各子块的单帧内区域邻近相似系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据的单帧整体同一性指数；根据单帧整体同一性指数得到相邻两帧影像数据中对应子块之间的教学文本区变化系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据中各子块的平均出现率；根据平均出现率及教学文本区变化系数得到每帧影像数据与前一帧影像数据之间的教学互动帧相关系数；对于除第一帧影像数据外的各帧影像数据，根据每帧影像数据的教学互动帧相关系数得到每帧影像数据的异常系数值；根据每帧影像数据的异常系数值得到GOP结构的I帧，提高了视频压缩的效率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种多媒体互动教学方法，其特征在于，该方法包括以下步骤：
采集教学合成影像的各帧影像数据；
获取每帧影像数据中各子块；根据各子块内数据点的灰度值变化得到每帧影像数据中各子块的单帧内区域邻近相似系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据的单帧整体同一性指数；根据单帧整体同一性指数得到相邻两帧影像数据中对应子块之间的教学文本区变化系数；根据各子块的单帧内区域邻近相似系数得到每帧影像数据中各子块的平均出现率；根据平均出现率及教学文本区变化系数得到每帧影像数据与前一帧影像数据之间的教学互动帧相关系数；
对于除第一帧影像数据外的各帧影像数据，根据每帧影像数据的教学互动帧相关系数得到每帧影像数据的异常系数值；根据每帧影像数据的异常系数值得到GOP结构的I帧，进行视频压缩；
所述根据各子块内数据点的灰度值变化得到每帧影像数据中各子块的单帧内区域邻近相似系数，具体包括：在每帧影像数据中，获取各子块内所有灰度值的标准差及信息熵；获取各子块的所有相邻子块；计算各子块与各相邻子块的所述信息熵之间的差值绝对值；计算各子块的所有所述差值绝对值的和值；计算所述和值与所述标准差的乘积；将所述乘积作为各子块的单帧内区域邻近相似系数；
所述根据各子块的单帧内区域邻近相似系数得到每帧影像数据的单帧整体同一性指数，表达式为：
式中，表示第t帧影像数据的单帧整体同一性指数，/>表示第t帧影像数据中子块的个数，/>表示对第t帧影像数据中子块两两组合的个数，/>和/>分别表示第t帧影像数据中第k和第i个子块的单帧内区域邻近相似系数，/>为以2为底的对数函数；
所述根据单帧整体同一性指数得到相邻两帧影像数据中对应子块之间的教学文本区变化系数，具体包括：获取每帧影像数据中每个子块的中心坐标；对于任意相邻的两帧影像数据，将两帧影像数据的第i个子块作为对应子块；计算两帧影像数据中对应子块的中心坐标之间的欧氏距离；计算后一帧影像数据与前一帧影像数据的单帧整体同一性指数之间的比值；计算所述欧氏距离与所述比值之间的乘积；将所述乘积作为两帧影像数据中对应子块之间的教学文本区变化系数；
所述根据各子块的单帧内区域邻近相似系数得到每帧影像数据中各子块的平均出现率，具体包括：在各帧影像数据中，计算其他各子块与第i个子块的单帧内区域邻近相似系数之间的比值；计算所述比值与1的差值平方；计算所有所述差值平方的均值；将所述均值作为单帧影像数据中第i个子块的平均出现率；
所述根据平均出现率及教学文本区变化系数得到每帧影像数据与前一帧影像数据之间的教学互动帧相关系数，具体包括：获取每帧影像数据各子块与前一帧影像数据对应子块之间的教学文本区变化系数；计算所述教学文本区变化系数与每帧影像数据中各子块的平均出现率的乘积绝对值；计算每帧影像数据中所有所述乘积绝对值的均值；将每帧影像数据的单帧整体同一性指数与所述均值的乘积作为每帧影像数据与前一帧影像数据之间的教学互动帧相关系数。
2.如权利要求1所述的一种多媒体互动教学方法，其特征在于，所述获取每帧影像数据中各子块，具体为：将每帧影像数据输入快速模糊聚类算法，输出为每帧影像数据中各子块。
3.如权利要求1所述的一种多媒体互动教学方法，其特征在于，所述根据每帧影像数据的教学互动帧相关系数得到每帧影像数据的异常系数值，具体为：
将每帧影像数据的教学互动帧相关系数输入COF算法，COF算法的输出为每帧影像数据的异常系数值。
4.如权利要求1所述的一种多媒体互动教学方法，其特征在于，所述根据每帧影像数据的异常系数值得到GOP结构的I帧，进行视频压缩，具体为：
预设异常阈值，将异常系数值大于异常阈值的各帧影像数据作为GOP结构的I帧；将第一帧影像数据也作为GOP结构的I帧；通过单向预测及双向预测获取GOP结构的P帧和B帧，通过完整的GOP结构进行视频压缩。
5.一种多媒体互动教学系统，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项方法的步骤。
CN202311743982.9A 2023-12-19 2023-12-19 一种多媒体互动教学方法及系统 Active CN117440162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311743982.9A CN117440162B (zh) 2023-12-19 2023-12-19 一种多媒体互动教学方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311743982.9A CN117440162B (zh) 2023-12-19 2023-12-19 一种多媒体互动教学方法及系统

Publications (2)

Publication Number Publication Date
CN117440162A CN117440162A (zh) 2024-01-23
CN117440162B true CN117440162B (zh) 2024-02-23

Family

ID=89556864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311743982.9A Active CN117440162B (zh) 2023-12-19 2023-12-19 一种多媒体互动教学方法及系统

Country Status (1)

Country Link
CN (1) CN117440162B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780895A (zh) * 2014-01-16 2014-05-07 天津大学 一种立体视频质量评价方法
WO2017000465A1 (zh) * 2015-07-01 2017-01-05 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法
CN106559714A (zh) * 2016-11-14 2017-04-05 上海工程技术大学 一种面向数字视频版权保护的关键帧提取方法
CN112104869A (zh) * 2020-11-10 2020-12-18 光谷技术股份公司 一种视频大数据存储及转码优化系统
WO2022172341A1 (ja) * 2021-02-09 2022-08-18 日本電信電話株式会社 物体検出装置、方法、及びプログラム
CN115713625A (zh) * 2022-11-18 2023-02-24 盐城众拓视觉创意有限公司 一种教学实录视频与课件背景的快速结合成片方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294646B (zh) * 2020-02-17 2022-08-30 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780895A (zh) * 2014-01-16 2014-05-07 天津大学 一种立体视频质量评价方法
WO2017000465A1 (zh) * 2015-07-01 2017-01-05 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法
CN106559714A (zh) * 2016-11-14 2017-04-05 上海工程技术大学 一种面向数字视频版权保护的关键帧提取方法
CN112104869A (zh) * 2020-11-10 2020-12-18 光谷技术股份公司 一种视频大数据存储及转码优化系统
WO2022172341A1 (ja) * 2021-02-09 2022-08-18 日本電信電話株式会社 物体検出装置、方法、及びプログラム
CN115713625A (zh) * 2022-11-18 2023-02-24 盐城众拓视觉创意有限公司 一种教学实录视频与课件背景的快速结合成片方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Rate Control Algorithm in HEVC Based on Scene-Change Detection;Jia Qin;2019 Data Compression Conference(DCC);20190513;全文 *
基于视频分割的关键帧选取;叶军;周卉;李建良;;计算机工程与设计;20080116(第01期);全文 *
多媒体视频教学中关键帧的提取;熊皓;;科技创业月刊;20130410(第04期);全文 *

Also Published As

Publication number Publication date
CN117440162A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN109379550B (zh) 基于卷积神经网络的视频帧率上变换方法及系统
CN110225341B (zh) 一种任务驱动的码流结构化图像编码方法
CN108780499B (zh) 基于量化参数的视频处理的系统和方法
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
CN103886623B (zh) 一种图像压缩方法、设备及系统
CN107959848B (zh) 基于三维卷积神经网络的通用型无参考视频质量评价算法
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN111462261A (zh) 针对h.266/vvc的快速cu分区和帧内决策方法
CN112001308B (zh) 一种采用视频压缩技术和骨架特征的轻量级行为识别方法
US11893761B2 (en) Image processing apparatus and method
CN111626178B (zh) 一种基于新时空特征流的压缩域视频动作识别方法和系统
CN114363623A (zh) 图像处理方法、装置、介质及电子设备
CN113132727B (zh) 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法
CN116233479B (zh) 基于数据处理的直播信息内容审核系统及方法
JP2024511103A (ja) 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第１のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN116233445A (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
CN113489958A (zh) 一种基于视频编码数据多特征融合的动态手势识别方法及系统
CN116918329A (zh) 一种视频帧的压缩和视频帧的解压缩方法及装置
CN117440162B (zh) 一种多媒体互动教学方法及系统
CN116471262A (zh) 视频质量评估方法、装置、设备、存储介质及程序产品
US20220375033A1 (en) Image processing method, data processing method, image processing apparatus and program
CN116524387A (zh) 一种基于深度学习网络的超高清视频压缩损伤等级评估方法
CN113822801A (zh) 基于多分支卷积神经网络的压缩视频超分辨率重建方法
CN109040747B (zh) 基于卷积自编码器的立体图像舒适度质量评价方法及系统
CN113538324A (zh) 评估方法、模型训练方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant