CN111898441A - 一种在线课程视频资源内容识别与评估方法及智能系统 - Google Patents

一种在线课程视频资源内容识别与评估方法及智能系统 Download PDF

Info

Publication number
CN111898441A
CN111898441A CN202010607495.XA CN202010607495A CN111898441A CN 111898441 A CN111898441 A CN 111898441A CN 202010607495 A CN202010607495 A CN 202010607495A CN 111898441 A CN111898441 A CN 111898441A
Authority
CN
China
Prior art keywords
video
knowledge point
unit
content
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010607495.XA
Other languages
English (en)
Other versions
CN111898441B (zh
Inventor
杨宗凯
徐晶
吴砥
刘威
徐建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central China Normal University
Original Assignee
Central China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central China Normal University filed Critical Central China Normal University
Priority to CN202010607495.XA priority Critical patent/CN111898441B/zh
Publication of CN111898441A publication Critical patent/CN111898441A/zh
Application granted granted Critical
Publication of CN111898441B publication Critical patent/CN111898441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Educational Administration (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明属于教学质量评价与应用技术领域，公开了一种在线课程视频资源内容识别与评估方法及智能系统，方法包括：获取目标在线课程视频，并从视频文件中分别获得视频流信息与音频流信息；对视频流信息进行处理获得镜头提取、图像文本，并对音频流信息进行音频片断分割、语音识别获得语音文本；根据图像文本和语音文本对视频资源的内容进行知识点识别；将视频知识点与课程大纲进行比对，进行教学内容评估与审核。本发明可以从多角度对在线课程教学视频进行质量评估和审核，评估结果基于视频的图像、语音以及具体课程内容，可以全方位分析在线课程教学视频的教学内容并进行评价，对在线课程平台和制作者有较大的参考价值和实用意义。

Description

一种在线课程视频资源内容识别与评估方法及智能系统
技术领域
本发明属于教学质量评价与应用技术领域，更具体地，涉及一种在线课程视频资源内容识别与评估方法及智能系统。
背景技术
在线课程正在蓬勃发展，特别是大规模开放课程的兴起，越来越多地在网络上开展学习活动。然而，在线课程(特别是课程视频资源)的质量评估面临着巨大的挑战。在线课程视频资源区别于传统课堂教学视频，其内容由教师团队提供并事先进行编辑剪辑。此外，传统教学质量由专业教师或督导专家进行评估，面对海量的在线课程视频，人工观察与评估难以完成，亟需实现在线课程视频资源的自动化判别。在线课程视频资源中，语音和图像是传达信息最主要的两种途径，根据调查，大部分在线课程视频采用“讲授”与课件相结合的教学方法。随着人工智能技术的进步，通过对在线课程视频资源的图像和语音进行分析，可以了解视频内容，实现在线课程视频的质量评估与审核。
对于在线课程资源的评价，我国出台了《教育资源建设技术规范》《网络课程评价规范》等标准，但是这些规范大都从课程角度出发，对课程资源进行总体性评价，例如课程设计、视频资源数等。也有部分研究关注单个课程视频的质量评估，通过用户观看视频的行为过程分析用户体验从而获得质量评价，用户的视频观看行为受到学习目的、背景知识等众多因素的影响，具有较强的主观性。
目前关于视频(例如监控视频等)质量评估与审核的研究主要集中从视频的通用特征(如图像分辨率、图像失真、网络码率、语音质量等方面)对视频做出形式审查，在内容上主要以涉黄或敏感字匹配技术等为主要手段。在线课程是一种新型的教育方式，对于其视频资源的质量评估与审核，除了普通视频的形式审核外，还应该针对其教学内容做出评估。知识点是在线课程视频资源最核心内容的直接体现，有必要对视频知识点进行识别，进而依据课程大纲进行有效审核。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种在线课程视频资源内容识别与评估方法及智能系统，旨在解决现有技术中针对在线课程视频资源的评估主要是通过用户观看视频来分析用户体验从而获得质量评价，导致评价结果不够客观，影响评价结果的准确性的问题。
本发明提供了一种在线课程视频资源内容识别与评估方法，包括下述步骤：
(1)获取目标在线课程视频，并从视频文件中分别获得视频流信息与音频流信息；
(2)对视频流信息进行处理获得镜头提取、图像文本，并对音频流信息进行音频片断分割、语音识别获得语音文本；
(3)根据图像文本和语音文本对视频资源的内容进行知识点识别；
(4)将视频知识点与课程大纲进行比对，进行教学内容评估与审核。
其中，步骤(2)中对视频流信息进行处理的过程具体为：
对图像帧进行抽取，通过计算相邻图像帧的相关度完成视频镜头的提取，并记录各视频镜头的起始时间和结束时间；
以视频镜头为单位，根据视频内容识别视频镜头中的PPT，通过文字识别记录PPT中的内容。
其中，步骤(2)中对音频流信息进行处理的过程具体为：
根据讲述者语音的停顿对音频进行分割并记录音频片段的起始时间和结束时间；
通过语音识别技术将音频片段转换为对应的文字文本。
其中，步骤(3)中视频知识点的识别过程具体为：
根据视频镜头和音频片断的时间，形成视频镜头与音频片断的映射关系；
通过视频镜头PPT的图像文本构建视频镜头知识点信息；
根据时间相邻视频镜头对应的语音文本，利用语义模型计算镜头的关联度，将关联镜头合并为一个知识点单元；
通过记录所述知识点单元的知识点标签、起始时间和结束时间来统计知识点单元的时长信息；
分析所述知识点单元的图像文本与语音文本，并通过搜索关键词来识别所述知识点单元中的案例，获得案例数量统计值。
其中，步骤(4)具体为：
对知识点与视频标题之间的相关度进行吻合度评估；
根据给定的课程大纲统计课程整体的知识点覆盖度；
根据知识点单元时长、案例数量对课程视频资源总时长与总案例数进行归一化处理，
根据归一化结果获得知识点的比重，并与课程大纲中的各知识点的掌握要求进行比对，根据比对结果判断课程知识点设计的合理性，从而实现教学内容的评估与审核。
本发明还提供了一种在线课程视频资源内容识别与评估智能系统，包括：视频获取模块、视频预处理模块、视频内容分析模块和知识点评估模块；视频获取模块用于对待检测的视频文件及对应的标题信息进行读取，并获得视频流信息和音频流信息；视频预处理模块用于对视频流信息和音频流信息进行处理获得图像文本与语音文本；视频内容分析模块用于根据图像与语音分析的结果对视频资源的知识点进行识别与特征提取；视频知识点评估模块用于根据知识点特征结合课程大纲进行评估与审核。
更进一步地，视频预处理模块包括：音频处理模块和视频处理模块，音频处理模块用于对音频流信息进行处理并获得语音文本；视频处理模块用于对视频流信息进行处理并获得图像文本。
更进一步地，音频处理模块包括：语音频段切分单元和语音识别单元；语音频段切分单元用于根据说话者语音的停顿对音频进行分割并记录音频片段的起始时间和结束时间；语音识别单元用于通过语音识别技术将音频片段转换为对应的文字文本；视频处理模块包括：视频镜头切分单元、视频镜头分类单元和PPT文字识别单元；视频镜头切分单元用于对图像帧进行抽取，通过计算相邻图像帧的相关度完成视频片断的提取，并记录各视频镜头的起始时间和结束时间；视频镜头分类单元用于将视频镜头分为PPT与教师讲述两种类型；PPT文字识别单元用于通过文字识别记录PPT中的内容。
更进一步地，视频内容分析模块包括：知识点提取单元、知识点案例识别模块；知识点提取单元用于根据视频镜头PPT的图像文本构建视频镜头知识点信息，并利用语义模型计算镜头的关联度，将关联镜头合并为一个知识点单元，记录知识单元的知识点标签与时长信息；知识点案例识别模块用于根据知识点单元对应的语音文本提取其关键词或关键句式库，并以正则匹配的方式在语音文本信息中检索，识别出知识点单元中的案例，获得案例数量统计值。
更进一步地，知识点评估模块包括：视频内容吻合度评估单元、知识点覆盖评估单元、知识点设计合理性评估单元和评价结果获取单元；视频内容吻合度评估单元用于对知识点与视频标题之间的相关度识别内容吻合度；知识点覆盖评估单元用于根据在线课程的教学大纲，形成教学大纲知识点关键词库，并通过将该词库中的每一个关键词在视频内容知识点单元关键词库中进行搜索，来统计教学大纲知识点覆盖率；知识点设计评价单元用于根据教学大纲中所要求知识点的掌握程度进一步评价课程视频内容知识点设计合理性；评价结果获取单元用于汇总课程视频内容吻合率、覆盖率和设计合理性结果，并形成评估反馈报告。
本发明可以从多角度对在线课程教学视频进行质量评估和审核，评估结果基于视频的图像、语音以及具体课程内容，可以全方位分析在线课程教学视频的教学内容并作出评价，对在线课程平台和制作者有较大的参考价值和实用意义。具体地，在线课程视频制作者可使用本发明对制作完成的在线课程视频进行自主评估，确定视频不足并加以修改。在线课程平台可使用本发明对制作者上传的课程视频教学内容进行自动化识别与评价，向视频制作者提供评估报告及修改意见。
附图说明
图1是本发明实施例提供的在线课程视频资源内容识别与评估方法的实现流程图。
图2是本发明实施例提供的在线课程视频资源内容识别与评估智能系统的原理框图。
图3是本发明实施例提供的在线课程视频资源内容识别与评估智能系统中视频预处理模块的结构图。
图4是本发明实施例提供的在线课程视频资源内容识别与评估智能系统中视频内容分析模块的结构图。
图5是本发明实施例提供的在线课程视频资源内容识别与评估智能系统中视频内容评估模块的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的课程视频资源评价方法从视频内容表征的知识点角度对在线课程视频进行内容识别与评估；具体可以对在线课程视频中的图像和语音内容进行分析，识别该视频包含的知识点，进而对其知识点的吻合度、覆盖率以及设计三个方面进行评估与审核，具体包括知识点与视频标题吻合度分析、课程的知识点覆盖、知识点设计合理性等。
图1示出了本发明实施例提供的在线课程视频资源内容识别与评估方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在线课程视频资源内容识别与评估包括下述步骤：
(1)获取目标在线课程视频，并从视频文件中分别获得视频流信息与音频流信息；
(2)对视频流信息进行处理获得镜头提取、图像文本等，并对音频流信息进行音频片断分割、语音识别获得语音文本；
(3)根据图像文本和语音文本对视频资源的内容进行知识点识别；
(4)将视频知识点与课程大纲进行比对，进行教学内容评估与审核。
其中，步骤(2)中对视频流信息进行处理的过程具体为：
按照秒为单位对图像帧进行抽取，通过计算相邻图像帧的相关度完成视频镜头的提取，并记录各视频镜头的起始时间和结束时间；
以视频镜头为单位，根据视频内容识别视频镜头中的PPT，通过文字识别记录PPT中的内容。
步骤(2)中对音频流信息进行处理的过程具体为：
根据讲述者语音的停顿对音频进行分割并记录音频片段的起始时间和结束时间；
通过语音识别技术将音频片段转换为对应的文字文本。
步骤(3)中视频知识点的识别过程具体为：根据视频镜头和音频片断的时间，形成视频镜头与音频片断的映射关系，通常为1:n(一个视频镜头对应多句语音)；
分析视频镜头PPT的图像文本，构建视频镜头知识点信息；分析时间相邻视频镜头对应的语音文本，利用语义模型计算镜头的关联度；将关联镜头合并为一个知识点单元，记录知识单元的知识点标签与起始、结束时间，其中知识点标签包含出现频次最高的三个关键词，并统计知识点单元的时长信息；
分析知识点单元的图像文本与语音文本，搜索“举例”等关键词，识别知识点单元中的案例，并统计案例数量。
在本发明实施例中，步骤(4)为：
对知识点与视频标题之间的相关度进行判断；具体地，在知识点信息库中搜索标题词汇，判别标题词汇是否出现在知识点关键词库，依此获得知识点与视频标题相关度；
根据给定的课程大纲，统计课程整体的知识点覆盖度；
进一步将知识点单元时长、案例数量对课程视频资源总时长与总案例数做归一化，按照归一化结果，获得知识点的比重，并与课程大纲中的各知识点的掌握要求进行比对，判断课程知识点设计的合理性。
本发明利用视频图像和语音两个维度，利用人工智能技术，对在线课程视频内容进行识别与评估。
图2示出了本发明实施例提供的在线课程视频资源内容识别与评估智能系统的原理框图，本发明提供的在线课程视频资源内容识别与评估智能系统包括：视频获取模块1、视频预处理模块2、视频内容分析模块3和知识点评估模块4；视频获取模块1用于对待检测的视频文件及对应的标题信息进行读取并获得视频流信息和音频流信息；视频预处理模块2用于对视频流信息和音频流信息进行处理获得图像文本与语音文本；视频内容分析模块3用于根据图像与语音分析的结果对视频资源的知识点进行识别与特征提取；视频知识点评估模块4用于根据知识点特征结合课程大纲进行评估与审核。
其中，视频获取模块1可以对目标在线课程视频进行读取，并在内存中载入待检测的视频文件以及对应的标题信息；从视频文件中分别获得视频流信息与音频流信息。
如图3所示，视频预处理模块2包括音频处理模块21和视频处理模块22，音频处理模块21用于对音频流信息进行处理并获得语音文本；视频处理模块22用于对视频流信息进行处理并获得图像文本。
音频处理模块21包括：语音频段切分单元210和语音识别单元211；语音频段切分单元210用于根据说话者语音的停顿对音频进行分割并记录音频片段的起始时间和结束时间；语音识别单元211用于通过语音识别技术将音频片段转换为对应的文字文本。
视频处理模块22包括：视频镜头切分单元220、视频镜头分类单元221和PPT文字识别单元222；视频镜头切分单元220用于按照秒为单位进行抽取图像帧，通过计算相邻图像帧的相关度完成视频片断的提取，并记录各视频镜头的起始时间和结束时间；视频镜头分类单元221用于将视频镜头分为PPT与教师讲述两种类型；PPT文字识别单元222用于通过文字识别记录PPT中的内容。
如图4所示，视频内容分析模块3包括：知识点提取单元31、知识点案例识别模块32。
其中，知识点提取单元31首先完成视频镜头与语音片断的映射，然后根据视频镜头PPT的图像文本，构建视频镜头知识点信息；同时，分析时间相邻视频镜头对应的语音文本，利用语义模型计算镜头的关联度；将关联镜头合并为一个知识点单元，记录知识单元的知识点标签与时长信息。
知识点案例识别模块32，分析知识点单元对应的语音文本，提取其关键词或关键句式库，以正则匹配的方式在语音文本信息中检索，识别出知识点单元中的案例，并统计案例数量。
如图5所示，知识点评估模块4包括：视频内容吻合度评估单元41、知识点覆盖评估单元42、知识点设计合理性评估单元43和评价结果获取单元44。
其中，视频内容吻合度评估单元41用于对知识点与视频标题之间的相关度进行判断并获得相关度报告；具体地，在视频知识点关键词库中搜索标题词汇，如果标题词汇未出现在知识点关键词库中，则认为视频知识点与标题不相关；统计课程所有视频知识点与标题相关度，得出课程视频内容吻合率。
知识点覆盖评估单元42用于依据在线课程的教学大纲，对其进行分词，并形成教学大纲知识点关键词库，将该词库中的每一个关键词在视频内容知识点单元关键词库中进行搜索，统计教学大纲知识点覆盖率。
知识点设计评价单元43用于在知识点覆盖评估单元42检测覆盖的知识点集合中，依据教学大纲中所要求知识点的掌握程度，进一步评价课程视频内容知识点设计合理性；具体地，根据视频知识点单元的内容特征(时长信息以及案例数量对课程视频资源总时长与总案例数做归一化)，比较同类要求的知识点内容特征值，如果特征值偏差过大，则认为该知识点设计不合理。
课程视频内容评估结果获取单元44汇总课程视频内容吻合率、覆盖率、设计合理结果，形成评估反馈报告中。
本发明从知识点角度对在线课程教学视频内容进行智能分析与评估，评估结果基于视频的图像、语音以及具体课程大纲内容，可以对在线课程教学视频内容进行智能识别与评估，对在线课程平台和制作者有较大的参考价值和实用意义。
本发明的有益效果主要可以用于以下情形：
(1)在线课程视频制作者可使用本发明对制作完成的在线课程视频内容进行自主评估，确定视频不足并加以修改。
(2)在线课程平台可使用本发明对制作者上传的视频进行对课程知识点进行审核评价，向视频制作者提供评估报告及修改意见。
为了更进一步的说明本发明实施例提供的在线课程视频资源的质量评估方法及智能系统，现参照附图并结合具体实例详述如下：
本实例提供了一种面对《电路理论》的在线课程视频的音视频审核系统。《电路理论》在线课程视频语音主要由该课程讲师使用中文普通话的语音和包含开头动画、若干张幻灯片、结尾总结的图像信息构成，视频为.mp4文件。在本实施例中，需要有一台电脑并且联网进行使用本系统。
具体使用步骤如下：
S1：点击开始对视频进行预处理，提取视频流与音频流。后续步骤S2-S5为视频流预处理流程，步骤S6-S7为音频流预处理流程。
S2：进行抽取的视频帧相似度对比并执行删减的操作，以图片形式保留视频帧，记录保留视频帧的时间信息。
S3：利用CNN分类算法来判断该图像是否包含幻灯片，若是，则进入步骤S4；若否，则跳过。
S4：采用CTPN+CRNN算法识别并提取图片中的图像文本信息。其中，CTPN能有效的检测出复杂场景的横向分布的文字，CRNN模型是目前较为流行的图文识别模型，可识别较长的文本序列。
S5：基于音频波形的能量分析对音频流进行分割，记录语音片段的起始结束时间。
S6：调用CMUShpinx语音识别算法进行语音识别，记录语音文本信息；其中，CMUShpinx语音识别算法是目前主流的开源语音识别框架之一，源于卡尔基梅隆大学，具有包括普通话、英语、法语、西班牙语和意大利语在内的诸多语音可以直接使用的模型。
S7：完成视频镜头与语音片断的映射，然后根据视频镜头PPT的图像文本，构建视频镜头知识点信息；同时，分析时间相邻视频镜头对应的语音文本，利用语义模型计算镜头的关联度；将关联镜头合并为一个知识点单元，记录知识单元的知识点标签与时长信息。
S8：分析知识点单元对应的语音文本，提取其关键词或关键句式库，以正则匹配的方式在语音文本信息中检索类似“举例，假如……试证明”等关键词，从而识别出知识点单元中的案例，并统计案例数量。
S9：对在线课程视频的标题文本进行分词处理，在知识点标签中对标题词汇进行搜索，如果标题词汇未出现在知识点关键词库中，则认为视频知识点与标题不相关，统计课程所有视频知识点与标题相关度，得出课程视频内容吻合率。
S10：根据给定的课程大纲，对其进行分词，并形成教学大纲知识点关键词库，将该词库中的每一个关键词在视频内容知识点单元关键词库中进行搜索，如果匹配成功，则执行S11，否则跳过，统计教学大纲知识点覆盖率。
S11：在检测覆盖的知识点集合中，依据教学大纲中所要求知识点的掌握程度，进一步评价课程视频内容知识点设计合理性；具体地，根据视频知识点单元的内容特征(时长信息以及案例数量对课程视频资源总时长与总案例数做归一化)，比较同类要求的知识点内容特征值，如果特征值偏差大于同类特征值均值的20％，则认定该知识点设计不合理。
S12：将S9-S11的结果汇总，生成并显示视频内容评估报告。
本发明可以对在线课程教学视频进行内容的智能分析与评估，评估结果基于视频的图像、语音以及具体课程大纲内容，可以有效对在线课程教学视频的知识点进行审核，评价效果较为准确，对在线课程平台和制作者有较大的参考价值和实用意义。
最后应说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种在线课程视频资源内容识别与评估方法，其特征在于，包括下述步骤：
(1)获取目标在线课程视频，并从视频文件中分别获得视频流信息与音频流信息；
(2)对视频流信息进行处理获得镜头提取、图像文本，并对音频流信息进行音频片断分割、语音识别获得语音文本；
(3)根据图像文本和语音文本对视频资源的内容进行知识点识别；
(4)将视频知识点与课程大纲进行比对，进行教学内容评估与审核。
2.如权利要求1所述的评估方法，其特征在于，步骤(2)中对视频流信息进行处理的过程具体为：
对图像帧进行抽取，通过计算相邻图像帧的相关度完成视频镜头的提取，并记录各视频镜头的起始时间和结束时间；
以视频镜头为单位，根据视频内容识别视频镜头中的PPT，通过文字识别记录PPT中的内容。
3.如权利要求1或2所述的评估方法，其特征在于，步骤(2)中对音频流信息进行处理的过程具体为：
根据讲述者语音的停顿对音频进行分割并记录音频片段的起始时间和结束时间；
通过语音识别技术将音频片段转换为对应的文字文本。
4.如权利要求2或3所述的评估方法，其特征在于，步骤(3)中视频知识点的识别过程具体为：
根据视频镜头和音频片断的时间，形成视频镜头与音频片断的映射关系；
通过视频镜头PPT的图像文本构建视频镜头知识点信息；
根据时间相邻视频镜头对应的语音文本，利用语义模型计算镜头的关联度，将关联镜头合并为一个知识点单元；
通过记录所述知识点单元的知识点标签、起始时间和结束时间来统计知识点单元的时长信息；
分析所述知识点单元的图像文本与语音文本，并通过搜索关键词来识别所述知识点单元中的案例，获得案例数量统计值。
5.如权利要求1-4任一项所述的评估方法，其特征在于，步骤(4)具体为：
对知识点与视频标题之间的相关度进行吻合度评估；
根据给定的课程大纲统计课程整体的知识点覆盖度；
根据知识点单元时长、案例数量对课程视频资源总时长与总案例数进行归一化处理，根据归一化结果获得知识点的比重，并与课程大纲中的各知识点的掌握要求进行比对，根据比对结果判断课程知识点设计的合理性，从而实现教学内容的评估与审核。
6.一种在线课程视频资源内容识别与评估智能系统，其特征在于，包括：视频获取模块(1)、视频预处理模块(2)、视频内容分析模块(3)和知识点评估模块(4)；
所述视频获取模块(1)用于对待检测的视频文件及对应的标题信息进行读取，并获得视频流信息和音频流信息；
所述视频预处理模块(2)用于对视频流信息和音频流信息进行处理获得图像文本与语音文本；
所述视频内容分析模块(3)用于根据图像与语音分析的结果对视频资源的知识点进行识别与特征提取；
所述视频知识点评估模块(4)用于根据知识点特征结合课程大纲进行评估与审核。
7.如权利要求6所述的智能系统，其特征在于，所述视频预处理模块(2)包括：音频处理模块(21)和视频处理模块(22)，
所述音频处理模块(21)用于对音频流信息进行处理并获得语音文本；
所述视频处理模块(22)用于对视频流信息进行处理并获得图像文本。
8.如权利要求7所述的智能系统，其特征在于，所述音频处理模块(21)包括：语音频段切分单元(210)和语音识别单元(211)；
所述语音频段切分单元(210)用于根据说话者语音的停顿对音频进行分割并记录音频片段的起始时间和结束时间；
所述语音识别单元(211)用于通过语音识别技术将音频片段转换为对应的文字文本；
所述视频处理模块(22)包括：视频镜头切分单元(220)、视频镜头分类单元(221)和PPT文字识别单元(222)；
所述视频镜头切分单元(220)用于对图像帧进行抽取，通过计算相邻图像帧的相关度完成视频片断的提取，并记录各视频镜头的起始时间和结束时间；
所述视频镜头分类单元(221)用于将视频镜头分为PPT与教师讲述两种类型；
所述PPT文字识别单元(222)用于通过文字识别记录PPT中的内容。
9.如权利要求6-8任一项所述的智能系统，其特征在于，所述视频内容分析模块(3)包括：知识点提取单元(31)、知识点案例识别模块(32)；
所述知识点提取单元(31)用于根据视频镜头PPT的图像文本构建视频镜头知识点信息，并利用语义模型计算镜头的关联度，将关联镜头合并为一个知识点单元，记录知识单元的知识点标签与时长信息；
所述知识点案例识别模块(32)用于根据知识点单元对应的语音文本提取其关键词或关键句式库，并以正则匹配的方式在语音文本信息中检索，识别出知识点单元中的案例，获得案例数量统计值。
10.如权利要求6-9任一项所述的智能系统，其特征在于，所述知识点评估模块(4)包括：视频内容吻合度评估单元(41)、知识点覆盖评估单元(42)、知识点设计合理性评估单元(43)和评价结果获取单元(44)；
所述视频内容吻合度评估单元(41)用于对知识点与视频标题之间的相关度识别内容吻合度；
所述知识点覆盖评估单元(42)用于根据在线课程的教学大纲，形成教学大纲知识点关键词库，并通过将该词库中的每一个关键词在视频内容知识点单元关键词库中进行搜索，来统计教学大纲知识点覆盖率；
所述知识点设计评价单元(43)用于根据教学大纲中所要求知识点的掌握程度进一步评价课程视频内容知识点设计合理性；
所述评价结果获取单元(44)用于汇总课程视频内容吻合率、覆盖率和设计合理性结果，并形成评估反馈报告。
CN202010607495.XA 2020-06-30 2020-06-30 一种在线课程视频资源内容识别与评估方法及智能系统 Active CN111898441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010607495.XA CN111898441B (zh) 2020-06-30 2020-06-30 一种在线课程视频资源内容识别与评估方法及智能系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010607495.XA CN111898441B (zh) 2020-06-30 2020-06-30 一种在线课程视频资源内容识别与评估方法及智能系统

Publications (2)

Publication Number Publication Date
CN111898441A true CN111898441A (zh) 2020-11-06
CN111898441B CN111898441B (zh) 2021-03-30

Family

ID=73207991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010607495.XA Active CN111898441B (zh) 2020-06-30 2020-06-30 一种在线课程视频资源内容识别与评估方法及智能系统

Country Status (1)

Country Link
CN (1) CN111898441B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364068A (zh) * 2021-01-14 2021-02-12 平安科技（深圳）有限公司 课程标签生成方法、装置、设备及介质
CN112395420A (zh) * 2021-01-19 2021-02-23 平安科技（深圳）有限公司 视频内容检索方法、装置、计算机设备及存储介质
CN112910961A (zh) * 2021-01-15 2021-06-04 华中师范大学 一种网络课程视频质量自动评价方法及系统
CN112929744A (zh) * 2021-01-22 2021-06-08 北京百度网讯科技有限公司 用于分割视频剪辑的方法、装置、设备、介质和程序产品
CN112989117A (zh) * 2021-04-14 2021-06-18 北京世纪好未来教育科技有限公司 视频分类的方法、装置、电子设备和计算机存储介质
CN113177394A (zh) * 2021-03-30 2021-07-27 何泽仪 海外视频教学资源转化系统及方法、电子设备及存储介质
CN113343026A (zh) * 2021-06-17 2021-09-03 中国科学技术大学 在线视频课程内容概要生成方法
CN113592251A (zh) * 2021-07-12 2021-11-02 北京师范大学 一种多模态融合的教态分析系统
CN113641241A (zh) * 2021-08-10 2021-11-12 西安领跑网络传媒科技股份有限公司 一种基于专注度的课堂辅助教学系统、设备及方法
CN114005079A (zh) * 2021-12-31 2022-02-01 北京金茂教育科技有限公司 多媒体流处理方法及装置
DE202022100887U1 (de) 2022-02-16 2022-02-24 Marggise Anusha Angel System zur Verbesserung des Online-Unterrichts und der Unterrichtsevaluation mit Hilfe der Informations- und Kommunikationstechnologie
DE202022101131U1 (de) 2022-03-01 2022-03-09 Danish Ather Intelligentes Verwaltungssystem für technisches Online-Lernen und Fortbildung auf der Grundlage von Informationskompetenz
CN114390331A (zh) * 2022-01-13 2022-04-22 徐州工业职业技术学院 一种视频教学方法、系统、设备及介质
CN115619279A (zh) * 2022-11-03 2023-01-17 华中师范大学 一种课堂实录数字课程资源质量评价方法及系统
CN116109989A (zh) * 2023-04-14 2023-05-12 中关村科学城城市大脑股份有限公司 评价信息生成方法、装置、电子设备和计算机可读介质
CN116307934A (zh) * 2023-05-16 2023-06-23 北京普为本教育科技有限公司 一种基于云计算的录播教学课程质量评价方法及系统
CN116484051A (zh) * 2023-02-24 2023-07-25 广州沐思信息科技有限公司 一种基于知识培训平台的课程评估方法
CN117033665A (zh) * 2023-10-07 2023-11-10 成都华栖云科技有限公司 一种图谱知识点与视频的对齐方法及装置
CN117786134A (zh) * 2024-02-27 2024-03-29 自然语义(青岛)科技有限公司 中文语言教学视听平台多模态语料库及智能多维检索系统
CN117786134B (zh) * 2024-02-27 2024-05-10 自然语义(青岛)科技有限公司 中文语言教学视听平台多模态语料库及智能多维检索系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382937A (zh) * 2008-07-01 2009-03-11 深圳先进技术研究院 基于语音识别的多媒体资源处理方法及其在线教学系统
US20140272892A1 (en) * 2013-03-15 2014-09-18 Edison Learning Inc. On-line custom course builder
CN107633005A (zh) * 2017-08-09 2018-01-26 广州思涵信息科技有限公司 一种基于课堂教学内容的知识图谱构建、对比系统及方法
CN107958351A (zh) * 2017-12-26 2018-04-24 重庆大争科技有限公司 教学质量评估云服务平台
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN108171414A (zh) * 2017-12-26 2018-06-15 重庆大争科技有限公司 教学质量评估系统
CN108281052A (zh) * 2018-02-09 2018-07-13 郑州市第十中学 一种在线教学系统及在线教学方法
US20180240015A1 (en) * 2017-02-21 2018-08-23 Scriyb LLC Artificial cognitive declarative-based memory model to dynamically store, retrieve, and recall data derived from aggregate datasets
CN108629497A (zh) * 2018-04-25 2018-10-09 北京比特智学科技有限公司 课程内容掌握程度评价方法和装置
CN109242149A (zh) * 2018-08-13 2019-01-18 华中师范大学 一种基于教育数据挖掘的学生成绩早期预警方法及系统
CN109325696A (zh) * 2018-09-29 2019-02-12 牛剑教育科技(深圳)有限公司 一种课程管理系统及其方法
CN109409742A (zh) * 2018-10-26 2019-03-01 成佳颖 一种学生自主学习分析系统及其使用方法
CN109710931A (zh) * 2018-12-21 2019-05-03 中南民族大学 一种基于智能分析技术的课堂教学内容评价系统及其方法
CN110091335A (zh) * 2019-04-16 2019-08-06 威比网络科技(上海)有限公司 学伴机器人的控制方法、系统、设备及存储介质
CN110379231A (zh) * 2019-07-29 2019-10-25 湖北金百汇文化传播股份有限公司 一种线上视频学习系统
CN110599831A (zh) * 2019-09-11 2019-12-20 湖北理工学院 基于大数据的自适应学习系统及学习者模型构建方法
CN111311998A (zh) * 2020-04-10 2020-06-19 江苏现代职教图书发行有限公司 一种现代云课堂在线教育平台

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382937A (zh) * 2008-07-01 2009-03-11 深圳先进技术研究院 基于语音识别的多媒体资源处理方法及其在线教学系统
US20140272892A1 (en) * 2013-03-15 2014-09-18 Edison Learning Inc. On-line custom course builder
US20180240015A1 (en) * 2017-02-21 2018-08-23 Scriyb LLC Artificial cognitive declarative-based memory model to dynamically store, retrieve, and recall data derived from aggregate datasets
CN107633005A (zh) * 2017-08-09 2018-01-26 广州思涵信息科技有限公司 一种基于课堂教学内容的知识图谱构建、对比系统及方法
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN107958351A (zh) * 2017-12-26 2018-04-24 重庆大争科技有限公司 教学质量评估云服务平台
CN108171414A (zh) * 2017-12-26 2018-06-15 重庆大争科技有限公司 教学质量评估系统
CN108281052A (zh) * 2018-02-09 2018-07-13 郑州市第十中学 一种在线教学系统及在线教学方法
CN108629497A (zh) * 2018-04-25 2018-10-09 北京比特智学科技有限公司 课程内容掌握程度评价方法和装置
CN109242149A (zh) * 2018-08-13 2019-01-18 华中师范大学 一种基于教育数据挖掘的学生成绩早期预警方法及系统
CN109325696A (zh) * 2018-09-29 2019-02-12 牛剑教育科技(深圳)有限公司 一种课程管理系统及其方法
CN109409742A (zh) * 2018-10-26 2019-03-01 成佳颖 一种学生自主学习分析系统及其使用方法
CN109710931A (zh) * 2018-12-21 2019-05-03 中南民族大学 一种基于智能分析技术的课堂教学内容评价系统及其方法
CN110091335A (zh) * 2019-04-16 2019-08-06 威比网络科技(上海)有限公司 学伴机器人的控制方法、系统、设备及存储介质
CN110379231A (zh) * 2019-07-29 2019-10-25 湖北金百汇文化传播股份有限公司 一种线上视频学习系统
CN110599831A (zh) * 2019-09-11 2019-12-20 湖北理工学院 基于大数据的自适应学习系统及学习者模型构建方法
CN111311998A (zh) * 2020-04-10 2020-06-19 江苏现代职教图书发行有限公司 一种现代云课堂在线教育平台

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANG Z ET AL: "Adaptive multi-view selection for semi-supervised emotion recognition of posts in online student community", 《NEUROCOMPUTING》 *
云虹等: "基于视频吸引力分析的MOOC课程视频质量评价研究", 《黑龙江高教研究》 *
刘娜: "基于学习者视角的MOOC课程质量评价方法研究与实践", 《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》 *
尹佳: "在线课程评估工具的开发与应用研究", 《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》 *
陈婧: "网络化学习中知识关系的应用研究", 《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364068A (zh) * 2021-01-14 2021-02-12 平安科技（深圳）有限公司 课程标签生成方法、装置、设备及介质
CN112910961A (zh) * 2021-01-15 2021-06-04 华中师范大学 一种网络课程视频质量自动评价方法及系统
CN112910961B (zh) * 2021-01-15 2022-11-08 华中师范大学 一种网络课程视频质量自动评价方法及系统
CN112395420A (zh) * 2021-01-19 2021-02-23 平安科技（深圳）有限公司 视频内容检索方法、装置、计算机设备及存储介质
CN112929744A (zh) * 2021-01-22 2021-06-08 北京百度网讯科技有限公司 用于分割视频剪辑的方法、装置、设备、介质和程序产品
CN112929744B (zh) * 2021-01-22 2023-04-07 北京百度网讯科技有限公司 用于分割视频剪辑的方法、装置、设备、介质和程序产品
CN113177394A (zh) * 2021-03-30 2021-07-27 何泽仪 海外视频教学资源转化系统及方法、电子设备及存储介质
CN113177394B (zh) * 2021-03-30 2023-12-12 何泽仪 海外视频教学资源转化系统及方法、电子设备及存储介质
CN112989117A (zh) * 2021-04-14 2021-06-18 北京世纪好未来教育科技有限公司 视频分类的方法、装置、电子设备和计算机存储介质
CN113343026B (zh) * 2021-06-17 2022-07-15 中国科学技术大学 在线视频课程内容概要生成方法
CN113343026A (zh) * 2021-06-17 2021-09-03 中国科学技术大学 在线视频课程内容概要生成方法
CN113592251A (zh) * 2021-07-12 2021-11-02 北京师范大学 一种多模态融合的教态分析系统
CN113592251B (zh) * 2021-07-12 2023-04-14 北京师范大学 一种多模态融合的教态分析系统
CN113641241A (zh) * 2021-08-10 2021-11-12 西安领跑网络传媒科技股份有限公司 一种基于专注度的课堂辅助教学系统、设备及方法
CN114005079A (zh) * 2021-12-31 2022-02-01 北京金茂教育科技有限公司 多媒体流处理方法及装置
CN114390331B (zh) * 2022-01-13 2023-09-08 徐州工业职业技术学院 一种视频教学方法、系统、设备及介质
CN114390331A (zh) * 2022-01-13 2022-04-22 徐州工业职业技术学院 一种视频教学方法、系统、设备及介质
DE202022100887U1 (de) 2022-02-16 2022-02-24 Marggise Anusha Angel System zur Verbesserung des Online-Unterrichts und der Unterrichtsevaluation mit Hilfe der Informations- und Kommunikationstechnologie
DE202022101131U1 (de) 2022-03-01 2022-03-09 Danish Ather Intelligentes Verwaltungssystem für technisches Online-Lernen und Fortbildung auf der Grundlage von Informationskompetenz
CN115619279A (zh) * 2022-11-03 2023-01-17 华中师范大学 一种课堂实录数字课程资源质量评价方法及系统
CN116484051A (zh) * 2023-02-24 2023-07-25 广州沐思信息科技有限公司 一种基于知识培训平台的课程评估方法
CN116109989A (zh) * 2023-04-14 2023-05-12 中关村科学城城市大脑股份有限公司 评价信息生成方法、装置、电子设备和计算机可读介质
CN116307934A (zh) * 2023-05-16 2023-06-23 北京普为本教育科技有限公司 一种基于云计算的录播教学课程质量评价方法及系统
CN116307934B (zh) * 2023-05-16 2023-09-26 北京普为本教育科技有限公司 一种基于云计算的录播教学课程质量评价方法及系统
CN117033665A (zh) * 2023-10-07 2023-11-10 成都华栖云科技有限公司 一种图谱知识点与视频的对齐方法及装置
CN117033665B (zh) * 2023-10-07 2024-01-09 成都华栖云科技有限公司 一种图谱知识点与视频的对齐方法及装置
CN117786134A (zh) * 2024-02-27 2024-03-29 自然语义(青岛)科技有限公司 中文语言教学视听平台多模态语料库及智能多维检索系统
CN117786134B (zh) * 2024-02-27 2024-05-10 自然语义(青岛)科技有限公司 中文语言教学视听平台多模态语料库及智能多维检索系统

Also Published As

Publication number Publication date
CN111898441B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN111898441B (zh) 一种在线课程视频资源内容识别与评估方法及智能系统
Zhang et al. Automatic parsing and indexing of news video
CN110717324B (zh) 裁判文书答案信息提取方法、装置、提取器、介质和设备
CN112231472B (zh) 融入领域术语词典的司法舆情敏感信息识别方法
CN111914760B (zh) 一种在线课程视频资源构成的解析方法及系统
Biswas et al. Mmtoc: A multimodal method for table of content creation in educational videos
CN113920085A (zh) 一种产品展示视频自动化审核方法和系统
Zala et al. Hierarchical video-moment retrieval and step-captioning
CN112765974A (zh) 一种业务辅助方法、电子设备及可读存储介质
CN113592251A (zh) 一种多模态融合的教态分析系统
Liang et al. Informedia@ trecvid 2016 med and avs
CN108229285A (zh) 物体分类方法、物体分类器的训练方法、装置和电子设备
Boran et al. Leveraging auxiliary image descriptions for dense video captioning
Li et al. Screencast tutorial video understanding
Jui et al. A machine learning-based segmentation approach for measuring similarity between sign languages
AlMousa et al. Nlp-enriched automatic video segmentation
CN111597423A (zh) 一种文本分类模型可解释性方法的性能评价方法及装置
Yang et al. Lecture video browsing using multimodal information resources
Atef et al. Adaptive learning environments based on intelligent manipulation for video learning objects
CN114048335A (zh) 一种基于知识库的用户交互方法及装置
Hukkeri et al. Erratic navigation in lecture videos using hybrid text based index point generation
CN114078470A (zh) 模型处理方法及装置、语音识别方法及装置
CN112579666A (zh) 智能问答系统和方法及相关设备
Pranali et al. Inhalt based video recuperation system using OCR and ASR technologies
CN113361615B (zh) 基于语义相关性的文本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant