CN110569393A - 一种空中课堂的短视频裁剪方法 - Google Patents

一种空中课堂的短视频裁剪方法 Download PDF

Info

Publication number
CN110569393A
CN110569393A CN201910835040.0A CN201910835040A CN110569393A CN 110569393 A CN110569393 A CN 110569393A CN 201910835040 A CN201910835040 A CN 201910835040A CN 110569393 A CN110569393 A CN 110569393A
Authority
CN
China
Prior art keywords
video
classroom
label
question bank
air
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910835040.0A
Other languages
English (en)
Other versions
CN110569393B (zh
Inventor
楼裕良
唐余武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Miluoxing Technology (group) Co Ltd
Original Assignee
Hangzhou Miluoxing Technology (group) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Miluoxing Technology (group) Co Ltd filed Critical Hangzhou Miluoxing Technology (group) Co Ltd
Priority to CN201910835040.0A priority Critical patent/CN110569393B/zh
Publication of CN110569393A publication Critical patent/CN110569393A/zh
Application granted granted Critical
Publication of CN110569393B publication Critical patent/CN110569393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Abstract

本发明公开了一种空中课堂的短视频裁剪方法。它具体包括如下步骤：根据空中课堂的完整视频获得基础数据标签，根据基础数据标签对应题库获得题库标签，题库以知识点为主线标记题目获得知识点标签，将基础数据标签、题库标签和知识点标签整合形成自动化标签库；通过语音识别或者视频识别获取关键字词与题库相关联，当关联比对失败后，利用深度学习技术将视频内容与题库进行关联，最后自动进行短视频的切分，并生成相应的课堂笔记；通过人工确认短视频的内容，对通过深度学习技术建立的模型进行修正。本发明的有益效果是：大大提高学生的学习效率；减轻人工切分的成本，降低了人工标注的强度和提高人工标记的精度。

Description

一种空中课堂的短视频裁剪方法
技术领域
本发明涉及视频教育相关技术领域，尤其是指一种空中课堂的短视频裁剪方法。
背景技术
由于空中课堂的视频数据由老师和课堂的学生两部分组成，因空中课堂的硬件设施，讲课视频大多基于广播形式以一堂课45分钟方式完整保存下来。而一般情况下，每个学生会根据自己对上课内容的掌握情况进行复习，其不需要对完整视频进行回放。
但是，空中课堂中的讲课视频数据，目前都完整存放在云存储中，不利于学生的回看学习等。学生需要进行复习时，往往需要对完整视频进行回放以进行复习，而这样的复习方式往往对于学生掌握的内容也进行的重复操作，导致学成的复习效率大大降低。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种有效提高学生学习效率的空中课堂的短视频裁剪方法。
为了实现上述目的，本发明采用以下技术方案：
一种空中课堂的短视频裁剪方法，具体包括如下步骤：
(1)根据空中课堂的完整视频获得相应的基础数据标签，根据基础数据标签将完整视频中的讲课范围限定到相应的题库中获得题库标签，而题库以知识点为主线标记相关的题目获得知识点标签，将基础数据标签、题库标签和知识点标签整合形成自动化标签库；
(2)对空中课堂的完整视频通过语音识别或者视频识别获取相应的关键字词，将关键字词与题库的知识点标签相关联，知识点和题目关联度有权重值，通过关键词和设置的权重值范围进行对比过滤，当关联比对成功后，自动进行短视频的切分，并生成相应的课堂笔记；当关联比对失败后，利用深度学习技术将视频内容与题库进行关联，进行短视频的切分，并生成相应的课堂笔记；
(3)通过人工确认短视频的内容，对通过深度学习技术建立的模型进行修正。
基础数据标签、题库标签、知识点标签等各种标签以及课堂笔记，便于学生搜索和系统进行准确推荐学习和关键知识点的回顾。通过将讲课视频图像采集、切分、标签、知识点标注、题库关联等将视频数据切分成有标记的短视频，并将其短视频中的音频进一步处理，通过NLP技术转成文字，自动整理成笔记，用于后续的搜索、匹配、关联。课堂视频加工形成内容相关的信息集合，由于提取所相应的数据特征，当学生进行习题练习时，我们通过学生的做题将习题数据库和课堂数据特征集合进行综合分析，对不理解的部分，直接推送短视频进行回看复习，从而利用学生个性化学习的特征数据，大大提高学生的学习效率。本方法减轻人工切分的成本，降低了人工标注的强度和提高人工标记的精度。
作为优选，在步骤(1)中，基础数据标签包括学科标签、年级标签、学校标签和老师标签，题库标签和知识点标签采用手工标注而成，并设置相应的关联度权重。
作为优选，在步骤(2)中，语音识别采用的NLP技术，通过NLP技术将语音转化成文字，同时将该文字进行整理生成相应的课堂笔记。
作为优选，在步骤(2)中，视频识别采用的OCR技术，通过OCR技术将视频图像转化成文字，同时将该文字进行整理生成相应的课堂笔记。
作为优选，在步骤(2)中，短视频的切分以题库中的题目为单位进行切分。
作为优选，在步骤(2)中，当关联比对失败后，利用深度学习技术将视频内容与题库进行关联，通过贝叶斯推理计算误差，设定相应的误差范围；在误差范围内，可以认为两者之间关联，再结合手工标注而成的题库标签和知识点标签，自动进行短视频的匹配切分，并生成相应的课堂笔记。
本发明的有益效果是：便于学生搜索和系统进行准确推荐学习和关键知识点的回顾，利用学生个性化学习的特征数据，大大提高学生的学习效率；减轻人工切分的成本，降低了人工标注的强度和提高人工标记的精度。
具体实施方式
下面结合具体实施方式对本发明做进一步的描述。
一种空中课堂的短视频裁剪方法，具体包括如下步骤：
(1)根据空中课堂的完整视频获得相应的基础数据标签，基础数据标签包括学科标签、年级标签、学校标签和老师标签，根据基础数据标签将完整视频中的讲课范围限定到相应的题库中获得题库标签，而题库以知识点为主线标记相关的题目获得知识点标签，将基础数据标签、题库标签和知识点标签整合形成自动化标签库。其中：学科标签包含了语文、数学、外语、科学等所有的学科，年级标签包含了各个年级以及相应的上下学期，题库标签和知识点标签采用手工标注而成，并设置相应的关联度权重。
(2)对空中课堂的完整视频通过语音识别或者视频识别获取相应的关键字词，将关键字词与题库的知识点标签相关联，知识点和题目关联度有权重值，通过关键词和设置的权重值范围进行对比过滤，当关联比对成功后，自动进行短视频的切分，并生成相应的课堂笔记；当关联比对失败后，利用深度学习技术将视频内容与题库进行关联，通过贝叶斯推理计算误差，设定相应的误差范围；在误差范围内，可以认为两者之间关联，再结合手工标注而成的题库标签和知识点标签，自动进行短视频的匹配切分，并生成相应的课堂笔记。
其中：语音识别采用的NLP技术，通过NLP技术将语音转化成文字，同时将该文字进行整理生成相应的课堂笔记；视频识别采用的OCR技术，通过OCR技术将视频图像转化成文字，同时将该文字进行整理生成相应的课堂笔记；短视频的切分以题库中的题目为单位进行切分。
(3)通过人工确认短视频的内容，对通过深度学习技术建立的模型进行修正。
基础数据标签、题库标签、知识点标签等各种标签以及课堂笔记，便于学生搜索和系统进行准确推荐学习和关键知识点的回顾。通过将讲课视频图像采集、切分、标签、知识点标注、题库关联等将视频数据切分成有标记的短视频，并将其短视频中的音频进一步处理，通过NLP技术转成文字，自动整理成笔记，用于后续的搜索、匹配、关联。课堂视频加工形成内容相关的信息集合，由于提取所相应的数据特征，当学生进行习题练习时，我们通过学生的做题将习题数据库和课堂数据特征集合进行综合分析，对不理解的部分，直接推送短视频进行回看复习，从而利用学生个性化学习的特征数据，大大提高学生的学习效率。
本方法对空中课堂中的讲课视频数据的短视频切分技术进行研究，由于空中课堂讲课内容主要以讲题为主，方案主要将标签自动化进行了深入分析，并最后加入了题库标签和知识点标签，融合了学科、年级、学校、老师等数据标签，使短视频的内容鲜活化，剪切短视频的主要方案是依据NLP语音转文字、视频文件中的OCR识别文字或者深度学习去搜索或匹配题库，以题为单位对视频进行切分，形成有标记、有笔记的短视频。本方法减轻人工切分的成本，降低了人工标注的强度和提高人工标记的精度。

Claims (6)

1.一种空中课堂的短视频裁剪方法，其特征是，具体包括如下步骤：
(1)根据空中课堂的完整视频获得相应的基础数据标签，根据基础数据标签将完整视频中的讲课范围限定到相应的题库中获得题库标签，而题库以知识点为主线标记相关的题目获得知识点标签，将基础数据标签、题库标签和知识点标签整合形成自动化标签库；
(2)对空中课堂的完整视频通过语音识别或者视频识别获取相应的关键字词，将关键字词与题库的知识点标签相关联，知识点和题目关联度有权重值，通过关键词和设置的权重值范围进行对比过滤，当关联比对成功后，自动进行短视频的切分，并生成相应的课堂笔记；当关联比对失败后，利用深度学习技术将视频内容与题库进行关联，进行短视频的切分，并生成相应的课堂笔记；
(3)通过人工确认短视频的内容，对通过深度学习技术建立的模型进行修正。
2.根据权利要求1所述的一种空中课堂的短视频裁剪方法，其特征是，在步骤(1)中，基础数据标签包括学科标签、年级标签、学校标签和老师标签，题库标签和知识点标签采用手工标注而成，并设置相应的关联度权重。
3.根据权利要求1或2所述的一种空中课堂的短视频裁剪方法，其特征是，在步骤(2)中，语音识别采用的NLP技术，通过NLP技术将语音转化成文字，同时将该文字进行整理生成相应的课堂笔记。
4.根据权利要求1或2所述的一种空中课堂的短视频裁剪方法，其特征是，在步骤(2)中，视频识别采用的OCR技术，通过OCR技术将视频图像转化成文字，同时将该文字进行整理生成相应的课堂笔记。
5.根据权利要求1或2所述的一种空中课堂的短视频裁剪方法，其特征是，在步骤(2)中，短视频的切分以题库中的题目为单位进行切分。
6.根据权利要求2所述的一种空中课堂的短视频裁剪方法，其特征是，在步骤(2)中，当关联比对失败后，利用深度学习技术将视频内容与题库进行关联，通过贝叶斯推理计算误差，设定相应的误差范围；在误差范围内，可以认为两者之间关联，再结合手工标注而成的题库标签和知识点标签，自动进行短视频的匹配切分，并生成相应的课堂笔记。
CN201910835040.0A 2019-09-05 2019-09-05 一种空中课堂的短视频裁剪方法 Active CN110569393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910835040.0A CN110569393B (zh) 2019-09-05 2019-09-05 一种空中课堂的短视频裁剪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910835040.0A CN110569393B (zh) 2019-09-05 2019-09-05 一种空中课堂的短视频裁剪方法

Publications (2)

Publication Number Publication Date
CN110569393A true CN110569393A (zh) 2019-12-13
CN110569393B CN110569393B (zh) 2022-04-19

Family

ID=68777817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910835040.0A Active CN110569393B (zh) 2019-09-05 2019-09-05 一种空中课堂的短视频裁剪方法

Country Status (1)

Country Link
CN (1) CN110569393B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526382A (zh) * 2020-04-20 2020-08-11 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN112464028A (zh) * 2020-11-24 2021-03-09 随锐科技集团股份有限公司 网络课堂信息处理方法及系统、计算机可读存储介质
CN112714271A (zh) * 2021-03-24 2021-04-27 南京奥派信息产业股份公司 一种辅助教学视频处理技术系统及方法
CN113641241A (zh) * 2021-08-10 2021-11-12 西安领跑网络传媒科技股份有限公司 一种基于专注度的课堂辅助教学系统、设备及方法
WO2022089034A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 视频笔记生成方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040234934A1 (en) * 2003-05-23 2004-11-25 Kevin Shin Educational and training system
US20080254417A1 (en) * 2007-04-12 2008-10-16 Farzan Mohamed Driver training system
CN106485964A (zh) * 2016-10-19 2017-03-08 深圳市鹰硕技术有限公司 一种课堂教学的录制和点播的方法及系统
CN107247732A (zh) * 2017-05-05 2017-10-13 广州盈可视电子科技有限公司 一种教学视频的习题匹配方法、装置和一种录播系统
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN109460488A (zh) * 2018-11-16 2019-03-12 广东小天才科技有限公司 一种辅助教学方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040234934A1 (en) * 2003-05-23 2004-11-25 Kevin Shin Educational and training system
US20080254417A1 (en) * 2007-04-12 2008-10-16 Farzan Mohamed Driver training system
CN106485964A (zh) * 2016-10-19 2017-03-08 深圳市鹰硕技术有限公司 一种课堂教学的录制和点播的方法及系统
CN107247732A (zh) * 2017-05-05 2017-10-13 广州盈可视电子科技有限公司 一种教学视频的习题匹配方法、装置和一种录播系统
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN109460488A (zh) * 2018-11-16 2019-03-12 广东小天才科技有限公司 一种辅助教学方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111526382A (zh) * 2020-04-20 2020-08-11 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
CN111526382B (zh) * 2020-04-20 2022-04-29 广东小天才科技有限公司 一种直播视频文本生成方法、装置、设备及存储介质
WO2022089034A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 视频笔记生成方法及电子设备
CN112464028A (zh) * 2020-11-24 2021-03-09 随锐科技集团股份有限公司 网络课堂信息处理方法及系统、计算机可读存储介质
CN112714271A (zh) * 2021-03-24 2021-04-27 南京奥派信息产业股份公司 一种辅助教学视频处理技术系统及方法
CN113641241A (zh) * 2021-08-10 2021-11-12 西安领跑网络传媒科技股份有限公司 一种基于专注度的课堂辅助教学系统、设备及方法

Also Published As

Publication number Publication date
CN110569393B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN110569393B (zh) 一种空中课堂的短视频裁剪方法
CN109359215B (zh) 视频智能推送方法和系统
CN110782921B (zh) 语音测评方法和装置、存储介质及电子装置
US8682241B2 (en) Method and system for improving the quality of teaching through analysis using a virtual teaching device
CN108121702B (zh) 数学主观题评阅方法及系统
CN112115301B (zh) 一种基于课堂笔记的视频标注方法及系统
CN109275046A (zh) 一种基于双视频采集的教学数据标注方法
CN110992741A (zh) 一种基于课堂情绪和行为分析的学习辅助方法及系统
CN111833672B (zh) 一种教学视频的展示方法、装置及系统
KR20180105693A (ko) 디지털 미디어 컨텐츠 추출 및 자연어 프로세싱 시스템
CN109801193A (zh) 一种具有语音评价功能的跟随教学系统
CN108520662B (zh) 一种基于知识点分析的教学反馈系统
CN111462553B (zh) 一种基于视频配音和纠音训练的语言学习方法及系统
CN111930925B (zh) 一种基于在线教学平台的试题推荐方法及系统
CN110427977B (zh) 一种课堂互动行为的检测方法
CN109949637B (zh) 一种客观题目的自动解答方法和装置
US8014716B2 (en) Information management server and information distribution system
CN110795917B (zh) 个性化讲义生成方法、系统及电子设备、存储介质
CN109710931A (zh) 一种基于智能分析技术的课堂教学内容评价系统及其方法
KR20190080314A (ko) 분절 인터넷 강의 제공 방법 및 장치
CN110390032B (zh) 一种手写作文的批阅方法及系统
CN117252259A (zh) 基于深度学习的自然语言理解方法及ai助教系统
CN107992482B (zh) 数学主观题解答步骤的规约方法及系统
CN112164262A (zh) 一种智能阅卷辅导系统
CN114005079B (zh) 多媒体流处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant