CN112232066A - 一种教学纲要生成方法、装置、存储介质及电子设备 - Google Patents

一种教学纲要生成方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112232066A
CN112232066A CN202011111470.7A CN202011111470A CN112232066A CN 112232066 A CN112232066 A CN 112232066A CN 202011111470 A CN202011111470 A CN 202011111470A CN 112232066 A CN112232066 A CN 112232066A
Authority
CN
China
Prior art keywords
teaching
information
video
guide
chapter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011111470.7A
Other languages
English (en)
Inventor
吕康伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN202011111470.7A priority Critical patent/CN112232066A/zh
Publication of CN112232066A publication Critical patent/CN112232066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/137Hierarchical processing, e.g. outlines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Abstract

本申请提供一种教学纲要生成方法、装置、存储介质及电子设备,属于信息处理技术领域,涉及人工智能和机器学习技术。该方法获取待处理的教学视频,根据教学视频的语音数据中的引导语,从教学视频中提取教学点信息,根据提取的教学点信息,生成教学纲要。该方法通过识别教学视频的语音数据中的引导语,从而提取出教学点信息,根据教学点信息生成教学纲要,实现根据线上教育的视频内容自动生成教学纲要,与相关技术的线上教育课件生成教学纲要需要老师人工为每次课程定制纲要相比,可以节省大量时间,提高制定教学纲要的效率。

Description

一种教学纲要生成方法、装置、存储介质及电子设备
技术领域
本申请涉及信息处理技术领域,特别是涉及一种教学纲要生成方法、装置、存储介质及电子设备。
背景技术
随着教育需求的不断增长和互联网技术的发展普及,线上教育日益呈现蓬勃发展之势。针对老师线上教育的视频课件,往往需要为课程制作教学纲要,以供学生参考。
相关技术中,一般都是老师花费时间和精力,为每次课程制作教学纲要。每次课程都需要老师付出大量劳动,耗费大量时间来制作教学纲要。
发明内容
本申请实施例提供了一种教学纲要生成方法、装置、存储介质及电子设备,实现根据教学视频内容生成教学纲要,节约时间,提高效率。
为达到上述目的,本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种教学纲要生成方法,包括:
获取待处理的教学视频;
根据所述教学视频的语音数据中的引导语,从所述教学视频中提取教学点信息;
根据提取的教学点信息,生成教学纲要。
在一种可选的实施例中,所述教学点信息呈树状格式排列;所述根据提取的教学点信息,生成教学纲要,包括:
根据设定转换规则,将树状格式排列的教学点信息,转换为设定格式的教学纲要。
第二方面,本申请实施例提供一种教学纲要生成方法,包括:
第三方面,本申请实施例提供一种教学纲要生成装置,包括:
数据获取单元,用于获取待处理的教学视频;
信息提取单元,用于根据所述教学视频的语音数据中的引导语,从所述教学视频中提取教学点信息;
纲要生成单元,用于根据提取的教学点信息,生成教学纲要。
在一种可选的实施例中,所述信息提取单元具体用于:
从所述教学视频的语音数据中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语;所述教学点信息包括各个章节的标题信息和知识点信息;
根据各个章节的标题引导语,从所述教学视频中提取各个章节的标题信息;
根据各个章节的关键点引导语,从所述教学视频中提取各个章节的知识点信息。
在一种可选的实施例中,所述信息提取单元具体用于:
将所述教学视频的语音数据转换为教学文本;
分别将设定的标题引导信息集合中保存的标题引导信息和结束引导信息集合中保存的结束引导信息与所述教学文本中包含的信息进行匹配,从所述教学文本中识别出各个章节的标题引导语和结束引导语;
将设定的关键点引导信息集合中保存的关键点引导信息与所述教学文本中包含的信息进行匹配,从所述教学文本中识别出关键点引导语,并将位于各个章节的标题引导语和结束引导语之间的关键点引导语作为对应章节的关键点引导语。
在一种可选的实施例中,所述信息提取单元具体用于:
将所述教学视频的语音数据转换为教学文本;
采用关键信息提取模型,从所述教学文本中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语;所述关键信息提取模型是根据设定语法规则对标注有引导语信息的标准教学文本进行学习得到的。
在一种可选的实施例中,所述信息提取单元具体用于:
根据各个章节的标题引导语,从所述教学视频的语音数据中提取各个章节的标题信息;或者,从所述教学视频中与所述标题引导语对应播放的图像帧中提取各个章节的标题信息;
所述根据各个章节的关键点引导语,从所述教学视频中提取各个章节的知识点信息,包括:
根据各个章节的关键点引导语,从所述教学视频的语音数据中提取各个章节的知识点信息;或者,从所述教学视频中与所述关键点引导语对应播放的图像帧中提取各个章节的知识点信息。
在一种可选的实施例中,所述教学点信息呈树状格式排列;所述纲要生成单元,具体用于:
根据设定转换规则,将树状格式排列的教学点信息,转换为设定格式的教学纲要。
第四方面,本申请实施例还提供一种教学纲要生成装置,包括:
纲要获取单元,用于响应于针对教学视频获取教学纲要的操作,显示所述教学视频的教学纲要的标识;所述教学纲要是根据从所述教学视频中提取的教学点信息生成的,所述教学点信息是根据所述教学视频的语音数据中的引导语,从所述教学视频中提取的;
纲要显示单元,用于响应于针对所述教学纲要的标识的触控操作,显示所述教学纲要中的教学点信息。
第五方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现第一方面任一项所述的方法。
第六方面,本申请实施例还提供一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器实现第一方面任一项所述的方法。
本申请实施例的教学纲要生成方法、装置、存储介质及电子设备,通过识别教学视频的语音数据中的引导语,从而提取出教学点信息,根据教学点信息生成教学纲要,实现根据教学视频内容自动生成教学纲要,与相关技术中需要人工为每次课程制定教学纲要相比,可以节省大量时间,提高制定教学纲要的效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种教学纲要生成方法的应用场景的示意图;
图2为本申请实施例提供的一种教学纲要生成方法的流程示意图;
图3为本申请实施例提供的另一种教学纲要生成方法的流程示意图;
图4为本申请实施例提供的一种语法树的结构示意图;
图5为本申请实施例提供的一种教学纲要的示意图;
图6为本申请实施例提供的另一种教学纲要的示意图;
图7为本申请实施例提供的另一种教学纲要生成方法的流程示意图;
图8为本申请实施例提供的一种教学纲要生成装置的结构示意图;
图9为本申请实施例提供的另一种教学纲要生成装置的结构示意图;
图10为本申请实施例提供的一种电子设备的结构示意图;
图11为本申请实施例提供的另一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
需要说明的是,本申请的文件中涉及的术语“包括”和“具有”以及它们的变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)人工神经网络(ANNs):一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型,其内部通过大量节点(或称为神经元)的网络参数以及节点之间的相互连接的关系,从而达到对输入的信息进行处理的目的。本申请实施例在生成教学纲要时,采用已训练的人工神经网络从教学视频的语音数据中提取引导语,根据人工神经网络提取的引导语,可以从教学视频中提取教学点信息。
(2)Token语法树:将从教学视频中提取的教学点信息以树状的形式组织,以便于进行后续生成教学纲要。树中的节点可以称为Token语法节点,每个语法节点一般包含类型(Type)和值(Value)。为了得到Token语法树,可以先对教学视频对应的教学文本进行词法分析,通过Scanner词法分析器或LALR语法解析方法将教学文本的源码字符流解析成Token流。通过分析教学文本中的所有字符,可以将所有字符都转化成符合规范的Token流。然后,从得到的Token流中提取教学点信息,利用语法树生成工具,以教学点信息作为语法节点来构建Token语法树。
(3)LALR(Look-Ahead Left Reversed Rightmost Derivation,向前查看反向最右推导)语法解析:LALR即“Look-Ahead LR”。其中,Look-Ahead为“向前看”,L代表对输入进行从左到右的检查,R代表反向构造出最右推导序列。LALR语法解析可以根据一种程序设计语言的正式语法的产生式而对一段文本输入进行语法分析。在本申请实施例中,可以通过LALR语法解析方法对教学文本进行语法分析,从而有助于从教学文本中提取出教学点信息,并生成Token语法树。
(4)语法制导翻译:简称SDT(Syntax-directed translation),语法制导翻译的基本思想是,根据翻译的需要设置文法符号的属性,以描述语法结构的语义。在本申请实施例中,Token语法树的各个节点可以理解为文法符号。例如,一个文法符号的属性值可以包括类型,值等。随着语法分析的进行,执行属性值的计算,完成语义分析和翻译的任务。语法制导翻译是基于属性文法的处理过程,对于Token语法树,根据需要针对性地构造翻译方案,遍历Token语法树并在Token语法树的各个节点处按语义规则进行翻译,生成教学纲要。
下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
文中的术语“第一”、“第二”仅用于描述目的,而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请实施例涉及人工智能(Artificial Intelligence,AI)和机器学习技术,基于人工智能中的语音处理技术(Speech Technology)、计算机视觉(Computer Vision,CV)技术和机器学习(Machine Learning,ML)而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、自然语言处理技术、以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步,人工智能在多个领域展开研究和应用,例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等,相信随着技术的发展,人工智能将在更多的领域得到应用,并发挥越来越重要的价值。
语音处理技术的关键技术有自动语音识别技术(ASR)和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,目前,语音已成为人机交互方式之一。本申请实施例利用自动语音识别技术,将教学视频中的语音数据转换为教学文本。
计算机视觉技术是人工智能的重要应用,其研究相关的理论和技术,试图建立能够从图像、视频或者多维数据中获取信息,以代替人的视觉判读的人工智能系统。典型的计算机视觉技术通常包括图像处理和视频分析。本申请实施例利用视频分析和图像处理技术,从教学视频的图像帧中提取各个章节的标题信息或知识点信息。
机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例在教学纲要生成的过程中,采用基于机器学习的人工神经网络模型对标注有引导语信息的标准教学文本进行学习,从而可以从待处理的教学视频的语音数据中识别出用于指示教学点信息的引导语。
为更好地理解本申请实施例提供的技术方案,下面对本申请实施例提供的技术方案适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
为了能够根据教学视频,如线上教育视频的内容生成教学纲要,节约时间和人力成本,本申请实施例提供一种教学纲要生成方法。本申请实施例所提供的教学纲要生成方法可以应用于图1示出的应用场景中,如图1所示,该场景中包括用户10的终端设备11、服务器12。终端设备11和服务器12可通过通信网络进行通信连接,该网络可以为局域网、广域网等,该网络可以是有线网络或无线网络。与服务器12连接的终端设备11的数量可以是多个。终端设备11可以通过通信网络与服务器12相互传输通信数据和消息。终端设备11可以为手机、平板电脑、笔记本电脑、个人计算机等。服务器12可以是一台服务器或由若干台服务器组成的服务器集群或云计算中心,或者是一个虚拟化平台,也可以是个人计算机、大中型计算机或计算机集群等。根据实现需要,本申请实施例中的应用场景中可以具有任意数目的终端设备和服务器。本申请对此不做特殊限定。
用户10可以通过终端设备11中的在线教育客户端向服务器12发送获取教学纲要的请求。教学纲要可以是预先生成的并存储在服务器12中的,也可以是服务器12在接收到终端设备11发送的获取教学纲要的请求之后生成的。例如,在一些实施例中,用户10需要针对某个需要学习的教学视频生成教学纲要,用户10通过终端设备11向服务器12发送获取教学纲要的请求之前,需要通过终端设备11选择待处理的教学视频。终端设备11在向服务器12发送获取教学纲要的请求时,将用户选择的教学视频上传至服务器12,服务器12根据终端设备11上传的教学视频生成教学纲要返回给终端设备11的在线教育客户端进行显示。然后用户10可以根据终端设备11显示的教学纲要,进行后续参考学习,也可以将获取的教学纲要分享给其他用户。
上述应用场景中,教学视频是在线教育平台提供的视频。在另外一些应用场景中,教学视频也可以是网络视频平台或视频客户端提供的视频,其中,视频客户端为可以安装在终端设备上的应用,用户可以通过视频客户端观看终端设备上存储的视频、从网络下载的视频或在线视频。例如,对于时长为3个小时的视频,如果用户想了解该视频的内容,完整观看该视频的话,需要花费3个小时的时间。而由于视频标题不可能涵盖3个小时的视频内容,因此用户很难通过视频标题了解到该视频的内容。通过本申请实施例提供的方法,可以提炼出视频的主要内容,生成视频对应的教学纲要。用户通过阅读视频的教学纲要,就可以了解视频的主要内容,从而可以极大地节约用户的时间。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时,可按照实施例或者附图所示的方法顺序执行或者并行执行。
图2示出了本申请实施例提供的一种教学纲要生成方法的流程图,该方法可以由图1中的服务器12执行,与可以由终端设备或其他电子设备执行。示例性地,下文以服务器作为执行主体,说明本申请实施例的教学纲要生成方法的具体实现过程。如图2所示,该方法包括以下步骤:
步骤S201,获取待处理的教学视频。
具体实施时,待处理的教学视频可以是课程讲解的教学视频,如在线教育平台上发布的老师对某个课程讲解的视频,视频中包括老师的影像;待处理的教学视频也可以是PPT课件的配音讲解视频,视频中包括PPT课件的展示画面。
服务器可以根据教学纲要生成请求生成待处理的教学视频的教学纲要。教学纲要生成请求可以是用户通过终端设备中的在线教育客户端向服务器发送的。服务器还可以根据教学纲要生成指令生成待处理的教学视频的教学纲要,教学纲要生成指令可以是服务器对应的在线教育平台的后台工作人员针对教师人员上传的教学视频向服务器输入的指令。
服务器接收到教学纲要生成请求或教学纲要生成指令后,获取用户或工作人员指定的教学视频作为待处理的教学视频。
步骤S202,根据教学视频的语音数据中的引导语,从教学视频中提取教学点信息。
在一些实施例中,服务器可以对教学视频的语音数据进行识别,从语音数据中识别出引导语,并根据教学视频的语音数据中的引导语,从教学视频中提取教学点信息。示例性地,引导语可以包括但不限于“同学们,注意”、看这一小节”、“看下一节”等。当服务器在教学视频的语音数据中识别出“看这一小节!”或“同学们,注意!”时,判定此处信息较为重要,教学视频中此处涉及教学点信息。
在一些实施例中,服务器以引导语之后紧接着出现的预设数量的语句作为教学点信息。示例性地,预设数量可以是2。
在一些实施例中,服务器根据预存的人工收集汇总的关键信息集合从教学视频的语音数据中识别出引导语。在实际使用中,还可以根据新的教学视频不断扩充关键信息集合中的内容。在另一些实施例中,服务器还可以通过已训练的人工神经网络从教学视频的语音数据中识别出引导语。其中,人工神经网络可以是通过对标注有引导语信息的标准教学文本进行学习得到的,标准教学文本可以是将标准教学视频的语音数据转换为文本得到的,也可以是工作人员制作的。人工神经网络也可以是通过对训练教学视频集进行机器学习得到的。
步骤S203,根据提取的教学点信息,生成教学纲要。
服务器在提取教学点信息以后,根据提取的教学点信息,生成教学纲要。教学纲要可以有多种格式。在一些实施例中,服务器将提取的教学点信息进行顺序编号并存储到预定义格式的表格中,形成表格形式的教学纲要。在另外一些实施例中,服务器将提取的教学点信息进行顺次连接,形成文本摘要形式或目录格式的教学纲要。本申请在此不对教学纲要的格式作具体限定。
本申请实施例提供的教学纲要生成方法,服务器可以获取待处理的教学视频,根据教学视频的语音数据中的引导语,从教学视频中提取教学点信息,根据提取的教学点信息,生成教学纲要。该方法通过识别教学视频的语音数据中的引导语,从而提取出教学点信息,根据教学点信息生成教学纲要,实现根据线上教育的视频内容自动生成教学纲要,与相关技术的线上教育课件生成教学纲要需要老师人工为每次课程定制纲要相比,可以节省大量时间,降低人力成本,提高制定教学纲要的效率。
示例性地,从教学视频中提取的教学点信息可以包括教学视频所涉及的各个章节的标题信息和知识点信息。
在一些可选的实施例中,上述步骤S202中,可以通过下述方法,从教学视频中提取教学点信息,具体包括如下步骤:
步骤一,从教学视频的语音数据中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语。
在一些实施例中,关键信息集合可以包括标题引导信息集合、结束引导语集合和关键点引导语集合。标题引导信息集合中包括标题引导信息关键字,结束引导语集合中包括结束引导关键字,关键点引导语集合中包括关键点引导关键字。
服务器将标题引导信息集合中的标题引导信息关键字与教学视频的语音数据进行匹配,可以从语音数据中识别出标题引导语。示例性地,标题引导语可以是“本节课我们学习第一章第一节”或者“今天我们学习第一章第一节”。
服务器将结束引导语集合中的结束引导信息关键字与教学视频的语音数据进行匹配,可以从语音数据中识别出结束引导语。示例性地,结束引导语可以是“这节课的内容讲完了”或者“今天的课我们就讲到这里”。
服务器将关键点引导语集合中的关键点引导信息关键字与教学视频的语音数据进行匹配,可以从语音数据中识别出关键点引导语。示例性地,关键点引导语可以是“同学们,注意”、“大家看一下”或者“同学们记住这个”。位于某个章节的标题引导语和结束引导语之间的关键点引导语,可以认为是属于该章节的关键点引导语。
一个章节中可能存在一个关键点引导语,也可能存在多个关键点引导语,或者不存在关键点引导语,每个关键点引导语都对应有一个知识点信息。
步骤二,根据各个章节的标题引导语,从教学视频中提取各个章节的标题信息。
在一些实施例中,服务器可以根据各个章节的标题引导语,从教学视频的语音数据中提取各个章节的标题信息。例如,以标题引导语之后紧接着出现的名词作为标题信息,如“牛顿第二定律”。
示例性地,对于一段教学视频中的语音数据“今天我们学习第一章第一节:牛顿第二定律。”,服务器可以从语音数据中识别出标题引导语“今天我们学习第一章第一节”,将语音数据中在标题引导语“今天我们学习第一章第一节”之后紧接着出现的名词“牛顿第二定律”作为该章节的标题信息。
在另一些实施例中,服务器可以根据各个章节的标题引导语,从教学视频中与标题引导语对应播放的图像帧中提取各个章节的标题信息。
例如,教学视频为PPT课件的讲解视频,视频中包括PPT课件的展示画面。服务器从语音数据中识别出标题引导语后,根据语音数据和视频的图像帧的时间戳信息,从教学视频中提取与标题引导语对应播放的图像帧,该与标题引导语对应播放的图像帧可以是时间戳与标题引导语的时间戳的差值在预设差值范围内的图像帧,可以认为该图像帧是与标题引导语同时播放或同步播放,该图像帧的PPT展示画面中包含对应章节的标题信息。
服务器可以采用图像识别网络模型对提取的图像帧进行文本识别,从提取的图像帧中识别出文字,将识别出的文字,如“牛顿第二定律”,作为该章节的标题信息。
步骤三,根据各个章节的关键点引导语,从教学视频中提取各个章节的知识点信息。
在一些实施例中,服务器可以根据各个章节的关键点引导语,从教学视频的语音数据中提取各个章节的知识点信息。例如,以知识点引导语之后的内容作为知识点信息。
示例性地,对于一段教学视频中的语音数据“同学们,注意。牛顿第二定律的计算公式是F=ma”,服务器可以从语音数据中识别出关键点引导语“同学们,注意”,将语音数据中在关键点引导语“同学们,注意”之后的内容“牛顿第二定律的计算公式是F=ma”作为该章节的知识点信息。
在另一些实施例中,服务器可以根据各个章节的关键点引导语,从教学视频中与关键点引导语对应播放的图像帧中提取各个章节的标题信息。
例如,教学视频为PPT课件的讲解视频,视频中包括PPT课件的展示画面。服务器从语音数据中识别出关键点引导语后,根据语音数据和视频的图像帧的时间戳信息,从教学视频中提取与关键点引导语对应播放的图像帧,该图像帧的PPT展示画面中包含对应章节的知识点信息。
服务器可以采用图像识别网络模型对提取的图像帧进行文本识别,从提取的图像帧中识别出文字,将识别出的文字作为对应章节的知识点信息。或者,服务器可以直接提取出该图像帧的中心区域、其他局部区域(如包含文字的区域)或将整个图像帧作为对应章节的知识点信息。也就是说,知识点信息也可以是图片或者以图片的形式呈现。
本申请实施例提供的教学纲要生成方法,服务器可以从教学视频的语音数据中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语;根据各个章节的标题引导语,从教学视频中提取各个章节的标题信息;根据各个章节的关键点引导语,从教学视频中提取各个章节的知识点信息;根据提取的标题信息和知识点信息,生成教学纲要。该方法通过细化提取的标题信息和知识点信息生成教学纲要,实现根据线上教育的视频内容自动生成教学纲要,生成的教学纲要更具层次性。
在一些可选的实施例中,在从教学视频的语音数据中识别引导语时,可以先将教学视频的语音数据转换为教学文本,再从教学文本中匹配识别,得到语音数据中的引导语。该识别过程具体可以包括如下步骤:
步骤A1,将教学视频的语音数据转换为教学文本。
在一些实施例中,服务器先采用语音处理技术将教学视频的语音数据转换为教学文本。教学文本用于后续的标题引导语、结束引导语和关键点引导语的识别。
步骤A2,分别将设定的标题引导信息集合中保存的标题引导信息和结束引导信息集合中保存的结束引导信息与教学文本中包含的信息进行匹配,从教学文本中识别出各个章节的标题引导语和结束引导语。
可以通过人工汇总的方式或者机器收集的方式生成关键信息集合,关键信息集合可以包括标题引导信息集合、结束引导信息集合和关键点引导信息集合。其中,标题引导信息集合中包括在介绍章节的标题之前,教学的老师经常会使用的用于引出章节标题的关键字、关键词或关键短语等标题引导信息。结束引导信息集合中包括在结束一个章节时,教学的老师经常会使用的关键字、关键词或关键短语等结束引导信息。关键点引导信息集合中包括在介绍章节的知识点之前,教学的老师经常会使用的用于引出知识点的关键字、关键词或关键短语等关键点引导信息。
服务器可以将设定的标题引导信息集合中保存的标题引导信息对教学文本进行匹配,基于标题引导信息,识别出各个章节的标题引导语;将设定的结束引导信息集合中保存的结束引导信息对教学文本进行匹配,基于结束引导信息,识别出各个章节的结束引导语。
示例性地,假如标题引导信息集合中保存的标题引导信息包括:“本节课我们学习第一章第一节”或者“今天我们学习第一章第一节”。对于一段教学视频的语音数据“今天我们学习第一章第一节:牛顿第二定律。”,服务器可以根据设定的标题引导信息集合中保存的标题引导信息,从教学视频的教学文本中识别出标题引导语“今天我们学习第一章第一节”。将标题引导语对应的位置标记为对应章节的开始位置。识别出标题引导语,有利于在后续步骤中获取位于标题引导语之后的标题信息,作为对应章节的标题信息。
假如设定的结束引导信息集合中保存的结束引导信息包括“这一节就讲到这里了。”。对于一段教学视频的语音数据“这一节就讲到这里。下一节我们学习第一章第二节”,服务器可以根据结束引导信息集合中保存的结束引导信息,从教学视频的教学文本中识别出结束引导语“这一节就讲到这里”。将结束引导语对应的位置标记为对应章节的结束位置。
步骤A3,将设定的关键点引导信息集合中保存的关键点引导信息与教学文本中包含的信息进行匹配,从教学文本中识别出关键点引导语,并将位于各个章节的标题引导语和结束引导语之间的关键点引导语作为对应章节的关键点引导语。
假如设定的关键点引导信息集合中保存的关键点引导信息包括“同学们,注意”。对于一段教学视频的语音数据“同学们,注意。牛顿第二定律的计算公式是F=ma。”,服务器可以根据设定的关键点引导信息集合中保存的关键点引导信息,从教学视频的教学文本中识别出关键点引导语“同学们,注意。”。
各个章节的标题引导语和结束引导语之间可以有多个关键点引导语。服务器会将识别的一个章节的标题引导语和结束引导语之间的关键点引导语作为该章节的关键点引导语。
本申请实施例提供的教学纲要生成方法,通过设定的标题引导信息集合、结束引导信息集合和关键点引导信息集合来识别教学视频的语音数据中的标题引导语、结束引导语、关键点引导语,从而识别出一个章节的标题信息以及该章节包含的知识点信息,生成教学纲要,实现根据线上教育的视频内容自动生成教学纲要,生成的教学纲要层次性强,且由于是根据设定的标题引导信息集合、结束引导信息集合和关键点引导信息集合来实现识别标题引导语、结束引导语、关键点引导语,便于老师根据个人授课习惯对标题引导信息集合、结束引导信息集合和关键点引导信息集合进行便捷的补充调整。
在一些可选的实施例中,在从教学视频的语音数据中识别引导语时,可以采用已训练的关键信息提取模型从教学视频的语音数据中识别出引导语;或者,可以先将教学视频的语音数据转换为教学文本,采用已训练的关键信息提取模型从教学文本中识别出引导语,示例性地,具体可以包括如下步骤:
步骤B1,将教学视频的语音数据转换为教学文本。
步骤B2,采用关键信息提取模型,从教学文本中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语。
其中,关键信息提取模型是根据设定语法规则对标注有引导语信息的标准教学文本进行学习得到的。
设定语法规则可以是根据需要从教学视频中提取的教学点信息的内容进行设定的。示例性地,在一些实施例中,设定语法规则可以包括:
outline→sections|∈
sections→sections section
section→title content end
content→text|img|section
title,content,end∈keywords
其中,outline是指教学文本的整体内容,包括多个章节;sections是指教学文本可划分为多个章节,例如N个章节;section是指N个章节中的任意一个章节,以下称为目标章节;title是指目标章节的标题信息,content是指目标章节的知识点信息,可以包括文本知识点信息或图片知识点信息,text是指目标章节的文本知识点信息,img是指目标章节的图片知识点信息,end是指目标章节的结束点。keywords是指关键信息集合,其中包括标题引导信息、关键点引导信息和结束引导信息。
在一些实施例中,outline对应整个教学视频的主题引导语,主题引导语可以是从教学视频提取的第一个标题引导语;在另一些实施例中,可以将主题引导语设置为单独的一个类型。示例性地,当将主题引导语设置为单独的一个类型时,keywords中可以包括主题引导信息,主题引导信息可以是“首先介绍一下我主讲的教学视频的题目”等等。
可以采用根据标准教学视频生成的标准教学文本预先与关键信息提取模型进行训练。标准教学视频可以是专业的教师人员按照特定的模式进行课程的讲解以及PPT材料的组织时录制的教学视频。或者,可以采用专业的教师人员按照特定的模式制作的标准教学文本预先与关键信息提取模型进行训练。关键信息提取模型可以采用人工神经网络实现,标准教学文本中标注有引导语信息,关键信息提取模型根据设定语法规则对输入的标准教学文本进行引导语提取,将提取出的引导语与预先标注的引导语信息进行比对,根据二者之间的相似度调整关键信息提取模型的参数,直至提取出的引导语与预先标注的引导语信息的相似度达到期望值,结束训练,得到已训练的关键信息提取模型。
在应用中,采用已训练的关键信息提取模型对教学文本进行识别,识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语。
本申请实施例提供的上述教学纲要生成方法,通过关键信息提取模型来实现识别标题引导语、结束引导语、关键点引导语,从而识别出一个章节的标题信息以及该章节包含的知识点信息,生成教学纲要,实现根据线上教育的视频内容自动生成教学纲要,生成的教学纲要层次性强,且由于是根据人工神经网络来实现识别标题引导语、结束引导语、关键点引导语,可以进一步减少了教学纲要生成过程中的人为辅助,降低人力成本,提高效率。
在一些可选的实施例中,在获取教学点信息的过程中,或在获取教学点信息之后,可以将教学点信息以树状格式进行排列。然后再根据设定转换规则,将树状格式排列的教学点信息,转换为设定格式的教学纲要。具体地,如图3所示,该方法包括如下步骤:
步骤S301,获取待处理的教学视频。
步骤S302,将教学视频中的语音数据转换为教学文本。
步骤S303,从教学文本中识别出引导语和教学点信息,生成包含教学点信息的语法树。
在一些实施例中,可以采用LALR语法解析方法对教学文本进行语法解析,从教学文本中识别出引导语和教学点信息。LALR语法解析可以是通过LALR分析器实现。将教学文本视为由多个词条组成的词条流,LALR分析器从左到右处理教学文本的词条流,尝试按照各个词条出现的顺序和格式,匹配一条或多条语法规则。示例性地,LALR语法解析时可以依据上文记载的设定语法规则从教学文本中识别出引导语和教学点信息,在此不再赘述。
通过采用LALR语法解析对教学视频的教学文本进行语法解析,与设定的关键信息集合进行匹配,从教学文本中识别出教学点信息,根据教学点信息生成Token语法树。
在另一些实施例中,可以采用已训练的关键信息提取模型从教学文本中识别出引导语,进而提取出教学点信息。根据教学点信息生成Token语法树。语法树中的每个Token语法节点均包含类型type和值value。
表1示例性地给出了本申请的一个实施例中的Token语法节点的类型和值。
表1
类型type 值value
outline 牛顿力学
title 牛顿第二定律
end 下一节
text F=ma
img /data/img/demo.jpg
图4示出了与表1中的Token语法节点所对应的Token语法树的结构。如图4所示,Token语法树可以包括多个Token语法节点,每个教学点信息均可以对应一个Token语法节点。例如,最高一级的父节点对应课程主题,该父节点的类型type为outline,值value为教学视频的课程主题,或者称为课程名称“牛顿力学”。该父节点的下一级可以包括多个子节点,每个子节点对应一个章节,每个子节点还具有下一级子节点。
譬如,一个章节对应的子节点具有的下一级子节点包括标题子节点,知识点信息子节点和结束子节点。标题子节点的类型type为title,值value为该章节的标题信息“牛顿第二定律”。知识点信息子节点还可以包括一个或多个下一级子节点,如文本信息子节点和图片信息子节点,在图4中示出了文本信息子节点,其type为text,值value为该章节的文本知识点信息“F=ma”,图片信息子节点在图4中未示出,其type为img,值value为该章节的图片知识点信息“data/img/demo.jpg”,即一张图片。“/data/img/demo.jpg”表示的是图片文件的存储路径,该路径存储的可以是教学视频中涉及某个知识点的图像帧的图片。结束子节点的类型type为end,值value可以是“下一节”,也可以是其他内容。例如,教学文本中包括“这一节就讲到这里。下一节,我们会学习XXX”,服务器在识别出结束引导语“下一节”时,将“下一节”作为结束子节点的值。
步骤S304,根据设定转换规则,将语法树转换为设定格式的教学纲要。
在Token语法树的基础上,为了得到教学纲要,可以根据设定转换规则,将树状格式排列的教学点信息,转换为设定格式的教学纲要。该转化过程可以采用语法制导翻译实现。语法制导翻译过程中采用的设定转换规则可以是与生成Token语法树时所依据的语法规则相对应的翻译方案。
示例性地,表2示出了与生成表1所示的Token采用的语法规则相对应的翻译方案。
表2
Figure BDA0002728736960000191
Figure BDA0002728736960000201
服务器根据表2所示的翻译方案,采用语法制导翻译,将图3所示的Token语法树转换成对应的教学纲要。生成教学纲要的过程,也可以认为是按照各个Token语法节点的类型type确定其对应的值value在教学纲要中的位置,并将各个Token语法节点的值value填入教学纲要中的对应位置的过程。
在一些实施例中,生成的教学纲要可以是图5所示的目录式纲要。在另一些实施例中,生成的教学纲要可以是如图6所示的表格式纲要。教学纲要中可以包括课程名称“牛顿力学”,各个章节的章节名称和重要知识点,例如,其中一个章节的章节名称为“牛顿第二定律”,该章节的重要知识点包括“F=ma”。在另外的实施例中,教学纲要根据具体需要,还可以是其他格式,本申请对教学纲要的格式不作具体限定。
基于同一发明构思,本申请实施例中还提供了另一种教学纲要生成方法,该方法可以由终端设备执行。如图7所示,该方法包括以下步骤:
步骤S701,响应于针对教学视频获取教学纲要的操作,显示教学视频的教学纲要的标识。
其中,教学纲要是根据从教学视频中提取的教学点信息生成的,教学点信息是根据教学视频的语音数据中的引导语,从教学视频中提取的。
示例性地,教学视频可以是安装在终端设备上的在线教育客户端中的视频,也可以是其他视频客户端中的视频。针对教学视频获取教学纲要的操作可以是用户通过单击鼠标右键输入的,也可以是通过点击预设的下拉菜单按钮输入的。终端设备接收到用户针对教学视频获取教学纲要的操作,可以根据上文中记载的方法生成教学纲要,或者向服务器发送教学纲要生成请求,由服务器生成教学视频的教学纲要,并返回至终端设备。终端设备获得教学视频的教学纲要后,可以向用户展示教学纲要的标识,该标识可以是教学纲要的图标或文字标识。
步骤S702,响应于针对教学纲要的标识的触控操作,显示教学纲要中的教学点信息。
用户点击教学纲要的标识,终端设备接收到用户针对教学纲要的标识的触控操作,打开教学纲要,显示出教学纲要中的教学点信息。
基于同一发明构思,本申请实施例中还提供了一种教学纲要生成装置,该教学纲要生成装置可以布设在服务器或终端设备中。由于该装置是本申请实施例提供的教学纲要生成方法对应的装置,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见上述方法的实施,重复之处不再赘述。
图8示出了本申请实施例提供的一种教学纲要生成装置的结构框图,如图8所示,该教学纲要生成装置包括:数据获取单元801、信息提取单元802和纲要生成单元803;其中,
数据获取单元801,用于获取待处理的教学视频;
信息提取单元802,用于根据教学视频的语音数据中的引导语,从教学视频中提取教学点信息;
纲要生成单元803,用于根据提取的教学点信息,生成教学纲要。
在一种可选的实施例中,信息提取单元802,具体用于:
从教学视频的语音数据中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语;教学点信息包括各个章节的标题信息和知识点信息;根据各个章节的标题引导语,从教学视频中提取各个章节的标题信息;根据各个章节的关键点引导语,从教学视频中提取各个章节的知识点信息。
在一种可选的实施例中,信息提取单元802,具体用于:
将教学视频的语音数据转换为教学文本;
分别将设定的标题引导信息集合中保存的标题引导信息和结束引导信息集合中保存的结束引导信息与教学文本中包含的信息进行匹配,从教学文本中识别出各个章节的标题引导语和结束引导语;
将设定的关键点引导信息集合中保存的关键点引导信息与教学文本中包含的信息进行匹配,从教学文本中识别出关键点引导语,并将位于各个章节的标题引导语和结束引导语之间的关键点引导语作为对应章节的关键点引导语。
在一种可选的实施例中,信息提取单元802,具体用于:
将教学视频的语音数据转换为教学文本;
采用关键信息提取模型,从教学文本中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语;关键信息提取模型是根据设定语法规则对标注有引导语信息的标准教学文本进行学习得到的。
在一种可选的实施例中,信息提取单元802,具体用于:
根据各个章节的标题引导语,从教学视频的语音数据中提取各个章节的标题信息;或者,从教学视频中与标题引导语对应播放的图像帧中提取各个章节的标题信息;
根据各个章节的关键点引导语,从教学视频中提取各个章节的知识点信息,包括:
根据各个章节的关键点引导语,从教学视频的语音数据中提取各个章节的知识点信息;或者,从教学视频中与关键点引导语对应播放的图像帧中提取各个章节的知识点信息。
在一种可选的实施例中,教学点信息呈树状格式排列;纲要生成单元803,具体用于:
根据设定转换规则,将树状格式排列的教学点信息,转换为设定格式的教学纲要。
基于同一发明构思,本申请实施例中还提供了另一种教学纲要生成装置,该教学纲要生成装置可以布设终端设备中。由于该装置是本申请实施例提供的图7所示的教学纲要生成方法对应的装置,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见上述方法的实施,重复之处不再赘述。
图9示出了本申请实施例提供的另一种可视化的教学纲要生成装置的结构框图,如图9所示,该教学纲要生成装置包括:纲要获取单元901和纲要显示单元902;其中,
纲要获取单元901,用于响应于针对教学视频获取教学纲要的操作,显示教学视频的教学纲要的标识;教学纲要是根据从教学视频中提取的教学点信息生成的,教学点信息是根据教学视频的语音数据中的引导语,从教学视频中提取的;
纲要显示单元902,用于响应于针对教学纲要的标识的触控操作,显示教学纲要中的教学点信息。
基于同一发明构思,本申请实施例中还提供了一种电子设备。在一种实施例中,该电子设备可以是终端设备,也可以是服务器,如图1所示的服务器12。在该实施例中,电子设备的结构可以如图10所示,包括存储器1001,通讯模块1003以及一个或多个处理器1002。
存储器1001,用于存储处理器1002执行的计算机程序。存储器1001可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及运行即时通讯功能所需的程序等;存储数据区可存储各种即时通讯信息和操作指令集等。
存储器1001可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器1001也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器1001是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器1001可以是上述存储器的组合。
处理器1002,可以包括一个或多个中央处理单元(central processing unit,CPU)或者为数字处理单元等等。处理器1002,用于调用存储器1001中存储的计算机程序时实现上述教学纲要生成方法。
通讯模块1003用于与终端设备或其他服务器进行通信。
本申请实施例中不限定上述存储器1001、通讯模块1003和处理器1002之间的具体连接介质。本公开实施例在图10中以存储器1001和处理器1002之间通过总线1004连接,总线1004在图10中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线1004可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器1001中存储有计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本申请实施例的教学纲要生成方法。处理器1002用于执行上述的教学纲要生成方法。
本申请的实施例还提供了一种计算机存储介质,计算机存储介质中存储有计算机可执行指令,计算机可执行指令用于实现本申请任一实施例所记载的教学纲要生成方法。
基于同一发明构思,本申请实施例还提供了一种电子设备。如图11所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,可参照本申请方法实施例部分。该电子设备可以为手机、平板电脑、POS(Point of Sales,销售终端)、车载电脑、智能穿戴设备、PC机等任意电子设备,该电子设备也可以是图1中所示的终端设备11。
图11示出了一种本申请实施例提供的电子设备的结构框图。如图11所示,该电子设备包括:射频(Radio Frequency,RF)电路310、存储器320、输入单元330、显示单元340、传感器350、音频电路360、无线保真(wireless fidelity,WiFi)模块370、处理器380等部件。本领域技术人员可以理解,图11中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图11对电子设备的各个构成部件进行具体的介绍:
RF电路310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器380处理;另外,将设计上行的数据发送给基站。
存储器320可用于存储软件程序以及模块,如本申请实施例中的教学纲要生成方法以及装置对应的程序指令/模块,处理器380通过运行存储在存储器320的软件程序以及模块,从而执行电子设备的各种功能应用以及数据处理,如本申请实施例提供的教学纲要生成方法。存储器320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个应用的应用程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元330可用于接收用户输入的数字或字符信息,以及产生与终端的用户设置以及功能控制有关的键信号输入。
可选的,输入单元330可包括触控面板331以及其他输入设备332。
其中,触控面板331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板331上或在触控面板331附近的操作),并根据预先设定的程式实现相应的操作,如用户点击功能模块的快捷标识的操作等。可选的,触控面板331可以包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器380,并能接收处理器380发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板331。
可选的,其他输入设备332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元340可用于显示由用户输入的信息或展示给用户的界面信息以及电子设备的各种菜单。显示单元340即为终端设备的显示系统,用于呈现界面。
显示单元340可以包括显示面板341。可选的,显示面板341可以采用液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置。
进一步的,触控面板331可覆盖显示面板341,当触控面板331检测到在其上或附近的触摸操作后,传送给处理器380以确定触摸事件的类型,随后处理器380根据触摸事件的类型在显示面板341上提供相应的界面输出。
虽然在图11中,触控面板331与显示面板341是作为两个独立的部件来实现电子设备的输入和输入功能,但是在某些实施例中,可以将触控面板331与显示面板341集成而实现终端的输入和输出功能。
电子设备还可包括至少一种传感器350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板341的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板341的背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路360、扬声器361,传声器362可提供用户与电子设备之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号,传输到扬声器361,由扬声器361转换为声音信号输出;另一方面,传声器362将收集的声音信号转换为电信号,由音频电路360接收后转换为音频数据,再将音频数据输出处理器380处理后,经RF电路310以发送给比如另一电子设备,或者将音频数据输出至存储器320以便进一步处理。
WiFi属于短距离无线传输技术,电子设备通过WiFi模块370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块370,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器380是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器320内的软件程序和/或模块,以及调用存储在存储器320内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器380可包括一个或多个处理单元;可选的,处理器380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、应用及应用内部的功能模块等软件程序,如本申请实施例提供的教学纲要生成方法等。调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器380中。
可以理解,图11所示的结构仅为示意,电子设备还可包括比图11中所示更多或者更少的组件,或者具有与图11所示不同的配置。图11中所示的各组件可以采用硬件、软件或其组合实现。
在一些可能的实施方式中,本申请提供的教学纲要生成方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算机设备上运行时,所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的教学纲要生成方法的步骤,例如,所述计算机设备可以执行如图2所示的步骤S201~S203的教学纲要生成方法的流程,或者,所述计算机设备可以执行如图7所示的步骤S701~S702的教学纲要生成方法的流程。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种教学纲要生成方法,其特征在于,包括:
获取待处理的教学视频;
根据所述教学视频的语音数据中的引导语,从所述教学视频中提取教学点信息;
根据提取的教学点信息,生成教学纲要。
2.根据权利要求1所述的方法,其特征在于,所述教学点信息包括各个章节的标题信息和知识点信息;根据所述教学视频的语音数据中的引导语,从所述教学视频中提取教学点信息,包括:
从所述教学视频的语音数据中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语;
根据各个章节的标题引导语,从所述教学视频中提取各个章节的标题信息;
根据各个章节的关键点引导语,从所述教学视频中提取各个章节的知识点信息。
3.根据权利要求2所述的方法,其特征在于,从所述教学视频的语音数据中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语,包括:
将所述教学视频的语音数据转换为教学文本;
分别将设定的标题引导信息集合中保存的每条标题引导信息与所述教学文本中包含的信息进行匹配,从所述教学文本中识别出各个章节的标题引导语;
分别将设定的结束引导信息集合中保存的每条结束引导信息与所述教学文本中包含的信息进行匹配,从所述教学文本中识别出各个章节的结束引导语;
分别将设定的关键点引导信息集合中保存的每条关键点引导信息与所述教学文本中包含的信息进行匹配,从所述教学文本中识别出关键点引导语,并将位于各个章节的标题引导语和结束引导语之间的关键点引导语作为对应章节的关键点引导语。
4.根据权利要求2所述的方法,其特征在于,从所述教学视频的语音数据中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语,包括:
将所述教学视频的语音数据转换为教学文本;
采用关键信息提取模型,从所述教学文本中识别出各个章节的标题引导语和结束引导语,以及位于各个章节的标题引导语和结束引导语之间的关键点引导语;所述关键信息提取模型是根据设定语法规则对标注有引导语信息的标准教学文本进行学习得到的。
5.根据权利要求2所述的方法,其特征在于,所述根据各个章节的标题引导语,从所述教学视频中提取各个章节的标题信息,包括:
根据各个章节的标题引导语,从所述教学视频的语音数据中提取各个章节的标题信息;或者,从所述教学视频中与所述标题引导语对应播放的图像帧中提取各个章节的标题信息;
所述根据各个章节的关键点引导语,从所述教学视频中提取各个章节的知识点信息,包括:
根据各个章节的关键点引导语,从所述教学视频的语音数据中提取各个章节的知识点信息;或者,从所述教学视频中与所述关键点引导语对应播放的图像帧中提取各个章节的知识点信息。
6.一种教学纲要生成方法,其特征在于,包括:
响应于针对教学视频获取教学纲要的操作,显示所述教学视频的教学纲要的标识;所述教学纲要是根据从所述教学视频中提取的教学点信息生成的,所述教学点信息是根据所述教学视频的语音数据中的引导语,从所述教学视频中提取的;
响应于针对所述教学纲要的标识的触控操作,显示所述教学纲要中的教学点信息。
7.一种教学纲要生成装置,其特征在于,包括:
数据获取单元,用于获取待处理的教学视频;
信息提取单元,用于根据所述教学视频的语音数据中的引导语,从所述教学视频中提取教学点信息;
纲要生成单元,用于根据提取的教学点信息,生成教学纲要。
8.一种教学纲要生成装置,其特征在于,包括:
纲要获取单元,用于响应于针对教学视频获取教学纲要的操作,显示所述教学视频的教学纲要的标识;所述教学纲要是根据从所述教学视频中提取的教学点信息生成的,所述教学点信息是根据所述教学视频的语音数据中的引导语,从所述教学视频中提取的;
纲要显示单元,用于响应于针对所述教学纲要的标识的触控操作,显示所述教学纲要中的教学点信息。
9.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,其特征在于:所述计算机程序被处理器执行时,实现权利要求1~5中任一项或权利要求6所述的方法。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,实现权利要求1~5中任一项或权利要求6所述的方法。
CN202011111470.7A 2020-10-16 2020-10-16 一种教学纲要生成方法、装置、存储介质及电子设备 Pending CN112232066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011111470.7A CN112232066A (zh) 2020-10-16 2020-10-16 一种教学纲要生成方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011111470.7A CN112232066A (zh) 2020-10-16 2020-10-16 一种教学纲要生成方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN112232066A true CN112232066A (zh) 2021-01-15

Family

ID=74117775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011111470.7A Pending CN112232066A (zh) 2020-10-16 2020-10-16 一种教学纲要生成方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112232066A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860939A (zh) * 2021-02-19 2021-05-28 北京百度网讯科技有限公司 音视频数据处理方法、装置、设备和存储介质
CN113963306A (zh) * 2021-12-23 2022-01-21 北京大学 基于人工智能的课件片头制作方法和装置
CN117473076A (zh) * 2023-12-27 2024-01-30 广东信聚丰科技股份有限公司 基于大数据挖掘的知识点生成方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382937A (zh) * 2008-07-01 2009-03-11 深圳先进技术研究院 基于语音识别的多媒体资源处理方法及其在线教学系统
CN109325097A (zh) * 2018-07-13 2019-02-12 海信集团有限公司 一种语音引导方法及装置、电子设备、存储介质
WO2019095446A1 (zh) * 2017-11-17 2019-05-23 深圳市鹰硕音频科技有限公司 一种具有语音评价功能的跟随教学系统
CN110033659A (zh) * 2019-04-26 2019-07-19 北京大米科技有限公司 一种远程教学互动方法、服务器、终端以及系统
CN110517689A (zh) * 2019-08-28 2019-11-29 腾讯科技(深圳)有限公司 一种语音数据处理方法、装置及存储介质
CN110867187A (zh) * 2019-10-31 2020-03-06 北京大米科技有限公司 语音数据的处理方法、装置、存储介质及电子设备
CN111739358A (zh) * 2020-06-19 2020-10-02 联想(北京)有限公司 一种教学文件的输出方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382937A (zh) * 2008-07-01 2009-03-11 深圳先进技术研究院 基于语音识别的多媒体资源处理方法及其在线教学系统
WO2019095446A1 (zh) * 2017-11-17 2019-05-23 深圳市鹰硕音频科技有限公司 一种具有语音评价功能的跟随教学系统
CN109325097A (zh) * 2018-07-13 2019-02-12 海信集团有限公司 一种语音引导方法及装置、电子设备、存储介质
CN110033659A (zh) * 2019-04-26 2019-07-19 北京大米科技有限公司 一种远程教学互动方法、服务器、终端以及系统
CN110517689A (zh) * 2019-08-28 2019-11-29 腾讯科技(深圳)有限公司 一种语音数据处理方法、装置及存储介质
CN110867187A (zh) * 2019-10-31 2020-03-06 北京大米科技有限公司 语音数据的处理方法、装置、存储介质及电子设备
CN111739358A (zh) * 2020-06-19 2020-10-02 联想(北京)有限公司 一种教学文件的输出方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860939A (zh) * 2021-02-19 2021-05-28 北京百度网讯科技有限公司 音视频数据处理方法、装置、设备和存储介质
CN112860939B (zh) * 2021-02-19 2023-09-26 北京百度网讯科技有限公司 音视频数据处理方法、装置、设备和存储介质
CN113963306A (zh) * 2021-12-23 2022-01-21 北京大学 基于人工智能的课件片头制作方法和装置
CN113963306B (zh) * 2021-12-23 2022-07-19 北京大学 基于人工智能的课件片头制作方法和装置
CN117473076A (zh) * 2023-12-27 2024-01-30 广东信聚丰科技股份有限公司 基于大数据挖掘的知识点生成方法及系统
CN117473076B (zh) * 2023-12-27 2024-03-08 广东信聚丰科技股份有限公司 基于大数据挖掘的知识点生成方法及系统

Similar Documents

Publication Publication Date Title
CN110033659B (zh) 一种远程教学互动方法、服务器、终端以及系统
CN110490213B (zh) 图像识别方法、装置及存储介质
CN110446063B (zh) 视频封面的生成方法、装置及电子设备
CN110399470B (zh) 会话消息处理
CN112232066A (zh) 一种教学纲要生成方法、装置、存储介质及电子设备
WO2018045646A1 (zh) 基于人工智能的人机交互方法和装置
CN108763552B (zh) 一种基于家教机的学习方法及家教机
EP2610724A1 (en) A system and method for online user assistance
CN110852100A (zh) 关键词提取方法、装置、电子设备及介质
CN111414506B (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
KR102104294B1 (ko) 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션
CN114328852A (zh) 一种文本处理的方法、相关装置及设备
CN110825164A (zh) 基于儿童专用穿戴智能设备的交互方法及系统
CN110245253B (zh) 一种基于环境信息的语义交互方法及系统
CN112465144A (zh) 基于有限知识的多模态示范意图生成方法及装置
CN114357278A (zh) 一种话题推荐方法、装置及设备
CN112115244A (zh) 对话交互方法、装置、存储介质及电子设备
CN114064943A (zh) 会议管理方法、装置、存储介质及电子设备
KR102430285B1 (ko) 시각장애인용 키오스크 장치 및 이의 동작방법
CN112488157A (zh) 一种对话状态追踪方法、装置、电子设备及存储介质
CN112165627A (zh) 信息处理方法、装置、存储介质、终端及系统
CN111553163A (zh) 文本相关度的确定方法、装置、存储介质及电子设备
CN116737883A (zh) 人机交互方法、装置、设备及存储介质
WO2023040545A1 (zh) 一种数据处理方法、装置、设备、存储介质和程序产品
CN111314771A (zh) 一种视频播放方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination