CN114339285A - 知识点的处理方法、视频处理方法、装置及电子设备 - Google Patents
知识点的处理方法、视频处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114339285A CN114339285A CN202111629123.8A CN202111629123A CN114339285A CN 114339285 A CN114339285 A CN 114339285A CN 202111629123 A CN202111629123 A CN 202111629123A CN 114339285 A CN114339285 A CN 114339285A
- Authority
- CN
- China
- Prior art keywords
- video
- video data
- knowledge point
- knowledge
- playing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 16
- 238000012545 processing Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 116
- 230000003993 interaction Effects 0.000 claims abstract description 84
- 230000004044 response Effects 0.000 claims abstract description 33
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims abstract description 11
- 230000000875 corresponding effect Effects 0.000 claims description 224
- 230000011218 segmentation Effects 0.000 claims description 103
- 230000008569 process Effects 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 29
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 17
- 230000002596 correlated effect Effects 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000003340 mental effect Effects 0.000 claims 2
- 238000005516 engineering process Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000013467 fragmentation Methods 0.000 description 9
- 238000006062 fragmentation reaction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052935 jarosite Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请提供了一种视频中知识点的处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质；方法包括：在人机交互界面中显示视频数据对应的思维导图；其中，所述思维导图包括在所述视频数据中介绍的多个知识点；响应于针对所述思维导图中的第一知识点的触发操作，播放所述视频数据中对应所述第一知识点的视频片段。通过本申请，能够实现视频中知识点高效展示和交互，从而支持用户实现碎片化学习以提高学习效率。
Description
技术领域
本申请涉及人工智能和网络媒体技术，尤其涉及一种视频中知识点的处理方法、视频处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。
随着互联网技术的发展，越来越多的网络媒体用视频(例如电影、纪录片、短视频、课堂讲座等形式)来传播知识。通过视频来传播知识的主要方式是在线教育(或称远程教育)，是通过应用信息科技和互联网技术进行内容传播和快速学习的方法，具体内容传播的载体是视频，学生通过客户端(例如播放器或专用客户端)播放老师预先录制或现场直播的视频来学习知识。
但是，由于视频包括了丰富且零散的知识内容，完整观看的耗时较长，这与用户往往需要通过碎片化时间来学习的需求矛盾，客户端难以支持用户利用碎片化时间对视频中进行全面和有针对性的学习，影响学习效率。
发明内容
本申请实施例提供一种视频中知识点的处理方法、视频处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质，能够实现视频中知识点高效展示和交互，从而支持用户实现碎片化学习以提高学习效率。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种视频中知识点的处理方法，包括：
在人机交互界面中显示视频数据对应的思维导图；
其中，所述思维导图包括在所述视频数据中介绍的多个知识点；
响应于针对所述思维导图中的第一知识点的触发操作，播放所述视频数据中对应所述第一知识点的视频片段。
本申请实施例提供一种视频中知识点的处理装置，包括：
显示模块，用于在人机交互界面中显示视频数据对应的思维导图；其中，所述思维导图包括在所述视频数据中介绍的多个知识点；
播放模块，用于响应于针对所述思维导图中的第一知识点的触发操作，播放所述视频数据中对应所述第一知识点的视频片段。
在上述方案中，所述显示模块，还用于：显示与多个所述知识点一一对应的多个节点、以及所述多个节点之间的连接线，其中，所述连接线表征所连接的两个所述知识点之间的逻辑关系。
在上述方案中，每个所述知识点对应的节点包括节点图形元素以及属性信息至少之一：所述知识点的主题，所述主题包括对应所述知识点的关键词；所述知识点的摘要，所述摘要包括对应所述知识点的介绍信息；所述知识点的时间段，所述时间段包括介绍所述知识点的视频片段在所述视频数据中的起始时间和结束时间；所述知识点的重要程度；所述知识点的掌握程度。
在上述方案中，所述显示模块，还用于：对每个所述节点的不同的所述属性信息应用不同的显示样式；其中，当所述属性信息包括所述知识点的重要程度时，所述属性信息的显示样式的显著程度与所述知识点的重要程度正相关；当所述属性信息包括所述知识点的掌握程度时，所述属性信息的显示样式的显著程度与所述知识点的掌握程度负相关。
在上述方案中，所述装置还包括计算模块，用于：从历史学习记录中获取历史学习数据，并从所述视频数据的历史播放记录中获取历史播放数据；通过第一神经网络模型执行以下处理：从所述历史学习数据中提取历史学习特征，并从所述历史播放数据中提取历史播放特征；对所述历史学习特征以及所述历史播放特征进行融合处理，得到融合特征；基于所述融合特征预测所述知识点在所述思维导图中的重要程度以及所述知识点的掌握程度。
在上述方案中，当在人机交互界面中显示视频数据对应的思维导图时，所述显示模块，还用于：显示提示信息，其中，所述提示信息用于提示针对至少一个推荐知识点执行触发操作，所述推荐知识点是所述思维导图中符合当前学习需求的知识点。
在上述方案中，所述计算模块，还用于：从历史学习记录中获取历史学习数据；通过第二神经网络模型执行以下处理：从所述历史学习数据中提取历史学习特征，并基于所述历史学习特征预测所述思维导图中每个所述知识点与所述当前学习需求的匹配程度；对所述思维导图中的多个知识点进行基于所述匹配程度的降序排序处理，并将排序靠前的至少一个所述知识点确定为符合所述当前学习需求的推荐知识点。
在上述方案中，在人机交互界面中显示视频数据对应的思维导图之前，所述显示模块，还用于：显示思维导图入口，响应于针对所述思维导图入口的触发操作，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理；或者响应于满足所述思维导图的自动触发条件，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理。
在上述方案中，在响应于满足所述思维导图的自动触发条件，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理之前，所述计算模块，还用于：获取决策参考数据，其中，所述决策参考数据包括以下至少之一：历史学习记录、所述视频数据的历史播放记录、所述视频数据的当前播放记录；调用第三神经网络模型执行以下处理：从所述决策参考数据中提取决策参考特征，并基于所述决策参考特征预测针对所述思维导图的需求程度；当所述需求程度大于需求程度阈值时，确定满足所述思维导图的自动触发条件。
在上述方案中，在响应于满足所述思维导图的自动触发条件，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理之前，所述计算模块，还用于：从历史学习记录中获取在每次显示所述思维导图的历史时刻，并提取所述历史时刻的历史播放特征；获取所述视频数据的当前播放记录，并提取所述播放数据的当前播放特征；当所述当前播放特征与所述历史播放特征的相似度大于相似度阈值时，确定满足所述思维导图的自动触发条件。
在上述方案中，所述思维导图的自动触发条件包括以下至少之一：在历史学习记录中不存在所述视频数据的播放记录；所述视频数据的当前播放时间与上次播放时间的时间间隔大于时间间隔阈值；所述思维导图包括在历史学习记录中不存在的知识点。
在上述方案中，所述播放模块，还用于：执行以下任意一种：当显示所述思维导图时，如果尚未开始播放所述视频数据，则在所述人机交互界面中开启一个播放窗口，并在所述播放窗口中播放所述视频片段；当显示所述思维导图时，如果已经在所述人机交互界面开启了播放窗口并播放所述视频数据，则在所述播放窗口中将所述视频数据的当前播放进度移动至对应所述第一知识点的视频片段；当显示所述思维导图时，如果已经在所述人机交互界面开启了播放窗口并播放所述视频数据，则在所述播放窗口中继续以静音模式播放所述视频数据或暂停播放所述视频数据，并在新开启的播放窗口中播放对应所述第一知识点的视频片段。
在上述方案中，所述显示模块，还用于：当所述视频数据是预先录制形成的视频文件时，显示所述视频数据中介绍的全部知识点对应的获取所述思维导图并对所述思维导图进行静态完整显示；当所述视频数据是直播间的数据流时，显示所述视频数据中已经介绍的知识点对应的节点，并在所述视频数据的播放过程中，根据所述视频数据的播放进度在所述思维导图中实时增加新介绍的知识点，直至所述直播间播放结束。
在上述方案中，所述播放模块，还用于：当所述思维导图中不存在依赖于或者包括于所述第一知识点的知识点时，仅播放对应所述第一知识点的视频片段；当所述思维导图中存在包括于所述第一知识点的至少一个第二知识点时，播放所述至少一个第二知识点的视频片段；当所述思维导图中存在依赖于所述第一知识点的至少一个第二知识点时，播放所述第一知识点的视频片段以及所述至少一个第二知识点的视频片段。
在上述方案中，所述播放模块，还用于：当至少一个第二知识点的数目为多个时，对多个第二知识点进行基于属性信息的降序排序处理，播放降序排序结果中排序在头部的至少一个第二知识点；按照多个所述第二知识点在所述视频数据中的时间先后顺序，播放与多个所述第二知识点一一对应的视频片段；或者，按照多个所述第二知识点的逻辑顺序，播放与多个所述第二知识点一一对应的视频片段。
在上述方案中，所述计算模块，还用于：在人机交互界面中显示视频数据对应的思维导图之前，对视频数据进行语音识别处理，得到对应所述视频数据的目标文本；对所述目标文本进行文本分割处理，得到多个文本片段，其中，每个所述文本片段用于介绍一个知识点，且每个所述知识点对应至少一个所述文本片段；对所述视频数据的语音文件进行语音分割处理，得到多个音频片段；根据对应每个所述知识点的文本片段以及所述多个音频片段，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段；对所述多个文本片段进行主题提取处理，得到每个所述知识点的主题，并基于每个所述知识点的主题，确定对应所述视频数据的思维导图。
在上述方案中，所述计算模块，还用于：获取包括所述语音文件中多个所述间断点的队列；针对首个所述间断点执行以下处理：获取所述间断点的间断时长、当前间断阈值以及所述间断点的左侧语句的长度，并所述间断时长、所述长度、所述语句长度阈值、所述当前间断阈值，确定所述间断点的分割指数；当所述分割指数大于分割指数阈值时，基于所述间断点对所述语音文件进行分割处理，得到对应所述间断点的音频片段；当所述分割指数大于所述分割指数阈值时，将首个所述间断点从所述队列移除，并基于所述间断时长更新所述当前间断阈值。
在上述方案中，所述计算模块，还用于：获取每个所述音频片段对应的文本语句；针对每个所述文本片段执行以下处理：获取对应所述文本片段的至少一个文本语句；当所述文本语句的数目为一个时，将所述文本语句对应的音频片段确定为与所述文本片段匹配的音频片段；当所述文本语句的数目为多个时，将与多个所述文本语句一一对应的音频片段进行拼接处理，并将拼接结果作为与所述文本片段匹配的音频片段；基于对应每个所述文本片段的音频片段的时间戳，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段。
本申请实施例提供一种视频处理方法，所述方法包括：
对视频数据进行语音识别处理，得到对应所述视频数据的目标文本；
对所述目标文本进行文本分割处理，得到多个文本片段，其中，每个所述文本片段用于介绍一个知识点，且每个所述知识点对应至少一个所述文本片段；
对所述视频数据的语音文件进行语音分割处理，得到多个音频片段；
根据对应每个所述知识点的文本片段以及所述多个音频片段，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段；
对所述多个文本片段进行主题提取处理，得到每个所述知识点的主题，并基于每个所述知识点的主题，确定对应所述视频数据的思维导图；其中，所述思维导图包括在所述视频数据中介绍的多个知识点。
本申请实施例提供一种视频处理装置，所述装置包括：
语音模块，用于对视频数据进行语音识别处理，得到对应所述视频数据的目标文本；
分割模块，用于对所述目标文本进行文本分割处理，得到多个文本片段，其中，每个所述文本片段用于介绍一个知识点，且每个所述知识点对应至少一个所述文本片段；
所述分割模块，还用于对所述视频数据的语音文件进行语音分割处理，得到多个音频片段；
所述分割模块，还用于根据对应每个所述知识点的文本片段以及所述多个音频片段，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段；
导图模块，用于对所述多个文本片段进行主题提取处理，得到每个所述知识点的主题，并基于每个所述知识点的主题，确定对应所述视频数据的思维导图；其中，所述思维导图包括在所述视频数据中介绍的多个知识点。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的视频中知识点的处理方法或视频处理方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的视频中知识点的处理方法或视频处理方法。
本申请实施例具有以下有益效果：
通过本申请实施例在人机交互界面中显示视频数据对应的思维导图，思维导图包括在视频数据中介绍的多个知识点，从而能够为用户提供视频涉及到的整体知识体系概览，既可以实现视频中知识点的高效展示，还可以支持用户对视频进行全面学习，响应于针对思维导图中的第一知识点的触发操作，播放视频数据中对应第一知识点的视频片段，实现用户与知识点之间的高效交互，从而支持用户实现碎片化且有针对性的学习，以提高学习效率。
附图说明
图1是本申请实施例提供的视频中知识点的处理系统的结构示意图；
图2是本申请实施例提供的电子设备的结构示意图；
图3A-3C是本申请实施例提供的视频中知识点的处理方法的流程示意图；
图4是本申请实施例提供的视频处理方法的流程示意图；
图5A-5F是本申请实施例提供的视频中知识点的处理方法的显示界面图；
图6是本申请实施例提供的视频中知识点的处理系统的前后端示意图；
图7是本申请实施例提供的视频中视频-文本互反馈模型的示意图；
图8是本申请实施例图提供的视频中知识点的处理方法的思维导图
图9是本申请实施例图提供的视频中知识点的处理方法的思维导图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)思维导图，是表达发散性思维的有效图形思维工具，思维导图运用图文并重的方式，把各级主题的关系用相互隶属与相关的层级图表现出来，把主题关键词与图像、颜色等建立记忆连接。
2)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
相关技术中的在线教育平台可以分为四种类型：1、卖方-交易平台-买方服务型：通过和交易平台提供商合作，教师入驻以为学生提供在线点播的教学资源；2、交易平台-买方服务型：在教学网站上发布自己的教学视频，从而学生通过教学网站观看教学视频；3、辅导工具型：主要通过答题，智能出卷，闯关做题等方式向用户提供学习辅导服务；4、网校型：提供真实1对1的师生视频辅导交流平台。
相关技术中的在线教育平台存在以下技术问题：1、无法提前概览课程知识体系，大多数学习视频每节课仅有一个主标题，而该节课具体包含的知识点并没有详细介绍；2、难以利用碎片化时间学习，视频较长，没有足够重视碎片化学习；3、碎片化学习难以形成知识体系，碎片化学习增长了有效学习时间，但没有体系的学习降低学习效率；4、不能快速准确找到视频中知识点位置，难以在视频中找到想要学习的知识点。
针对相关技术中无法同时实现碎片化学习以及整体学习的技术问题，本申请实施例提供一种视频中知识点的处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质，能够实现视频中知识点高效展示和交互，从而支持用户实现碎片化学习以提高学习效率。
下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的用于实现视频中知识点的处理方法的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)，车载终端等各种类型的用户终端。
参见图1，图1是本申请实施例提供的视频中知识点的处理系统的架构示意图，为实现支撑一个教育应用，终端400-1和终端400-2通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
在一些实施例中，思维导图可以由服务器生成，响应于教师在终端400-2 上执行视频数据上传操作，终端400-2接收视频数据，并将视频数据发送至服务器200，服务器200将视频数据以思维导图发送至终端400-1和终端400-2，在终端400-1的人机交互界面中播放视频数据，并在人机交互界面中显示视频数据对应的思维导图，思维导图包括在视频数据中介绍的多个知识点，响应于针对思维导图中的第一知识点的触发操作，终端400-1接收触发操作数据，将触发操作数据发送至服务器200，服务器200根据触发操作数据获取视频片段的控制播放数据，并将对应视频片段的控制播放数据发送至终端400-1，在终端 400-1中播放视频数据中对应第一知识点的视频片段。
在一些实施例中，思维导图可以由终端生成，响应于教师在终端400-2上执行视频数据上传操作，终端400-2接收视频数据，并将视频数据发送至服务器200，服务器200将视频数据发送至终端400-1和终端400-2，终端400-1生成对应视频数据的思维导图，在终端400-1的人机交互界面中播放视频数据，并在人机交互界面中显示视频数据对应的思维导图，思维导图包括在视频数据中介绍的多个知识点，响应于针对思维导图中的第一知识点的触发操作，终端 400-1接收触发操作数据，根据触发操作数据获取视频片段的控制播放数据，根据控制播放数据在终端400-1中播放视频数据中对应第一知识点的视频片段。
在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的视频中知识点的处理方法以及视频中知识点的处理方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native) 应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，即时通信APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
本申请实施例可以借助于云技术(Cloud Technology)实现，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。
作为示例，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、 CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400-1 可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、以及智能手表等，但并不局限于此。终端400-1以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
参见图2，图2是本申请实施例提供的电子设备的结构示意图，图2所示的终端400-1包括：至少一个处理器410、存储器450、至少一个网络接口420 和用户接口430。终端400-1中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置43 1(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2 示出了存储在存储器450中的视频中知识点的处理装置455-1，其可以是程序和插件等形式的软件，包括以下软件模块：显示模块4551、播放模块4552、计算模块4553、语音模块4554、分割模块4555和导图模块4556，图2示出了存储在存储器450中的视频中知识点的处理装置455-2，其可以是程序和插件等形式的软件，包括以下软件模块：语音模块4554、分割模块4555和导图模块4556，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
将结合本申请实施例提供的终端的示例性应用和实施，说明本申请实施例提供的视频中知识点的处理方法。
参见图3A，图3A是本申请实施例提供的视频中知识点的处理方法的流程示意图，将结合图3A示出的步骤101至102进行说明。
在步骤101中，在人机交互界面中显示视频数据对应的思维导图。
作为示例，思维导图包括在视频数据中介绍具有逻辑关系的多个知识点以及每个知识点的属性信息，参见图8，图8是本申请实施例图提供的思维导图，思维导图包括多个知识点的节点以及各个节点之间的连接线802，节点可以显示为图形元素，例如圆圈、方框等灯，连接线802用于表征所连接的两个知识点之间的逻辑关系，逻辑关系包括以下至少之一：包括关系、依赖关系。例如，当知识点A是“牛顿第一定律”，知识点B是“牛顿第一定律的公式”，知识点 A包括知识点B，知识点A是“牛顿第一定律”，知识点B是“惯性系”，知识点B依赖于知识点A。
在步骤102中，响应于针对思维导图中的第一知识点的触发操作，播放视频数据中对应第一知识点的视频片段。
作为示例，响应于针对思维导图中的第一知识点的触发操作，第一知识点是被触发的任意一个知识点，播放视频数据中对应第一知识点的视频片段。
本申请实施例提供的视频中知识点的处理方法可以应用于在线教育场景或者其他涉及到教育类视频的处理场景，通过本申请实施例在人机交互界面中显示视频数据对应的思维导图，思维导图包括在视频数据中介绍的多个知识点，从而能够为用户提供视频涉及到的整体知识体系概览，响应于针对思维导图中的第一知识点的触发操作，播放视频数据中对应第一知识点的视频片段，从而能够为用户提供碎片化学习功能，从而用户可以根据知识点进行精准学习。
在一些实施例中，步骤101中在人机交互界面中显示视频数据对应的思维导图，可以通过以下技术方案实现：显示与多个知识点一一对应的多个节点、以及多个节点之间的连接线，其中，连接线表征所连接的两个知识点之间的逻辑关系。通过思维导图可以从整体介绍视频数据涉及的知识点以及知识点之间的联系，可以使得用户观看视频之前、观看视频过程中或者观看视频之后均能够结合思维导图进行辅助学习，有利于提高学习效率，同时还实现图像、文本、视频多模态的内容显示，为用户提供了沉浸式的学习体验。
作为示例，参见图8，图8是本申请实施例图提供的思维导图，思维导图包括多个知识点的节点以及各个节点之间的连接线802，节点可以显示为图形元素，例如圆圈、方框等灯，连接线802用于表征所连接的两个知识点之间的逻辑关系，逻辑关系包括以下至少之一：包括关系、依赖关系。例如，当知识点A是“牛顿第一定律”，知识点B是“牛顿第一定律的公式”，知识点A包括知识点B，知识点A是“牛顿第一定律”，知识点B是“惯性系”，知识点B 依赖于知识点A。
在一些实施例中，每个知识点对应的节点包括节点图形元素以及属性信息至少之一：知识点的主题，主题包括对应知识点的关键词；知识点的摘要，摘要包括对应知识点的介绍信息；知识点的时间段，时间段包括介绍知识点的视频片段在视频数据中的起始时间和结束时间；知识点的重要程度；知识点的掌握程度。通过属性信息的多样性显示，可以有效提高思维导图的内容丰富程度，从而能够提高用户的学习效率。
作为示例，参见图8，思维导图包括多个知识点的节点以及各个节点之间的连接线802，节点包括的节点图形元素可以为圆圈或者方框，节点的属性信息可以在图形元素内部或外部，图8中节点的属性信息在图形元素的外部。
作为示例，以知识点是“牛顿第一定律”为例进行说明，知识点的主题可以为对应知识点的关键词，即“牛顿第一定律”，知识点的摘要可以为对应知识点的介绍信息，例如“牛顿第一运动定律，简称牛顿第一定律。又称惯性定律。常见的完整表述：任何物体都要保持匀速直线运动或静止状态，直到外力迫使它改变运动状态为止”，知识点的时间段为介绍知识点的视频片段在视频数据中的起始时间和结束时间，例如，视频数据中的第1650秒至2786秒，这里可以包括至少一个时间段，例如多个时间段对应的对各视频片段均是用于介绍“牛顿第一定律”，知识点的重要程度为“牛顿第一定律”在学科内的重要程度或者在思维导图中的重要程度，知识点的掌握程度是在历史学习记录中所表征的知识点的掌握程度，例如，通过历史学习记录可以获取对应“牛顿第一定律”的学习次数以及学习成果，掌握程度与学习次数以及学习成果正相关。
在一些实施例中，对每个节点的不同的属性信息应用不同的显示样式；其中，当属性信息包括知识点的重要程度时，属性信息的显示样式的显著程度与知识点的重要程度正相关；当属性信息包括知识点的掌握程度时，属性信息的显示样式的显著程度与知识点的掌握程度负相关。通过对每个节点的不同属性信息应用不同的显示样式，可以直观地区分出不同知识点的重要度以及掌握程度不同，从而提高思维导图的显示效率，并有助于提高用户的学习效率。
在一些实施例中，属性信息的显示样式的显著程度可以与知识点的掌握程度正相关，从而起到正向提示作用。
作为示例，参见图8，当属性信息包括知识点的掌握程度时，可以根据掌握程度确定显示样式的显示参数，“第一牛顿定律的”以及“亚里士多德”的掌握程度的显示样式为圆圈，圆圈的显示颜色的深度与掌握程度正相关，对应“第一牛顿定律”的掌握程度的圆圈803的显示颜色深度大于对应“亚里士多德”的掌握程度的圆圈804的显示颜色深度，当属性信息包括知识点的重要程度时，可以根据重要程度确定显示样式的显示参数，重要程度的显示样式为方形，方形的显示颜色的深度与重要程度正相关，对应“第一牛顿定律”的掌握程度的方形805的显示颜色深度大于对应“亚里士多德”的掌握程度的方形806的显示颜色深度。
作为示例，参见图9，图9是本申请实施例图提供的思维导图，思维导图中可以默认显示全部知识点的节点，也可以进行折叠显示，图9中仅显示了思维导图的部分节点，对部分节点进行折叠显示，响应于针对折叠入口901的触发操作，显示知识点“亚里士多德学说”的节点902，例如，对最底层的节点进行折叠显示，对于重要程度小于重要程度阈值的知识点的节点进行折叠显示，对掌握程度大于掌握程度阈值的知识点的节点进行折叠显示、距离上次学习该知识点的时间间隔小于时间间隔阈值的知识点的节点进行折叠显示，在部分折叠显示的情况下，未被折叠的知识点显示效果更为显著，从而可以帮助用户进行智能化的有针对性的学习。
在一些实施例中，从历史学习记录中获取历史学习数据，并从视频数据的历史播放记录中获取历史播放数据；通过第一神经网络模型执行以下处理：从历史学习数据中提取历史学习特征，并从历史播放数据中提取历史播放特征；对历史学习特征以及历史播放特征进行融合处理，得到融合特征；基于融合特征预测知识点在思维导图中的重要程度以及知识点的掌握程度。通过神经网络模型智能化预测重要程度以及掌握程度，从而可以提高重要程度以及掌握程度的预测准确度，使得思维导图中节点的属性信息的显示样式符合用户需求。
作为示例，历史学习记录包括视频观看记录以及视频搜索记录，历史播放记录包括视频之前被播放时的播放操作记录，例如，视频中某个时间段的片段被反复回放，例如，视频中某个时间段的片段经常被跳过等等，第一神经网络模型是基于历史学习记录样本、历史播放记录样本、知识点的预标记重要程度以及知识点的预标记掌握程度进行训练得到的，每次显示思维导图之前预测每个知识点的掌握程度以及重要程度，基于历史学习记录以及历史播放记录，调用第一神经网络模型确定每个知识点在思维导图中的重要程度以及知识点的掌握程度。
在一些实施例中，当在人机交互界面中显示视频数据对应的思维导图时，显示提示信息，其中，提示信息用于提示针对至少一个推荐知识点执行触发操作，推荐知识点是思维导图中符合当前学习需求的知识点。通过提示信息可以向用户提供推荐知识点，从而提高用户的人机交互效率。
作为示例，参见图5A，图5A是本申请实施例提供的视频中知识点的处理方法的显示界面图，人机交互界面501中显示有思维导图502以及提示信息50 3，提示信息用于提示针对至少一个推荐知识点执行触发操作，推荐知识点是思维导图中符合当前学习需求的知识点，例如，提示信息503用于提示针对思维导图502中节点504对应的知识点(作为推荐知识点)执行触发操作。
在一些实施例中，从历史学习记录中获取历史学习数据；通过第二神经网络模型执行以下处理：从历史学习数据中提取历史学习特征，并基于历史学习特征预测思维导图中每个知识点与当前学习需求的匹配程度；对思维导图中的多个知识点进行基于匹配程度的降序排序处理，并将排序靠前的至少一个知识点确定为符合当前学习需求的推荐知识点。通过神经网络模型智能化预测每个知识点与当前学习需求的匹配程度，从而可以提高每个知识点与当前学习需求的匹配程度的预测准确度，使得提示信息符合用户的学习需求。
作为示例，历史学习记录包括视频观看记录以及视频搜索记录，第二神经网络模型是基于历史学习记录样本以及知识点的预标记匹配程度进行训练得到的，每次显示提示信息之前预测每个知识点的预标记匹配程度，基于历史学习记录，调用第二神经网络模型确定每个知识点与当前学习需求的匹配程度。
作为示例，学习需求可以表现为筛选条件，每个知识点与当前学习需求的匹配程度可以通过每个知识点与筛选条件的满足程度进行表征，匹配程度与筛选条件的满足程度正相关，筛选条件包括以下至少之一：知识点被考察的频率大于频率阈值，知识点的难度大于难度阈值，知识点的掌握程度小于掌握程度阈值，历史学习记录中并未记录知识点的学习记录，从而可以筛选出以下类型中至少之一的知识点：考试的热门知识点、难度大的知识点、掌握程度不够的知识点、还未学习的知识点。
在一些实施例中，在人机交互界面中显示视频数据对应的思维导图之前，显示思维导图入口，响应于针对思维导图入口的触发操作，确定转入在人机交互界面中显示视频数据对应的思维导图的处理；或者响应于满足思维导图的自动触发条件，确定转入在人机交互界面中显示视频数据对应的思维导图的处理。显示视频数据对应的思维导图是响应于触发操作实现的，或者显示视频数据对应的思维导图是满足自动触发条件时自动完成的，即整个过程不需要用户干预。通过触发操作的方式控制显示思维导图，可以使得思维导图的显示处于用户的控制下，从而提高用户的操作体验以及交互参与感。通过自动触发的方式智能化控制显示思维导图，可以有效提高人机交互效率。
作为示例，参见图5B，图5B是本申请实施例提供的视频中知识点的处理方法的显示界面图，人机交互界面501B中显示有思维导图入口502B，思维导图入口可以显示在视频播放页面或者视频列表页面，响应于针对思维导图入口 502B的触发操作，确定转入在人机交互界面中显示视频数据对应的思维导图的处理，即在人机交互界面501B中显示思维导图503B。
在一些实施例中，在响应于满足思维导图的自动触发条件，确定转入在人机交互界面中显示视频数据对应的思维导图的处理之前，获取决策参考数据，其中，决策参考数据包括以下至少之一：历史学习记录、视频数据的历史播放记录、视频数据的当前播放记录；调用第三神经网络模型执行以下处理：从决策参考数据中提取决策参考特征，并基于决策参考特征预测针对思维导图的需求程度；当需求程度大于需求程度阈值时，确定满足思维导图的自动触发条件。通过神经网络模型智能化预测针对思维导图的需求程度，从而可以提高每个知识点与当前学习需求的匹配程度的预测准确度，使得思维导图的显示时机符合用户的学习需求。
作为示例，历史学习记录包括视频观看记录以及视频搜索记录，视频数据的历史播放记录包括视频之前被播放时的播放操作记录，例如，视频中某个时间段的片段被反复回放，例如，视频中某个时间段的片段经常被跳过等等，当前播放记录包括视频当前被播放时的播放操作记录，第三神经网络模型是基于历史学习记录样本、历史播放记录样本、当前播放记录样本以及预标记需求程度进行训练得到的，通过以下方式可以确定出思维导图是否满足自动触发条件，每次确定转入在人机交互界面中显示视频数据对应的思维导图的处理之前预测针对思维导图的需求程度，基于决策参考数据，调用第三神经网络模型确定思维导图的需求程度。
在一些实施例中，在响应于满足思维导图的自动触发条件，确定转入在人机交互界面中显示视频数据对应的思维导图的处理之前，从历史学习记录中获取在每次显示思维导图的历史时刻，并提取历史时刻的历史播放特征；获取视频数据的当前播放记录，并提取播放数据的当前播放特征；在当前播放特征与历史播放特征的相似度大于相似度阈值时，确定满足思维导图的自动触发条件。通过本申请实施例可以有效提高判断自动触发条件是否满足的准确度。
作为示例，历史播放特征用于表征历史时刻的特征，例如，历史时刻是首次播放视频的时刻，历史时刻是播放视频长度大于视频长度阈值的视频的时刻，历史时刻是视频播放至有效教学内容的时刻，例如，视频中还包括教师个人介绍，教师个人介绍不属于有效教学内容，历史播放特征可以用于表征过去每次显示思维导图的时机，通过以下方式可以确定出思维导图是否满足自动触发条件，获取视频数据的当前播放记录，并提取播放数据的当前播放特征，当前播放记录包括视频当前被播放时的播放进度以及整个视频的长度、视频的累计播放次数，在当前播放特征与历史播放特征的相似度大于相似度阈值时，确定满足思维导图的自动触发条件。
在一些实施例中，思维导图的自动触发条件包括以下至少之一：在历史学习记录中不存在视频数据的播放记录；视频数据的当前播放时间与上次播放时间的时间间隔大于时间间隔阈值；思维导图包括在历史学习记录中不存在的知识点。通过本申请实施例可以降低用于判断是否进行自动显示的计算量，提高人机交互效率。
作为示例，历史学习记录记录观看过的视频以及学习过的知识点，当从历史学习记录中查询确定并不存在视频数据的播放记录时，表征视频数据是首次播放，从而确定满足思维导图的自动触发条件，当从历史学习记录中查询确定上次播放视频数据与当前播放视频数据的间隔时间大于间隔时间阈值时，表征距离上次观看的间隔时间已经超出时间阈值，从而确定满足思维导图的自动触发条件，当从历史学习记录中查询视频数据中包括未学习过的知识点时，表征存在部分知识点新增，从而确定满足思维导图的自动触发条件。
在一些实施例中，步骤102中播放视频数据中对应第一知识点的视频片段，可以通过以下技术方案实现：执行以下任意一种：当显示思维导图时，如果尚未开始播放视频数据，则在人机交互界面中开启一个播放窗口，并在播放窗口中播放视频片段，可以在节约播放流量的同时实现知识点的精确学习；当显示思维导图时，如果已经在人机交互界面开启了播放窗口并播放视频数据，则在播放窗口中将视频数据的当前播放进度移动至对应第一知识点的视频片段，即跳转到对应的时间段的起始时间，可以在观看视频数据的过程中随时根据用户的需求进行快进或者倒带，从而在学习过程中灵活满足用户的学习需求；当显示思维导图时，如果已经在人机交互界面开启了播放窗口并播放视频数据，则在播放窗口中继续以静音模式播放视频数据或暂停播放视频数据，并在新开启的播放窗口中播放对应第一知识点的视频片段。
作为示例，参见图5C，图5C是本申请实施例提供的视频中知识点的处理方法的显示界面图，人机交互界面501C中显示思维导图502C，此时尚未开始播放视频数据，例如，人机交互界面中同时显示有视频数据的播放控件，触发后才会播放视频数据，响应于针对思维导图502C中节点503C的触发操作，在人机交互界面501C中开启一个播放窗口504C，并在播放窗口504C中播放视频片段。
作为示例，参见图5D，图5D是本申请实施例提供的视频中知识点的处理方法的显示界面图，人机交互界面501D中显示思维导图502D，人机交互界面 501D中已经开始开启了播放窗口503D并播放视频数据，响应于针对思维导图 502D中节点504D的触发操作，在播放窗口中将视频数据的当前播放进度移动至对应“牛顿第一定律”的视频片段，即跳转到对应的时间段的起始时间。
作为示例，参见图5E，图5E是本申请实施例提供的视频中知识点的处理方法的显示界面图，人机交互界面501E中显示思维导图502E，人机交互界面 501E中已经开始开启了播放窗口503E并播放视频数据，响应于针对思维导图 502E中节点504E的触发操作，在播放窗口503E中继续以静音模式播放视频数据或暂停播放视频数据，并在新开启的播放窗口505E中播放对应“牛顿第一定律”的视频片段。
在一些实施例中，参见图3B，图3B是本申请实施例提供的视频中知识点的处理方法的流程示意图，下面将结合图3B示出的步骤1011至步骤1012进行说明。步骤101中在人机交互界面中显示视频数据对应的思维导图，可以通过以下步骤1011至步骤1012实现：在步骤1011中，当视频数据是预先录制形成的视频文件时，显示视频数据中介绍的全部知识点对应的思维导图并对思维导图进行静态完整显示；在步骤1012中，当视频数据是直播间的数据流时，显示视频数据中已经介绍的知识点对应的节点，并在视频数据的播放过程中，根据视频数据的播放进度在思维导图中实时增加新介绍的知识点，直至直播间播放结束。本申请实施例通过动态显示思维导图，可以保证用户观看直播视频数据的时候也可以获取到思维导图，提高用户的学习效率。
作为示例，当视频数据是预先录制形成的视频文件时，显示视频数据中介绍的全部知识点对应的思维导图并对思维导图进行静态完整显示，例如，显示图8所示出的思维导图，参见图5F，图5F是本申请实施例提供的视频中知识点的处理方法的显示界面图，当视频数据是直播间的数据流时，人机交互界面 501F中显示思维导图502F，人机交互界面501F中已经开始开启了播放窗口5 03F并播放视频数据，思维导图502F中显示视频数据中已经介绍的知识点对应的节点504F，并在视频数据的播放过程中，根据视频数据的播放进度在思维导图中实时增加新介绍的知识点对应的节点505F，直至直播间播放结束。
在一些实施例中，参见图3C，图3C是本申请实施例提供的视频中知识点的处理方法的流程示意图，下面将结合图3C示出的步骤1021至步骤1023进行说明。步骤102中播放视频数据中对应第一知识点的视频片段，可以通过以下步骤1021至步骤1023实现：在步骤1021中，当思维导图中不存在依赖于或者包括于第一知识点的知识点时，仅播放对应第一知识点的视频片段；在步骤 1022中，当思维导图中存在包括于第一知识点的至少一个第二知识点时，播放至少一个第二知识点的视频片段；在步骤1023中，当思维导图中存在依赖于第一知识点的至少一个第二知识点时，播放第一知识点的视频片段以及至少一个第二知识点的视频片段。通过本申请实施例视频片段播放方式可以对第一知识点实现精确以及全面的介绍，从而有效提高视频片段的播放效率。
作为示例，当思维导图中不存在依赖于或者包括于第一知识点的知识点时，表征第一知识点的节点是思维导图的底层节点，仅播放对应第一知识点的视频片段，当思维导图中存在包括于第一知识点的至少一个第二知识点时，表征第一知识点的节点不是思维导图的底层节点，即第一知识点的节点存在子节点，且第一知识点包括第二知识点，例如，第一知识点是“牛顿第一定律”，第二知识点是“牛顿第一定律的公式”，播放至少一个第二知识点的视频片段，当思维导图中存在依赖于第一知识点的至少一个第二知识点时，表征第一知识点的节点不是思维导图的底层节点，即第一知识点的节点存在子节点，且第二知识点依赖于第一知识点，例如，第一知识点是“牛顿第一定律”，第二知识点是“惯性系”，“惯性系”这个概念是基于“牛顿第一定律”得到的，播放第一知识点的视频片段以及至少一个第二知识点的视频片段。
在一些实施例中，上述播放至少一个第二知识点的视频片段，可以通过以下技术方案实现：当至少一个第二知识点的数目为多个时，对多个第二知识点进行基于属性信息的降序排序处理，播放降序排序结果中排序在头部的至少一个第二知识点；按照多个第二知识点在视频数据中的时间先后顺序，播放与多个第二知识点一一对应的视频片段；或者，按照多个第二知识点的逻辑顺序，播放与多个第二知识点一一对应的视频片段。基于时间顺序的播放方式可以有效提高播放效率，基于逻辑顺序的播放方式可以有效提高介绍知识点的逻辑性，提高用户的学习效率以及学习效果。
在一些实施例中，从知识点数据库中获取待学习的候选知识点，知识点数据库中不仅存储了步骤101中思维导图所包括的知识点，还包括其他视频数据所介绍的知识点，且知识点数据库中的知识点均具有对应的视频片段，从知识点数据库中获取待学习的候选知识点的具体过程如下：对数据库中的每个知识点进行特征提取处理，得到知识点特征，并对历史学习记录进行特征提取处理，得到历史学习特征，将历史学习特征与知识点特征进行匹配，得到每个知识点的匹配度，将匹配度排序靠前的多个知识点作为学习清单，并根据学习清单中的知识点播放对应的视频片段。
在一些实施例中，从视频片段数据库中获取待学习的候选视频片段，视频片段数据库中不仅存储了步骤101中思维导图所包括的知识点的视频片段，还包括其他视频片段，从视频片段数据库中获取待学习的候选视频片段的具体过程如下：对数据库中的每个视频片段进行特征提取处理，得到视频片段特征，并对历史学习记录进行特征提取处理，得到历史学习特征，将历史学习特征与视频片段特征进行匹配，得到每个视频片段的匹配度，将匹配度排序靠前的多个视频片段作为待学习的候选视频片段。
在一些实施例中，步骤101中在人机交互界面中显示视频数据对应的思维导图之前，对视频数据进行语音识别处理，得到对应视频数据的目标文本；对目标文本进行文本分割处理，得到多个文本片段，其中，每个文本片段用于介绍一个知识点，且每个知识点对应至少一个文本片段；对视频数据的语音文件进行语音分割处理，得到多个音频片段；根据对应每个知识点的文本片段以及多个音频片段，对视频数据进行分割处理，得到对应每个知识点的视频片段；对多个文本片段进行主题提取处理，得到每个知识点的主题，并基于每个知识点的主题，确定对应视频数据的思维导图。通过上述视频片段的生成方式以及思维导图的生成方式，可以有效提高思维导图的准确度以及视频片段与知识点对应的准确度。
作为示例，参见图7，视频-文本互反馈模型首先使用python moviepy包从上传的教学视频中分离出音频流；使用python librosa读取音频流，使用基于动态时间规整算法训练得到的语音识别算法得到音频对应的文本；通过基于注意力的神经文本分割模型，将文本分割为知识点文本片段，并根据该分段情况对原有视频进行分割，得到知识点视频片段；根据文本分割得到的知识点文本片段进行文本主题提取出各知识点的主题，并通过联合球形树和文本进行层次主题挖掘以形成思维导图；思维导图节点被触发后可以跳转到知识点对应的视频片段。
在一些实施例中，上述对视频数据的语音文件进行语音分割处理，得到多个音频片段，可以通过以下技术方案实现：获取包括语音文件中多个间断点的队列；针对首个间断点执行以下处理：获取间断点的间断时长、当前间断阈值以及间断点的左侧语句的长度，并间断时长、长度、语句长度阈值、当前间断阈值，确定间断点的分割指数；当分割指数大于分割指数阈值时，基于间断点对语音文件进行分割处理，得到对应间断点的音频片段；当分割指数大于分割指数阈值时，将首个间断点从队列移除，并基于间断时长更新当前间断阈值。
作为示例，为了将文本分割反馈同步到视频分割，首先对语音进行断句处理，得到多个语句语音。在得到多个语句语音之后，可将文本分割得到文本片段中的语句匹配到多个语句语音中，从而完成对视频的分割，得到知识点视频片段。断句处理的具体实现过程如下：计算间断阈初始值
其中，T为视频语音总时长，N为视频语音中包含的字数，该初始值的实际含义为一个字符与一个间隔的和的平均值，语句长度阈值被设置为[ll＝8,lh＝25](考虑到讲课时单句话长度不会太长)；设置分割指数阈值为1；从左至右判断每个间断点，当间断点的间断时长为t时，分割得到的左侧语句长度为l，根据公式(1)计算间断点的分割指数：
其中，修正参数m，n，k是经过长短期记忆模型训练得到，若分割指数j 大于分割指数阈值，则基于间断点进行分割，更新间断阈值
循环以上步骤直至完成分割。
在一些实施例中，上述根据对应每个知识点的文本片段以及多个音频片段，对视频数据进行分割处理，得到对应每个知识点的视频片段，可以通过以下技术方案实现：获取每个音频片段对应的文本语句；针对每个文本片段执行以下处理：获取对应文本片段的至少一个文本语句；当文本语句的数目为一个时，将文本语句对应的音频片段确定为与文本片段匹配的音频片段；当文本语句的数目为多个时，将与多个文本语句一一对应的音频片段进行拼接处理，并将拼接结果作为与文本片段匹配的音频片段；基于对应每个文本片段的音频片段的时间戳，对视频数据进行分割处理，得到对应每个知识点的视频片段。通过本申请实施例可以提高视频数据的分割准确度。
作为示例，例如存在100个音频片段，获取每个音频片段对应的文本语句，获取100个文本语句，这里的文本语句是一句话，例如，针对文本片段A(对应知识点A)执行以下处理：获取对应文本片段的8个文本语句，将与8个文本语句一一对应的8个音频片段进行拼接处理，并将拼接结果作为与文本片段匹配的音频片段，基于8个音频片段的拼接结果对应的时间戳，对视频数据进行分割处理，得到对应知识点A的视频片段。
参见图4，图4是本申请实施例提供的视频处理方法的流程示意图，将结合图4示出的步骤201至205进行说明。
在步骤201中，对视频数据进行语音识别处理，得到对应视频数据的目标文本。
在步骤202中，对目标文本进行文本分割处理，得到多个文本片段，其中，每个文本片段用于介绍一个知识点，且每个知识点对应至少一个文本片段。
在步骤203中，对视频数据的语音文件进行语音分割处理，得到多个音频片段。
在步骤204中，根据对应每个知识点的文本片段以及多个音频片段，对视频数据进行分割处理，得到对应每个知识点的视频片段。
在步骤205中，对多个文本片段进行主题提取处理，得到每个知识点的主题，并基于每个知识点的主题，确定对应视频数据的思维导图。
作为示例，思维导图包括在视频数据中介绍的多个知识点。
通过上述视频片段的生成方式以及思维导图的生成方式，可以有效提高思维导图的准确度以及视频片段与知识点对应的准确度。本申请实施例提供的视频处理方法中步骤201-步骤205的实施方式可以参考本申请实施例提供的视频中知识点的处理方法的实施例。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
在一些实施例中，本申请实施提供的视频中知识点的处理方法可以应用于教育客户端，响应于教师在教师终端的教育客户端上执行视频数据上传操作，教师终端的教育客户端接收视频数据，并将视频数据发送至服务器，服务器将视频数据以思维导图发送至教师终端和学生终端，在学生终端的人机交互界面中播放视频数据，并在人机交互界面中显示视频数据对应的思维导图，思维导图包括在视频数据中介绍的多个知识点，响应于针对思维导图中的第一知识点的触发操作，学生终端接收触发操作数据，将触发操作数据发送至服务器，服务器根据触发操作数据获取视频片段的控制播放数据，并将对应视频片段的控制播放数据发送至学生终端，在学生终端中播放视频数据中对应第一知识点的视频片段。
参见图6，图6是本申请实施例提供的视频中知识点的处理系统的前后端示意图，教师终端接收教师上传的视频数据，得到录制教学视频，或者教师终端接收教师上传的视频数据，并经由服务器发送至学生终端进行在线直播教学，教师终端还可以根据教师的人物图像生成虚拟形象，从而得到以虚拟形象作为教师的录制教学视频以及以虚拟形象作为教师的直播教学视频。
在一些实施例中，继续参见图6，对录制教学视频和/或基于直播教学视频得到的回放视频发送至服务器，以进行清晰化与降噪处理，将经过清晰化以及降噪处理的干净视频中的音频数据分离出来，并对音频数据进行语音识别处理，得到对应的视频文本。对识别得到的视频文本进行文本主题提取(将文本分割为知识点文本片段，并对知识点文本片段进行文本主题提取处理，得到各知识点的主题)，根据主题生成思维导图。对识别得到的视频文本进行文本解析，得到课程笔记。对音频数据进行断句处理，得到对应的语句音频(对应有语句文本)，将文本片段中的语句匹配到语句音频中，从而得到对应文本片段的至少一个语句音频，并根据语句音频每完成视频分割，得到对应文本片段的知识点视频片段，从而方便快速地定位学习内容。将知识点视频片段存储至短视频知识库。
在一些实施例中，继续参见图6，学生终端可以离线播放完整的教学视频，学生终端还可以播放直播的教学视频，学生终端还可以从服务器获取思维导图以及课程笔记，响应于思维导图中的知识点的节点被触发，学生终端获取对应知识点的视频片段，并播放视频片段，从而学生可以观看对应知识点的讲解，学生终端还可以根据学习记录智能规划学习清单，并基于学习清单中的知识点智能推荐对应知识点的短视频，短视频来自于服务器，且智能推荐短视频的过程是根据学生的观看偏好和搜索记录得到的。
在一些实施例中，本申请实施例提供的视频中知识点的处理方法可以提供课前快速预览的功能，通过视频-文本互反馈模型生成视频对应的思维导图，课前可以显示思维导图供用户预览，从而用户预先学习课程主要涉及的知识点。本申请实施例提供的视频中知识点的处理方法可以提供课中快速理解的功能，视频-文本互反馈模型基于文本分割将视频按知识点进行分割，播放教学视频时，播放每个视频片段时都会标注出对应的知识点，并显示思维导图，从而学生可以更加专注高效地学习知识点。本申请实施例提供的视频中知识点的处理方法可以提供课后高效复习的功能，课后复习时，能够根据知识点精准定位到对应的视频片段，减少检索寻找时间。本申请实施例提供的视频中知识点的处理方法可以提供日常自主学习的功能，不需要观看整个视频，而只是针对某个需要学习的知识点进行细粒度的精确学习；当利用碎片化时间学习时，经常导致对知识点的前后关联内容不甚清楚，因此对知识点进行分割后，可以根据知识点进行片段学习，同时也可以根据思维导图快速回顾之前所学的知识点内容。
在一些实施例中，参见图7，视频-文本互反馈模型首先使用python movie py包从上传的教学视频中分离出音频流；使用python librosa读取音频流，使用基于动态时间规整算法训练得到的语音识别算法得到音频对应的文本；通过基于注意力的神经文本分割模型，将文本分割为知识点文本片段，并根据该分段情况对原有视频进行分割，得到知识点视频片段；根据文本分割得到的知识点文本片段进行文本主题提取出各知识点的主题，并通过联合球形树和文本进行层次主题挖掘以形成思维导图；思维导图节点被触发后可以跳转到知识点对应的视频片段。
在一些实施例中，为了将文本分割反馈同步到视频分割，首先对语音进行断句处理，得到多个语句语音。在得到多个语句语音之后，可将文本分割得到文本片段中的语句匹配到多个语句语音中，从而完成对视频的分割，得到知识点视频片段。断句处理的具体实现过程如下：计算间断阈初始值
其中， T为视频语音总时长，N为视频语音中包含的字数，该初始值的实际含义为一个字符与一个间隔的和的平均值，语句长度阈值被设置为[ll＝8,lh＝25](考虑到讲课时单句话长度不会太长)；设置分割指数阈值为1；从左至右判断每个间断点，当间断点的间断时长为t时，分割得到的左侧语句长度为l，根据公式 (1)计算间断点的分割指数：
其中，修正参数m，n，k是经过长短期记忆模型训练得到，若分割指数j 大于分割指数阈值，则基于间断点进行分割，更新间断阈值
循环以上步骤直至完成分割。
在一些实施例中，基于文本主题形成思维导图时，为保证思维导图结构的准确性，除明显的或者视频语音中明确指出的层级关系外，均展示为视频标题下的一级分支。
本申请实施例引入碎片化学习模式，视频-文本互反馈模型基于文本分割结果将视频按知识点进行分割，从而使用户可以根据知识点进行精准学习；本申请实施例可以使用户观看视频前就看到基于文本主题提取生成的知识思维导图，能够提前概览课程知识体系；本申请实施例可以基于文本分割将视频按知识点进行分割，从而使用户可以根据知识点进行精准学习；本申请实施例分割得到的短视频本身就来自于一个整体课程，且配有对应的思维导图，以提高学习效率；而本本申请实施例无论是对于学习之前根据知识点筛选需要学习的重点，还是学习后进行精准复习，都能够根据知识点精准定位到对应的视频片段，减少检索寻找时间，都提供了很好的支持。
可以理解的是，在本申请实施例中，涉及到用户信息等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面继续说明本申请实施例提供的视频中知识点的处理装置455-1的实施为软件模块的示例性结构。在一些实施例中，如图2所示，存储在存储器450 的视频中知识点的处理装置455-1中的软件模块可以包括：显示模块4551，用于在人机交互界面中显示视频数据对应的思维导图；其中，思维导图包括在视频数据中介绍的多个知识点；播放模块4552，用于响应于针对思维导图中的第一知识点的触发操作，播放视频数据中对应第一知识点的视频片段。
在一些实施例中，显示模块4551，还用于：显示与多个知识点一一对应的多个节点、以及多个节点之间的连接线，其中，连接线表征所连接的两个知识点之间的逻辑关系。
在一些实施例中，每个知识点对应的节点包括节点图形元素以及属性信息至少之一：知识点的主题，主题包括对应知识点的关键词；知识点的摘要，摘要包括对应知识点的介绍信息；知识点的时间段，时间段包括介绍知识点的视频片段在视频数据中的起始时间和结束时间；知识点的重要程度；知识点的掌握程度。
在一些实施例中，显示模块4551，还用于：对每个节点的不同的属性信息应用不同的显示样式；其中，当属性信息包括知识点的重要程度时，属性信息的显示样式的显著程度与知识点的重要程度正相关；当属性信息包括知识点的掌握程度时，属性信息的显示样式的显著程度与知识点的掌握程度负相关。
在一些实施例中，装置还包括计算模块4553，用于：从历史学习记录中获取历史学习数据，并从视频数据的历史播放记录中获取历史播放数据；通过第一神经网络模型执行以下处理：从历史学习数据中提取历史学习特征，并从历史播放数据中提取历史播放特征；对历史学习特征以及历史播放特征进行融合处理，得到融合特征；基于融合特征预测知识点在思维导图中的重要程度以及知识点的掌握程度。
在一些实施例中，当在人机交互界面中显示视频数据对应的思维导图时，显示模块4551，还用于：显示提示信息，其中，提示信息用于提示针对至少一个推荐知识点执行触发操作，推荐知识点是思维导图中符合当前学习需求的知识点。
在一些实施例中，计算模块4553，还用于：从历史学习记录中获取历史学习数据；通过第二神经网络模型执行以下处理：从历史学习数据中提取历史学习特征，并基于历史学习特征预测思维导图中每个知识点与当前学习需求的匹配程度；对思维导图中的多个知识点进行基于匹配程度的降序排序处理，并将排序靠前的至少一个知识点确定为符合当前学习需求的推荐知识点。
在一些实施例中，在人机交互界面中显示视频数据对应的思维导图之前，显示模块4551，还用于：显示思维导图入口，响应于针对思维导图入口的触发操作，确定转入在人机交互界面中显示视频数据对应的思维导图的处理；或者响应于满足思维导图的自动触发条件，确定转入在人机交互界面中显示视频数据对应的思维导图的处理。
在一些实施例中，在响应于满足思维导图的自动触发条件，确定转入在人机交互界面中显示视频数据对应的思维导图的处理之前，计算模块4553，还用于：获取决策参考数据，其中，决策参考数据包括以下至少之一：历史学习记录、视频数据的历史播放记录、视频数据的当前播放记录；调用第三神经网络模型执行以下处理：从决策参考数据中提取决策参考特征，并基于决策参考特征预测针对思维导图的需求程度；当需求程度大于需求程度阈值时，确定满足思维导图的自动触发条件。
在一些实施例中，在响应于满足思维导图的自动触发条件，确定转入在人机交互界面中显示视频数据对应的思维导图的处理之前，计算模块4553，还用于：从历史学习记录中获取在每次显示思维导图的历史时刻，并提取历史时刻的历史播放特征；获取视频数据的当前播放记录，并提取播放数据的当前播放特征；在当前播放特征与历史播放特征的相似度大于相似度阈值时，确定满足思维导图的自动触发条件。
在一些实施例中，思维导图的自动触发条件包括以下至少之一：在历史学习记录中不存在视频数据的播放记录；视频数据的当前播放时间与上次播放时间的时间间隔大于时间间隔阈值；思维导图包括在历史学习记录中不存在的知识点。
在一些实施例中，播放模块4552，还用于：执行以下任意一种：当显示思维导图时，如果尚未开始播放视频数据，则在人机交互界面中开启一个播放窗口，并在播放窗口中播放视频片段；当显示思维导图时，如果已经在人机交互界面开启了播放窗口并播放视频数据，则在播放窗口中将视频数据的当前播放进度移动至对应第一知识点的视频片段；当显示思维导图时，如果已经在人机交互界面开启了播放窗口并播放视频数据，则在播放窗口中继续以静音模式播放视频数据或暂停播放视频数据，并在新开启的播放窗口中播放对应第一知识点的视频片段。
在一些实施例中，显示模块4551，还用于：当视频数据是预先录制形成的视频文件时，显示视频数据中介绍的全部知识点对应的思维导图并对思维导图进行静态完整显示；当视频数据是直播间的数据流时，显示视频数据中已经介绍的知识点对应的节点，并在视频数据的播放过程中，根据视频数据的播放进度在思维导图中实时增加新介绍的知识点，直至直播间播放结束。
在一些实施例中，播放模块4552，还用于：当思维导图中不存在依赖于或者包括于第一知识点的知识点时，仅播放对应第一知识点的视频片段；当思维导图中存在包括于第一知识点的至少一个第二知识点时，播放至少一个第二知识点的视频片段；当思维导图中存在依赖于第一知识点的至少一个第二知识点时，播放第一知识点的视频片段以及至少一个第二知识点的视频片段。
在一些实施例中，播放模块4552，还用于：当至少一个第二知识点的数目为多个时，对多个第二知识点进行基于属性信息的降序排序处理，播放降序排序结果中排序在头部的至少一个第二知识点；按照多个第二知识点在视频数据中的时间先后顺序，播放与多个第二知识点一一对应的视频片段；或者，按照多个第二知识点的逻辑顺序，播放与多个第二知识点一一对应的视频片段。
在一些实施例中，装置还包括：语音模块4554、分割模块4555以及导图模块4556，语音模块4554，还用于：在人机交互界面中显示视频数据对应的思维导图之前，对视频数据进行语音识别处理，得到对应视频数据的目标文本；分割模块4555，还用于：对目标文本进行文本分割处理，得到多个文本片段，其中，每个文本片段用于介绍一个知识点，且每个知识点对应至少一个文本片段；分割模块4555，还用于：对视频数据的语音文件进行语音分割处理，得到多个音频片段；分割模块4555，还用于：根据对应每个知识点的文本片段以及多个音频片段，对视频数据进行分割处理，得到对应每个知识点的视频片段；导图模块4556，还用于对多个文本片段进行主题提取处理，得到每个知识点的主题，并基于每个知识点的主题，确定对应视频数据的思维导图。
在一些实施例中，分割模块4555，还用于：获取包括语音文件中多个间断点的队列；针对首个间断点执行以下处理：获取间断点的间断时长、当前间断阈值以及间断点的左侧语句的长度，并间断时长、长度、语句长度阈值、当前间断阈值，确定间断点的分割指数；当分割指数大于分割指数阈值时，基于间断点对语音文件进行分割处理，得到对应间断点的音频片段；当分割指数大于分割指数阈值时，将首个间断点从队列移除，并基于间断时长更新当前间断阈值。
在一些实施例中，分割模块4555，还用于：获取每个音频片段对应的文本语句；针对每个文本片段执行以下处理：获取对应文本片段的至少一个文本语句；当文本语句的数目为一个时，将文本语句对应的音频片段确定为与文本片段匹配的音频片段；当文本语句的数目为多个时，将与多个文本语句一一对应的音频片段进行拼接处理，并将拼接结果作为与文本片段匹配的音频片段；基于对应每个文本片段的音频片段的时间戳，对视频数据进行分割处理，得到对应每个知识点的视频片段。
下面继续说明本申请实施例提供的视频处理装置455-2的实施为软件模块的示例性结构。在一些实施例中，如图2所示，存储在存储器450的视频中知识点的处理装置455-2中的软件模块可以包括：语音模块4554，用于对视频数据进行语音识别处理，得到对应视频数据的目标文本；分割模块4555，用于对目标文本进行文本分割处理，得到多个文本片段，其中，每个文本片段用于介绍一个知识点，且每个知识点对应至少一个文本片段；分割模块4555，还用于对视频数据的语音文件进行语音分割处理，得到多个音频片段；分割模块4555，还用于根据对应每个知识点的文本片段以及多个音频片段，对视频数据进行分割处理，得到对应每个知识点的视频片段；导图模块4556，用于对多个文本片段进行主题提取处理，得到每个知识点的主题，并基于每个知识点的主题，确定对应视频数据的思维导图；其中，思维导图包括在视频数据中介绍的多个知识点。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的视频中知识点的处理方法或者视频处理方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将被处理器执行本申请实施例提供的视频中知识点的处理方法或者视频处理方法，例如，如图3A-3C示出的视频中知识点的处理方法，如图4示出的视频处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例在人机交互界面中显示视频数据对应的思维导图，思维导图包括在视频数据中介绍的多个知识点，从而能够为用户提供视频涉及到的整体知识体系概览，既可以实现视频中知识点的高效展示，还可以支持用户对视频进行全面学习，响应于针对思维导图中的第一知识点的触发操作，播放视频数据中对应第一知识点的视频片段，实现用户与知识点之间的高效交互，从而支持用户实现碎片化且有针对性的学习，以提高学习效率。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (24)
1.一种视频中知识点的处理方法，其特征在于，所述方法包括：
在人机交互界面中显示视频数据对应的思维导图；
其中，所述思维导图包括在所述视频数据中介绍的多个知识点；
响应于针对所述思维导图中的第一知识点的触发操作，播放所述视频数据中对应所述第一知识点的视频片段。
2.根据权利要求1所述的方法，其特征在于，所述在人机交互界面中显示视频数据对应的思维导图，包括：
显示与多个所述知识点一一对应的多个节点、以及所述多个节点之间的连接线，其中，所述连接线表征所连接的两个所述知识点之间的逻辑关系。
3.根据权利要求2所述的方法，其特征在于，每个所述知识点对应的节点包括节点图形元素以及属性信息至少之一：
所述知识点的主题，所述主题包括对应所述知识点的关键词；
所述知识点的摘要，所述摘要包括对应所述知识点的介绍信息；
所述知识点的时间段，所述时间段包括介绍所述知识点的视频片段在所述视频数据中的起始时间和结束时间；
所述知识点的重要程度。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对每个所述节点的不同的所述属性信息应用不同的显示样式；
其中，当所述属性信息包括所述知识点的重要程度时，所述属性信息的显示样式的显著程度与所述知识点的重要程度正相关；当所述属性信息包括所述知识点的掌握程度时，所述属性信息的显示样式的显著程度与所述知识点的掌握程度负相关。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
从历史学习记录中获取历史学习数据，并从所述视频数据的历史播放记录中获取历史播放数据；
通过第一神经网络模型执行以下处理：
从所述历史学习数据中提取历史学习特征，并从所述历史播放数据中提取历史播放特征；
对所述历史学习特征以及所述历史播放特征进行融合处理，得到融合特征；
基于所述融合特征预测所述知识点在所述思维导图中的重要程度以及所述知识点的掌握程度。
6.根据权利要求1所述的方法，其特征在于，当在人机交互界面中显示视频数据对应的思维导图时，所述方法还包括：
显示提示信息，其中，所述提示信息用于提示针对至少一个推荐知识点执行触发操作，所述推荐知识点是所述思维导图中符合当前学习需求的知识点。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
从历史学习记录中获取历史学习数据；
通过第二神经网络模型执行以下处理：从所述历史学习数据中提取历史学习特征，并基于所述历史学习特征预测所述思维导图中每个所述知识点与所述当前学习需求的匹配程度；
对所述思维导图中的多个知识点进行基于所述匹配程度的降序排序处理，并将排序靠前的至少一个所述知识点确定为符合所述当前学习需求的推荐知识点。
8.根据权利要求1所述的方法，其特征在于，在人机交互界面中显示视频数据对应的思维导图之前，所述方法还包括：
显示思维导图入口，响应于针对所述思维导图入口的触发操作，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理；或者
响应于满足所述思维导图的自动触发条件，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理。
9.根据权利要求8所述的方法，其特征在于，在响应于满足所述思维导图的自动触发条件，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理之前，所述方法还包括：
获取决策参考数据，其中，所述决策参考数据包括以下至少之一：历史学习记录、所述视频数据的历史播放记录、所述视频数据的当前播放记录；
调用第三神经网络模型执行以下处理：从所述决策参考数据中提取决策参考特征，并基于所述决策参考特征预测针对所述思维导图的需求程度；
当所述需求程度大于需求程度阈值时，确定满足所述思维导图的自动触发条件。
10.根据权利要求8所述的方法，其特征在于，在响应于满足所述思维导图的自动触发条件，确定转入在所述人机交互界面中显示所述视频数据对应的思维导图的处理之前，所述方法还包括：
从历史学习记录中获取在每次显示所述思维导图的历史时刻，并提取所述历史时刻的历史播放特征；
获取所述视频数据的当前播放记录，并提取所述播放数据的当前播放特征；
当所述当前播放特征与所述历史播放特征的相似度大于相似度阈值时，确定满足所述思维导图的自动触发条件。
11.根据权利要求8所述的方法，其特征在于，所述思维导图的自动触发条件包括以下至少之一：
在历史学习记录中不存在所述视频数据的播放记录；
所述视频数据的当前播放时间与上次播放时间的时间间隔大于时间间隔阈值；
所述思维导图包括在历史学习记录中不存在的知识点。
12.根据权利要求1所述的方法，其特征在于，所述播放所述视频数据中对应所述第一知识点的视频片段，包括：
执行以下任意一种：
当显示所述思维导图时，如果尚未开始播放所述视频数据，则在所述人机交互界面中开启一个播放窗口，并在所述播放窗口中播放所述视频片段；
当显示所述思维导图时，如果已经在所述人机交互界面开启了播放窗口并播放所述视频数据，则在所述播放窗口中将所述视频数据的当前播放进度移动至对应所述第一知识点的视频片段；
当显示所述思维导图时，如果已经在所述人机交互界面开启了播放窗口并播放所述视频数据，则在所述播放窗口中继续以静音模式播放所述视频数据或暂停播放所述视频数据，并在新开启的播放窗口中播放对应所述第一知识点的视频片段。
13.根据权利要求1所述的方法，其特征在于，所述在人机交互界面中显示视频数据对应的思维导图，包括：
当所述视频数据是预先录制形成的视频文件时，显示所述视频数据中介绍的全部知识点对应的思维导图并对所述思维导图进行静态完整显示；
当所述视频数据是直播间的数据流时，显示所述视频数据中已经介绍的知识点对应的节点，并在所述视频数据的播放过程中，根据所述视频数据的播放进度在所述思维导图中实时增加新介绍的知识点，直至所述直播间播放结束。
14.根据权利要求1所述的方法，其特征在于，所述播放所述视频数据中对应所述第一知识点的视频片段，包括：
当所述思维导图中不存在依赖于或者包括于所述第一知识点的知识点时，仅播放对应所述第一知识点的视频片段；
当所述思维导图中存在包括于所述第一知识点的至少一个第二知识点时，播放所述至少一个第二知识点的视频片段；
当所述思维导图中存在依赖于所述第一知识点的至少一个第二知识点时，播放所述第一知识点的视频片段以及所述至少一个第二知识点的视频片段。
15.根据权利要求14所述的方法，其特征在于，所述播放所述至少一个第二知识点的视频片段，包括：
当至少一个第二知识点的数目为多个时，对多个第二知识点进行基于属性信息的降序排序处理，播放降序排序结果中排序在头部的至少一个第二知识点；
按照多个所述第二知识点在所述视频数据中的时间先后顺序，播放与多个所述第二知识点一一对应的视频片段；或者，按照多个所述第二知识点的逻辑顺序，播放与多个所述第二知识点一一对应的视频片段。
16.根据权利要求1所述的方法，其特征在于，在人机交互界面中显示视频数据对应的思维导图之前，所述方法还包括：
对视频数据进行语音识别处理，得到对应所述视频数据的目标文本；
对所述目标文本进行文本分割处理，得到多个文本片段，其中，每个所述文本片段用于介绍一个知识点，且每个所述知识点对应至少一个所述文本片段；
对所述视频数据的语音文件进行语音分割处理，得到多个音频片段；
根据对应每个所述知识点的文本片段以及所述多个音频片段，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段；
对所述多个文本片段进行主题提取处理，得到每个所述知识点的主题，并基于每个所述知识点的主题，确定对应所述视频数据的思维导图。
17.根据权利要求16所述的方法，其特征在于，所述对所述视频数据的语音文件进行语音分割处理，得到多个音频片段，包括：
获取包括所述语音文件中多个所述间断点的队列；
针对首个所述间断点执行以下处理：
获取所述间断点的间断时长、当前间断阈值以及所述间断点的左侧语句的长度，并所述间断时长、所述长度、所述语句长度阈值、所述当前间断阈值，确定所述间断点的分割指数；当所述分割指数大于分割指数阈值时，基于所述间断点对所述语音文件进行分割处理，得到对应所述间断点的音频片段；
所述方法还包括：
当所述分割指数大于所述分割指数阈值时，将首个所述间断点从所述队列移除，并基于所述间断时长更新所述当前间断阈值。
18.根据权利要求16所述的方法，其特征在于，所述根据对应每个所述知识点的文本片段以及所述多个音频片段，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段，包括：
获取每个所述音频片段对应的文本语句；
针对每个所述文本片段执行以下处理：获取对应所述文本片段的至少一个文本语句；当所述文本语句的数目为一个时，将所述文本语句对应的音频片段确定为与所述文本片段匹配的音频片段；当所述文本语句的数目为多个时，将与多个所述文本语句一一对应的音频片段进行拼接处理，并将拼接结果作为与所述文本片段匹配的音频片段；
基于对应每个所述文本片段的音频片段的时间戳，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段。
19.一种视频处理方法，其特征在于，所述方法包括：
对视频数据进行语音识别处理，得到对应所述视频数据的目标文本；
对所述目标文本进行文本分割处理，得到多个文本片段，其中，每个所述文本片段用于介绍一个知识点，且每个所述知识点对应至少一个所述文本片段；
对所述视频数据的语音文件进行语音分割处理，得到多个音频片段；
根据对应每个所述知识点的文本片段以及所述多个音频片段，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段；
对所述多个文本片段进行主题提取处理，得到每个所述知识点的主题，并基于每个所述知识点的主题，确定对应所述视频数据的思维导图；其中，所述思维导图包括在所述视频数据中介绍的多个知识点。
20.一种视频中知识点的处理装置，其特征在于，所述装置包括：
显示模块，用于在人机交互界面中显示视频数据对应的思维导图；其中，所述思维导图包括在所述视频数据中介绍的多个知识点；
播放模块，用于响应于针对所述思维导图中的第一知识点的触发操作，播放所述视频数据中对应所述第一知识点的视频片段。
21.一种视频处理装置，其特征在于，所述装置包括：
语音模块，用于对视频数据进行语音识别处理，得到对应所述视频数据的目标文本；
分割模块，用于对所述目标文本进行文本分割处理，得到多个文本片段，其中，每个所述文本片段用于介绍一个知识点，且每个所述知识点对应至少一个所述文本片段；
所述分割模块，还用于对所述视频数据的语音文件进行语音分割处理，得到多个音频片段；
所述分割模块，还用于根据对应每个所述知识点的文本片段以及所述多个音频片段，对所述视频数据进行分割处理，得到对应每个所述知识点的视频片段；
导图模块，用于对所述多个文本片段进行主题提取处理，得到每个所述知识点的主题，并基于每个所述知识点的主题，确定对应所述视频数据的思维导图；其中，所述思维导图包括在所述视频数据中介绍的多个知识点。
22.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至18任一项所述的视频中知识点的处理方法或权利要求19所述的视频处理方法。
23.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至18任一项所述的视频中知识点的处理方法或权利要求19所述的视频处理方法。
24.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至18任一项所述的视频中知识点的处理方法或权利要求19所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629123.8A CN114339285B (zh) | 2021-12-28 | 2021-12-28 | 知识点的处理方法、视频处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111629123.8A CN114339285B (zh) | 2021-12-28 | 2021-12-28 | 知识点的处理方法、视频处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114339285A true CN114339285A (zh) | 2022-04-12 |
| CN114339285B CN114339285B (zh) | 2024-04-23 |
Family
ID=81014399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111629123.8A Active CN114339285B (zh) | 2021-12-28 | 2021-12-28 | 知识点的处理方法、视频处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339285B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114979737A (zh) * | 2022-05-17 | 2022-08-30 | 西安超涌现科技有限公司 | 一种多模态协同显示的视频播放系统 |
| CN115037977A (zh) * | 2022-05-17 | 2022-09-09 | 西安猫兜灵智能科技有限公司 | 一种一体化的多模态视频快速摘注和派生系统 |
| CN115100911A (zh) * | 2022-08-03 | 2022-09-23 | 上海步步为营教育科技有限公司 | 一种可视化辅助学习方法及装置 |
| CN116320517A (zh) * | 2023-03-21 | 2023-06-23 | 北京网梯科技发展有限公司 | 一种学习轨迹合并方法、装置及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537902A (zh) * | 2014-12-04 | 2015-04-22 | 华中师范大学 | 一种多种资源展示的交互式教学导图系统 |
| CN104680859A (zh) * | 2015-02-13 | 2015-06-03 | 绵阳点悟教育科技有限公司 | 一种自主学习系统及检测方法 |
| KR20160014944A (ko) * | 2014-07-30 | 2016-02-12 | 문상훈 | 3차원 마인드맵 생성 장치 및 그 방법 |
| CN108470031A (zh) * | 2018-01-29 | 2018-08-31 | 华南师范大学 | 一种学科知识思维导图的展示方法及设备 |
| CN108647244A (zh) * | 2018-04-13 | 2018-10-12 | 广东技术师范学院 | 思维导图形式的主题教学资源集成方法、网络存储系统 |
| CN109829059A (zh) * | 2019-01-18 | 2019-05-31 | 平安科技（深圳）有限公司 | 推荐知识点的方法、装置、设备及存储介质 |
| KR102007987B1 (ko) * | 2018-02-23 | 2019-08-06 | 주식회사 지노테크 | 노트정리 및 정보공유용 마인드 맵 챗봇지원 서비스 플랫폼 및 그 구동방법 |
| CN111524206A (zh) * | 2020-03-23 | 2020-08-11 | 杨春成 | 一种生成思维导图的方法和装置 |
| CN112990142A (zh) * | 2021-04-30 | 2021-06-18 | 平安科技（深圳）有限公司 | 一种基于ocr的视频导图生成方法、装置、设备及存储介质 |
| CN113014985A (zh) * | 2019-12-19 | 2021-06-22 | 腾讯科技（深圳）有限公司 | 互动多媒体内容处理方法、装置、电子设备及存储介质 |
| CN113077670A (zh) * | 2021-03-30 | 2021-07-06 | 上海知到知识数字科技有限公司 | 一种交互式在线培训方法 |
-
2021
- 2021-12-28 CN CN202111629123.8A patent/CN114339285B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160014944A (ko) * | 2014-07-30 | 2016-02-12 | 문상훈 | 3차원 마인드맵 생성 장치 및 그 방법 |
| CN104537902A (zh) * | 2014-12-04 | 2015-04-22 | 华中师范大学 | 一种多种资源展示的交互式教学导图系统 |
| CN104680859A (zh) * | 2015-02-13 | 2015-06-03 | 绵阳点悟教育科技有限公司 | 一种自主学习系统及检测方法 |
| CN108470031A (zh) * | 2018-01-29 | 2018-08-31 | 华南师范大学 | 一种学科知识思维导图的展示方法及设备 |
| KR102007987B1 (ko) * | 2018-02-23 | 2019-08-06 | 주식회사 지노테크 | 노트정리 및 정보공유용 마인드 맵 챗봇지원 서비스 플랫폼 및 그 구동방법 |
| CN108647244A (zh) * | 2018-04-13 | 2018-10-12 | 广东技术师范学院 | 思维导图形式的主题教学资源集成方法、网络存储系统 |
| CN109829059A (zh) * | 2019-01-18 | 2019-05-31 | 平安科技（深圳）有限公司 | 推荐知识点的方法、装置、设备及存储介质 |
| CN113014985A (zh) * | 2019-12-19 | 2021-06-22 | 腾讯科技（深圳）有限公司 | 互动多媒体内容处理方法、装置、电子设备及存储介质 |
| CN111524206A (zh) * | 2020-03-23 | 2020-08-11 | 杨春成 | 一种生成思维导图的方法和装置 |
| CN113077670A (zh) * | 2021-03-30 | 2021-07-06 | 上海知到知识数字科技有限公司 | 一种交互式在线培训方法 |
| CN112990142A (zh) * | 2021-04-30 | 2021-06-18 | 平安科技（深圳）有限公司 | 一种基于ocr的视频导图生成方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 孙莲;海尼木・夏木西;: "思维导图在《有机化学》教学中应用的探索", 广州化工, no. 08 * |
| 秦华;白青子;徐岩;吴鹏;钟子楠;: "基于作业思维导图的微课自助答疑系统的创建", 化工时刊, no. 12 * |
| 陈亚芍;宁清茹;: "思维导图在物理化学教学中的应用", 大学化学, no. 03 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114979737A (zh) * | 2022-05-17 | 2022-08-30 | 西安超涌现科技有限公司 | 一种多模态协同显示的视频播放系统 |
| CN115037977A (zh) * | 2022-05-17 | 2022-09-09 | 西安猫兜灵智能科技有限公司 | 一种一体化的多模态视频快速摘注和派生系统 |
| CN114979737B (zh) * | 2022-05-17 | 2024-03-19 | 西安超涌现科技有限公司 | 一种多模态协同显示的视频播放系统 |
| CN115037977B (zh) * | 2022-05-17 | 2024-07-09 | 西安猫兜灵智能科技有限公司 | 一种一体化的多模态视频快速摘注和派生系统 |
| CN115100911A (zh) * | 2022-08-03 | 2022-09-23 | 上海步步为营教育科技有限公司 | 一种可视化辅助学习方法及装置 |
| CN116320517A (zh) * | 2023-03-21 | 2023-06-23 | 北京网梯科技发展有限公司 | 一种学习轨迹合并方法、装置及电子设备 |
| CN116320517B (zh) * | 2023-03-21 | 2024-05-24 | 北京网梯科技发展有限公司 | 一种学习轨迹合并方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114339285B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110035330B (zh) | 基于在线教育的视频生成方法、系统、设备及存储介质 | |
| CN114339285B (zh) | 知识点的处理方法、视频处理方法、装置及电子设备 | |
| CN113709561B (zh) | 视频剪辑方法、装置、设备及存储介质 | |
| CN111930994A (zh) | 视频编辑的处理方法、装置、电子设备及存储介质 | |
| US20180130496A1 (en) | Method and system for auto-generation of sketch notes-based visual summary of multimedia content | |
| CN108292314B (zh) | 信息处理装置、信息处理方法和程序 | |
| CN115082602A (zh) | 生成数字人的方法、模型的训练方法、装置、设备和介质 | |
| CN114095749B (zh) | 推荐及直播界面展示方法、计算机存储介质、程序产品 | |
| US10089898B2 (en) | Information processing device, control method therefor, and computer program | |
| CN110569364A (zh) | 在线教学方法、装置、服务器及存储介质 | |
| CN114430490B (zh) | 直播问答及界面展示方法及计算机存储介质 | |
| CN113259763B (zh) | 教学视频处理方法、装置和电子设备 | |
| CN113254708A (zh) | 一种视频搜索方法、装置、计算机设备及存储介质 | |
| CN112230838A (zh) | 一种文章处理方法、装置、设备及计算机可读存储介质 | |
| CN113411674A (zh) | 视频的播放控制方法、装置、电子设备及存储介质 | |
| CN112131361A (zh) | 一种答题内容推送方法及装置 | |
| TWI575457B (zh) | 線上互動式三維多媒體編輯交流架構、編輯交流方法及其電腦可讀取媒體 | |
| CN111739358A (zh) | 一种教学文件的输出方法、装置及电子设备 | |
| CN113438492B (zh) | 直播中的题目生成方法、系统、计算机设备及存储介质 | |
| CN114707502A (zh) | 虚拟空间处理方法、装置、电子设备及计算机存储介质 | |
| CN110297965B (zh) | 课件页面的显示及页面集的构造方法、装置、设备和介质 | |
| CN111523343B (zh) | 阅读互动方法、装置、设备、服务器及存储介质 | |
| US12058410B2 (en) | Information play control method and apparatus, electronic device, computer-readable storage medium and computer program product | |
| CN116976354A (zh) | 情感分析方法、装置、设备及计算机可读存储介质 | |
| CN114913042A (zh) | 教学课件生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |