CN111738041A - 一种视频分割方法、装置、设备及介质 - Google Patents

一种视频分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN111738041A
CN111738041A CN201910943037.0A CN201910943037A CN111738041A CN 111738041 A CN111738041 A CN 111738041A CN 201910943037 A CN201910943037 A CN 201910943037A CN 111738041 A CN111738041 A CN 111738041A
Authority
CN
China
Prior art keywords
video
segmented
knowledge point
point data
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910943037.0A
Other languages
English (en)
Inventor
曾德政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910943037.0A priority Critical patent/CN111738041A/zh
Priority to US17/763,480 priority patent/US20220375225A1/en
Priority to PCT/CN2020/083473 priority patent/WO2021062990A1/zh
Publication of CN111738041A publication Critical patent/CN111738041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明实施例公开了一种视频分割方法、装置、设备及介质，所述方法包括：获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。本发明实施例提供的视频分割方法通过根据待分割视频中的知识点数据对待分割视频进行分割，简化了视频的分割过程，提高了视频的分割准确度。

Description

一种视频分割方法、装置、设备及介质
技术领域
本发明实施例涉及信息处理领域，尤其涉及一种视频分割方法、装置、设备及介质。
背景技术
随着移动互联网技术的快速发展，视频教学资源得到了极大的推动。数字化教学视频得到广大师生的青睐。现有的教学视频较长，一节课对应一个视频，一个视频包含多个知识点。因此，若需要查看视频中的某个知识点，需要将视频进行分割。
在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：当前的视频分割主要是根据指定帧、时长或者内容空白间隙进行视频切分。其中，指定帧或者时长的切分方式需人为操作且需事先观看全部视频内容，按照内容空白间隙切分的方式容易造成分割不准确，导致观看者理解困难。
发明内容
本发明实施例提供了一种视频分割方法、装置、设备及介质，以实现简化视频的分割过程，提高视频的分割准确度。
第一方面，本发明实施例提供了一种视频分割方法，包括：
获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；
根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。
第二方面，本发明实施例还提供了一种视频分割装置，包括：
知识点识别模块，用于获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；
视频分割模块，用于根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。
第三方面，本发明实施例还提供了一种计算机设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的视频分割方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的视频分割方法。
本发明实施例通过获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段，通过根据待分割视频中的知识点数据对待分割视频进行分割，简化了视频的分割过程，提高了视频的分割准确度。
附图说明
图1是本发明实施例一所提供的一种视频分割方法的流程图；
图2是本发明实施例二所提供的一种视频分割方法的流程图；
图3a是本发明实施例三所提供的一种视频分割方法的流程图；
图3b是本发明实施例三所提供的一种知识图谱构建的流程图；
图3c是本发明实施例三所提供的一种视频分割存储的流程示意图；
图4是本发明实施例四所提供的一种视频分割装置的结构示意图；
图5是本发明实施例五所提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一所提供的一种视频分割方法的流程图。本实施例可适用于对视频进行分割时的情形，尤其适用于对教学视频进行分割时的情形。该方法可以由视频分割装置执行，该视频分割装置可以采用软件和/或硬件的方式实现，例如，该视频分割装置可配置于计算机设备中。如图1所示，所述方法包括：
S110、获取待分割视频，确定知识点数据与待分割视频中视频帧之间的对应关系。
在本实施例中，待分割视频可以为教育教学视频，也可以为科普视频。获取待分割视频后，对待分割视频内容进行分析，提炼出视频的字幕内容、语音内容和/或视频帧中的文字内容，对识别出的上述内容进行整理后可以得到待分割视频中包含的知识点数据以及每个知识点数据对应的视频帧。
可选的，可以采用自然场景文本检测(Connectionist Text Proposal Network，CTPN)方法对视频帧中的文字区域进行定位，采用tessract工具进行图片中的文字识别，采用自动语音识别技术(Automatic Speech Recognition，ASP)识别视频中的语音内容。一个实施例中，可以通过对识别出的视频内容进行属性提取、关系提取和实体提取，形成结构化数据，确定待分割视频包含的知识点数据，以及知识点数据和视频帧之间的对应关系。
示例性的，假设对待分割视频进行内容提取和整理后，获得的知识点数据包括知识点A、知识点B和知识点C，则知识点数据和视频帧之间的对应关系可以为：知识点A对应的视频帧范围为1～20，知识点B对应的视频帧范围为21～50，知识点C对应的视频帧范围为51～90。
在本发明的另一种实施方式中，可以直接获取待分割视频对应的知识点数据。可选的，可以预先确定不同类型的视频对应的知识点数据，获取待分割视频后，根据待分割视频的类型获取待分割视频对应的知识点数据。可选的，若待分割视频为教育教学视频，则待分割视频的类型可以为待分割视频所属科目和/或章节。示例性的，假设待分割视频为初中数学教学视频，则可以获取初中数学科目对应的知识点数据作为待分割视频对应的知识点数据。
S120、根据对应关系对待分割视频进行分割，得到至少一个视频片段。
在本实施例中，可以根据知识点数据对应的视频帧数范围，将每个知识点数据对应的视频帧区间作为一个视频片段。示例性的，假设知识点A对应的视频帧范围为1～20，知识点B对应的视频帧范围为21～50，知识点C对应的视频帧范围为51～90，则可以将视频帧1～视频帧20对应的视频片段确定为视频片段1，将视频帧21～视频帧50对应的视频片段确定为视频片段2，将视频帧51～视频帧90对应的视频片段确定为视频片段。
考虑到直接根据知识点数据和视频帧之间的对应关系所划分的视频片段可能不够准确，还可以通过边界检测方法对上述对应关系进行校正，得到校正后的知识点数据和视频帧之间的对应关系，将校正后的每个知识点数据对应的视频帧区间作为一个视频片段。
本发明实施例通过获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段，通过根据待分割视频中的知识点数据对待分割视频进行分割，简化了视频的分割过程，提高了视频的分割准确度。
实施例二
图2是本发明实施例二所提供的一种视频分割方法的流程图。本实施例在上述实施例的基础上进行了优化。如图2所示，所述方法包括：
S210、获取待分割视频，将待分割视频输入至预先训练好的视频分割模型中，获取视频分割模型输出的分割数据，根据分割数据确定知识点数据对应的视频帧数区间。
在本实施例中，通过机器学习算法将待分割视频进行分割。具体的，将待分割视频输入至训练好的视频分割模型中，获得视频分割模型输出的分割数据。其中，视频分割模型输出的分割数据可以包括待分割视频中包含的知识点数据以及知识点数据与视频帧之间的对应关系。获取视频分割模型输出的分割数据后，根据分割数据中包含的知识点数据与视频帧之间的对应关系确定知识点数据对应的视频帧数区间。可选的，视频分割模型是基于神经网络构建的。其中，神经网络可以为循环神经网络(Recurrent Neural Network,RNN)或其他形式的神经网络模型。
在上述方案的基础上，还包括：获取样本待分割视频以及所述样本待分割视频对应的分割数据；基于所述样本待分割视频以及所述样本待分割视频对应的分割数据生成训练样本对，使用所诉训练样本对对预先构建的视频分割模型进行训练，得到训练好的视频分割模型。
可选的，可以获取已分割好的视频作为样本待分割视频，将样本待分割视频以及该样本待分割视频对应的分割数据作为训练样本对，使用多个训练样本对对预先构建的视频分割模型进行训练，得到训练好的视频分割模型。其中，可以通过人工分割的方式对视频进行分割，将分割好的视频作为样本待分割视频。
S220、根据知识点数据对应的视频帧数区间确定知识点数据的模糊分界点。
在本实施例中，获取知识点数据与视频帧之间的对应关系后，对知识点数据与视频帧之间的对应关系进行进一步校正，根据校正后的对应关系对待分割视频进行分割。在对上述对应关系进行校正时，需要确定知识点数据的模糊分界点，基于模糊分界点确定知识点数据对应的目标分界点。可选的，可以将知识点数据对应的视频帧数区间的边界点作为该知识点数据的模糊分界点。示例性的，假设知识点A对应的视频帧数区间为21～50，则知识点A的模糊分界点为视频帧21和视频帧50。
S230、基于模糊分界点，获取设定范围内的候选视频帧，对候选视频帧进行边界检测，得到知识点数据对应的目标分界点。
一个实施方式中，可以预先设定范围，用于获取知识点数据对应的候选视频帧。可选的，可以设定范围为(a-5，a+5)，其中a为知识点数据的模糊分界点对应的视频帧数。针对知识点数据的每个模糊边界点，根据设定范围获取候选视频帧，对候选视频帧进行边界检测，将检测到的边界对应的视频帧数作为知识点数据的目标分界点。其中，对候选视频帧进行边界检测可以为：提取候选视频帧中的视频片段特征，结合联合突变镜头和渐变镜头的分割算法进行边界检测。
示例性的，若设定范围为(a-5，a+5)，知识点A的一个模糊分界点为视频帧21，则获取视频帧16-视频帧26的视频帧作为候选视频帧，对视频帧16-视频帧26构成的视频段进行边界检测，假设检测出的边界为视频帧22，则将视频帧22作为知识点A的一个目标分界点。
S240、根据知识点数据对应的目标分界点确定知识点数据对应的视频片段。
在本实施例中，将知识点数据的目标分界点所构成的视频片段作为知识点数据对应的视频片段。示例性的，若知识点A对应的目标分界点为视频帧22和视频帧49，则知识点A对应的视频片段为视频帧22-视频帧49之间的视频片段。
本发明实施例的技术方案，将确定知识点数据与待分割视频中视频帧之间的对应关系具体化为：通过视频分割模型确定知识点数据与视频帧之间的对应关系，并通过边界检测方法确定知识点数据对应的目标分界点，使得知识点数据与视频帧之间的对应关系更加准确，从而使得待分割视频的分割结果更加准确。
实施例三
图3a是本发明实施例三所提供的一种视频分割方法的流程图。本实施例在上述实施例的基础上进行了优化。如图3a所示，所述方法包括：
S310、获取待分割视频，确定知识点数据与待分割视频中视频帧之间的对应关系。
S320、根据对应关系对待分割视频进行分割，得到至少一个视频片段。
S330、根据知识点数据之间的关联关系确定视频片段之间的关联关系，根据视频片段之间的关联关系确定至少一个学习路径。
在本实施例中，在对待分割视频进行分割之后，根据知识点数据之间的关联关系确定分割后的视频片段之间的关联关系，根据视频片段之间的关联关系确定学习路径。其中，学习路径用于表征视频片段之间的学习顺序。
可选的，知识点数据之间的关联关系可以为知识点之间的有向学习关系，例如若学习知识点B，则必须先学习知识点A，则知识点之间的关联关系可以为知识点A→知识点B。根据知识点数据之间的有向学习关系以及知识点数据对应的视频片段可以确定视频片段之间的有向学习关系，视频片段之间的有向学习关系构成学习路径。
在确定学习路径后，还可以根据学习路径的特点确定学习路径的标识，如知识点A到知识点F之间可能有多条学习路径，则可以根据所学习的知识点的数量对学习路径进行标识，如“最短学习路径”、“最全学习路径”等。最短学习路径可以为学习目标知识点所需学习的知识点数据最少的学习路径，最全学习路径可以为学习目标知识点所需学习的知识点数据最全的学习路径。
在本发明的一种实施方式中，知识点数据之间的关联关系的获取方式可以为：获取知识图谱，根据知识图谱确定知识点数据之间的关联关系。
知识图谱中包含有知识点数据以及知识点数据之间的关联关系，可选的，知识点之间的关联关系可以通过知识图谱获取。其中，知识图谱可以通过对待分割视频进行知识关系抽取建立，也可以直接获取预先构建好的知识图谱。
一个实施方式中，可以通过教材、相关书籍或者网络爬虫等方式预设知识图谱。预设的知识图谱将作为后续视频分割的重要依据。可选的，可以将预设知识图谱通过人为或者程序不断完善，从而提高分割视频的准确程度。
一个实施方式中，可以通过对待分割视频进行分析获取知识图谱，具体的：抽取出视频内容中包含的知识点数据；对知识点数据进行关系抽取，构建出包含知识点数据之间的关联关系的知识图谱。图3b是本发明实施例三所提供的一种知识图谱构建的流程图。如图3b所示，将待分割视频中的字幕内容、文字识别内容以及语音内容进行整理，通过属性提取、关系提取以及实体提取，形成结构化数据，然后再通过实体对齐、实体消歧和知识融合之后形成初步的知识图谱，最后经过质量评估确定待分割视频对应的知识图谱。
S340、响应于检测到的视频查看指令，确定视频查看指令对应的学习路径。
在根据知识点数据之间的关联关系以及知识点数据与视频片段之间的对应关系确定学习路径后，可以根据确定的学习路径以及用户的学习需求为用户推荐符合用户需求的学习路径。
其中，视频查看指令可以为用户通过终端触发的，用于指示查看视频的指令。示例性的，若用户需要学习目标知识点C，可以根据终端界面中的提示触发学习目标知识点C的视频查看请求，终端检测到用户触发的视频查看请求后，根据视频查看请求生成视频查看指令，将视频查看指令发送至视频分割装置，视频分割装置对接收到的视频查看指令进行解析，获取视频查看指令中包含的目标知识点C，获取目标知识点C对应的学习路径，作为视频查看指令对应的学习路径。
可选的，视频查看指令中还可以包含用户的学习需求，视频分割装置可以根据学习路径的标识从目标知识点C对应的学习路径中选择符合用户需求的学习路径。示例性的，若用户学习需求为“学习路径最短”，则从目标知识点C对应的学习路径中选取学习路径最短的路径作为视频查看指令对应的学习路径。
图3c是本发明实施例三所提供的一种视频分割存储的流程示意图。如图3c所示，本实施例中可以同时获取多个待分割视频，通过预先设置的知识图谱同时对多个待分割视频进行分割，将多个待分割视频进行分割后根据视频片段的类型(如学科)对相同类型的视频片段进行归类处理，将同一类型的视频片段存储至同一视频片段集合中，还可以将相近类型的视频片段集合进行标记，以方便后续视频片段的推荐。
S350、根据学习路径生成路径推荐信息，并将路径推荐信息发送至客户端进行显示。
获取视频查看指令对应的学习路径后，根据学习路径中包含的知识点数据生成路径推荐信息，将路径推荐信息发送至客户端进行显示。可选的，路径推荐信息可以为知识点数据之间的有向学习关系，也可以为视频片段之间的有向学习关系。
本发明实施例的技术方案，在上述方案的基础上，增加了根据知识点之间的关联关系确定学习路径的操作，通过根据视频查看指令，确定视频查看指令对应的学习路径，根据所述学习路径生成路径推荐信息，将所述路径推荐信息发送至客户端进行显示，使得可以为用户推荐符合用户需求的学习路径，提高了用户的学习效果。
实施例四
图4是本发明实施例四所提供的一种视频分割装置的结构示意图。该视频分割装置可以采用软件和/或硬件的方式实现，例如该视频分割装置可以配置于计算机设备中。如图4所示，所述装置包括知识点识别模块410和视频分割模块420，其中：
知识点识别模块410，用于获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；
视频分割模块420，用于根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。
本发明实施例通过知识点识别模块获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；视频分割模块根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段，通过根据待分割视频中的知识点数据对待分割视频进行分割，简化了视频的分割过程，提高了视频的分割准确度。
在上述方案的基础上，所述知识点识别模块410具体用于：
将所述待分割视频输入至预先训练好的视频分割模型中，获取所述视频分割模型输出的分割数据，根据所述分割数据确定知识点数据对应的视频帧数区间。
在上述方案的基础上，所述视频分割模块420具体用于：
根据所述知识点数据对应的视频帧数区间确定所述知识点数据的模糊分界点；
基于所述模糊分界点，获取设定范围内的候选视频帧，对所述候选视频帧进行边界检测，得到所述知识点数据对应的目标分界点；
根据所述知识点数据对应的目标分界点确定所述知识点数据对应的视频片段。
在上述方案的基础上，所述装置还包括：
学习路径确定模块，用于在得到至少一个视频片段之后，根据知识点数据之间的关联关系确定所述视频片段之间的关联关系，根据所述视频片段之间的关联关系确定至少一个学习路径，所述学习路径用于表征视频片段之间的学习顺序。
在上述方案的基础上，所述装置还包括：
关联关系确定模块，用于在根据知识点数据之间的关联关系确定所述视频片段之间的关联关系之前，获取知识图谱，根据所述知识图谱确定知识点数据之间的关联关系。
在上述方案的基础上，所述关联关系确定模块具体用于：
抽取出所述视频内容中包含的知识点数据；
对所述知识点数据进行关系抽取，构建出包含知识点数据之间的关联关系的知识图谱。
在上述方案的基础上，所述装置还包括路径推荐模块，用于：
响应于检测到的视频查看指令，确定所述视频查看指令对应的学习路径；
根据所述学习路径生成路径推荐信息，并将所述路径推荐信息发送至客户端进行显示。
本发明实施例所提供的视频分割装置可执行任意实施例所提供的视频分割方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五所提供的计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，系统存储器528，连接不同系统组件(包括系统存储器528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的视频分割方法，该方法包括：
获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；
根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的视频分割方法的技术方案。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的视频分割方法，该方法包括：
获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；
根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视频分割方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种视频分割方法，其特征在于，包括：
获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；
根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。
2.根据权利要求1所述的方法，其特征在于，所述确定知识点数据与所述待分割视频中视频帧之间的对应关系，包括：
将所述待分割视频输入至预先训练好的视频分割模型中，获取所述视频分割模型输出的分割数据，根据所述分割数据确定知识点数据对应的视频帧数区间。
3.根据权利要求2所述的方法，其特征在于，所述根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段，包括：
根据所述知识点数据对应的视频帧数区间确定所述知识点数据的模糊分界点；
基于所述模糊分界点，获取设定范围内的候选视频帧，对所述候选视频帧进行边界检测，得到所述知识点数据对应的目标分界点；
根据所述知识点数据对应的目标分界点确定所述知识点数据对应的视频片段。
4.根据权利要求1所述的方法，其特征在于，在得到至少一个视频片段之后，还包括：
根据知识点数据之间的关联关系确定所述视频片段之间的关联关系，根据所述视频片段之间的关联关系确定至少一个学习路径，所述学习路径用于表征视频片段之间的学习顺序。
5.根据权利要求4所述的方法，其特征在于，在根据知识点数据之间的关联关系确定所述视频片段之间的关联关系之前，还包括：
获取知识图谱，根据所述知识图谱确定知识点数据之间的关联关系。
6.根据权利要求5所述的方法，其特征在于，所述获取知识图谱，包括：
抽取出所述视频内容中包含的知识点数据；
对所述知识点数据进行关系抽取，构建出包含知识点数据之间的关联关系的知识图谱。
7.根据权利要求4所述的方法，其特征在于，还包括：
响应于检测到的视频查看指令，确定所述视频查看指令对应的学习路径；
根据所述学习路径生成路径推荐信息，并将所述路径推荐信息发送至客户端进行显示。
8.根据权利要求2所述的方法，其特征在于，还包括：
获取样本待分割视频以及所述样本待分割视频对应的分割数据；
基于所述样本待分割视频以及所述样本待分割视频对应的分割数据生成训练样本对，使用所诉训练样本对对预先构建的视频分割模型进行训练，得到训练好的视频分割模型。
9.一种视频分割装置，其特征在于，包括：
知识点识别模块，用于获取待分割视频，确定知识点数据与所述待分割视频中视频帧之间的对应关系；
视频分割模块，用于根据所述对应关系对所述待分割视频进行分割，得到至少一个视频片段。
10.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的视频分割方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的视频分割方法。
CN201910943037.0A 2019-09-30 2019-09-30 一种视频分割方法、装置、设备及介质 Pending CN111738041A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910943037.0A CN111738041A (zh) 2019-09-30 2019-09-30 一种视频分割方法、装置、设备及介质
US17/763,480 US20220375225A1 (en) 2019-09-30 2020-04-07 Video Segmentation Method and Apparatus, Device, and Medium
PCT/CN2020/083473 WO2021062990A1 (zh) 2019-09-30 2020-04-07 视频分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910943037.0A CN111738041A (zh) 2019-09-30 2019-09-30 一种视频分割方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN111738041A true CN111738041A (zh) 2020-10-02

Family

ID=72646108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910943037.0A Pending CN111738041A (zh) 2019-09-30 2019-09-30 一种视频分割方法、装置、设备及介质

Country Status (3)

Country Link
US (1) US20220375225A1 (zh)
CN (1) CN111738041A (zh)
WO (1) WO2021062990A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289321A (zh) * 2020-12-29 2021-01-29 平安科技（深圳）有限公司 讲解同步的视频高光处理方法、装置、计算机设备及介质
CN112560663A (zh) * 2020-12-11 2021-03-26 南京谦萃智能科技服务有限公司 教学视频打点方法、相关设备及可读存储介质
CN113051379A (zh) * 2021-02-24 2021-06-29 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113297419A (zh) * 2021-06-23 2021-08-24 南京谦萃智能科技服务有限公司 视频知识点确定方法、装置、电子设备和存储介质
CN114550300A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 视频数据分析方法、装置、电子设备及计算机存储介质
WO2023035307A1 (zh) * 2021-09-13 2023-03-16 华中师范大学 一种视频知识点抽取方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697762B (zh) * 2022-04-07 2023-11-28 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN115174982B (zh) * 2022-06-30 2024-04-09 咪咕文化科技有限公司 实时视频关联展示方法、装置、计算设备和存储介质
CN117033665B (zh) * 2023-10-07 2024-01-09 成都华栖云科技有限公司 一种图谱知识点与视频的对齐方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343223A (zh) * 2017-07-07 2017-11-10 北京慕华信息科技有限公司 视频片段的识别方法和装置
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN108596940A (zh) * 2018-04-12 2018-09-28 北京京东尚科信息技术有限公司 一种视频分割方法和装置
CN109151615A (zh) * 2018-11-02 2019-01-04 湖南双菱电子科技有限公司 视频处理方法、计算机设备和计算机存储介质
CN109359215A (zh) * 2018-12-03 2019-02-19 江苏曲速教育科技有限公司 视频智能推送方法和系统
CN110147846A (zh) * 2019-05-23 2019-08-20 软通智慧科技有限公司 视频分割方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190272765A1 (en) * 2018-03-04 2019-09-05 NN Medical, Inc. Online Teaching System and Method thereof
CN109460488B (zh) * 2018-11-16 2022-11-22 广东小天才科技有限公司 一种辅助教学方法及系统
CN109934188B (zh) * 2019-03-19 2020-10-30 上海大学 一种幻灯片切换检测方法、系统、终端及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107343223A (zh) * 2017-07-07 2017-11-10 北京慕华信息科技有限公司 视频片段的识别方法和装置
CN107968959A (zh) * 2017-11-15 2018-04-27 广东广凌信息科技股份有限公司 一种教学视频的知识点分割方法
CN108596940A (zh) * 2018-04-12 2018-09-28 北京京东尚科信息技术有限公司 一种视频分割方法和装置
CN109151615A (zh) * 2018-11-02 2019-01-04 湖南双菱电子科技有限公司 视频处理方法、计算机设备和计算机存储介质
CN109359215A (zh) * 2018-12-03 2019-02-19 江苏曲速教育科技有限公司 视频智能推送方法和系统
CN110147846A (zh) * 2019-05-23 2019-08-20 软通智慧科技有限公司 视频分割方法、装置、设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560663A (zh) * 2020-12-11 2021-03-26 南京谦萃智能科技服务有限公司 教学视频打点方法、相关设备及可读存储介质
CN112289321A (zh) * 2020-12-29 2021-01-29 平安科技（深圳）有限公司 讲解同步的视频高光处理方法、装置、计算机设备及介质
CN112289321B (zh) * 2020-12-29 2021-03-30 平安科技（深圳）有限公司 讲解同步的视频高光处理方法、装置、计算机设备及介质
CN113051379A (zh) * 2021-02-24 2021-06-29 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113051379B (zh) * 2021-02-24 2023-08-04 南京审计大学 一种知识点推荐方法、装置、电子设备及存储介质
CN113297419A (zh) * 2021-06-23 2021-08-24 南京谦萃智能科技服务有限公司 视频知识点确定方法、装置、电子设备和存储介质
CN113297419B (zh) * 2021-06-23 2024-04-09 南京谦萃智能科技服务有限公司 视频知识点确定方法、装置、电子设备和存储介质
WO2023035307A1 (zh) * 2021-09-13 2023-03-16 华中师范大学 一种视频知识点抽取方法及装置
CN114550300A (zh) * 2022-02-25 2022-05-27 北京百度网讯科技有限公司 视频数据分析方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
US20220375225A1 (en) 2022-11-24
WO2021062990A1 (zh) 2021-04-08

Similar Documents

Publication Publication Date Title
CN111738041A (zh) 一种视频分割方法、装置、设备及介质
CN109614934B (zh) 在线教学质量评估参数生成方法及装置
US20190220516A1 (en) Method and apparatus for mining general text content, server, and storage medium
CN109918513B (zh) 图像处理方法、装置、服务器及存储介质
CN112712069B (zh) 一种判题方法、装置、电子设备及存储介质
CN111475627B (zh) 解答推导题目的检查方法、装置、电子设备及存储介质
CN111209431A (zh) 一种视频搜索方法、装置、设备及介质
WO2022247823A1 (zh) 图像检测方法、设备和存储介质
CN114549993A (zh) 实验中线段图像的评分方法、系统、设备及可读存储介质
JP2022185143A (ja) テキスト検出方法、テキスト認識方法及び装置
CN108665769B (zh) 基于卷积神经网络的网络教学方法以及装置
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及系统
CN112528799B (zh) 一种教学直播方法、装置、计算机设备和存储介质
CN112542163B (zh) 智能语音交互方法、设备及存储介质
CN110874554A (zh) 动作识别方法、终端设备、服务器、系统及存储介质
CN111385659B (zh) 一种视频推荐方法、装置、设备及存储介质
US20200226208A1 (en) Electronic presentation reference marker insertion
CN112309389A (zh) 信息交互方法和装置
CN111462548A (zh) 一种段落点读方法、装置、设备和可读介质
CN115273057A (zh) 文本识别方法、装置和听写批改方法、装置及电子设备
CN114996510A (zh) 教学视频分段及信息点提取方法、装置、电子设备和介质
CN112699687A (zh) 内容编目方法、装置和电子设备
CN111091035A (zh) 一种科目识别方法及电子设备
CN111159433A (zh) 一种内容定位方法及电子设备
CN113850235B (zh) 一种文本处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination