CN112637687A - 基于埋点行为的视频回放方法、装置、计算机设备及介质 - Google Patents

基于埋点行为的视频回放方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN112637687A
CN112637687A CN202011591753.6A CN202011591753A CN112637687A CN 112637687 A CN112637687 A CN 112637687A CN 202011591753 A CN202011591753 A CN 202011591753A CN 112637687 A CN112637687 A CN 112637687A
Authority
CN
China
Prior art keywords
picture frame
point
target
knowledge
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011591753.6A
Other languages
English (en)
Other versions
CN112637687B (zh
Inventor
许丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011591753.6A priority Critical patent/CN112637687B/zh
Publication of CN112637687A publication Critical patent/CN112637687A/zh
Application granted granted Critical
Publication of CN112637687B publication Critical patent/CN112637687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种基于埋点行为的视频回放方法、装置、计算机设备及介质，包括：根据教学视频的属性提取教学视频中的图片帧序列，并根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧；识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列；获取播放所述教学视频过程中的用户的埋点行为数据；根据所述埋点行为数据及所述知识点存续时间序列识别需要回放的知识点；根据所述需要回放的知识点回放所述教学视频。本发明基于用户的埋点行为快速的确定需要回放的知识点，教学视频的回放效率高，且符合用户的实际需求，视频回放效果佳。

Description

基于埋点行为的视频回放方法、装置、计算机设备及介质
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于埋点行为的视频回放方法、装置、计算机设备及介质。
背景技术
随着移动终端技术的快速发展，线上培训已经逐渐替代了线下培训模式。在涉及大量专业知识的教学视频中，讲师一般会配合以PPT或者WORD等文件为主的教学文件来展示结构化的知识脉络，在画外讲解课程内容。
发明人在实现本发明的过程中发现，学员在观看教学视频过程中，尤其是对教学视频进行回放时，基本上通过手动推动进度条的方式来找到自己感兴趣或者没有停留足够时间学习的内容，导致视频回放效率较低；此外，现有技术中并没有结合学员的操作行为来回放教学视频，导致回放的内容可能并非是学员感兴趣的内容，视频回放效果较差。
发明内容
鉴于以上内容，有必要提出一种基于埋点行为的视频回放方法、装置、计算机设备及介质，能够提高视频的回放效率。
本发明的第一方面提供一种基于埋点行为的视频回放方法，所述方法包括：
根据教学视频的属性提取教学视频中的图片帧序列，并根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧；
识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列；
获取播放所述教学视频过程中的用户的埋点行为数据；
根据所述埋点行为数据及所述知识点存续时间序列识别需要回放的知识点；
根据所述需要回放的知识点回放所述教学视频。
在一个可选的实施例中，所述根据教学视频的属性提取教学视频中的图片帧序列包括：
提取所述教学视频中的视频数据；
获取所述教学视频的总时长及所述教学视频中的文件的总页数；
根据所述总时长及所述总页数计算采样帧率；
采用所述采样帧率对所述视频数据进行采样，得到图片帧序列。
在一个可选的实施例中，所述根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧包括：
将所述图片帧序列中的每前后两个图片帧进行组合，得到多个图片帧对；
计算每个图片帧对中前一个图片帧的第一哈希值及后一个图片帧的第二哈希值，并根据所述第一哈希值和所述第二哈希值计算所述图片帧对的相似度；
计算每个图片帧对中的预设标记的数量，并根据所述数量更新预设相似度阈值，得到目标相似度阈值；
从所述多个图片帧对中获取相似度小于对应的目标相似度阈值的多个目标图片帧对；
将每个目标图片帧对中后一个目标图片帧确定为关键图片帧，得到多个关键图片帧。
在一个可选的实施例中，识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列包括：
识别每个关键图片帧中的每条图片文本，并确定每条图片文本在对应的关键图片帧中的位置；
获取每个关键图片帧中最高的位置对应的目标图片文本，作为所述关键图片帧中的知识点；
根据每个关键图片帧在所述教学视频中的第一时间点及所述关键图片帧的后一个关键图片帧在所述教学视频中的第二时间点，生成关键图片帧存续时间向量；
使用所述知识点更新对应的关键图片帧存续时间向量中的关键图片帧；
根据多个更新后的关键图片帧存续时间向量生成知识点存续时间序列。
在一个可选的实施例中，所述根据所述埋点行为数据及所述知识点存续时间序列识别用户需要回放的知识点包括：
获取所述埋点行为数据中的每次埋点行为对应的起始时间点和结束时间点；
将所述知识点存续时间序列中的每个知识点对应的存续时间与每次埋点行为对应的起始时间点和结束时间点之间的时间段进行匹配；
确定与任一埋点行为对应的起始时间点和结束时间点之间的时间段有交叉的多个目标交叉时间；
确定多个目标交叉时间对应的多个目标知识点；
确定每个目标知识点对应的目标存续时间；
根据每个目标知识点对应的目标存续时间及目标交叉时间计算每个目标知识点的时间重复度；
根据所述时间重复度从所述多个目标知识点中筛选出需要回放的知识点。
在一个可选的实施例中，根据所述需要回放的知识点回放所述教学视频包括：
根据所述知识点存续时间序列确定每个需要回放的知识点对应的目标存续时间；
在所述教学视频的进度条上设置与每个目标存续时间对应的回放标识；
当侦测到回放标识上接收到触发信号时，确定接收到触发信号的回放标识对应的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
去掉所述教学视频的进度条上所述目标回放知识点对应的回放标识，并回放所述教学视频中的目标关键图片帧。
在一个可选的实施例中，所述根据所述需要回放的知识点回放所述教学视频包括：
确定所述教学视频中多个所述知识点之间的层级关系；
根据所述层级关系生成知识点结构树；
在所述知识点结构树中高光显示所述需要回放的知识点；
当侦测到所述知识点结构树中需要回放的知识点接收到了触发信号时，确定接收到触发信号的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
取消所述知识点结构树中所述目标回放知识点的高光显示，并回放所述教学视频中的目标关键图片帧。
本发明的第二方面提供一种基于埋点行为的视频回放装置，所述装置包括：
提取模块，用于根据教学视频的属性提取教学视频中的图片帧序列，并根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧；
生成模块，用于识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列；
获取模块，用于获取播放所述教学视频过程中的用户的埋点行为数据；
识别模块，用于根据所述埋点行为数据及所述知识点存续时间序列识别需要回放的知识点；
回放模块，用于根据所述需要回放的知识点回放所述教学视频。
本发明的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述基于埋点行为的视频回放方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于埋点行为的视频回放方法。
综上所述，本发明所述的基于埋点行为的视频回放方法、装置、计算机设备及介质，首先在提取教学视频中的图片帧序列时，根据教学视频的属性来提取，使得图片帧序列的提取效率更高，且提取的图片帧序列的数量少，有助于提高对图片帧序列的处理效率；接着借助于图片帧中的预设标记，能够快速的识别所述图片帧序列中的多个关键图片帧；然后识别每个关键图片帧中的知识点，从而根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列。实际应用时，获取播放所述教学视频过程中的用户的埋点行为数据，并根据用户的埋点行为数据及所述知识点存续时间序列快速的定位教学视频中感兴趣的内容，从而确定需要回放的知识点，对于不同的用户，由于埋点行为数据不同，因此，需要回放的知识点也不同。根据所述需要回放的知识点回放所述教学视频，能够解决由于教学视频内容复杂或过长等原因导致学员在学习教学视频时无法快速找寻知识点这一学习困境，回放的内容切合学员的实际需求，提高了教学视频的回放效率。
附图说明
图1是本发明实施例一提供的基于埋点行为的视频回放方法的流程图。
图2是本发明实施例二提供的基于埋点行为的视频回放装置的结构图。
图3是本发明实施例三提供的计算机设备的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例提供的基于埋点行为的视频回放方法由计算机设备执行，相应地，基于埋点行为的视频回放装置运行于计算机设备中。
图1是本发明实施例一提供的基于埋点行为的视频回放方法的流程图。所述基于埋点行为的视频回放方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，根据教学视频的属性提取教学视频中的图片帧序列，并根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧。
线上视频的教学模式为讲师准备好教学文件（例如，PPT，WORD等形式的文件），通过音视频采集设备录制好讲师讲授所述教学文件中的内容的教学视频，再将教学视频分享给用户（例如，学员）进行在线或者离线学习。
计算机设备在播放教学视频的过程中对教学视频进行处理，从教学视频中提取出图片帧序列。
在一个可选的实施例中，所述根据教学视频的属性提取教学视频中的图片帧序列包括：
提取所述教学视频中的视频数据；
获取所述教学视频的总时长及所述教学视频中的文件的总页数；
根据所述总时长及所述总页数计算采样帧率；
采用所述采样帧率对所述视频数据进行采样，得到图片帧序列。
其中，所述教学视频的属性包括总时长及文件的总页数。
计算机设备可以使用音视频分离软件或者工具对教学视频进行音视频分离，从而得到视频数据。
计算机设备中可以预先存储帧率，根据预先存储的帧率对提取出的视频数据进行采样处理。但通常而言，讲师准备的教学文件中的知识点所讲解的时间是有规律的，因此根据教学视频的总时长及总页数可计算出平均每一页文件需要的时长，将每一页文件需要的时长除以预设数值（10），可以预估出一个数值作为采样帧率，使用计算得到的采样帧率对提取出的视频数据进行采样处理，既能够尽可能的保证每一页文件均能被采样到，且同一页文件被采样的数量不会过多，提高了图片帧的采样效率，减少了采样的图片帧的数量，能够提高后续对图片帧的处理效率。计算机设备对提取出的视频数据进行采样处理后得到一个个的图片帧，将一个个的图片帧按照时间顺序进行排列得到图片帧序列，并将得到的图片帧及对应的时间关联存储在本地的第一数据库表中，或者将得到的图片帧的帧序号及对应的时间关联存储在本地的第一数据库表中。
在一个可选的实施例中，所述根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧包括：
将所述图片帧序列中的每前后两个图片帧进行组合，得到多个图片帧对；
计算每个图片帧对中前一个图片帧的第一哈希值及后一个图片帧的第二哈希值，并根据所述第一哈希值和所述第二哈希值计算所述图片帧对的相似度；
计算每个图片帧对中的预设标记的数量，并根据所述数量更新预设相似度阈值，得到目标相似度阈值；
从所述多个图片帧对中获取相似度小于对应的目标相似度阈值的多个目标图片帧对；
将每个目标图片帧对中后一个目标图片帧确定为关键图片帧，得到多个关键图片帧。
由于文件在切换前均为静止画面，例如，PPT在翻页前为静止画面，或者WORD在下拉前为静止画面，因此，需要从采样得到的多个图片帧序列中识别出多个关键图片帧，从而确定出文件切换的状态。示例性的，假设图片帧序列包括100个图片帧，则将每前后两个图片帧进行两两组合，得到99个图片帧对，每一个图片帧对包括前一个图片帧和后一个图片帧。
其中，所述预设标记为符号批注，符号批注是指在文件上把自己认为重要的、有用的或应注意的字、词、句、段用一套约定俗成的符号（例如，圈、点、勾、画等）或以不同的颜色做出的标记。
计算机设备识别每一个图片帧对中前后两个图片帧中是否有符号批注，当前后两个图片帧中均有符号批注时，则计算该图片帧对中的预设标记的数量为2；当前后两个图片帧中仅前一个图片帧中有符号批注或者仅后一个图片帧中有符号批注时，则计算该图片帧对中的预设标记的数量为1；当前后两个图片帧中均没有符号批注时，则计算该图片帧对中的预设标记的数量为0。
计算机设备中预先存储有相似度阈值，当计算该图片帧对中的预设标记的数量为2时，在所述预设相似度阈值的基础上降低第一比例，从而将降低第一比例的预设相似度阈值更新为目标相似度阈值；当计算该图片帧对中的预设标记的数量为1时，在所述预设相似度阈值的基础上减少第二比例，从而将降低第二比例的预设相似度阈值更新为目标相似度阈值；当计算该图片帧对中的预设标记的数量为0时，则将所述预设相似度阈值更新为目标相似度阈值。图片帧对中的预设标记的数量越大，在所述预设相似度阈值的基础上降低的比例越大，图片帧对中的预设标记的数量越少，在所述预设相似度阈值的基础上降低的比例越小。所述第一比例大于所述第二比例。
计算机设备可以计算每个图片帧对中的前后两个图片帧之间的哈希差值，作为该图片帧对中的前后两个图片帧之间的相似度。相似度越大，表明该前后两个图片帧越为同一内容的文件；相似度越小，表明该前后两个图片帧越为不同内容的文件。前后两个图片帧为同一内容的文件时，则可判断为未切换文件；前后两个图片帧为不同内容的文件时，则可判断为在切换文件。将相似度小于对应的目标相似度阈值的多个目标图片帧对中的后一个目标图片帧确定为关键图片帧。
该可选的实施例中，由于讲师在讲授文件时，会对文件中的知识点做符号批注，因此，从录制的教学视频中提取出的图片帧中，即使是同一内容的图片帧，前后两个图片帧因为存在符号批注也会导致差异，因此，计算机设备根据前后两个图片帧存在的符号批注的数量，来对预设相似度阈值进行更新，当存在的符号批注的数量越多，则采用越大的比例降低预设相似度阈值得到目标相似度阈值，使得目标相似度阈值更低，从而更能够将同一内容但因存在符号批注的前后两个图片帧判断为同一内容的文件。即根据每个图片帧对中的预设标记的数量来动态调整目标相似度阈值，从而自适应的确定出多个关键图片帧，关键图片帧的确定效率高，质量佳。
S12，识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列。
因为教学文件在切换前均为静止画面，只要出现前后两个图片帧不完全相同则可判断文件切换，即可提取后一个图片帧为关键图片帧，并存储其出现在教学视频中的时间点。
将关键图片帧及其对应的时间点记为（kf_i，t_i），kf_i表示第i个关键图片帧的帧序号，t_i表示第i个关键图片帧对应的时间点。
每个关键图片帧在教学视频中存在的时间段称之为存续时间。
在一个可选的实施例中，所述识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列包括：
识别每个关键图片帧中的每条图片文本，并确定每条图片文本在对应的关键图片帧中的位置；
获取每个关键图片帧中最高的位置对应的目标图片文本，作为所述关键图片帧中的知识点；
根据每个关键图片帧在所述教学视频中的第一时间点及所述关键图片帧的后一个关键图片帧在所述教学视频中的第二时间点，生成关键图片帧存续时间向量；
使用所述知识点更新对应的关键图片帧存续时间向量中的关键图片帧；
根据多个更新后的关键图片帧存续时间向量生成知识点存续时间序列。
计算机设备可以使用光学字符识别（Optical Character Recognition，OCR）技术对每个关键图片帧进行字符识别。为便于下文描述，将字符识别得到的文本称之为图片文本。在识别出每个关键图片帧中每条图片文本之后，计算机设备确定每个关键图片帧中每条图片文本出现的位置，便于后续根据位置确定每个关键图片帧的知识点。将每一个关键图片帧中最高位置的图片文本默认为对应关键图片帧中的知识点。
每一个关键图片帧在教学视频中的开始时间约等于前一个关键图片帧在教学视频中的结束时间，每一个关键图片帧在教学视频中的结束时间约等于后一个关键图片帧在教学视频中的开始时间，因此，可以将任意一个关键图片帧的开始时间及该任意一个关键图片帧的后一个关键图片帧的开始时间作为所述任意一个关键图片帧的存续时间。
其中，所述知识点-存续时间序列可以记为（kf_1，t_1，t_2），（kf_2,t_2，t_3），…，（kf_N，t_N，t_N+1），kf_N为第N个关键图片帧中的知识点，t_N为第N个关键图片帧在教学视频中出现的时间点，t_N+1为第N+1个关键图片帧在教学视频中出现的时间点。
S13，获取播放所述教学视频过程中的用户的埋点行为数据。
其中，所述埋点行为数据包括点击或者拖动教学视频上的进度条的行为及对应的时间点。
计算机设备可以在教学视频的进度条上设置埋点，通过埋点获取用户点击或者拖动进度条的行为，并将点击或者拖动行为及对应的时间点作为埋点数据上报给计算机设备。
计算机设备边播放教学视频，边接收埋点上报的埋点行为数据。
S14，根据所述埋点行为数据及所述知识点存续时间序列识别需要回放的知识点。
比较所述埋点行为数据与所述知识点存续时间序列，判断用户是否在每一个知识点的存续时间段内都有停留。当用户在某个知识点的存续时间段内未做停留，表明用户没有学习该知识点，将没有学习的知识点识别为用户需要回放的知识点。
在一个可选的实施例中，所述根据所述埋点行为数据及所述知识点存续时间序列识别用户需要回放的知识点包括：
获取所述埋点行为数据中的每次埋点行为对应的起始时间点和结束时间点；
将所述知识点存续时间序列中的每个知识点对应的存续时间与每次埋点行为对应的起始时间点和结束时间点之间的时间段进行匹配；
确定与任一埋点行为对应的起始时间点和结束时间点之间的时间段有交叉的多个目标交叉时间；
确定多个目标交叉时间对应的多个目标知识点；
确定每个目标知识点对应的目标存续时间；
根据每个目标知识点对应的目标存续时间及目标交叉时间计算每个目标知识点的时间重复度；
根据所述时间重复度从所述多个目标知识点中筛选出需要回放的知识点。
示例性的，假设所述教学视频中有5个知识点，其中，第一个知识点对应的存续时间为0-1分，第二个知识点对应的存续时间为1-4分，第三个知识点对应的存续时间为4-8分，第四个知识点对应的存储时间为8-9分，第五个知识点对应的存续时间为9-10分，用户第一次的埋点行为（拖拽）对应的起始时间点为1.5分和结束时间点为3分，第二次的埋点行为（拖拽）对应的起始时间点为6分和结束时间点为8.7分，则第一个目标交叉时间为1.5-3分，第二个目标交叉时间为6-8分，第三个目标交叉时间为8-8.7分，第一个目标交叉时间对应第一个目标知识点为第二个知识点，第二个目标交叉时间对应第二个目标知识点为第三个知识点，第三个目标交叉时间对应第三个目标知识点为第四个知识点。
由于第一个目标知识点的存续时间为1-4分，第一个目标交叉时间为1.5-3分，则根据第一个目标知识点对应的目标存续时间及第一个目标交叉时间计算第一个目标知识点的时间重复度为50%。
由于第二个目标知识点的存续时间为4-8分，第二个目标交叉时间为6-8分，则根据第二个目标知识点对应的目标存续时间及第二个目标交叉时间计算第二个目标知识点的时间重复度为50%。
由于第三个目标知识点的存续时间为8-9分，第三个目标交叉时间为8-8.7分，则根据第三个目标知识点对应的目标存续时间及第三个目标交叉时间计算第三个目标知识点的时间重复度为70%。
时间重复度越大，表明对应的目标知识点所学习的时间短，时间重复度越小，表明对应的目标知识点所学习的时间长，因此，可以预先设置一个学习时间阈值，将大于所述学习时间阈值的时间重复度确定为目标时间重复度，目标时间重复度对应的目标知识点则为需要回放的知识点。
S15，根据所述需要回放的知识点回放所述教学视频。
在识别出需要回放的知识点之后，计算机设备根据需要回放的知识点重新播放所述教学视频。
在一个可选的实施例中，所述根据所述需要回放的知识点回放所述教学视频包括：
根据所述知识点存续时间序列确定每个需要回放的知识点对应的目标存续时间；
在所述教学视频的进度条上设置与每个目标存续时间对应的回放标识；
当侦测到回放标识上接收到触发信号时，确定接收到触发信号的回放标识对应的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
去掉所述教学视频的进度条上所述目标回放知识点对应的回放标识，并回放所述教学视频中的目标关键图片帧。
计算机设备可以在教学视频的进度条上设置“回看”按钮，确定为回放标识。有多少个需要回放的知识点，设置多少个回放标识。
计算机设备在确定每个需要回放的知识点对应的目标存续时间之后，可以在所述教学视频的进度条上对应所述目标存续时间的开始时间点设置回放标识，还可以在所述教学视频的进度条上对应所述目标存续时间的整个时间点设置回放标识。
计算机设备边回放用户触发的回放标识对应的目标关键图片帧，边接收埋点上报的埋点行为数据，并根据所述埋点行为数据及所述需要回放的知识点的存续时间识别用户是否对所述需要回放的知识点完成了回放学习。确定已经回放的知识点，并删除所述已经回放的知识点对应的回放标识，根据已经回放的知识点及所有需要回放的知识点确定出未回放的知识点，并高光显示未回放的知识点对应的回放标识。
用户可以通过点击或者触摸所述教学视频进度条上的回放标识来触发教学视频自动跳转到需要回放的知识点处。计算机设备侦测到回放标识上接收到点击或者触摸信号时，确定该回放标识接收到了触发信号，从而自动跳转到教学视频中的目标关键图片帧处，实现回放过程。
该可选的实施例中，通过在教学视频进度条上设置回放标识，使得用户能依据该回放标识快速找到其感兴趣的知识点，提高用户的观看体验，通过删除所述已经回放的知识点对应的回放标识，并高光显示未回放的知识点对应的回放标识，能够起到提示用户点击回放标识进行回放学习的作用，督促用户学习需要回放的知识点，加强用户对知识点的掌握，提高教学视频的教学效果。
在另一个可选的实施例中，所述根据所述需要回放的知识点回放所述教学视频包括：
确定所述教学视频中多个所述知识点之间的层级关系；
根据所述层级关系生成知识点结构树；
在所述知识点结构树中高光显示所述需要回放的知识点；
当侦测到所述知识点结构树中需要回放的知识点接收到了触发信号时，确定接收到触发信号的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
取消所述知识点结构树中所述目标回放知识点的高光显示，并回放所述教学视频中的目标关键图片帧。
在确定用户对需要回放的知识点完成了回放学习时，认为该需要回放的知识点为已经回放的知识点，在确定用户对需要回放的知识点未完成回放学习时，认为该需要回放的知识点不为已经回放的知识点，即，该需要回放的知识点仍然需要再次进行回放学习。
计算机设备识别的多个需要回放的知识点，有部分确实是用户遗漏的知识点，为用户真正需要回放的知识点，有部分是用户已经不需要回放的知识点。
该可选的实施例中，根据所述教学视频中多个所述知识点之间的层级关系生成知识点结构树，能够清楚的呈现出知识点之间的逻辑关系，使得用户能够快速的确定出真正需要回放的知识点。相较于在教学视频的进度条上设置回放标识来触发回放事件，本实施例对知识点的回放效率更高；且以知识点结构树进行呈现，还能够辅助用户掌握知识脉络，进一步提高在线教学的教学质量。
在一个可选的实施例中，所述方法还包括：
接收用户的输入知识点；
计算所述输入知识点与每个关键图片帧中的知识点之间的相似度；
根据所述相似度确定所述输入知识点对应的目标关键图片帧；
根据所述知识点存续时间序列跳转显示所述教学视频中所述目标关键图片帧。
学员在学完教学视频之后，若需要对某一页文件中的内容进行回放，则可以在教学视频结束之后显示文本输入框，学员在文本输入框中输入知识点。
计算机设备计算所述输入知识点与每个关键图片帧中的知识点之间的相似度，确定出所述输入知识点对应的目标关键图片帧，从而根据所述知识点存续时间序列确定所述目标关键图片帧在教学视频中的目标时间点，并根据所述目标时间点直接跳转到目标关键图片帧处。
该可选的实施例中，根据所述知识点存续时间序列能够直接跳转到学员需要回看的目标关键图片帧，使得学员能够快速找到感兴趣的内容，避免学员手动推动教学视频中的进度条来进行回放，提高了回放的效率，提高了学员的观看体验。
本发明所述的基于埋点行为的视频回放方法，首先在提取教学视频中的图片帧序列时，根据教学视频的属性来提取，使得图片帧序列的提取效率更高，且提取的图片帧序列的数量少，有助于提高对图片帧序列的处理效率；接着借助于图片帧中的预设标记，能够快速的识别所述图片帧序列中的多个关键图片帧；然后识别每个关键图片帧中的知识点，从而根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列。实际应用时，获取播放所述教学视频过程中的用户的埋点行为数据，并根据用户的埋点行为数据及所述知识点存续时间序列快速的定位教学视频中感兴趣的内容，从而确定需要回放的知识点，对于不同的用户，由于埋点行为数据不同，因此，需要回放的知识点也不同。根据所述需要回放的知识点回放所述教学视频，能够解决由于教学视频内容复杂或过长等原因导致学员在学习教学视频时无法快速找寻知识点这一学习困境，回放的内容切合学员的实际需求，提高了教学视频的回放效率。
需要强调的是，为进一步保证上述教学视频的私密性和安全性，上述教学视频可存储于区块链的节点中。
图2是本发明实施例二提供的基于埋点行为的视频回放装置的结构图。
在一些实施例中，所述基于埋点行为的视频回放装置20可以包括多个由计算机程序段所组成的功能模块。所述基于埋点行为的视频回放装置20中的各个程序段的计算机程序可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行（详见图1描述）基于埋点行为的视频回放的功能。
本实施例中，所述基于埋点行为的视频回放装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：提取模块201、生成模块202、获取模块203、识别模块204、回放模块205及显示模块206。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
所述提取模块201，用于根据教学视频的属性提取教学视频中的图片帧序列，并根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧。
线上视频的教学模式为讲师准备好教学文件（例如，PPT，WORD等形式的文件），通过音视频采集设备录制好讲师讲授所述教学文件中的内容的教学视频，再将教学视频分享给用户（例如，学员）进行在线或者离线学习。
计算机设备在播放教学视频的过程中对教学视频进行处理，从教学视频中提取出图片帧序列。
在一个可选的实施例中，所述提取模块201根据教学视频的属性提取教学视频中的图片帧序列包括：
提取所述教学视频中的视频数据；
获取所述教学视频的总时长及所述教学视频中的文件的总页数；
根据所述总时长及所述总页数计算采样帧率；
采用所述采样帧率对所述视频数据进行采样，得到图片帧序列。
其中，所述教学视频的属性包括总时长及文件的总页数。
计算机设备可以使用音视频分离软件或者工具对教学视频进行音视频分离，从而得到视频数据。
计算机设备中可以预先存储帧率，根据预先存储的帧率对提取出的视频数据进行采样处理。但通常而言，讲师准备的教学文件中的知识点所讲解的时间是有规律的，因此根据教学视频的总时长及总页数可计算出平均每一页文件需要的时长，将每一页文件需要的时长除以预设数值（10），可以预估出一个数值作为采样帧率，使用计算得到的采样帧率对提取出的视频数据进行采样处理，既能够尽可能的保证每一页文件均能被采样到，且同一页文件被采样的数量不会过多，提高了图片帧的采样效率，减少了采样的图片帧的数量，能够提高后续对图片帧的处理效率。计算机设备对提取出的视频数据进行采样处理后得到一个个的图片帧，将一个个的图片帧按照时间顺序进行排列得到图片帧序列，并将得到的图片帧及对应的时间关联存储在本地的第一数据库表中，或者将得到的图片帧的帧序号及对应的时间关联存储在本地的第一数据库表中。
在一个可选的实施例中，所述根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧包括：
将所述图片帧序列中的每前后两个图片帧进行组合，得到多个图片帧对；
计算每个图片帧对中前一个图片帧的第一哈希值及后一个图片帧的第二哈希值，并根据所述第一哈希值和所述第二哈希值计算所述图片帧对的相似度；
计算每个图片帧对中的预设标记的数量，并根据所述数量更新预设相似度阈值，得到目标相似度阈值；
从所述多个图片帧对中获取相似度小于对应的目标相似度阈值的多个目标图片帧对；
将每个目标图片帧对中后一个目标图片帧确定为关键图片帧，得到多个关键图片帧。
由于文件在切换前均为静止画面，例如，PPT在翻页前为静止画面，或者WORD在下拉前为静止画面，因此，需要从采样得到的多个图片帧序列中识别出多个关键图片帧，从而确定出文件切换的状态。示例性的，假设图片帧序列包括100个图片帧，则将每前后两个图片帧进行两两组合，得到99个图片帧对，每一个图片帧对包括前一个图片帧和后一个图片帧。
其中，所述预设标记为符号批注，符号批注是指在文件上把自己认为重要的、有用的或应注意的字、词、句、段用一套约定俗成的符号（例如，圈、点、勾、画等）或以不同的颜色做出的标记。
计算机设备识别每一个图片帧对中前后两个图片帧中是否有符号批注，当前后两个图片帧中均有符号批注时，则计算该图片帧对中的预设标记的数量为2；当前后两个图片帧中仅前一个图片帧中有符号批注或者仅后一个图片帧中有符号批注时，则计算该图片帧对中的预设标记的数量为1；当前后两个图片帧中均没有符号批注时，则计算该图片帧对中的预设标记的数量为0。
计算机设备中预先存储有相似度阈值，当计算该图片帧对中的预设标记的数量为2时，在所述预设相似度阈值的基础上降低第一比例，从而将降低第一比例的预设相似度阈值更新为目标相似度阈值；当计算该图片帧对中的预设标记的数量为1时，在所述预设相似度阈值的基础上减少第二比例，从而将降低第二比例的预设相似度阈值更新为目标相似度阈值；当计算该图片帧对中的预设标记的数量为0时，则将所述预设相似度阈值更新为目标相似度阈值。图片帧对中的预设标记的数量越大，在所述预设相似度阈值的基础上降低的比例越大，图片帧对中的预设标记的数量越少，在所述预设相似度阈值的基础上降低的比例越小。所述第一比例大于所述第二比例。
计算机设备可以计算每个图片帧对中的前后两个图片帧之间的哈希差值，作为该图片帧对中的前后两个图片帧之间的相似度。相似度越大，表明该前后两个图片帧越为同一内容的文件；相似度越小，表明该前后两个图片帧越为不同内容的文件。前后两个图片帧为同一内容的文件时，则可判断为未切换文件；前后两个图片帧为不同内容的文件时，则可判断为在切换文件。将相似度小于对应的目标相似度阈值的多个目标图片帧对中的后一个目标图片帧确定为关键图片帧。
该可选的实施例中，由于讲师在讲授文件时，会对文件中的知识点做符号批注，因此，从录制的教学视频中提取出的图片帧中，即使是同一内容的图片帧，前后两个图片帧因为存在符号批注也会导致差异，因此，计算机设备根据前后两个图片帧存在的符号批注的数量，来对预设相似度阈值进行更新，当存在的符号批注的数量越多，则采用越大的比例降低预设相似度阈值得到目标相似度阈值，使得目标相似度阈值更低，从而更能够将同一内容但因存在符号批注的前后两个图片帧判断为同一内容的文件。即根据每个图片帧对中的预设标记的数量来动态调整目标相似度阈值，从而自适应的确定出多个关键图片帧，关键图片帧的确定效率高，质量佳。
所述生成模块202，用于识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列。
因为教学文件在切换前均为静止画面，只要出现前后两个图片帧不完全相同则可判断文件切换，即可提取后一个图片帧为关键图片帧，并存储其出现在教学视频中的时间点。
将关键图片帧及其对应的时间点记为（kf_i，t_i），kf_i表示第i个关键图片帧的帧序号，t_i表示第i个关键图片帧对应的时间点。
每个关键图片帧在教学视频中存在的时间段称之为存续时间。
在一个可选的实施例中，所述生成模块202识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列包括：
识别每个关键图片帧中的每条图片文本，并确定每条图片文本在对应的关键图片帧中的位置；
获取每个关键图片帧中最高的位置对应的目标图片文本，作为所述关键图片帧中的知识点；
根据每个关键图片帧在所述教学视频中的第一时间点及所述关键图片帧的后一个关键图片帧在所述教学视频中的第二时间点，生成关键图片帧存续时间向量；
使用所述知识点更新对应的关键图片帧存续时间向量中的关键图片帧；
根据多个更新后的关键图片帧存续时间向量生成知识点存续时间序列。
计算机设备可以使用光学字符识别（Optical Character Recognition，OCR）技术对每个关键图片帧进行字符识别。为便于下文描述，将字符识别得到的文本称之为图片文本。在识别出每个关键图片帧中每条图片文本之后，计算机设备确定每个关键图片帧中每条图片文本出现的位置，便于后续根据位置确定每个关键图片帧的知识点。将每一个关键图片帧中最高位置的图片文本默认为对应关键图片帧中的知识点。
每一个关键图片帧在教学视频中的开始时间约等于前一个关键图片帧在教学视频中的结束时间，每一个关键图片帧在教学视频中的结束时间约等于后一个关键图片帧在教学视频中的开始时间，因此，可以将任意一个关键图片帧的开始时间及该任意一个关键图片帧的后一个关键图片帧的开始时间作为所述任意一个关键图片帧的存续时间。
其中，所述知识点-存续时间序列可以记为（kf_1，t_1，t_2），（kf_2,t_2，t_3），…，（kf_N，t_N，t_N+1），kf_N为第N个关键图片帧中的知识点，t_N为第N个关键图片帧在教学视频中出现的时间点，t_N+1为第N+1个关键图片帧在教学视频中出现的时间点。
所述获取模块203，用于获取播放所述教学视频过程中的用户的埋点行为数据。
其中，所述埋点行为数据包括点击或者拖动教学视频上的进度条的行为及对应的时间点。
计算机设备可以在教学视频的进度条上设置埋点，通过埋点获取用户点击或者拖动进度条的行为，并将点击或者拖动行为及对应的时间点作为埋点数据上报给计算机设备。
计算机设备边播放教学视频，边接收埋点上报的埋点行为数据。
所述识别模块204，用于根据所述埋点行为数据及所述知识点存续时间序列识别需要回放的知识点。
比较所述埋点行为数据与所述知识点存续时间序列，判断用户是否在每一个知识点的存续时间段内都有停留。当用户在某个知识点的存续时间段内未做停留，表明用户没有学习该知识点，将没有学习的知识点识别为用户需要回放的知识点。
在一个可选的实施例中，所述识别模块204根据所述埋点行为数据及所述知识点存续时间序列识别用户需要回放的知识点包括：
获取所述埋点行为数据中的每次埋点行为对应的起始时间点和结束时间点；
将所述知识点存续时间序列中的每个知识点对应的存续时间与每次埋点行为对应的起始时间点和结束时间点之间的时间段进行匹配；
确定与任一埋点行为对应的起始时间点和结束时间点之间的时间段有交叉的多个目标交叉时间；
确定多个目标交叉时间对应的多个目标知识点；
确定每个目标知识点对应的目标存续时间；
根据每个目标知识点对应的目标存续时间及目标交叉时间计算每个目标知识点的时间重复度；
根据所述时间重复度从所述多个目标知识点中筛选出需要回放的知识点。
示例性的，假设所述教学视频中有5个知识点，其中，第一个知识点对应的存续时间为0-1分，第二个知识点对应的存续时间为1-4分，第三个知识点对应的存续时间为4-8分，第四个知识点对应的存储时间为8-9分，第五个知识点对应的存续时间为9-10分，用户第一次的埋点行为（拖拽）对应的起始时间点为1.5分和结束时间点为3分，第二次的埋点行为（拖拽）对应的起始时间点为6分和结束时间点为8.7分，则第一个目标交叉时间为1.5-3分，第二个目标交叉时间为6-8分，第三个目标交叉时间为8-8.7分，第一个目标交叉时间对应第一个目标知识点为第二个知识点，第二个目标交叉时间对应第二个目标知识点为第三个知识点，第三个目标交叉时间对应第三个目标知识点为第四个知识点。
由于第一个目标知识点的存续时间为1-4分，第一个目标交叉时间为1.5-3分，则根据第一个目标知识点对应的目标存续时间及第一个目标交叉时间计算第一个目标知识点的时间重复度为50%。
由于第二个目标知识点的存续时间为4-8分，第二个目标交叉时间为6-8分，则根据第二个目标知识点对应的目标存续时间及第二个目标交叉时间计算第二个目标知识点的时间重复度为50%。
由于第三个目标知识点的存续时间为8-9分，第三个目标交叉时间为8-8.7分，则根据第三个目标知识点对应的目标存续时间及第三个目标交叉时间计算第三个目标知识点的时间重复度为70%。
时间重复度越大，表明对应的目标知识点所学习的时间短，时间重复度越小，表明对应的目标知识点所学习的时间长，因此，可以预先设置一个学习时间阈值，将大于所述学习时间阈值的时间重复度确定为目标时间重复度，目标时间重复度对应的目标知识点则为需要回放的知识点。
所述回放模块205，用于根据所述需要回放的知识点回放所述教学视频。
在识别出需要回放的知识点之后，计算机设备根据需要回放的知识点重新播放所述教学视频。
在一个可选的实施例中，所述回放模块205根据所述需要回放的知识点回放所述教学视频包括：
根据所述知识点存续时间序列确定每个需要回放的知识点对应的目标存续时间；
在所述教学视频的进度条上设置与每个目标存续时间对应的回放标识；
当侦测到回放标识上接收到触发信号时，确定接收到触发信号的回放标识对应的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
去掉所述教学视频的进度条上所述目标回放知识点对应的回放标识，并回放所述教学视频中的目标关键图片帧。
计算机设备可以在教学视频的进度条上设置“回看”按钮，确定为回放标识。有多少个需要回放的知识点，设置多少个回放标识。
计算机设备在确定每个需要回放的知识点对应的目标存续时间之后，可以在所述教学视频的进度条上对应所述目标存续时间的开始时间点设置回放标识，还可以在所述教学视频的进度条上对应所述目标存续时间的整个时间点设置回放标识。
计算机设备边回放用户触发的回放标识对应的目标关键图片帧，边接收埋点上报的埋点行为数据，并根据所述埋点行为数据及所述需要回放的知识点的存续时间识别用户是否对所述需要回放的知识点完成了回放学习。确定已经回放的知识点，并删除所述已经回放的知识点对应的回放标识，根据已经回放的知识点及所有需要回放的知识点确定出未回放的知识点，并高光显示未回放的知识点对应的回放标识。
用户可以通过点击或者触摸所述教学视频进度条上的回放标识来触发教学视频自动跳转到需要回放的知识点处。计算机设备侦测到回放标识上接收到点击或者触摸信号时，确定该回放标识接收到了触发信号，从而自动跳转到教学视频中的目标关键图片帧处，实现回放过程。
该可选的实施例中，通过在教学视频进度条上设置回放标识，使得用户能依据该回放标识快速找到其感兴趣的知识点，提高用户的观看体验，通过删除所述已经回放的知识点对应的回放标识，并高光显示未回放的知识点对应的回放标识，能够起到提示用户点击回放标识进行回放学习的作用，督促用户学习需要回放的知识点，加强用户对知识点的掌握，提高教学视频的教学效果。
在另一个可选的实施例中，所述回放模块205根据所述需要回放的知识点回放所述教学视频包括：
确定所述教学视频中多个所述知识点之间的层级关系；
根据所述层级关系生成知识点结构树；
在所述知识点结构树中高光显示所述需要回放的知识点；
当侦测到所述知识点结构树中需要回放的知识点接收到了触发信号时，确定接收到触发信号的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
取消所述知识点结构树中所述目标回放知识点的高光显示，并回放所述教学视频中的目标关键图片帧。
在确定用户对需要回放的知识点完成了回放学习时，认为该需要回放的知识点为已经回放的知识点，在确定用户对需要回放的知识点未完成回放学习时，认为该需要回放的知识点不为已经回放的知识点，即，该需要回放的知识点仍然需要再次进行回放学习。
计算机设备识别的多个需要回放的知识点，有部分确实是用户遗漏的知识点，为用户真正需要回放的知识点，有部分是用户已经不需要回放的知识点。
该可选的实施例中，根据所述教学视频中多个所述知识点之间的层级关系生成知识点结构树，能够清楚的呈现出知识点之间的逻辑关系，使得用户能够快速的确定出真正需要回放的知识点。相较于在教学视频的进度条上设置回放标识来触发回放事件，本实施例对知识点的回放效率更高；且以知识点结构树进行呈现，还能够辅助用户掌握知识脉络，进一步提高在线教学的教学质量。
所述显示模块206，用于接收用户的输入知识点；计算所述输入知识点与每个关键图片帧中的知识点之间的相似度；根据所述相似度确定所述输入知识点对应的目标关键图片帧；根据所述知识点存续时间序列跳转显示所述教学视频中所述目标关键图片帧。
学员在学完教学视频之后，若需要对某一页文件中的内容进行回放，则可以在教学视频结束之后显示文本输入框，学员在文本输入框中输入知识点。
计算机设备计算所述输入知识点与每个关键图片帧中的知识点之间的相似度，确定出所述输入知识点对应的目标关键图片帧，从而根据所述知识点存续时间序列确定所述目标关键图片帧在教学视频中的目标时间点，并根据所述目标时间点直接跳转到目标关键图片帧处。
该可选的实施例中，根据所述知识点存续时间序列能够直接跳转到学员需要回看的目标关键图片帧，使得学员能够快速找到感兴趣的内容，避免学员手动推动教学视频中的进度条来进行回放，提高了回放的效率，提高了学员的观看体验。
本发明所述的基于埋点行为的视频回放装置，首先在提取教学视频中的图片帧序列时，根据教学视频的属性来提取，使得图片帧序列的提取效率更高，且提取的图片帧序列的数量少，有助于提高对图片帧序列的处理效率；接着借助于图片帧中的预设标记，能够快速的识别所述图片帧序列中的多个关键图片帧；然后识别每个关键图片帧中的知识点，从而根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列。实际应用时，获取播放所述教学视频过程中的用户的埋点行为数据，并根据用户的埋点行为数据及所述知识点存续时间序列快速的定位教学视频中感兴趣的内容，从而确定需要回放的知识点，对于不同的用户，由于埋点行为数据不同，因此，需要回放的知识点也不同。根据所述需要回放的知识点回放所述教学视频，能够解决由于教学视频内容复杂或过长等原因导致学员在学习教学视频时无法快速找寻知识点这一学习困境，回放的内容切合学员的实际需求，提高了教学视频的回放效率。
需要强调的是，为进一步保证上述教学视频的私密性和安全性，上述教学视频可存储于区块链的节点中。
参阅图3所示，为本发明实施例三提供的计算机设备的结构示意图。在本发明较佳实施例中，所述计算机设备3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的计算机设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述计算机设备3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述计算机设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述计算机设备3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述计算机设备3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31中存储有计算机程序，所述计算机程序被所述至少一个处理器32执行时实现如所述的基于埋点行为的视频回放方法中的全部或者部分步骤。所述存储器31包括只读存储器（Read-Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read-Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子擦除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链（Blockchain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中，所述至少一个处理器32是所述计算机设备3的控制核心（Control Unit），利用各种接口和线路连接整个计算机设备3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行计算机设备3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的基于埋点行为的视频回放方法的全部或者部分步骤；或者实现基于埋点行为的视频回放装置的全部或者部分功能。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（CentralProcessing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述计算机设备3还可以包括给各个部件供电的电源（比如电池），优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。本发明陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于埋点行为的视频回放方法，其特征在于，所述方法包括：
根据教学视频的属性提取教学视频中的图片帧序列，并根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧；
识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列；
获取播放所述教学视频过程中的用户的埋点行为数据；
根据所述埋点行为数据及所述知识点存续时间序列识别需要回放的知识点；
根据所述需要回放的知识点回放所述教学视频。
2.如权利要求1所述的基于埋点行为的视频回放方法，其特征在于，所述根据教学视频的属性提取教学视频中的图片帧序列包括：
提取所述教学视频中的视频数据；
获取所述教学视频的总时长及所述教学视频中的文件的总页数；
根据所述总时长及所述总页数计算采样帧率；
采用所述采样帧率对所述视频数据进行采样，得到图片帧序列。
3.如权利要求1所述的基于埋点行为的视频回放方法，其特征在于，所述根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧包括：
将所述图片帧序列中的每前后两个图片帧进行组合，得到多个图片帧对；
计算每个图片帧对中前一个图片帧的第一哈希值及后一个图片帧的第二哈希值，并根据所述第一哈希值和所述第二哈希值计算所述图片帧对的相似度；
计算每个图片帧对中的预设标记的数量，并根据所述数量更新预设相似度阈值，得到目标相似度阈值；
从所述多个图片帧对中获取相似度小于对应的目标相似度阈值的多个目标图片帧对；
将每个目标图片帧对中后一个目标图片帧确定为关键图片帧，得到多个关键图片帧。
4.如权利要求1所述的基于埋点行为的视频回放方法，其特征在于，识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列包括：
识别每个关键图片帧中的每条图片文本，并确定每条图片文本在对应的关键图片帧中的位置；
获取每个关键图片帧中最高的位置对应的目标图片文本，作为所述关键图片帧中的知识点；
根据每个关键图片帧在所述教学视频中的第一时间点及所述关键图片帧的后一个关键图片帧在所述教学视频中的第二时间点，生成关键图片帧存续时间向量；
使用所述知识点更新对应的关键图片帧存续时间向量中的关键图片帧；
根据多个更新后的关键图片帧存续时间向量生成知识点存续时间序列。
5.如权利要求1所述的基于埋点行为的视频回放方法，其特征在于，所述根据所述埋点行为数据及所述知识点存续时间序列识别用户需要回放的知识点包括：
获取所述埋点行为数据中的每次埋点行为对应的起始时间点和结束时间点；
将所述知识点存续时间序列中的每个知识点对应的存续时间与每次埋点行为对应的起始时间点和结束时间点之间的时间段进行匹配；
确定与任一埋点行为对应的起始时间点和结束时间点之间的时间段有交叉的多个目标交叉时间；
确定多个目标交叉时间对应的多个目标知识点；
确定每个目标知识点对应的目标存续时间；
根据每个目标知识点对应的目标存续时间及目标交叉时间计算每个目标知识点的时间重复度；
根据所述时间重复度从所述多个目标知识点中筛选出需要回放的知识点。
6.如权利要求1至5中任意一项所述的基于埋点行为的视频回放方法，其特征在于，所述根据所述需要回放的知识点回放所述教学视频包括：
根据所述知识点存续时间序列确定每个需要回放的知识点对应的目标存续时间；
在所述教学视频的进度条上设置与每个目标存续时间对应的回放标识；
当侦测到回放标识上接收到触发信号时，确定接收到触发信号的回放标识对应的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
去掉所述教学视频的进度条上所述目标回放知识点对应的回放标识，并回放所述教学视频中的目标关键图片帧。
7.如权利要求1至5中任意一项所述的基于埋点行为的视频回放方法，其特征在于，所述根据所述需要回放的知识点回放所述教学视频包括：
确定所述教学视频中多个所述知识点之间的层级关系；
根据所述层级关系生成知识点结构树；
在所述知识点结构树中高光显示所述需要回放的知识点；
当侦测到所述知识点结构树中需要回放的知识点接收到了触发信号时，确定接收到触发信号的目标回放知识点及所述目标回放知识点对应的目标关键图片帧；
取消所述知识点结构树中所述目标回放知识点的高光显示，并回放所述教学视频中的目标关键图片帧。
8.一种基于埋点行为的视频回放装置，其特征在于，所述装置包括：
提取模块，用于根据教学视频的属性提取教学视频中的图片帧序列，并根据图片帧中的预设标记识别所述图片帧序列中的多个关键图片帧；
生成模块，用于识别每个关键图片帧中的知识点，并根据每个关键图片帧在所述教学视频中的存续时间及对应的知识点生成知识点存续时间序列；
获取模块，用于获取播放所述教学视频过程中的用户的埋点行为数据；
识别模块，用于根据所述埋点行为数据及所述知识点存续时间序列识别需要回放的知识点；
回放模块，用于根据所述需要回放的知识点回放所述教学视频。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的基于埋点行为的视频回放方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于埋点行为的视频回放方法。
CN202011591753.6A 2020-12-29 2020-12-29 基于埋点行为的视频回放方法、装置、计算机设备及介质 Active CN112637687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011591753.6A CN112637687B (zh) 2020-12-29 2020-12-29 基于埋点行为的视频回放方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011591753.6A CN112637687B (zh) 2020-12-29 2020-12-29 基于埋点行为的视频回放方法、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN112637687A true CN112637687A (zh) 2021-04-09
CN112637687B CN112637687B (zh) 2022-10-14

Family

ID=75286083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011591753.6A Active CN112637687B (zh) 2020-12-29 2020-12-29 基于埋点行为的视频回放方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN112637687B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990142A (zh) * 2021-04-30 2021-06-18 平安科技（深圳）有限公司 一种基于ocr的视频导图生成方法、装置、设备及存储介质
CN113891026A (zh) * 2021-11-04 2022-01-04 Oook(北京)教育科技有限责任公司 一种录播视频的标记方法、装置、介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120046770A1 (en) * 2010-08-23 2012-02-23 Total Immersion Software, Inc. Apparatus and methods for creation, collection, and dissemination of instructional content modules using mobile devices
CN108076376A (zh) * 2016-11-17 2018-05-25 杭州海康威视数字技术股份有限公司 一种基于视频云存储系统的视频定位回放方法及装置
CN110753256A (zh) * 2019-09-18 2020-02-04 深圳壹账通智能科技有限公司 录像回放的方法、装置、存储介质及计算机设备
CN111462554A (zh) * 2020-04-22 2020-07-28 浙江蓝鸽科技有限公司 网上课堂视频知识点识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120046770A1 (en) * 2010-08-23 2012-02-23 Total Immersion Software, Inc. Apparatus and methods for creation, collection, and dissemination of instructional content modules using mobile devices
CN108076376A (zh) * 2016-11-17 2018-05-25 杭州海康威视数字技术股份有限公司 一种基于视频云存储系统的视频定位回放方法及装置
CN110753256A (zh) * 2019-09-18 2020-02-04 深圳壹账通智能科技有限公司 录像回放的方法、装置、存储介质及计算机设备
CN111462554A (zh) * 2020-04-22 2020-07-28 浙江蓝鸽科技有限公司 网上课堂视频知识点识别方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990142A (zh) * 2021-04-30 2021-06-18 平安科技（深圳）有限公司 一种基于ocr的视频导图生成方法、装置、设备及存储介质
CN113891026A (zh) * 2021-11-04 2022-01-04 Oook(北京)教育科技有限责任公司 一种录播视频的标记方法、装置、介质和电子设备
CN113891026B (zh) * 2021-11-04 2024-01-26 Oook(北京)教育科技有限责任公司 一种录播视频的标记方法、装置、介质和电子设备

Also Published As

Publication number Publication date
CN112637687B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN109348275B (zh) 视频处理方法和装置
CN106971009B (zh) 语音数据库生成方法及装置、存储介质、电子设备
CN112637687B (zh) 基于埋点行为的视频回放方法、装置、计算机设备及介质
CN107357787B (zh) 语义交互方法、装置及电子设备
CN108509591B (zh) 信息问答交互方法及系统、存储介质、终端、智能知识库
CN112287914B (zh) Ppt视频段提取方法、装置、设备及介质
CN104081784A (zh) 信息处理装置、信息处理方法和程序
US20200098282A1 (en) Internet-based recorded course learning following system and method
CN107122786B (zh) 一种众包学习方法及装置
CN109165316A (zh) 一种视频处理方法、视频索引方法、装置及终端设备
CN110990707A (zh) 一种学习内容推送的方法、系统、设备及存储介质
CN111553138B (zh) 用于规范内容结构文档的辅助写作方法及装置
CN113591489A (zh) 语音交互方法、装置及相关设备
CN109471955A (zh) 视频片段的定位方法、计算设备及存储介质
CN114461777A (zh) 智能问答方法、装置、设备及存储介质
US20240079002A1 (en) Minutes of meeting processing method and apparatus, device, and medium
CN110175061B (zh) 基于动画的交互方法、装置和电子设备
CN108614872A (zh) 课程内容展示方法及装置
CN112055257B (zh) 视频课堂的互动方法、装置、设备及存储介质
CN111538852A (zh) 多媒体资源处理方法、装置、存储介质及设备
CN113259763B (zh) 教学视频处理方法、装置和电子设备
CN112289321B (zh) 讲解同步的视频高光处理方法、装置、计算机设备及介质
CN111935552A (zh) 信息标注方法、装置、设备及介质
CN116978028A (zh) 视频处理方法、装置、电子设备及存储介质
CN113963306B (zh) 基于人工智能的课件片头制作方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041444

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant