CN112287914B - Ppt视频段提取方法、装置、设备及介质 - Google Patents
Ppt视频段提取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112287914B CN112287914B CN202011571563.8A CN202011571563A CN112287914B CN 112287914 B CN112287914 B CN 112287914B CN 202011571563 A CN202011571563 A CN 202011571563A CN 112287914 B CN112287914 B CN 112287914B
- Authority
- CN
- China
- Prior art keywords
- page
- feature
- sentence
- initial
- chapter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 60
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 37
- 238000004140 cleaning Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000012549 training Methods 0.000 abstract description 9
- 238000010801 machine learning Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 description 12
- 238000012015 optical character recognition Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 208000031361 Hiccup Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人工智能领域，提供一种PPT视频段提取方法、装置、设备及介质，能够自动剪辑出一个或多个要点短视频，方便用户快速了解视频主旨，并为后期预告的制作等提供重要参考，有效使用机器学习方法建立特征工程进行视频分析，在此基础上进一步对音频文件进行粗切分，通过全局匹配和局部匹配增加特征权重，再对章节进行细粒度划分，无需大量训练模型，可以针对某一垂直领域进行个性化定制，可操作性更强。本发明还涉及区块链技术，至少一个短视频可存储于区块链。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种PPT视频段提取方法、装置、设备及介质。
背景技术
随着城市生活节奏的加快，用户在观看视频时，通常想在短时间内了解到最精彩的片段，例如，可以通过剪辑、合成、特效等的包装，制造出令人难忘的电影预告片，或者在一些网络公开课中，利用技术手段提取有效信息形成短片，使用户能够更加直观地了解视频的精华段。
目前较为流行的视频剪辑或编辑软件，主要依靠人工参与视频片段的切分，通常是用户观看视频后挑选合适的帧，最终将其拼接到一起。这就需要剪辑者充分理解视频内容并能精准定位关键信息，不仅人工成本高，整体工作效率也难以提升。
而现有的视频摘要技术，通常以自动或半自动的方式分析视频的结构和内容，进而从原始视频中提取有意义的片段。但这种方法往往需要海量的同类视频训练深度学习模型，对垂直领域适用性低。
发明内容
鉴于以上内容，有必要提供一种PPT视频段提取方法、装置、设备及介质，能够自动剪辑出一个或多个要点短视频，方便用户快速了解视频主旨，并为后期预告的制作等提供重要参考，有效使用机器学习方法建立特征工程进行视频分析，在此基础上进一步对音频文件进行粗切分，通过全局匹配和局部匹配增加特征权重，再对章节进行细粒度划分，无需大量训练模型，可以针对某一垂直领域进行个性化定制，可操作性更强。
一种PPT视频段提取方法，所述PPT视频段提取方法包括：
响应于PPT视频段提取指令，获取待处理视频；
对所述待处理视频进行文字识别，得到第一初始文件；
对所述第一初始文件进行合并处理，得到至少一个初始页面；
对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征；
提取所述待处理视频中的语音作为待处理语音，对所述待处理语音进行语音识别，得到第二初始文件；
对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征；
对所述第一特征及所述第二特征进行匹配，得到第三特征；
对所述第三特征进行章节切分，得到至少一个子章节；
采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息；
基于时间戳技术对所述目标信息进行整合，得到至少一个短视频。
根据本发明优选实施例，所述对所述第一初始文件进行合并处理，得到至少一个初始页面包括：
计算所述第一初始文件中所包括的页面间的相似度；
根据所述相似度对所述第一初始文件中所包括的页面进行划分，得到至少一个相似页面集；
对于所述至少一个相似页面集中的每个相似页面集，获取所述相似页面集中所包含的每个页面的开始时间及结束时间；
从每个页面的开始时间中获取最早的开始时间作为第一时间，及从每个页面的结束时间中获取最晚的结束时间作为第二时间；
根据所述第一时间及所述第二时间建立时间范围作为所述相似页面集的持续时间范围；
对所述相似页面集中所包含的页面进行并集处理，得到合并页面；
根据所述相似页面集的持续时间范围及所述合并页面构建与所述相似页面集对应的初始页面；
组合每个相似页面集对应的初始页面，得到所述至少一个初始页面。
根据本发明优选实施例，所述对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征包括：
从所述第一初始文件中获取每个初始页面的文本框位置置信度及文本识别结果置信度；
当检测到有初始页面的文本框位置置信度低于第一置信度，及所述文本识别结果置信度低于第二置信度时，从所述至少一个初始页面中删除检测到的初始页面，得到至少一个过滤页面；
获取所述至少一个过滤页面中每个页面的文本框位置信息，并根据每个页面的文本框位置信息对每个页面上的文本框进行合并处理，得到至少一个位置校正页面；
采用NLP对所述至少一个位置校正页面上的文本进行断句处理，得到至少一个校正页面；
识别所述至少一个校正页面的配置特征，并根据所述配置特征构建表格数据作为所述第一特征。
根据本发明优选实施例，所述对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征包括：
获取所述第二初始文件中每个句子的时间戳；
根据每个句子的时间戳对所述第二初始文件进行句式校正，得到校正语句；
采用NLP对所述校正语句进行清洗，得到清洗语句；
计算所述清洗语句中每个句子间的时间间隔；
根据每个句子间的时间间隔及每个句子的时间戳计算与每个句子对应的比率；
根据与每个句子对应的比率对所述清洗语句进行合并处理，得到所述第二特征。
根据本发明优选实施例，所述对所述第一特征及所述第二特征进行匹配，得到第三特征包括：
获取所述第一特征的时间戳范围，及获取所述第二特征的时间戳范围；
根据所述第一特征的时间戳范围及所述第二特征的时间戳范围计算每个第一特征与每个第二特征的重合度；
将所述重合度大于或者等于配置重合度的第一特征及第二特征进行合并，得到第一匹配特征；
基于动态规划对所述第一匹配特征中的每个特征进行全局比对及局部比对，得到比对结果；
根据所述比对结果对所述第一匹配特征中的每个特征进行二次匹配，并整合匹配成功的特征，得到所述第三特征。
根据本发明优选实施例，所述对所述第三特征进行章节切分，得到至少一个子章节包括：
从所述第三特征中获取目录页，根据所述目录页的目录项目对所述第三特征进行章节切分，得到至少一个第一切分章节，计算每个第一切分章节的内容与对应的目录项目的相关度，从所述至少一个第一切分章节中获取所述相关度大于或者等于配置相关度的章节构建所述至少一个子章节；或者
识别所述第三特征中每个页面的子标题，根据识别到的子标题对所述第三特征进行章节切分，得到至少一个第二切分章节，计算每个第二切分章节的内容与对应的子标题的相关度，从所述至少一个第二切分章节中获取所述相关度大于或者等于所述配置相关度的章节构建所述至少一个子章节。
根据本发明优选实施例，所述采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息包括：
获取每个子章节中的每个句子；
采用TextRank算法对每个句子进行预处理，得到至少一个候选句子；
计算所述至少一个候选句子间的相似度，并根据所述至少一个候选句子间的相似度建立图模型；
根据所述图模型确定每个候选句子的权重；
按照由高到低的顺序对每个候选句子的权重进行排序；
获取排在前预设位的权重对应的候选句子作为对应的子章节的目标信息。
一种PPT视频段提取装置，所述PPT视频段提取装置包括：
获取单元，用于响应于PPT视频段提取指令，获取待处理视频；
识别单元，用于对所述待处理视频进行文字识别，得到第一初始文件；
合并单元，用于对所述第一初始文件进行合并处理，得到至少一个初始页面；
校正单元，用于对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征；
所述识别单元，还用于提取所述待处理视频中的语音作为待处理语音，对所述待处理语音进行语音识别，得到第二初始文件；
所述校正单元，还用于对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征；
匹配单元，用于对所述第一特征及所述第二特征进行匹配，得到第三特征；
切分单元，用于对所述第三特征进行章节切分，得到至少一个子章节；
提取单元，用于采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息；
整合单元，用于基于时间戳技术对所述目标信息进行整合，得到至少一个短视频。
一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现所述PPT视频段提取方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述PPT视频段提取方法。
由以上技术方案可以看出，本发明能够自动剪辑出一个或多个要点短视频，方便用户快速了解视频主旨，并为后期预告的制作等提供重要参考，有效使用机器学习方法建立特征工程进行视频分析，在此基础上进一步对音频文件进行粗切分，通过全局匹配和局部匹配增加特征权重，再对章节进行细粒度划分，无需大量训练模型，可以针对某一垂直领域进行个性化定制，可操作性更强。
附图说明
图1是本发明PPT视频段提取方法的较佳实施例的流程图。
图2是本发明PPT视频段提取装置的较佳实施例的功能模块图。
图3是本发明实现PPT视频段提取方法的较佳实施例的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，是本发明PPT视频段提取方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述PPT视频段提取方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
S10，响应于PPT（PowerPoint）视频段提取指令，获取待处理视频。
所述PPT视频段通常用于在线课程，例如：所述PPT视频段可以由对应的培训课程PPT和演讲音频组成。
在本实施例中，所述PPT视频段提取指令可以由相关工作人员触发，如培训师、课程推广负责人等，也可以由课程学习人员触发，以辅助课程学习人员了解视频的精华部分，本发明在此不限制。
在本发明的至少一个实施例中，所述获取待处理视频包括，但不限于以下任意一种或者多种方式的组合：
（1）接收用户上传的视频作为所述待处理视频。
通过上述实施方式，能够基于用户的实际需求获取待处理视频。
（2）解析所述PPT视频段提取指令的方法体，得到所述PPT视频段提取指令所携带的信息，基于预设标签在所述PPT视频段提取指令所携带的信息中进行遍历，并将遍历到的信息确定为目标地址，连接至所述目标地址，并获取所述目标地址处存储的文件作为所述待处理视频。
通过上述实施方式，能够结合指令解析及标签获取所述待处理视频，由于标签具有唯一性，因此得到的所述待处理视频更加准确。
S11，对所述待处理视频进行文字识别，得到第一初始文件。
在本实施例中，可以采用OCR（Optical Character Recognition，光学字符识别）对所述待处理视频进行文字识别，以获取到所述待处理视频的图像相关信息。
具体地，所述对所述待处理视频进行文字识别，得到第一初始文件包括：
从所述待处理视频中获取图像数据；
对所述图像数据进行文字识别，得到具有目标格式的文本数据及与所述文本数据对应的文本信息；
整合所述具有目标格式的文本数据及与所述文本数据对应的文本信息作为所述第一初始文件。
其中，所述目标格式可以包括Json格式。
其中，所述文本信息可以包括，但不限于以下一种或者多种信息的组合：
文本框位置、文本框位置置信度，以及文本识别结果置信度。
通过上述实施方式，能够基于文字识别技术首先对所述待处理视频进行文字识别，得到文本数据及相关的文本信息，以供后续进一步处理使用。
S12，对所述第一初始文件进行合并处理，得到至少一个初始页面。
需要说明的是，在进行文字识别后，得到的第一初始文件可能存在一定的重复性，因此，需要进一步对识别到的第一初始文件进行合并处理。
在本实施例中，所述对所述第一初始文件进行合并处理，得到至少一个初始页面包括：
计算所述第一初始文件中所包括的页面间的相似度；
根据所述相似度对所述第一初始文件中所包括的页面进行划分，得到至少一个相似页面集；
对于所述至少一个相似页面集中的每个相似页面集，获取所述相似页面集中所包含的每个页面的开始时间及结束时间；
从每个页面的开始时间中获取最早的开始时间作为第一时间，及从每个页面的结束时间中获取最晚的结束时间作为第二时间；
根据所述第一时间及所述第二时间建立时间范围作为所述相似页面集的持续时间范围；
对所述相似页面集中所包含的页面进行并集处理，得到合并页面；
根据所述相似页面集的持续时间范围及所述合并页面构建与所述相似页面集对应的初始页面；
组合每个相似页面集对应的初始页面，得到所述至少一个初始页面。
例如：当页面A和页面B具有较高的相似度时，以所述页面A及所述页面B构建相似页面集X，获取所述页面A的开始时间、结束时间，及获取所述页面B的开始时间、结束时间，并从中选择最早开始时间及最晚结束时间构建所述相似页面集X的持续时间范围，同时，取所述页面A及所述页面B的并集，得到合并页面，则所述初始页面为所述合并页面，并以所述持续时间范围为页面持续的时间区间。
通过上述实施方式，能够有效避免由于PPT翻页造成的重复识别，同时，基于时间进行合并也提高了文本与语音的匹配度。
S13，对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征。
需要说明的是，得到的每个初始页面中还可能存在信息不完整、位置错乱、断句不合理等情况，因此，还需要对每个初始页面进行校正，以提升页面质量。
具体地，所述对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征包括：
从所述第一初始文件中获取每个初始页面的文本框位置置信度及文本识别结果置信度；
当检测到有初始页面的文本框位置置信度低于第一置信度，及所述文本识别结果置信度低于第二置信度时，从所述至少一个初始页面中删除检测到的初始页面，得到至少一个过滤页面；
获取所述至少一个过滤页面中每个页面的文本框位置信息，并根据每个页面的文本框位置信息对每个页面上的文本框进行合并处理，得到至少一个位置校正页面；
采用NLP（Natural Language Processing，自然语言处理）对所述至少一个位置校正页面上的文本进行断句处理，得到至少一个校正页面；
识别所述至少一个校正页面的配置特征，并根据所述配置特征构建表格数据作为所述第一特征。
其中，所述第一置信度及所述第二置信度可以进行自定义配置，本发明不限制。
其中，所述表格数据中的信息可以是标题、标题相似度分值、词权重、时间戳、所属页面页码、等各种信息的汇总。
在上述实施方式中，首先根据置信度筛除识别效果不好、存在不完整或者不准确情况的页面，以保证页面的质量，再根据文本框位置信息对相邻文本框进行合并，以保证文本的完整性，最后对文本进行断句处理，进一步提升了文本的可用性。
S14，提取所述待处理视频中的语音作为待处理语音，对所述待处理语音进行语音识别，得到第二初始文件。
在本发明的至少一个实施例中，可以采用ASR（Automatic Speech Recognition，自动语音识别技术）对所述待处理语音进行语音识别，得到所述第二初始文件。
所述ASR主要用于将视频中的语音转为文字，转换后得到的所述第二初始文件由时间戳和对应的文本组成。
S15，对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征。
可以理解的是，在经过ASR处理后得到的文件经常会出现下一个时间戳信息以上一个时间戳的标点开始的情况，句子间的顺序混乱，没有进行合理的句子合并。
针对上述情况，在本实施例中，所述对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征包括：
获取所述第二初始文件中每个句子的时间戳；
根据每个句子的时间戳对所述第二初始文件进行句式校正，得到校正语句；
采用NLP对所述校正语句进行清洗，得到清洗语句；
计算所述清洗语句中每个句子间的时间间隔；
根据每个句子间的时间间隔及每个句子的时间戳计算与每个句子对应的比率；
根据与每个句子对应的比率对所述清洗语句进行合并处理，得到所述第二特征。
例如：句子A的时间戳为（742,832），句子B的时间戳为（832,1272），则所述句子A的时间戳末端与所述句子B的时间戳前端相邻，说明所述句子A与所述句子B实际上是一句话，因此，可以将所述句子A与所述句子B合并为一个校正语句。
通过上述实施方式，能够首先基于时间戳对相邻句子进行合并，以保证每个句子的完整性。
进一步地，采用NLP对所述校正语句进行清洗。
例如：采用NLP，将校正语句“这边额的话话，我看了一呃下，你那个尾号尾号为幺三栋九的银行卡是正确的”，修正为能够较好理解的清洗语句“这边的话，我看了一下，你那个尾号为一三零九的银行卡是正确的”。
通过上述实施方式，能够有效降低句子中的冗余词汇，以保证句子的质量及可读性。
更进一步地，根据每个句子间的时间间隔及每个句子的时间戳计算与每个句子对应的比率。
通过上述实施方式，能够为了避免后续剪辑过程中出现不完整表达，对清洗后的文本进行时间微调，并计算两句之间的时间间隔与当前句子的完整时间戳的比率，将比率小于一定比率的文本合并，用来保证剪辑过程中句子的内容完整性。
S16，对所述第一特征及所述第二特征进行匹配，得到第三特征。
可以理解的是，所述第一特征是对图像内容识别的结果，所述第二特征是对语音内容识别的结果，为了将图像识别结果与语音识别结果相对应，还需要对所述第一特征及所述第二特征进行特征的匹配。
具体地，在本实施例中，所述对所述第一特征及所述第二特征进行匹配，得到第三特征包括：
获取所述第一特征的时间戳范围，及获取所述第二特征的时间戳范围；
根据所述第一特征的时间戳范围及所述第二特征的时间戳范围计算每个第一特征与每个第二特征的重合度；
将所述重合度大于或者等于配置重合度的第一特征及第二特征进行合并，得到第一匹配特征；
基于动态规划对所述第一匹配特征中的每个特征进行全局比对及局部比对，得到比对结果；
根据所述比对结果对所述第一匹配特征中的每个特征进行二次匹配，并整合匹配成功的特征，得到所述第三特征。
其中，所述配置重合度可以进行自定义配置，本发明不限制。
其中，在基于时间戳进行对比时，所述将所述重合度大于或者等于配置重合度的第一特征及第二特征进行合并，即将起始时间或者结束时间的时间差在阈值范围内的特征进行匹配。
其中，所述全局比对是指对比两个文本不连续重复的文字占比，所述局部比对是指对比两个文本最长的公共子串，并计算重复的最长内容的占比。
在上述实施方式中，优先采用OCR每帧画面的时间跨度和ASR每句时间跨度进行粗匹配，将两者的开始时间和结束时间均转至以ms为单位，将在一定范围内有时间重合度的进行一次匹配，再使用基于动态规划的全局比对和局部比对在内容上进行二次匹配，计算某一个时间重合的OCR和ASR在内容上的匹配度，以进一步确保匹配的准确度。
S17，对所述第三特征进行章节切分，得到至少一个子章节。
可以理解的是，基于PPT视频段的特性，PPT页内出现的位置都相对固定，因此，可以将抽取的PPT页内子标题作为对视频初步切分的主要依据，或者根据其目录页的章节标题或每一章节的起始页进行切分。
具体地，所述对所述第三特征进行章节切分，得到至少一个子章节包括：
从所述第三特征中获取目录页，根据所述目录页的目录项目对所述第三特征进行章节切分，得到至少一个第一切分章节，计算每个第一切分章节的内容与对应的目录项目的相关度，从所述至少一个第一切分章节中获取所述相关度大于或者等于配置相关度的章节构建所述至少一个子章节；或者
识别所述第三特征中每个页面的子标题，根据识别到的子标题对所述第三特征进行章节切分，得到至少一个第二切分章节，计算每个第二切分章节的内容与对应的子标题的相关度，从所述至少一个第二切分章节中获取所述相关度大于或者等于所述配置相关度的章节构建所述至少一个子章节。
例如：若从OCR（即图像识别的特征）中抽取出的目录项目或PPT页子标题在ASR（即语音识别的特征）中出现，则表明可以信任该文本作为章节划分依据，同时计算每章ASR文本与目录项或子标题的相关性，并保留标题与内容高度相关的章节。
通过上述实施方式，能够基于PPT视频段的特性实现对章节的划分，以实现对视频段的初步切分。
S18，采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息。
需要说明的是，对于初步切分后得到的视频段，还需要进行进一步地提炼，即针对每一个子章节进行关键信息的提取。
具体地，所述采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息包括：
获取每个子章节中的每个句子；
采用TextRank算法对每个句子进行预处理，得到至少一个候选句子；
计算所述至少一个候选句子间的相似度，并根据所述至少一个候选句子间的相似度建立图模型；
根据所述图模型确定每个候选句子的权重；
按照由高到低的顺序对每个候选句子的权重进行排序；
获取排在前预设位的权重对应的候选句子作为对应的子章节的目标信息。
其中，TextRank算法是一种用于文本的图排序算法，首先把文本分割成若干组成单元并建立图模型，再利用投票机制对文本中的重要成分进行排序，仅利用单篇文档本身的信息即可实现关键信息提取。
在本方案中，将每一个句子作为一个图中的一个顶点，根据两个句子之间内容的重复程度计算两个句子之间的相似性，如果两个句子存在相似性，那么认为这两个句子对应的节点之间存在一条无向有权边，具体地：
（1）预处理：
对子章节进行文本分割，得到单个句子，并构建集合
，其中，T代表子章节，
表示子章节
由
个句子组成。
同时，对句子进行分词，去停用词等操作，得到
，其中，
，为候选关键词；j代表句子序号，i代表在句中的位置，i、j为正整数。
（2）句子相似度计算：
构造图
，其中，
为集合
中重复句子被过滤后得到的句子集合，
为图
的边集。
其中，采用如下公式计算给定两个句子
间的相似度：
其中，
代表
间的相似度，
表示句子中的词。
公式中分子部分指同时出现在两个句子中的同一个词的个数，分母部分表示对句子中的词个数求对数之和。
若两个句子之间的相似度大于给定阈值，则确定两个句子语义相关，并将它们连接起来，得到图中边的权值。
（3）句子权重计算：
通过迭代传播权重，计算各句子间的权重和得分
。
即最终的权重为累加值。
（4）目标信息：
将（3）中得到的句子按照权重得分进行由高到低进行排序，并抽取重要程度最高的K个句子作为所述目标信息，进而获取到每个子章节中的重要句子。
通过上述实施方式，能够基于TextRank算法提取每个子章节中的重要句子，以便于后续进行视频的合成。
S19，基于时间戳技术对所述目标信息进行整合，得到至少一个短视频。
具体地，将上面得到的重要程度较高的目标信息按照时间戳的先后顺序排序，以开始时间最早的重要句为新切片的起点，以结束时间最晚的重要句作为终点，整合目标信息的时间戳，即可将原始的待处理视频段切分成一个或多个精华短视频。
通过上述实施方式，能够自动剪辑出一个或多个要点短视频，方便用户快速了解视频主旨，并为后期预告的制作等提供重要参考。
本实施方式有效使用机器学习方法建立特征工程进行视频分析，在此基础上进一步对音频文件进行粗切分，通过全局匹配和局部匹配增加特征权重，再对章节进行细粒度划分，无需大量训练模型，可以针对某一垂直领域进行个性化定制，可操作性更强。
需要说明的是，为了进一步保证数据的安全性，还可以将至少一个短视频部署于区块链，以防止数据被恶意篡改。
由以上技术方案可以看出，本发明能够自动剪辑出一个或多个要点短视频，方便用户快速了解视频主旨，并为后期预告的制作等提供重要参考，有效使用机器学习方法建立特征工程进行视频分析，在此基础上进一步对音频文件进行粗切分，通过全局匹配和局部匹配增加特征权重，再对章节进行细粒度划分，无需大量训练模型，可以针对某一垂直领域进行个性化定制，可操作性更强。
如图2所示，是本发明PPT视频段提取装置的较佳实施例的功能模块图。所述PPT视频段提取装置11包括获取单元110、识别单元111、合并单元112、校正单元113、匹配单元114、切分单元115、提取单元116、整合单元117。本发明所称的模块/单元是指一种能够被处理器13所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
响应于PPT（PowerPoint）视频段提取指令，获取单元110获取待处理视频。
所述PPT视频段通常用于在线课程，例如：所述PPT视频段可以由对应的培训课程PPT和演讲音频组成。
在本实施例中，所述PPT视频段提取指令可以由相关工作人员触发，如培训师、课程推广负责人等，也可以由课程学习人员触发，以辅助课程学习人员了解视频的精华部分，本发明在此不限制。
在本发明的至少一个实施例中，所述获取单元110获取待处理视频包括，但不限于以下任意一种或者多种方式的组合：
（1）接收用户上传的视频作为所述待处理视频。
通过上述实施方式，能够基于用户的实际需求获取待处理视频。
（2）解析所述PPT视频段提取指令的方法体，得到所述PPT视频段提取指令所携带的信息，基于预设标签在所述PPT视频段提取指令所携带的信息中进行遍历，并将遍历到的信息确定为目标地址，连接至所述目标地址，并获取所述目标地址处存储的文件作为所述待处理视频。
通过上述实施方式，能够结合指令解析及标签获取所述待处理视频，由于标签具有唯一性，因此得到的所述待处理视频更加准确。
识别单元111对所述待处理视频进行文字识别，得到第一初始文件。
在本实施例中，可以采用OCR（Optical Character Recognition，光学字符识别）对所述待处理视频进行文字识别，以获取到所述待处理视频的图像相关信息。
具体地，所述识别单元111对所述待处理视频进行文字识别，得到第一初始文件包括：
从所述待处理视频中获取图像数据；
对所述图像数据进行文字识别，得到具有目标格式的文本数据及与所述文本数据对应的文本信息；
整合所述具有目标格式的文本数据及与所述文本数据对应的文本信息作为所述第一初始文件。
其中，所述目标格式可以包括Json格式。
其中，所述文本信息可以包括，但不限于以下一种或者多种信息的组合：
文本框位置、文本框位置置信度，以及文本识别结果置信度。
通过上述实施方式，能够基于文字识别技术首先对所述待处理视频进行文字识别，得到文本数据及相关的文本信息，以供后续进一步处理使用。
合并单元112对所述第一初始文件进行合并处理，得到至少一个初始页面。
需要说明的是，在进行文字识别后，得到的第一初始文件可能存在一定的重复性，因此，需要进一步对识别到的第一初始文件进行合并处理。
在本实施例中，所述合并单元112对所述第一初始文件进行合并处理，得到至少一个初始页面包括：
计算所述第一初始文件中所包括的页面间的相似度；
根据所述相似度对所述第一初始文件中所包括的页面进行划分，得到至少一个相似页面集；
对于所述至少一个相似页面集中的每个相似页面集，获取所述相似页面集中所包含的每个页面的开始时间及结束时间；
从每个页面的开始时间中获取最早的开始时间作为第一时间，及从每个页面的结束时间中获取最晚的结束时间作为第二时间；
根据所述第一时间及所述第二时间建立时间范围作为所述相似页面集的持续时间范围；
对所述相似页面集中所包含的页面进行并集处理，得到合并页面；
根据所述相似页面集的持续时间范围及所述合并页面构建与所述相似页面集对应的初始页面；
组合每个相似页面集对应的初始页面，得到所述至少一个初始页面。
例如：当页面A和页面B具有较高的相似度时，以所述页面A及所述页面B构建相似页面集X，获取所述页面A的开始时间、结束时间，及获取所述页面B的开始时间、结束时间，并从中选择最早开始时间及最晚结束时间构建所述相似页面集X的持续时间范围，同时，取所述页面A及所述页面B的并集，得到合并页面，则所述初始页面为所述合并页面，并以所述持续时间范围为页面持续的时间区间。
通过上述实施方式，能够有效避免由于PPT翻页造成的重复识别，同时，基于时间进行合并也提高了文本与语音的匹配度。
校正单元113对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征。
需要说明的是，得到的每个初始页面中还可能存在信息不完整、位置错乱、断句不合理等情况，因此，还需要对每个初始页面进行校正，以提升页面质量。
具体地，所述校正单元113对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征包括：
从所述第一初始文件中获取每个初始页面的文本框位置置信度及文本识别结果置信度；
当检测到有初始页面的文本框位置置信度低于第一置信度，及所述文本识别结果置信度低于第二置信度时，从所述至少一个初始页面中删除检测到的初始页面，得到至少一个过滤页面；
获取所述至少一个过滤页面中每个页面的文本框位置信息，并根据每个页面的文本框位置信息对每个页面上的文本框进行合并处理，得到至少一个位置校正页面；
采用NLP（Natural Language Processing，自然语言处理）对所述至少一个位置校正页面上的文本进行断句处理，得到至少一个校正页面；
识别所述至少一个校正页面的配置特征，并根据所述配置特征构建表格数据作为所述第一特征。
其中，所述第一置信度及所述第二置信度可以进行自定义配置，本发明不限制。
其中，所述表格数据中的信息可以是标题、标题相似度分值、词权重、时间戳、所属页面页码、等各种信息的汇总。
在上述实施方式中，首先根据置信度筛除识别效果不好、存在不完整或者不准确情况的页面，以保证页面的质量，再根据文本框位置信息对相邻文本框进行合并，以保证文本的完整性，最后对文本进行断句处理，进一步提升了文本的可用性。
所述识别单元111提取所述待处理视频中的语音作为待处理语音，对所述待处理语音进行语音识别，得到第二初始文件。
在本发明的至少一个实施例中，可以采用ASR（Automatic Speech Recognition，自动语音识别技术）对所述待处理语音进行语音识别，得到所述第二初始文件。
所述ASR主要用于将视频中的语音转为文字，转换后得到的所述第二初始文件由时间戳和对应的文本组成。
所述校正单元113对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征。
可以理解的是，在经过ASR处理后得到的文件经常会出现下一个时间戳信息以上一个时间戳的标点开始的情况，句子间的顺序混乱，没有进行合理的句子合并。
针对上述情况，在本实施例中，所述校正单元113对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征包括：
获取所述第二初始文件中每个句子的时间戳；
根据每个句子的时间戳对所述第二初始文件进行句式校正，得到校正语句；
采用NLP对所述校正语句进行清洗，得到清洗语句；
计算所述清洗语句中每个句子间的时间间隔；
根据每个句子间的时间间隔及每个句子的时间戳计算与每个句子对应的比率；
根据与每个句子对应的比率对所述清洗语句进行合并处理，得到所述第二特征。
例如：句子A的时间戳为（742,832），句子B的时间戳为（832,1272），则所述句子A的时间戳末端与所述句子B的时间戳前端相邻，说明所述句子A与所述句子B实际上是一句话，因此，可以将所述句子A与所述句子B合并为一个校正语句。
通过上述实施方式，能够首先基于时间戳对相邻句子进行合并，以保证每个句子的完整性。
进一步地，采用NLP对所述校正语句进行清洗。
例如：采用NLP，将校正语句“这边额的话话，我看了一呃下，你那个尾号尾号为幺三栋九的银行卡是正确的”，修正为能够较好理解的清洗语句“这边的话，我看了一下，你那个尾号为一三零九的银行卡是正确的”。
通过上述实施方式，能够有效降低句子中的冗余词汇，以保证句子的质量及可读性。
更进一步地，根据每个句子间的时间间隔及每个句子的时间戳计算与每个句子对应的比率。
通过上述实施方式，能够为了避免后续剪辑过程中出现不完整表达，对清洗后的文本进行时间微调，并计算两句之间的时间间隔与当前句子的完整时间戳的比率，将比率小于一定比率的文本合并，用来保证剪辑过程中句子的内容完整性。
匹配单元114对所述第一特征及所述第二特征进行匹配，得到第三特征。
可以理解的是，所述第一特征是对图像内容识别的结果，所述第二特征是对语音内容识别的结果，为了将图像识别结果与语音识别结果相对应，还需要对所述第一特征及所述第二特征进行特征的匹配。
具体地，在本实施例中，所述匹配单元114对所述第一特征及所述第二特征进行匹配，得到第三特征包括：
获取所述第一特征的时间戳范围，及获取所述第二特征的时间戳范围；
根据所述第一特征的时间戳范围及所述第二特征的时间戳范围计算每个第一特征与每个第二特征的重合度；
将所述重合度大于或者等于配置重合度的第一特征及第二特征进行合并，得到第一匹配特征；
基于动态规划对所述第一匹配特征中的每个特征进行全局比对及局部比对，得到比对结果；
根据所述比对结果对所述第一匹配特征中的每个特征进行二次匹配，并整合匹配成功的特征，得到所述第三特征。
其中，所述配置重合度可以进行自定义配置，本发明不限制。
其中，在基于时间戳进行对比时，所述将所述重合度大于或者等于配置重合度的第一特征及第二特征进行合并，即将起始时间或者结束时间的时间差在阈值范围内的特征进行匹配。
其中，所述全局比对是指对比两个文本不连续重复的文字占比，所述局部比对是指对比两个文本最长的公共子串，并计算重复的最长内容的占比。
在上述实施方式中，优先采用OCR每帧画面的时间跨度和ASR每句时间跨度进行粗匹配，将两者的开始时间和结束时间均转至以ms为单位，将在一定范围内有时间重合度的进行一次匹配，再使用基于动态规划的全局比对和局部比对在内容上进行二次匹配，计算某一个时间重合的OCR和ASR在内容上的匹配度，以进一步确保匹配的准确度。
切分单元115对所述第三特征进行章节切分，得到至少一个子章节。
可以理解的是，基于PPT视频段的特性，PPT页内出现的位置都相对固定，因此，可以将抽取的PPT页内子标题作为对视频初步切分的主要依据，或者根据其目录页的章节标题或每一章节的起始页进行切分。
具体地，所述切分单元115对所述第三特征进行章节切分，得到至少一个子章节包括：
从所述第三特征中获取目录页，根据所述目录页的目录项目对所述第三特征进行章节切分，得到至少一个第一切分章节，计算每个第一切分章节的内容与对应的目录项目的相关度，从所述至少一个第一切分章节中获取所述相关度大于或者等于配置相关度的章节构建所述至少一个子章节；或者
识别所述第三特征中每个页面的子标题，根据识别到的子标题对所述第三特征进行章节切分，得到至少一个第二切分章节，计算每个第二切分章节的内容与对应的子标题的相关度，从所述至少一个第二切分章节中获取所述相关度大于或者等于所述配置相关度的章节构建所述至少一个子章节。
例如：若从OCR（即图像识别的特征）中抽取出的目录项目或PPT页子标题在ASR（即语音识别的特征）中出现，则表明可以信任该文本作为章节划分依据，同时计算每章ASR文本与目录项或子标题的相关性，并保留标题与内容高度相关的章节。
通过上述实施方式，能够基于PPT视频段的特性实现对章节的划分，以实现对视频段的初步切分。
提取单元116采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息。
需要说明的是，对于初步切分后得到的视频段，还需要进行进一步地提炼，即针对每一个子章节进行关键信息的提取。
具体地，所述提取单元116采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息包括：
获取每个子章节中的每个句子；
采用TextRank算法对每个句子进行预处理，得到至少一个候选句子；
计算所述至少一个候选句子间的相似度，并根据所述至少一个候选句子间的相似度建立图模型；
根据所述图模型确定每个候选句子的权重；
按照由高到低的顺序对每个候选句子的权重进行排序；
获取排在前预设位的权重对应的候选句子作为对应的子章节的目标信息。
其中，TextRank算法是一种用于文本的图排序算法，首先把文本分割成若干组成单元并建立图模型，再利用投票机制对文本中的重要成分进行排序，仅利用单篇文档本身的信息即可实现关键信息提取。
在本方案中，将每一个句子作为一个图中的一个顶点，根据两个句子之间内容的重复程度计算两个句子之间的相似性，如果两个句子存在相似性，那么认为这两个句子对应的节点之间存在一条无向有权边，具体地：
（1）预处理：
对子章节进行文本分割，得到单个句子，并构建集合
，其中，T代表子章节，
表示子章节
由
个句子组成。
同时，对句子进行分词，去停用词等操作，得到
，其中，
，为候选关键词；j代表句子序号，i代表在句中的位置，i、j为正整数。
（2）句子相似度计算：
构造图
，其中，
为集合
中重复句子被过滤后得到的句子集合，
为图
的边集。
其中，采用如下公式计算给定两个句子
间的相似度：
其中，
代表
间的相似度，
表示句子中的词。
公式中分子部分指同时出现在两个句子中的同一个词的个数，分母部分表示对句子中的词个数求对数之和。
若两个句子之间的相似度大于给定阈值，则确定两个句子语义相关，并将它们连接起来，得到图中边的权值。
（3）句子权重计算：
通过迭代传播权重，计算各句子间的权重和得分
。
即最终的权重为累加值。
（4）目标信息：
将（3）中得到的句子按照权重得分进行由高到低进行排序，并抽取重要程度最高的K个句子作为所述目标信息，进而获取到每个子章节中的重要句子。
通过上述实施方式，能够基于TextRank算法提取每个子章节中的重要句子，以便于后续进行视频的合成。
整合单元117基于时间戳技术对所述目标信息进行整合，得到至少一个短视频。
具体地，将上面得到的重要程度较高的目标信息按照时间戳的先后顺序排序，以开始时间最早的重要句为新切片的起点，以结束时间最晚的重要句作为终点，整合目标信息的时间戳，即可将原始的待处理视频段切分成一个或多个精华短视频。
通过上述实施方式，能够自动剪辑出一个或多个要点短视频，方便用户快速了解视频主旨，并为后期预告的制作等提供重要参考。
本实施方式有效使用机器学习方法建立特征工程进行视频分析，在此基础上进一步对音频文件进行粗切分，通过全局匹配和局部匹配增加特征权重，再对章节进行细粒度划分，无需大量训练模型，可以针对某一垂直领域进行个性化定制，可操作性更强。
需要说明的是，为了进一步保证数据的安全性，还可以将至少一个短视频部署于区块链，以防止数据被恶意篡改。
由以上技术方案可以看出，本发明能够自动剪辑出一个或多个要点短视频，方便用户快速了解视频主旨，并为后期预告的制作等提供重要参考，有效使用机器学习方法建立特征工程进行视频分析，在此基础上进一步对音频文件进行粗切分，通过全局匹配和局部匹配增加特征权重，再对章节进行细粒度划分，无需大量训练模型，可以针对某一垂直领域进行个性化定制，可操作性更强。
如图3所示，是本发明实现PPT视频段提取方法的较佳实施例的电子设备的结构示意图。
所述电子设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如PPT视频段提取程序。
本领域技术人员可以理解，所述示意图仅仅是电子设备1的示例，并不构成对电子设备1的限定，所述电子设备1既可以是总线型结构，也可以是星形结构，所述电子设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述电子设备1还可以包括输入输出设备、网络接入设备等。
需要说明的是，所述电子设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）等。进一步地，存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如PPT视频段提取程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述电子设备1的控制核心（Control Unit），利用各种接口和线路连接整个电子设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块（例如执行PPT视频段提取程序等），以及调用存储在所述存储器12内的数据，以执行电子设备1的各种功能和处理数据。
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个PPT视频段提取方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如，所述计算机程序可以被分割成获取单元110、识别单元111、合并单元112、校正单元113、匹配单元114、切分单元115、提取单元116、整合单元117。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述PPT视频段提取方法的部分。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器等。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根箭头表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器13逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
图3仅示出了具有组件12-13的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
结合图1，所述电子设备1中的所述存储器12存储多个指令以实现一种PPT视频段提取方法，所述处理器13可执行所述多个指令从而实现：
响应于PPT视频段提取指令，获取待处理视频；
对所述待处理视频进行文字识别，得到第一初始文件；
对所述第一初始文件进行合并处理，得到至少一个初始页面；
对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征；
提取所述待处理视频中的语音作为待处理语音，对所述待处理语音进行语音识别，得到第二初始文件；
对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征；
对所述第一特征及所述第二特征进行匹配，得到第三特征；
对所述第三特征进行章节切分，得到至少一个子章节；
采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息；
基于时间戳技术对所述目标信息进行整合，得到至少一个短视频。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种PPT视频段提取方法，其特征在于，所述PPT视频段提取方法包括：
响应于PPT视频段提取指令，获取待处理视频；
对所述待处理视频进行文字识别，得到第一初始文件；
对所述第一初始文件进行合并处理，得到至少一个初始页面；
对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征；
提取所述待处理视频中的语音作为待处理语音，对所述待处理语音进行语音识别，得到第二初始文件；
对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征；
对所述第一特征及所述第二特征进行匹配，得到第三特征；
对所述第三特征进行章节切分，得到至少一个子章节；
采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息；
基于时间戳技术对所述目标信息进行整合，得到至少一个短视频。
2.如权利要求1所述的PPT视频段提取方法，其特征在于，所述对所述第一初始文件进行合并处理，得到至少一个初始页面包括：
计算所述第一初始文件中所包括的页面间的相似度；
根据所述相似度对所述第一初始文件中所包括的页面进行划分，得到至少一个相似页面集；
对于所述至少一个相似页面集中的每个相似页面集，获取所述相似页面集中所包含的每个页面的开始时间及结束时间；
从每个页面的开始时间中获取最早的开始时间作为第一时间，及从每个页面的结束时间中获取最晚的结束时间作为第二时间；
根据所述第一时间及所述第二时间建立时间范围作为所述相似页面集的持续时间范围；
对所述相似页面集中所包含的页面进行并集处理，得到合并页面；
根据所述相似页面集的持续时间范围及所述合并页面构建与所述相似页面集对应的初始页面；
组合每个相似页面集对应的初始页面，得到所述至少一个初始页面。
3.如权利要求1所述的PPT视频段提取方法，其特征在于，所述对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征包括：
从所述第一初始文件中获取每个初始页面的文本框位置置信度及文本识别结果置信度；
当检测到有初始页面的文本框位置置信度低于第一置信度，及所述文本识别结果置信度低于第二置信度时，从所述至少一个初始页面中删除检测到的初始页面，得到至少一个过滤页面；
获取所述至少一个过滤页面中每个页面的文本框位置信息，并根据每个页面的文本框位置信息对每个页面上的文本框进行合并处理，得到至少一个位置校正页面；
采用NLP对所述至少一个位置校正页面上的文本进行断句处理，得到至少一个校正页面；
识别所述至少一个校正页面的配置特征，并根据所述配置特征构建表格数据作为所述第一特征。
4.如权利要求1所述的PPT视频段提取方法，其特征在于，所述对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征包括：
获取所述第二初始文件中每个句子的时间戳；
根据每个句子的时间戳对所述第二初始文件进行句式校正，得到校正语句；
采用NLP对所述校正语句进行清洗，得到清洗语句；
计算所述清洗语句中每个句子间的时间间隔；
根据每个句子间的时间间隔及每个句子的时间戳计算与每个句子对应的比率；
根据与每个句子对应的比率对所述清洗语句进行合并处理，得到所述第二特征。
5.如权利要求1所述的PPT视频段提取方法，其特征在于，所述对所述第一特征及所述第二特征进行匹配，得到第三特征包括：
获取所述第一特征的时间戳范围，及获取所述第二特征的时间戳范围；
根据所述第一特征的时间戳范围及所述第二特征的时间戳范围计算每个第一特征与每个第二特征的重合度；
将所述重合度大于或者等于配置重合度的第一特征及第二特征进行合并，得到第一匹配特征；
基于动态规划对所述第一匹配特征中的每个特征进行全局比对及局部比对，得到比对结果；
根据所述比对结果对所述第一匹配特征中的每个特征进行二次匹配，并整合匹配成功的特征，得到所述第三特征。
6.如权利要求1所述的PPT视频段提取方法，其特征在于，所述对所述第三特征进行章节切分，得到至少一个子章节包括：
从所述第三特征中获取目录页，根据所述目录页的目录项目对所述第三特征进行章节切分，得到至少一个第一切分章节，计算每个第一切分章节的内容与对应的目录项目的相关度，从所述至少一个第一切分章节中获取所述相关度大于或者等于配置相关度的章节构建所述至少一个子章节；或者
识别所述第三特征中每个页面的子标题，根据识别到的子标题对所述第三特征进行章节切分，得到至少一个第二切分章节，计算每个第二切分章节的内容与对应的子标题的相关度，从所述至少一个第二切分章节中获取所述相关度大于或者等于所述配置相关度的章节构建所述至少一个子章节。
7.如权利要求1所述的PPT视频段提取方法，其特征在于，所述采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息包括：
获取每个子章节中的每个句子；
采用TextRank算法对每个句子进行预处理，得到候选句子；
计算所述候选句子间的相似度，并根据所述候选句子间的相似度建立图模型；
根据所述图模型确定每个候选句子的权重；
按照由高到低的顺序对每个候选句子的权重进行排序；
获取排在前预设位的权重对应的候选句子作为对应的子章节的目标信息。
8.一种PPT视频段提取装置，其特征在于，所述PPT视频段提取装置包括：
获取单元，用于响应于PPT视频段提取指令，获取待处理视频；
识别单元，用于对所述待处理视频进行文字识别，得到第一初始文件；
合并单元，用于对所述第一初始文件进行合并处理，得到至少一个初始页面；
校正单元，用于对所述至少一个初始页面中的每个初始页面进行校正，并根据校正后的页面进行特征构建，得到第一特征；
所述识别单元，还用于提取所述待处理视频中的语音作为待处理语音，对所述待处理语音进行语音识别，得到第二初始文件；
所述校正单元，还用于对所述第二初始文件进行清洗及校正处理，并对处理后的文件进行合并处理，得到第二特征；
匹配单元，用于对所述第一特征及所述第二特征进行匹配，得到第三特征；
切分单元，用于对所述第三特征进行章节切分，得到至少一个子章节；
提取单元，用于采用TextRank算法提取所述至少一个子章节中每个子章节的目标信息；
整合单元，用于基于时间戳技术对所述目标信息进行整合，得到至少一个短视频。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现如权利要求1至7中任意一项所述的PPT视频段提取方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至7中任意一项所述的PPT视频段提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011571563.8A CN112287914B (zh) | 2020-12-27 | 2020-12-27 | Ppt视频段提取方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011571563.8A CN112287914B (zh) | 2020-12-27 | 2020-12-27 | Ppt视频段提取方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287914A CN112287914A (zh) | 2021-01-29 |
| CN112287914B true CN112287914B (zh) | 2021-04-02 |
Family
ID=74426223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011571563.8A Active CN112287914B (zh) | 2020-12-27 | 2020-12-27 | Ppt视频段提取方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287914B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012723B (zh) * | 2021-03-05 | 2022-08-30 | 北京三快在线科技有限公司 | 多媒体文件播放方法、装置、电子设备 |
| CN112668561B (zh) * | 2021-03-16 | 2022-03-29 | 北京世纪好未来教育科技有限公司 | 教学类视频的切分确定方法和装置 |
| CN112990142B (zh) * | 2021-04-30 | 2021-08-10 | 平安科技（深圳）有限公司 | 一种基于ocr的视频导图生成方法、装置、设备及存储介质 |
| US11947586B2 (en) | 2021-06-29 | 2024-04-02 | Oracle International Corporation | Video processing optimization and content searching |
| CN114596882B (zh) * | 2022-03-09 | 2024-02-02 | 云学堂信息科技(江苏)有限公司 | 一种可实现对课程内容快速定位的剪辑方法 |
| CN115883867B (zh) * | 2022-11-21 | 2024-04-26 | 读书郎教育科技有限公司 | 基于附课件视频的试题视频生成方法、存储介质及设备 |
| CN116132752B (zh) * | 2023-04-13 | 2023-12-08 | 北京百度网讯科技有限公司 | 视频对照组构造、模型训练、视频打分方法、装置及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105845129A (zh) * | 2016-03-25 | 2016-08-10 | 乐视控股（北京）有限公司 | 一种在音频中切分句子的方法和系统及视频文件的字幕自动生成方法和系统 |
| CN111680152A (zh) * | 2020-06-10 | 2020-09-18 | 创新奇智(成都)科技有限公司 | 目标文本的摘要提取方法及装置、电子设备、存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6650761B1 (en) * | 1999-05-19 | 2003-11-18 | Digimarc Corporation | Watermarked business cards and methods |
| KR20100003672A (ko) * | 2008-07-01 | 2010-01-11 | (주)디유넷 | 영상정보를 이용한 음성인식 장치 및 방법 |
| CN101699426B (zh) * | 2009-11-06 | 2012-02-29 | 上海传知信息科技发展有限公司 | 文档格式转化系统及方法 |
| CN107920280A (zh) * | 2017-03-23 | 2018-04-17 | 广州思涵信息科技有限公司 | 视频、讲义ppt和语音内容精准匹配的方法和系统 |
| US11055361B2 (en) * | 2019-01-07 | 2021-07-06 | Microsoft Technology Licensing, Llc | Extensible framework for executable annotations in electronic content |
| CN110414352B (zh) * | 2019-06-26 | 2022-11-29 | 深圳职业技术学院 | 从视频文件中提取ppt文件信息的方法及相关设备 |
| CN110427819B (zh) * | 2019-06-26 | 2022-11-29 | 深圳职业技术学院 | 一种识别图像中ppt边框的方法及相关设备 |
| CN111104913B (zh) * | 2019-12-23 | 2023-03-24 | 福州大学 | 一种基于结构及相似度的视频提取ppt方法 |
-
2020
- 2020-12-27 CN CN202011571563.8A patent/CN112287914B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105845129A (zh) * | 2016-03-25 | 2016-08-10 | 乐视控股（北京）有限公司 | 一种在音频中切分句子的方法和系统及视频文件的字幕自动生成方法和系统 |
| CN111680152A (zh) * | 2020-06-10 | 2020-09-18 | 创新奇智(成都)科技有限公司 | 目标文本的摘要提取方法及装置、电子设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287914A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287914B (zh) | Ppt视频段提取方法、装置、设备及介质 | |
| CN110020437B (zh) | 一种视频和弹幕相结合的情感分析及可视化方法 | |
| CN110020424B (zh) | 合同信息的提取方法、装置和文本信息的提取方法 | |
| US8577882B2 (en) | Method and system for searching multilingual documents | |
| CN111737499B (zh) | 基于自然语言处理的数据搜索方法及相关设备 | |
| CN112287916B (zh) | 视频图文课件文本提取方法、装置、设备及介质 | |
| CN112686036B (zh) | 风险文本识别方法、装置、计算机设备及存储介质 | |
| CN111860377A (zh) | 基于人工智能的直播方法、装置、电子设备及存储介质 | |
| CN111930976B (zh) | 演示文稿生成方法、装置、设备及存储介质 | |
| CN113268615A (zh) | 资源标签生成方法、装置、电子设备及存储介质 | |
| CN113205047A (zh) | 药名识别方法、装置、计算机设备和存储介质 | |
| CN115580758A (zh) | 视频内容生成方法及装置、电子设备、存储介质 | |
| CN112861750B (zh) | 基于拐点检测的视频提取方法、装置、设备及介质 | |
| CN113301382B (zh) | 视频处理方法、设备、介质及程序产品 | |
| CN113407775B (zh) | 视频搜索方法、装置及电子设备 | |
| CN113254814A (zh) | 网络课程视频打标签方法、装置、电子设备及介质 | |
| CN107729486B (zh) | 一种视频搜索方法及装置 | |
| CN113704623A (zh) | 一种数据推荐方法、装置、设备及存储介质 | |
| CN112364068A (zh) | 课程标签生成方法、装置、设备及介质 | |
| CN112542172A (zh) | 基于在线会议的沟通辅助方法、装置、设备及介质 | |
| CN110674678A (zh) | 视频中敏感标志的识别方法及装置 | |
| CN112289321B (zh) | 讲解同步的视频高光处理方法、装置、计算机设备及介质 | |
| CN115114408A (zh) | 多模态情感分类方法、装置、设备及存储介质 | |
| CN113627186A (zh) | 基于人工智能的实体关系检测方法及相关设备 | |
| CN111222309A (zh) | 一种问句生成的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |