CN103646094A - 实现视听类产品内容摘要自动提取生成的系统及方法 - Google Patents
实现视听类产品内容摘要自动提取生成的系统及方法 Download PDFInfo
- Publication number
- CN103646094A CN103646094A CN201310698604.3A CN201310698604A CN103646094A CN 103646094 A CN103646094 A CN 103646094A CN 201310698604 A CN201310698604 A CN 201310698604A CN 103646094 A CN103646094 A CN 103646094A
- Authority
- CN
- China
- Prior art keywords
- scene
- module
- text
- audiovisual
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及一种实现视听类产品内容摘要自动提取生成的系统及方法,其中包括视听类媒体解码模块、语音处理模块、文本抽取模块、场景分割模块以及场景语义标注和摘要生成模块,所述的场景语义标注和摘要生成模块用以根据文本抽取模块抽取的文本关键词生成视听类媒体的文本摘要并根据场景分割模块聚合的场景生成视听类媒体的视频摘要。采用该种结构的实现视听类产品内容摘要自动提取生成的系统及方法,通过在传统的场景分割算法中融入文本关键词信息,使分割场景的同时具有明显的语义特征,向基于语义的视听类多媒体内容摘要跨进一步,同时解决了文本摘要与底层特征不相关的问题,使得文本摘要和视频摘要在语义上一致,适用于大规模推广应用。
Description
技术领域
本发明涉及计算机视觉和自然语言理解领域,尤其涉及视听类产品内容摘要提取领域,具体是指一种实现视听类产品内容摘要自动提取生成的系统及方法。
背景技术
随着网络以及多媒体技术的迅速发展,多媒体数据成爆炸式增长。面对海量的视听类媒体数据,人们迫切需要能够快速检索、浏览多媒体数据的技术。但视听类媒体数据所呈现出的丰富性和多样性、以及特征数据特有的时空高维结构,使得如何有效地对海量视频进行表达、存储和管理,成为学术界的研究热点和工业界聚焦的焦点。视频摘要技术应运而生。
视频摘要(Video Abstract),即以自动或半自动的方式对视频的结构和内容进行分析,从原视频中提取出有意义的部分,并将它们以某种方式进行组合,形成简洁的、能够充分表现视频语义内容的概要。目前视频摘要技术可以分为三类:视频概要(Video Summary),视频缩略(Video Skimming)和视频浓缩(Video Synopsis)。
视频概要是源视频帧的子集和,集合的元素称为视频关键帧(Keyframe),主要的技术有故事板(story board),场景转移图(STG),关键帧等,主要是以静态的方式来表现原视频的内容。其优点在于易于实现,比较客观,依然是业界最广泛采用的技术,比如优酷,乐视视频的预览方式;不足之处在于关键帧的选取没有侧重点,和故事的时空结构非均匀性不相符合,不能很好的反映视频内容的语义结构。专利CN100559376C“生产视频摘要的方法、系统与设备”主要为了覆盖尽可能多的镜头,增强视频摘要的信息完备性。专利CN101753858A“一种视频场景分割的融合方法”提供了一种鲁棒的分割融合方法,比如音频分割的镜头如何和视频分割的镜头鲁棒的融合。
视频缩略,它是以动态的视频序列来表现原视频的内容,它本身就是一段比原视频短的视频,有些还有带有原视频中的音频。视频缩略较视频概要符合人们的感知习惯,充分体现了视频的动态特征,但是视频缩略的算法都比较复杂,难以实现自动提取,人工合成的成本很高,目前视频缩略的方法最常见于专业的影视行业的片花制作中。专利US 7263660“Systemand method of Producing a Video Skimming”提供了一种视频缩略方法,取关键帧的相邻视频帧作为缩略视频的视频帧,但并没有明确的语义信息,只是达到了语句与在关键帧处表达的完整性。
视频浓缩是从源视频空间到压缩空间的一种映射,把源视频空间中的物体、事件同时在时间空间和物体空间进行压缩变换,在不损失物体和事件的基础上,达到了极大的压缩效果。但相对于视听类媒体信息,该技术基本上扰乱了原有的故事结构。视频浓缩技术主要是针对静态相机提出的,以安防监控视频的索引和快速浏览为应用背景。专利CN 101262568 A“一种产生视频大纲的方法和系统”和专利WO 2012019417 A1“在线视频浓缩装置、系统及方法”都是安防为应用背景的视频浓缩技术方面的新方法。
对于视听类多媒体,当前的视频摘要方法几乎都忽略了视频中的关键词信息,而关键词信息代表了视听类多媒体的高级语义信息。单纯的利用视频特征和音频特征,通过一些启发式方法提取视频摘要的技术已受到自身固有缺陷的约束,我们迫切需要打破语义鸿沟,引入高层语义概念,结合底层视音频特征,重构视听类媒体的视频摘要和文本摘要。
本发明与传统的文本摘要和视频摘要并不等同,而是融合了两者的信息,提出了一种全新的视听类媒体信息的文本-视频摘要方法。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种能够实现在传统的场景分割算法中融入文本关键词信息、使分割场景的同时具有明显的语义特征、文本摘要和视频摘要在语义上保持一致、适用于大规模推广应用的实现视听类产品内容摘要自动提取生成的系统及方法。
为了实现上述目的,本发明的实现视听类产品内容摘要自动提取生成的系统及方法具有如下构成:
该实现视听类产品内容摘要自动提取生成的系统,其主要特点是,所述的系统包括:
视听类媒体解码模块,用以对视听类媒体进行解码并提取音频流、视频流和已编码的文本流;
语音处理模块,用以在所述的音频流中提取音频特征并对符合语音特征的特征进行语音识别;
文本抽取模块,用以检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词;
场景分割模块,用以根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景;
场景语义标注和摘要生成模块,用以根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要。
本发明还涉及一种基于所述的系统实现视听类产品内容摘要自动提取生成的方法,其主要特点是,所述的方法包括以下步骤:
(1)所述的视听类媒体解码模块对视听类媒体进行解码并提取音频流、视频流和已编码的文本流;
(2)所述的语音处理模块在所述的音频流中提取音频特征并对符合语音特征的特征进行语音识别;
(3)所述的文本抽取模块检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词;
(4)所述的场景分割模块根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景;
(5)所述的场景语义标注和摘要生成模块根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要。
较佳地,所述的文本抽取模块检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词,包括以下步骤:
(31)所述的文本抽取模块检测所述的视听类媒体中的字幕并根据多帧检测结果确定字幕的位置;
(32)所述的文本抽取模块根据所述的语音处理模块的语音识别结果进行字幕语音同步;
(33)所述的文本抽取模块根据字幕语音同步结果选取识别概率最高的文字为文本关键词。
较佳地,所述的场景分割模块根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景,包括以下步骤:
(41)所述的场景分割模块分析所述的视频流的视频特征;
(42)所述的场景分割模块根据所述的音频特征和视频特征对所述的视频流提取关键帧;
(43)所述的场景分割模块计算各镜头间的关键帧的相似度并将相似度大的关键帧聚合为场景。
更佳地,所述的场景分割模块计算各镜头间的关键帧的相似度,具体为:
所述的场景分割模块根据各镜头间的关键帧的音频背景特征和视频特征计算各关键帧的相似度。
较佳地,所述的场景语义标注和摘要生成模块根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要,包括以下步骤:
(51)所述的场景语义标注和摘要生成模块提取所述的文本关键词并计算各个文本关键词出现的频率和在局部时间帧序列上的分布;
(52)所述的场景语义标注和摘要生成模块计算一聚合的场景内的局部场景关键词并计算该局部场景关键词出现的频率和在局部时间帧序列上的分布;
(53)所述的场景语义标注和摘要生成模块选择所述的文本关键词中与所述的局部场景关键词距离最近的语句作为对聚合的场景的语义标注语句;
(54)所述的场景语义标注和摘要生成模块将距离所述的语义标注语句出现的位置最近的关键帧定为语义关键帧;
(55)所述的场景语义标注和摘要生成模块基于所述的语义关键帧生成视频摘要并基于该聚合的场景的语义标注语句生成文本摘要。
更佳地,所述的步骤(53)和(54)之间,还包括以下步骤:
(531)所述的场景语义标注和摘要生成模块判断相邻的聚合的场景的语义标注语句之间的相似度是否大于系统预设值,如果是,则继续步骤(532),否则继续步骤(54);
(532)将相邻的聚合的场景进一步聚合生成一场景,然后继续步骤(52)。
采用了该发明中的实现视听类产品内容摘要自动提取生成的系统及方法,具有如下有益效果:
本发明提出了一种新颖的视听类产品内容摘要自动提取生成技术。该技术结合音频特征和视频特征对视频场景进行场景分割,然后利用语音识别和字符识别技术构建的文本信息,对分割的场景进行语义标注。使得计算的文本摘要关键词与相应场景关键帧在语义上距离最近。通过在传统的场景分割算法中融入文本关键词信息,使分割场景的同时具有明显的语义特征,向基于语义的视听类多媒体内容摘要跨进一步。同时解决了文本摘要与底层特征不相关的问题,使得文本摘要和视频摘要在语义上一致,适用于大规模推广应用。
附图说明
图1为本发明的实现视听类产品内容摘要自动提取生成的系统的结构示意图。
图2为本发明的视听类媒体解码模块工作过程示意图。
图3为本发明的文本抽取模块工作过程示意图。
图4为本发明的语音处理模块工作过程示意图。
图5为本发明的场景分割模块工作过程示意图。
图6为本发明的场景语义标注和摘要生成模块工作过程示意图。
图7为本发明的实现视听类产品内容摘要自动提取生成的方法的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
如图1所示,本发明的实现视听类产品内容摘要自动提取生成的系统包括:
视听类媒体解码模块,用以对视听类媒体进行解码并提取音频流、视频流和已编码的文本流;
语音处理模块,用以在音频流中提取音频特征并对符合语音特征的特征进行语音识别;
文本抽取模块,用以检测并确认视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词;
场景分割模块,用以根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景;
场景语义标注和摘要生成模块,用以根据文本关键词生成视听类媒体的文本摘要并根据聚合的场景生成视听类媒体的视频摘要。
如图7所示,本发明中实现视听类产品内容摘要自动提取生成的方法包括以下步骤:
(1)视听类媒体解码模块对视听类媒体进行解码并提取音频流和视频流,如果已编码了文本流,同时提取文本流;如图2所示。
(2)语音处理模块在音频流中提取音频特征,提取音频特征,区分静音特征,语音特征,背景音乐特征和其他背景特征,并对符合语音特征的特征进行语音识别,如图3所示;
(3)文本抽取模块检测并确认视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词,如图4所示;
即由文本抽取模块检测字幕区域,融合多帧检测结果,确定字幕位置;对字幕分割、识别;为提高识别率,同时融合多帧识别结果;融合语音识别结果与当前识别结果,识别概率最高的文字为最终识别结果。
具体包括以下三个子步骤:
(31)文本抽取模块检测视听类媒体中的字幕并根据多帧检测结果确定字幕的位置;
(32)文本抽取模块根据语音处理模块的语音识别结果进行字幕语音同步;
(33)文本抽取模块根据字幕语音同步结果选取识别概率最高的文字为文本关键词。
(4)场景分割模块根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景,如图5所示;
即场景分割模块结合视频特征和音频特征,如静音,背景音,检测镜头边界,然后通过聚类的方法提取镜头关键帧;计算各镜头间的关键帧的相似度,相似度大的聚合为场景,相似度计算的特征有音频背景特征和视频特征。
具体包括以下三个子步骤:
(41)场景分割模块分析视频流的视频特征;
(42)场景分割模块根据音频特征和视频特征对视频流提取关键帧;
(43)场景分割模块计算各镜头间的关键帧的相似度并将相似度大的关键帧聚合为场景。
(5)场景语义标注和摘要生成模块根据文本关键词生成视听类媒体的文本摘要并根据聚合的场景生成视听类媒体的视频摘要,如图6所示。
即结合步骤(3)和(4),提取已抽取文本的关键词,计算关键词出现的频率和在时间帧序列上的分布;计算某一分割场景内的局部关键词,并计算出现的频率和在局部时间帧序列上的分布;选择整体文本关键词和局部场景关键词最近的语句对分割场景进行语义标注,选择;如果相邻的分割场景关键词重复大于某个阈值,则对相邻场景融合,从新计算场景语义标注信息,直至相邻间场景达到一定距离为止。计算关键帧与语义标注语句出现的相对位置,最近的关键帧为语义关键帧。语义关键帧生成视频摘要,场景的标注语句生成文本摘要。
具体包括以下五个子步骤:
(51)场景语义标注和摘要生成模块提取文本关键词并计算各个文本关键词出现的频率和在局部时间帧序列上的分布;
(52)场景语义标注和摘要生成模块计算一聚合的场景内的局部场景关键词并计算该局部场景关键词出现的频率和在局部时间帧序列上的分布;
(53)场景语义标注和摘要生成模块选择文本关键词中与局部场景关键词距离最近的语句作为对聚合的场景的语义标注语句;
步骤(53)和(54)之间,还包括以下步骤:
(531)场景语义标注和摘要生成模块判断相邻的聚合的场景的语义标注语句之间的相似度是否大于系统预设值,如果是,则继续步骤(532),否则继续步骤(54);
(532)将相邻的聚合的场景进一步聚合生成一场景,然后继续步骤(52)。
(54)场景语义标注和摘要生成模块将距离语义标注语句出现的位置最近的关键帧定为语义关键帧;
(55)场景语义标注和摘要生成模块基于语义关键帧生成视频摘要并基于该聚合的场景的语义标注语句生成文本摘要。
采用了该发明中的实现视听类产品内容摘要自动提取生成的系统及方法,具有如下有益效果:
本发明提出了一种新颖的视听类产品内容摘要自动提取生成技术。该技术结合音频特征和视频特征对视频场景进行场景分割,然后利用语音识别和字符识别技术构建的文本信息,对分割的场景进行语义标注。使得计算的文本摘要关键词与相应场景关键帧在语义上距离最近。通过在传统的场景分割算法中融入文本关键词信息,使分割场景的同时具有明显的语义特征,向基于语义的视听类多媒体内容摘要跨进一步。同时解决了文本摘要与底层特征不相关的问题,使得文本摘要和视频摘要在语义上一致,适用于大规模推广应用。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (7)
1.一种实现视听类产品内容摘要自动提取生成的系统,其特征在于,所述的系统包括:
视听类媒体解码模块,用以对视听类媒体进行解码并提取音频流、视频流和已编码的文本流;
语音处理模块,用以在所述的音频流中提取音频特征并对符合语音特征的特征进行语音识别;
文本抽取模块,用以检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词;
场景分割模块,用以根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景;
场景语义标注和摘要生成模块,用以根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要。
2.一种基于权利要求1所述的系统实现视听类产品内容摘要自动提取生成的方法,其特征在于,所述的方法包括以下步骤:
(1)所述的视听类媒体解码模块对视听类媒体进行解码并提取音频流、视频流和已编码的文本流;
(2)所述的语音处理模块在所述的音频流中提取音频特征并对符合语音特征的特征进行语音识别;
(3)所述的文本抽取模块检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词;
(4)所述的场景分割模块根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景;
(5)所述的场景语义标注和摘要生成模块根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要。
3.根据权利要求2所述的实现视听类产品内容摘要自动提取生成的方法,其特征在于,所述的文本抽取模块检测并确认所述的视听类媒体中字幕的位置并根据语音识别结果对字幕进行分割和识别以提取文本关键词,包括以下步骤:
(31)所述的文本抽取模块检测所述的视听类媒体中的字幕并根据多帧检测结果确定字幕的位置;
(32)所述的文本抽取模块根据所述的语音处理模块的语音识别结果进行字幕语音同步;
(33)所述的文本抽取模块根据字幕语音同步结果选取识别概率最高的文字为文本关键词。
4.根据权利要求2所述的实现视听类产品内容摘要自动提取生成的方法,其特征在于,所述的场景分割模块根据音频特征和视频特征提取各镜头间的关键帧并将相似度大的关键帧聚合为场景,包括以下步骤:
(41)所述的场景分割模块分析所述的视频流的视频特征;
(42)所述的场景分割模块根据所述的音频特征和视频特征对所述的视频流提取关键帧;
(43)所述的场景分割模块计算各镜头间的关键帧的相似度并将相似度大的关键帧聚合为场景。
5.根据权利要求4所述的实现视听类产品内容摘要自动提取生成的方法,其特征在于,所述的场景分割模块计算各镜头间的关键帧的相似度,具体为:
所述的场景分割模块根据各镜头间的关键帧的音频背景特征和视频特征计算各关键帧的相似度。
6.根据权利要求2所述的实现视听类产品内容摘要自动提取生成的方法,其特征在于,所述的场景语义标注和摘要生成模块根据所述的文本关键词生成所述的视听类媒体的文本摘要并根据聚合的场景生成所述的视听类媒体的视频摘要,包括以下步骤:
(51)所述的场景语义标注和摘要生成模块提取所述的文本关键词并计算各个文本关键词出现的频率和在局部时间帧序列上的分布;
(52)所述的场景语义标注和摘要生成模块计算一聚合的场景内的局部场景关键词并计算该局部场景关键词出现的频率和在局部时间帧序列上的分布;
(53)所述的场景语义标注和摘要生成模块选择所述的文本关键词中与所述的局部场景关键词距离最近的语句作为对聚合的场景的语义标注语句;
(54)所述的场景语义标注和摘要生成模块将距离所述的语义标注语句出现的位置最近的关键帧定为语义关键帧;
(55)所述的场景语义标注和摘要生成模块基于所述的语义关键帧生成视频摘要并基于该聚合的场景的语义标注语句生成文本摘要。
7.根据权利要求6所述的实现视听类产品内容摘要自动提取生成的方法,其特征在于,所述的步骤(53)和(54)之间,还包括以下步骤:
(531)所述的场景语义标注和摘要生成模块判断相邻的聚合的场景的语义标注语句之间的相似度是否大于系统预设值,如果是,则继续步骤(532),否则继续步骤(54);
(532)将相邻的聚合的场景进一步聚合生成一场景,然后继续步骤(52)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310698604.3A CN103646094B (zh) | 2013-12-18 | 2013-12-18 | 实现视听类产品内容摘要自动提取生成的系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310698604.3A CN103646094B (zh) | 2013-12-18 | 2013-12-18 | 实现视听类产品内容摘要自动提取生成的系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103646094A true CN103646094A (zh) | 2014-03-19 |
CN103646094B CN103646094B (zh) | 2017-05-31 |
Family
ID=50251308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310698604.3A Expired - Fee Related CN103646094B (zh) | 2013-12-18 | 2013-12-18 | 实现视听类产品内容摘要自动提取生成的系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103646094B (zh) |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104320670A (zh) * | 2014-11-17 | 2015-01-28 | 东方网力科技股份有限公司 | 一种网络视频的摘要信息提取方法及系统 |
CN104679902A (zh) * | 2015-03-20 | 2015-06-03 | 湘潭大学 | 一种结合跨媒体融合的信息摘要提取方法 |
CN106550268A (zh) * | 2016-12-26 | 2017-03-29 | Tcl集团股份有限公司 | 视频处理方法和视频处理装置 |
CN106604076A (zh) * | 2016-12-30 | 2017-04-26 | 中广热点云科技有限公司 | 一种网络电视节目监控系统和方法 |
CN106649713A (zh) * | 2016-12-21 | 2017-05-10 | 中山大学 | 一种基于内容的电影可视化处理方法及其系统 |
CN106791274A (zh) * | 2016-12-14 | 2017-05-31 | 天脉聚源(北京)科技有限公司 | 一种场景检测方法及装置 |
CN106815253A (zh) * | 2015-12-01 | 2017-06-09 | 慧科讯业有限公司 | 一种基于混合数据类型数据的挖掘方法 |
CN106878632A (zh) * | 2017-02-28 | 2017-06-20 | 北京知慧教育科技有限公司 | 一种视频数据的处理方法和装置 |
CN106888407A (zh) * | 2017-03-28 | 2017-06-23 | 腾讯科技(深圳)有限公司 | 一种视频摘要生成方法及装置 |
CN106921891A (zh) * | 2015-12-24 | 2017-07-04 | 北京奇虎科技有限公司 | 一种视频特征信息的展示方法和装置 |
CN106980683A (zh) * | 2017-03-30 | 2017-07-25 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
CN107015966A (zh) * | 2017-03-28 | 2017-08-04 | 中国科学院自动化研究所 | 基于改进的PageRank算法的文本‑音频自动文摘方法 |
CN107203569A (zh) * | 2016-03-18 | 2017-09-26 | 北京泰克贝思科技股份有限公司 | 一种面向沉浸式阅读的阅读主题智能设置方法和装置 |
CN107274077A (zh) * | 2017-05-31 | 2017-10-20 | 清华大学 | 课程先后序计算方法和设备 |
CN107590442A (zh) * | 2017-08-22 | 2018-01-16 | 华中科技大学 | 一种基于卷积神经网络的视频语义场景分割方法 |
CN107707975A (zh) * | 2017-09-20 | 2018-02-16 | 天津大学 | 基于监控平台的视频智能剪辑方法 |
CN108307250A (zh) * | 2018-01-23 | 2018-07-20 | 浙江大华技术股份有限公司 | 一种生成视频摘要的方法及装置 |
CN108763338A (zh) * | 2018-05-14 | 2018-11-06 | 山东亿云信息技术有限公司 | 一种基于电力行业的新闻采编系统 |
CN108882057A (zh) * | 2017-05-09 | 2018-11-23 | 北京小度互娱科技有限公司 | 视频摘要生成方法及装置 |
CN109151500A (zh) * | 2018-09-29 | 2019-01-04 | 北京数美时代科技有限公司 | 一种针对视频直播的主播推荐方法、系统及计算机设备 |
CN109145152A (zh) * | 2018-06-28 | 2019-01-04 | 中山大学 | 一种基于查询词的自适应智能生成图文视频缩略图方法 |
CN109213895A (zh) * | 2017-07-05 | 2019-01-15 | 合网络技术(北京)有限公司 | 一种视频摘要的生成方法及装置 |
CN110019962A (zh) * | 2017-10-27 | 2019-07-16 | 优酷网络技术(北京)有限公司 | 一种视频文案信息的生成方法及装置 |
CN110366050A (zh) * | 2018-04-10 | 2019-10-22 | 北京搜狗科技发展有限公司 | 视频数据的处理方法、装置、电子设备及存储介质 |
CN110442747A (zh) * | 2019-07-09 | 2019-11-12 | 中山大学 | 一种基于关键词的视频摘要生成方法 |
WO2020029404A1 (zh) * | 2018-08-08 | 2020-02-13 | 平安科技(深圳)有限公司 | 语音处理方法及装置、计算机装置及可读存储介质 |
CN110830852A (zh) * | 2018-08-07 | 2020-02-21 | 北京优酷科技有限公司 | 一种视频内容的处理方法及装置 |
CN111050191A (zh) * | 2019-12-30 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 一种视频生成方法、装置、计算机设备和存储介质 |
CN111083558A (zh) * | 2019-12-27 | 2020-04-28 | 恒信东方文化股份有限公司 | 一种用于提供视频节目内容总结的方法及其系统 |
CN111615008A (zh) * | 2020-05-18 | 2020-09-01 | 南京莱科智能工程研究院有限公司 | 基于多设备体验的智能摘要生成和字幕阅读系统 |
CN112040256A (zh) * | 2020-08-14 | 2020-12-04 | 华中科技大学 | 一种直播实验教学过程视频标注方法和系统 |
CN112347303A (zh) * | 2020-11-27 | 2021-02-09 | 上海科江电子信息技术有限公司 | 媒体视听信息流监测监管数据样本及其标注方法 |
CN112417134A (zh) * | 2020-10-30 | 2021-02-26 | 同济大学 | 基于语音文本深度融合特征的摘要自动生成系统及方法 |
CN113626641A (zh) * | 2021-08-11 | 2021-11-09 | 南开大学 | 一种基于多模态数据和美学原理的神经网络生成视频摘要的方法 |
CN113747235A (zh) * | 2021-10-09 | 2021-12-03 | 咪咕文化科技有限公司 | 一种视频处理方法、装置及设备 |
CN114005079A (zh) * | 2021-12-31 | 2022-02-01 | 北京金茂教育科技有限公司 | 多媒体流处理方法及装置 |
CN115544244A (zh) * | 2022-09-06 | 2022-12-30 | 内蒙古工业大学 | 一种基于交叉融合和重建的多模态生成式摘要获取方法 |
CN116962796A (zh) * | 2023-09-19 | 2023-10-27 | 星河视效科技(北京)有限公司 | 应用于直播场景的跨屏互动方法、装置、设备及介质 |
CN118467778A (zh) * | 2024-07-10 | 2024-08-09 | 天翼视联科技有限公司 | 视频信息摘要生成方法、装置、电子装置和存储介质 |
CN118467778B (zh) * | 2024-07-10 | 2024-10-18 | 天翼视联科技有限公司 | 视频信息摘要生成方法、装置、电子装置和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101616264B (zh) * | 2008-06-27 | 2011-03-30 | 中国科学院自动化研究所 | 新闻视频编目方法及系统 |
CN101887439B (zh) * | 2009-05-13 | 2014-04-02 | 富士通株式会社 | 生成视频摘要的方法、装置、包含该装置的图像处理系统 |
-
2013
- 2013-12-18 CN CN201310698604.3A patent/CN103646094B/zh not_active Expired - Fee Related
Cited By (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104320670A (zh) * | 2014-11-17 | 2015-01-28 | 东方网力科技股份有限公司 | 一种网络视频的摘要信息提取方法及系统 |
CN104679902A (zh) * | 2015-03-20 | 2015-06-03 | 湘潭大学 | 一种结合跨媒体融合的信息摘要提取方法 |
CN104679902B (zh) * | 2015-03-20 | 2017-11-28 | 湘潭大学 | 一种结合跨媒体融合的信息摘要提取方法 |
CN106815253A (zh) * | 2015-12-01 | 2017-06-09 | 慧科讯业有限公司 | 一种基于混合数据类型数据的挖掘方法 |
CN106921891A (zh) * | 2015-12-24 | 2017-07-04 | 北京奇虎科技有限公司 | 一种视频特征信息的展示方法和装置 |
CN107203569A (zh) * | 2016-03-18 | 2017-09-26 | 北京泰克贝思科技股份有限公司 | 一种面向沉浸式阅读的阅读主题智能设置方法和装置 |
CN106791274A (zh) * | 2016-12-14 | 2017-05-31 | 天脉聚源(北京)科技有限公司 | 一种场景检测方法及装置 |
CN106649713A (zh) * | 2016-12-21 | 2017-05-10 | 中山大学 | 一种基于内容的电影可视化处理方法及其系统 |
CN106649713B (zh) * | 2016-12-21 | 2020-05-12 | 中山大学 | 一种基于内容的电影可视化处理方法及其系统 |
CN106550268B (zh) * | 2016-12-26 | 2020-08-07 | Tcl科技集团股份有限公司 | 视频处理方法和视频处理装置 |
CN106550268A (zh) * | 2016-12-26 | 2017-03-29 | Tcl集团股份有限公司 | 视频处理方法和视频处理装置 |
CN106604076A (zh) * | 2016-12-30 | 2017-04-26 | 中广热点云科技有限公司 | 一种网络电视节目监控系统和方法 |
CN106604076B (zh) * | 2016-12-30 | 2019-10-18 | 中广热点云科技有限公司 | 一种网络电视节目监控系统和方法 |
CN106878632A (zh) * | 2017-02-28 | 2017-06-20 | 北京知慧教育科技有限公司 | 一种视频数据的处理方法和装置 |
CN106888407B (zh) * | 2017-03-28 | 2019-04-02 | 腾讯科技(深圳)有限公司 | 一种视频摘要生成方法及装置 |
CN107015966B (zh) * | 2017-03-28 | 2019-07-19 | 中国科学院自动化研究所 | 基于改进的PageRank算法的文本-音频自动文摘方法 |
CN106888407A (zh) * | 2017-03-28 | 2017-06-23 | 腾讯科技(深圳)有限公司 | 一种视频摘要生成方法及装置 |
WO2018177139A1 (zh) * | 2017-03-28 | 2018-10-04 | 腾讯科技(深圳)有限公司 | 一种视频摘要生成方法、装置、服务器及存储介质 |
CN107015966A (zh) * | 2017-03-28 | 2017-08-04 | 中国科学院自动化研究所 | 基于改进的PageRank算法的文本‑音频自动文摘方法 |
CN106980683A (zh) * | 2017-03-30 | 2017-07-25 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
CN106980683B (zh) * | 2017-03-30 | 2021-02-12 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
CN108882057B (zh) * | 2017-05-09 | 2021-08-17 | 北京小度互娱科技有限公司 | 视频摘要生成方法及装置 |
CN108882057A (zh) * | 2017-05-09 | 2018-11-23 | 北京小度互娱科技有限公司 | 视频摘要生成方法及装置 |
CN107274077B (zh) * | 2017-05-31 | 2020-07-31 | 清华大学 | 课程先后序计算方法和设备 |
CN107274077A (zh) * | 2017-05-31 | 2017-10-20 | 清华大学 | 课程先后序计算方法和设备 |
CN109213895A (zh) * | 2017-07-05 | 2019-01-15 | 合网络技术(北京)有限公司 | 一种视频摘要的生成方法及装置 |
CN107590442A (zh) * | 2017-08-22 | 2018-01-16 | 华中科技大学 | 一种基于卷积神经网络的视频语义场景分割方法 |
CN107707975A (zh) * | 2017-09-20 | 2018-02-16 | 天津大学 | 基于监控平台的视频智能剪辑方法 |
CN110019962A (zh) * | 2017-10-27 | 2019-07-16 | 优酷网络技术(北京)有限公司 | 一种视频文案信息的生成方法及装置 |
CN110019962B (zh) * | 2017-10-27 | 2024-01-02 | 优酷网络技术(北京)有限公司 | 一种视频文案信息的生成方法及装置 |
CN108307250A (zh) * | 2018-01-23 | 2018-07-20 | 浙江大华技术股份有限公司 | 一种生成视频摘要的方法及装置 |
US11270737B2 (en) | 2018-01-23 | 2022-03-08 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for editing a video |
CN108307250B (zh) * | 2018-01-23 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种生成视频摘要的方法及装置 |
CN110366050A (zh) * | 2018-04-10 | 2019-10-22 | 北京搜狗科技发展有限公司 | 视频数据的处理方法、装置、电子设备及存储介质 |
CN108763338A (zh) * | 2018-05-14 | 2018-11-06 | 山东亿云信息技术有限公司 | 一种基于电力行业的新闻采编系统 |
CN109145152B (zh) * | 2018-06-28 | 2021-09-17 | 中山大学 | 一种基于查询词的自适应智能生成图文视频缩略图方法 |
CN109145152A (zh) * | 2018-06-28 | 2019-01-04 | 中山大学 | 一种基于查询词的自适应智能生成图文视频缩略图方法 |
CN110830852B (zh) * | 2018-08-07 | 2022-08-12 | 阿里巴巴(中国)有限公司 | 一种视频内容的处理方法及装置 |
CN110830852A (zh) * | 2018-08-07 | 2020-02-21 | 北京优酷科技有限公司 | 一种视频内容的处理方法及装置 |
WO2020029404A1 (zh) * | 2018-08-08 | 2020-02-13 | 平安科技(深圳)有限公司 | 语音处理方法及装置、计算机装置及可读存储介质 |
CN109151500A (zh) * | 2018-09-29 | 2019-01-04 | 北京数美时代科技有限公司 | 一种针对视频直播的主播推荐方法、系统及计算机设备 |
CN110442747B (zh) * | 2019-07-09 | 2023-10-20 | 中山大学 | 一种基于关键词的视频摘要生成方法 |
CN110442747A (zh) * | 2019-07-09 | 2019-11-12 | 中山大学 | 一种基于关键词的视频摘要生成方法 |
CN111083558A (zh) * | 2019-12-27 | 2020-04-28 | 恒信东方文化股份有限公司 | 一种用于提供视频节目内容总结的方法及其系统 |
CN111050191B (zh) * | 2019-12-30 | 2021-02-02 | 腾讯科技(深圳)有限公司 | 一种视频生成方法、装置、计算机设备和存储介质 |
CN111050191A (zh) * | 2019-12-30 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 一种视频生成方法、装置、计算机设备和存储介质 |
CN111615008B (zh) * | 2020-05-18 | 2022-06-03 | 南京莱科智能工程研究院有限公司 | 基于多设备体验的智能摘要生成和字幕阅读系统 |
CN111615008A (zh) * | 2020-05-18 | 2020-09-01 | 南京莱科智能工程研究院有限公司 | 基于多设备体验的智能摘要生成和字幕阅读系统 |
CN112040256B (zh) * | 2020-08-14 | 2021-06-11 | 华中科技大学 | 一种直播实验教学过程视频标注方法和系统 |
CN112040256A (zh) * | 2020-08-14 | 2020-12-04 | 华中科技大学 | 一种直播实验教学过程视频标注方法和系统 |
CN112417134A (zh) * | 2020-10-30 | 2021-02-26 | 同济大学 | 基于语音文本深度融合特征的摘要自动生成系统及方法 |
CN112417134B (zh) * | 2020-10-30 | 2022-05-13 | 同济大学 | 基于语音文本深度融合特征的摘要自动生成系统及方法 |
CN112347303A (zh) * | 2020-11-27 | 2021-02-09 | 上海科江电子信息技术有限公司 | 媒体视听信息流监测监管数据样本及其标注方法 |
CN113626641A (zh) * | 2021-08-11 | 2021-11-09 | 南开大学 | 一种基于多模态数据和美学原理的神经网络生成视频摘要的方法 |
CN113626641B (zh) * | 2021-08-11 | 2023-09-01 | 南开大学 | 一种基于多模态数据和美学原理的神经网络生成视频摘要的方法 |
CN113747235A (zh) * | 2021-10-09 | 2021-12-03 | 咪咕文化科技有限公司 | 一种视频处理方法、装置及设备 |
CN113747235B (zh) * | 2021-10-09 | 2023-09-19 | 咪咕文化科技有限公司 | 一种视频处理方法、装置及设备 |
CN114005079A (zh) * | 2021-12-31 | 2022-02-01 | 北京金茂教育科技有限公司 | 多媒体流处理方法及装置 |
CN115544244A (zh) * | 2022-09-06 | 2022-12-30 | 内蒙古工业大学 | 一种基于交叉融合和重建的多模态生成式摘要获取方法 |
CN115544244B (zh) * | 2022-09-06 | 2023-11-17 | 内蒙古工业大学 | 一种基于交叉融合和重建的多模态生成式摘要获取方法 |
CN116962796A (zh) * | 2023-09-19 | 2023-10-27 | 星河视效科技(北京)有限公司 | 应用于直播场景的跨屏互动方法、装置、设备及介质 |
CN118467778A (zh) * | 2024-07-10 | 2024-08-09 | 天翼视联科技有限公司 | 视频信息摘要生成方法、装置、电子装置和存储介质 |
CN118467778B (zh) * | 2024-07-10 | 2024-10-18 | 天翼视联科技有限公司 | 视频信息摘要生成方法、装置、电子装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103646094B (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103646094A (zh) | 实现视听类产品内容摘要自动提取生成的系统及方法 | |
KR101994592B1 (ko) | 비디오 콘텐츠의 메타데이터 자동 생성 방법 및 시스템 | |
US11776267B2 (en) | Intelligent cataloging method for all-media news based on multi-modal information fusion understanding | |
CN106649713B (zh) | 一种基于内容的电影可视化处理方法及其系统 | |
CN103761261B (zh) | 一种基于语音识别的媒体搜索方法及装置 | |
CN110012349B (zh) | 一种端到端的新闻节目结构化方法 | |
Qi et al. | Integrating visual, audio and text analysis for news video | |
Jiang et al. | Automatic consumer video summarization by audio and visual analysis | |
CN104463139B (zh) | 一种音频情感驱动下的体育视频精彩事件提取方法 | |
KR100687732B1 (ko) | 내용 기반 멀티 모달 특징값을 이용한 유해 동영상 차단방법 및 그 장치 | |
US20040143434A1 (en) | Audio-Assisted segmentation and browsing of news videos | |
CN104199933A (zh) | 一种多模态信息融合的足球视频事件检测与语义标注方法 | |
US7349477B2 (en) | Audio-assisted video segmentation and summarization | |
Pickering et al. | ANSES: Summarisation of news video | |
Chen et al. | Incorporating audio cues into dialog and action scene extraction | |
Ercolessi et al. | Toward plot de-interlacing in tv series using scenes clustering | |
Haloi et al. | Unsupervised story segmentation and indexing of broadcast news video | |
Jindal et al. | Efficient and language independent news story segmentation for telecast news videos | |
Ercolessi et al. | StoViz: story visualization of TV series | |
Valdés et al. | On-line video abstract generation of multimedia news | |
Bechet et al. | Detecting person presence in tv shows with linguistic and structural features | |
Smith et al. | Multimodal video characterization and summarization | |
Dumont et al. | A local temporal context-based approach for TV news story segmentation | |
Rickert et al. | A proposal for a taxonomy of semantic editing devices to support semantic classification | |
Liu et al. | Integrating multiple feature fusion for semantic event detection in soccer video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170531 Termination date: 20201218 |