CN1836287B - 视频摘要提取 - Google Patents

视频摘要提取 Download PDF

Info

Publication number
CN1836287B
CN1836287B CN2004800236305A CN200480023630A CN1836287B CN 1836287 B CN1836287 B CN 1836287B CN 2004800236305 A CN2004800236305 A CN 2004800236305A CN 200480023630 A CN200480023630 A CN 200480023630A CN 1836287 B CN1836287 B CN 1836287B
Authority
CN
China
Prior art keywords
video
speech
program
collection
relevant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2004800236305A
Other languages
English (en)
Other versions
CN1836287A (zh
Inventor
M·巴比里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1836287A publication Critical patent/CN1836287A/zh
Application granted granted Critical
Publication of CN1836287B publication Critical patent/CN1836287B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

公开了一种通过从对应于节目的视频流(200)中选择各个部分(222-234，242-254)来创建相关的视频片段集(201，203)的方法。相关视频片段集(201，203)可被用作视频短片或视频摘要。因此相关的视频片段集的持续时间与节目的持续时间相比是较短的。该方法包含：接收与节目相关联的脚本信息，该脚本信息包含多个句子；检测各句子中第一个句子中的第一个惊叹性语法成分；从视频流(200)中选择对应于该第一个惊叹性语法成分的各部分的第一部分(202)；将该第一部分(202)与该相关视频片段中的第一相关视频片段相关联。

Description

视频摘要提取
本发明涉及一种通过从对应于一个节目的视频流中选择相应的部分而创建一个相关视频片段集(collection)的方法，该相关视频片段集的第一持续时间与该节目的第二持续时间相比是较短的。
本发明进一步涉及一种视频片段编辑单元，用于通过从对应于一个节目的视频流中选择相应的部分而创建一个相关视频片段集，该相关视频片段集的第一持续时间与该节目的第二持续时间相比是较短的。
本发明还涉及一种视频存储系统，包含：
接收单元，用于接收视频流；
存储装置，用于存储该视频流以及用于存储从该视频流中选择的相关视频片段集；以及
视频片段编辑单元，用于如上所述地创建该相关视频片段集。
本发明进一步涉及一种由计算机装置加载的计算机程序产品，包含用于通过从对应于一个节目的视频流中选择相应的部分而创建一个相关视频片段集的指令，该相关视频片段集的第一持续时间与该节目的第二持续时间相比是较短的，该计算机装置包含处理装置和存储器。
在人们的起居室中能被访问和消费的声频-视频信息的数量不断地增加。这个趋势由于将来的电视接收机和个人电脑所提供的技术和功能二者的汇合而可能进一步加速。为了选择感兴趣的声频-视频信息，需要工具来帮助用户抽取相关的声频-视频信息和有效地在大量可用的声频-视频信息中导航。为了允许让用户能快速地概览被记录的声频-视频信息以决定是否观看一个完整的被记录节目，一个有趣的功能是自动生成视频短片(video trailers)。当某节目已经被录制或者被录制时，可以分析被记录节目，以便从视频流中选择相关的视频片段。以后通过显示该相关的视频片段，就能向用户提供该被记录节目的良好的概览。
在开篇段落中所述的那种方法的一个实施例，在R.Lienhart等的文章″Video Abstracting″(视频摘要提取)(Communications of theACM，40(12)，55-62页，1997)中是已知的。该文章公开了视频数据可以在四个层(layers)中被建模。在最低层，它由一组帧组成；在下一个较高层，帧被组合成连续镜头(shots)或连续的摄影机记录，然后根据故事叙述的连贯性，把连续镜头聚集成情景(scences)。所有情景一起构成视频。剪辑的概念，被描述为被选择作为摘要的元素的一个帧序列；一个视频摘要因此由一组剪辑组成。已知的方法包含三个步骤：视频内容的分割和分析；剪辑选择和剪辑汇编。分析步骤的目的是检测特殊事件，诸如主要演员的特写镜头、炮火、爆炸和文本。已知方法的缺点是较复杂并且没有鲁棒性。
本发明的一个目的是提供较容易的、在开篇段落中所述的那种方法。
这个目的是在一种方法中实现的，该方法包含：
接收与节目相关联的脚本(transcript)信息，该脚本信息包含多个句子；
检测句子中的第一个句子中的第一个惊叹性语法成分；
从视频流中选择对应于该第一个惊叹性语法成分的部分中的第一部分；和
将该第一部分与相关视频片段中的第一相关视频片段相关联。
惊叹性语法成分的意思是指一个惊叹号、一个用大写字母表达的词、一个包含用大写字母表达的词的句子、一个用带下划线的字符表达的词、一个用斜体字符表达的词、一个用黑体字符表达的词、或者一个用与其它句子中的其它字符相比更大的字符表达的词。
脚本信息例如表现为闭路字幕的文本、借助图文电视而被交换的字幕、或者作为要与视频流的图像合并以产生覆盖文本的图像数据而被交换和/或存储的字幕。
一般来说，以惊叹号结尾的句子对应于能被包括在或者是视频摘要或者是视频短片的视频预告片中的有趣的视频片段，以引起好奇并控制注意力。在字幕和闭路字幕中，句子把所有要被大声说出或表达(例如人喊叫)的词都写成大写。与这些句子相关联的片段，最好被用来使视频预告片更吸引人和更有趣味。
按照本发明的方法的一个实施例进一步包含滤除掉包含一个等于特定词集中的一个第二词的词的较短的句子。该词集可能包含″yes″(是)、″no″(否)和″thanks″(谢谢)等词。换言之，频繁出现的诸如″Yes！″″No！″等的短句子被滤除掉，因为它们被认为较不重要。
在按照本发明的方法的一个实施例中，改变所选择的部分的顺序。如果以正确的顺序，即对应于原始节目的顺序的顺序来观看所选择的部分，就有可能透露太多的故事。通过改变顺序，就减少了这种可能。
本发明的另一个目的是提供一种在开篇段落中所述的那种视频片段编辑单元，它被安排成以相对容易的方式创建相关视频片段集。
本发明的这个目的是通过一种视频片段编辑单元实现的，它包含：
接收装置，用于接收与节目相关联的脚本信息，该脚本信息包含多个句子；
检测装置，用于检测句子中的第一个句子中的第一个惊叹性语法成分；
选择装置，用于从视频流中选择对应于该第一个惊叹性语法成分的各个部分中的第一部分；和
关联装置，用于将各部分中该第一部分与相关视频片段中的一个第一相关视频片段相关联。
本发明的另一个目的是，提供一种在开篇段落中所述的那种视频存储系统，它被安排成以相对容易的方式创建相关视频片段集。
本发明的这个目的是通过该视频存储系统的视频片段编辑单元实现的，它包含：
接收装置，用于接收与节目相关联的脚本信息，该脚本信息包含多个句子；
检测装置，用于检测句子中的第一个句子中的第一个惊叹性语法成分；
选择装置，用于从视频流中选择对应于该第一个惊叹性语法成分的各个部分中的第一部分；和
关联装置，用于将各部分中该第一部分与相关视频片段中的一个第一相关视频片段相关联。
在按照本发明的视频存储系统的一个实施例中，该存储装置包含硬盘。在按照本发明的视频存储系统的另一个实施例中，存储装置被安排得在可移动存储装置(即诸如光盘的可移动存储介质)上存储视频流。可以在例如电视机、计算机、录像机(VCR)、DVD记录器、机顶盒、卫星调谐器或消费电子领域中的其它设备中包括一个按照本发明的视频片段编辑单元。
本发明的另一个目的是提供较容易的、在开篇段落中所述的那种计算机程序产品。
为了实现这个目的，该计算机程序产品在被加载后使所述处理装置能够执行：
接收与节目相关联的脚本信息，该脚本信息包含多个句子；
检测句子中的第一个句子中的一个第一个惊叹性语法成分；
从视频流中选择对应于该第一个惊叹性语法成分的各个部分的第一部分；和
将各部分的该第一部分与相关视频片段的第一相关视频片段相关联。
本发明的修改及其变体可对应于所述的视频存储系统的视频片段编辑单元的以及计算机程序产品的修改及其变体。
图1示意性地表示按照本发明的记录和再现设备的实施例；和
图2示意性地表示按照本发明的、根据节目创建视频概要。
附图中用相同的标注号代表相似的部件。
节目可以是由电视台即电视广播公司广播的电视节目。电视节目通常通过电视机被观看。然而，节目也可以由另一类内容提供者例如通过因特网提供。在这种情况下，节目也可以通过电视机以外的其它类型的装置被观看。作为可选择的，节目不是被广播的，而是依靠如光盘或磁带的可移动介质来交换。本说明书中的所描述的例子中的节目是电视节目。显然，本发明有更宽的范围。
电视信号包含画面信息、声音信息和另外的信息，诸如图文电视信息。电视信号传送电视节目。电视节目可包含电影、系列剧的分集、剧场演出的记录再现，纪录片或体育节目。这些类型的电视节目信息可以被多个单元的商业中断信息和公告信息中断。每个商业中断一般包含多个商业消息。
图1示意性地表示按照本发明的记录和再现设备100的实施例。这个记录和再现设备100是一个基于硬盘的视频存储系统。记录和再现设备100适于记录包含在被接收信号TS中的电视信号FS并再现被记录的电视信号AFS。被接收信号TS可以是通过天线或电缆接收的广播信号，但是也可以是来自如VCR(录像机)或数字多用盘(DVD)的存储装置的信号。被接收的信号TS由输入连接器110提供。再现的电视信号AFS在输出连接器112提供，并能通过例如电视机所包含的显示装置被显示。
记录和再现设备100包括：
接收装置102，用于接收电视信号TS。这个接收单元102-例如调谐器-被安排成选择电视台的电视信号FS。这个电视信号FS代表对应于电视节目200的视频流；
记录和再现装置106，用于存储由接收单元102所提供的视频流。如一般知道的那样，这个记录和再现装置106包括一个用于处理要被记录的电视信号FS和处理再现的电视信号AFS的信号处理级。这个处理级可包含数据压缩。记录和再现装置106包括作为记录介质的硬盘，以用于记录被处理的电视信号FS。
交换单元104，用于把被存储的信息改编成再现的电视信号AFS以及用于通过输出连接器112把这个再现电视信号AFS传送到例如电视机。该改编可以包括在代表视频流的电视信号FS的载波上的调制。被存储的信息包含由接收单元102所提供的视频流和一个相关视频片段集；和
视频片段编辑单元108，用于通过从对应于电视信号的视频流中选择相应的各部分而创建这样一个相关的视频片段集。这个视频片段编辑单元108的用途是创建一个视频短片或者视频流的一个视频摘要。因此，相关视频片段集的持续时间与电视节目的持续时间相比是较短的。例如，一个电视节目大约持续1或2小时，而相关视频片段集的持续时间在在数秒钟或数分钟的范围内。这意味着例如从10秒到2分钟。因此，相关视频片段的每一个只持续几秒。依照用户请求，要被选择的相关视频片段的持续时间可以更短或更长。并不要求所有的相关视频片段有相同的长度。相关视频片段集的创建，可以在视频流的记录的期间进行，也可以在记录已经结束之后进行。在前一种情况下，视频流通过连接114被提供，在后一种情况下，视频流通过连接116被提供。
视频片段编辑单元108包含：
脚本信息接收单元118，用于接收与节目相关联的脚本信息。脚本信息包含多个句子，并可以被实现为闭路字幕的文本、通过图文电视被交换的字幕、或者作为要与视频流的图像合并以产生覆盖文本的图像数据而被交换或存储的字幕；
文本分析单元120，用于检测句子中的惊叹性语法成分。惊叹性语法成分可以是惊叹号、用大写字母表达的词、包含用大写字母表达的词的句子、用带下划线的字符表达的词、用斜体字符表达的词、用黑体字符表达的词、或者用与其它句子中的其它字符相比更大的字符表达的词。字幕的检测最好根据W02002093910中所描述的方法。下面的两篇文章公开了用于视频流中文本检测的另外的适当技术：″MPEG-7VideoText Description Scheme for Superimposed Text″(重叠文字用的MPEG-7视频文字描述方案)(作者N.Dimitrova、L.Agnihotri、C.Dorai，RBolle，刊载于International Signal Processing and ImageCommunications Journal，2000年9月)；″Text Detection for VideoAnalysis″(视频分析的文字检测)，作者L.Agnihotri、N.Dimitrova，发表于IEEE Workshop on Content-based Access of Image and VideoLibraries，美国科罗拉多，1999年6月)；
视频选择单元122，用于从视频流200中选择对应于惊叹性语法成分的部分202-214。选择单元122被安排成用于确定惊叹性语法成分出现的开始时刻和停止时刻。各相应部分202-214的开始和结尾最好与这些开始时刻和停止时刻匹配；和
关联单元124，用于把被选择的部分202-214与相关视频片段相关联。相关视频片段集可以用原始视频流的相应部分的多个拷贝的形式存储起来。但是，最好只存储一组指针。指针指明分别对应于视频流中被选择的各部分的开始和结尾在视频流内的开始和停止位置。可以将相关视频片段集以视频数据的形式或以指针的形式存储在与存储原始视频流所用的相同的存储器装置中，或者存储在单独的存储器装置中。显然，在记录和再现设备是基于可移动存储介质的情况下，最好将视频流与相关视频片段集存储在同一个存储介质上。
最好将内容分析算法与所提出的方法结合使用，以便把被选择的视频片段与适当的视频或声频情景边界对准或者把特殊事件序列(例如爆炸、追车)包括在内。
自动生成的短片可以被用来浏览视频材料。可以用它来浏览被记录的节目。尤其是与基于自动简档(profile)的记录组合时，这是一个有趣的功能。用户需要某种方法来从被记录的节目中选择要观看哪些节目。生成的短片是一种选项，非常适合欣赏电视的后倾(lean back)模式。
脚本信息接收单元118、文本分析单元120、视频选择单元122和关联单元124可以用一个处理器来实现。一般来说，这些功能是在软件程序产品的控制下被执行的。在执行期间，软件程序产品通常被加载到如RAM那样的存储器中，并从存储器中执行。可以从如ROM、硬盘或磁性和/或光存储存储器那样的后台存储器中加载程序，或者可以通过如因特网的网络加载程序。可选地，专用集成电路提供所公开的功能。
图2示意性地表示按照本发明的、根据电视节目200对视频短片或视频摘要201的创建。电视节目201包含多个情景和连续镜头。假设与该电视有关的脚本信息是可得到的。通过选择属于脚本信息的包含惊叹性语法成分的各部分的视频流的较小部分202-214，能汇集电视节目的较为重要的情景的各个片段。因此，相关视频片段集非常适合作为视频短片或视频摘要。视频流的被选择部分202-214通常有几秒(1-10秒)的持续时间。被选择视频片段的持续时间可以等于预定值。但是该持续时间最好由惊叹性语法成分的出现的持续时间确定。或者，持续时间可由用户控制。可选地，视频片段的持续时间与电视节目的持续时间有关。例如，如果电视节目的持续时间长，则被选择的视频片段的持续时间可以较短。可选地，视频片段的持续时间与电视节目中被检测到的惊叹性语法成分的数量有关。例如，如果惊叹性语法成分的数量有限，则被选择的视频片段的持续时间可以较长。
应当注意的是，上述实施例说明而非限制本发明，所属领域的熟练人员在不偏离后附的权利要求的范围的情况下，能够设计出替代性实施例。在权利要求中，置于括号之间的任何标注符号不应被解释为限制权利要求。“包含”一词并不排除存在权利要求中未列举的部件或步骤。部件前面的“一个”一词并不排除存在多个这样的部件。本发明可通过包含几个不同部件的硬件以及通过适当编程的计算机实现。在枚举若干个装置的装置权利要求中，这些装置的几个可以由同一件硬件具体体现。第一、第二、第三等词语的使用，并不表示顺序。这些词语被解释为名称。

Claims (11)

1.一种通过从对应于一个节目的视频流(200)中选择相应的部分(202-214)而创建一个相关视频片段集(201)的方法，该相关视频片段集(201)的第一持续时间与该节目的第二持续时间相比是较短的，该方法包含：
接收与节目相关联的脚本信息，该脚本信息包含多个句子；
检测多个句子中的惊叹性语法成分；
从视频流(200)中选择对应于惊叹性语法成分的部分(202-214)；和
将选择的部分(202-214)与相关视频片段相关联。
2.如权利要求1中所要求的方法，其中，惊叹性语法成分是下述之一：惊叹号、用大写字母表达的词、包含用大写字母表达的词的句子、用带下划线的字符表达的词、用斜体字符表达的词、用黑体字符表达的词、以及用与其它句子中的其它字符相比更大的字符表达的词。
3.如权利要求1中所要求的方法，其中，脚本信息是下述之一：闭路字幕的文本、通过图文电视被交换的字幕、以及以覆盖文本的形式被交换的字幕。
4.如权利要求1中所要求的方法，进一步包含滤除掉较短的句子，所述较短的句子包含一个第一词，该第一词等于特定词集中的一个第二词。
5.如权利要求4中所要求的方法，其中，该特定词集包含词语“是”、“否”和“谢谢”。
6.如权利要求1中所要求的方法，进一步包含改变所选择的部分的顺序。
7.一种视频片段编辑单元(108)，用于通过从对应于一个节目的视频流(200)中选择相应的部分(202-214)而创建一个相关视频片段集(201)，该相关视频片段集(201)的第一持续时间与该节目的第二持续时间相比是较短的，该视频片段编辑单元包含：
接收装置(118)，用于接收与节目相关联的脚本信息，该脚本信息包含多个句子；
检测装置(120)，用于检测多个句子中的惊叹性语法成分；
选择装置(122)，用于从视频流(200)中选择对应于惊叹性语法成分的部分(202-214)；和
关联装置(124)，用于将选择的部分(202-214)与相关视频片段相关联。
8.一种视频存储系统(100)，包含：
接收单元(102)，用于接收视频流(200)；
存储装置(106)，用于存储该视频流(200)以及用于存储从该视频流(200)中选择的相关视频片段集(201)；以及
如权利要求7中所要求的视频片段编辑单元(108)，用于创建该相关视频片段集(201)。
9.如权利要求8中所要求的视频存储系统(100)，其中，存储装置包含硬盘。
10.如权利要求8中所要求的视频存储系统(100)，其中，存储装置被安排成在可移动存储装置上存储视频流(200)。
11.如权利要求10中所要求的视频存储系统(100)，其中，可移动存储介质包含光盘。
CN2004800236305A 2003-08-18 2004-08-04 视频摘要提取 Expired - Fee Related CN1836287B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP03102566 2003-08-18
EP03102566.1 2003-08-18
PCT/IB2004/051383 WO2005017899A1 (en) 2003-08-18 2004-08-04 Video abstracting

Publications (2)

Publication Number Publication Date
CN1836287A CN1836287A (zh) 2006-09-20
CN1836287B true CN1836287B (zh) 2012-03-21

Family

ID=34178574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800236305A Expired - Fee Related CN1836287B (zh) 2003-08-18 2004-08-04 视频摘要提取

Country Status (6)

Country Link
US (1) US7894709B2 (zh)
EP (1) EP1658612A1 (zh)
JP (1) JP4630869B2 (zh)
KR (1) KR101058054B1 (zh)
CN (1) CN1836287B (zh)
WO (1) WO2005017899A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870956B2 (en) 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US9053754B2 (en) * 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US20070112811A1 (en) * 2005-10-20 2007-05-17 Microsoft Corporation Architecture for scalable video coding applications
US7773813B2 (en) * 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
FR2893470B1 (fr) 2005-11-16 2008-02-15 Canon Res Ct France Soc Par Ac Procede et dispositif de creation d'une sequence video representative d'une sequence video numerique et procedes et dispositifs de transmission et reception de donnees video associes
US7599918B2 (en) * 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US20080046406A1 (en) * 2006-08-15 2008-02-21 Microsoft Corporation Audio and video thumbnails
US8301669B2 (en) * 2007-01-31 2012-10-30 Hewlett-Packard Development Company, L.P. Concurrent presentation of video segments enabling rapid video file comprehension
US8238719B2 (en) 2007-05-08 2012-08-07 Cyberlink Corp. Method for processing a sports video and apparatus thereof
US8224087B2 (en) * 2007-07-16 2012-07-17 Michael Bronstein Method and apparatus for video digest generation
CN100559376C (zh) * 2008-06-30 2009-11-11 腾讯科技（深圳）有限公司 生成视频摘要的方法、系统及设备
CN101887439B (zh) * 2009-05-13 2014-04-02 富士通株式会社 生成视频摘要的方法、装置、包含该装置的图像处理系统
US8484313B2 (en) * 2011-05-25 2013-07-09 Google Inc. Using a closed caption stream for device metadata
CN102663015B (zh) * 2012-03-21 2015-05-06 上海大学 基于特征袋模型和监督学习的视频语义标注方法
KR101328199B1 (ko) * 2012-11-05 2013-11-13 넥스트리밍(주) 동영상 편집 방법 및 그 단말기 그리고 기록매체
JP6223678B2 (ja) * 2012-12-21 2017-11-01 株式会社東芝 電子機器及び再生制御方法
CN103455625B (zh) * 2013-09-18 2016-07-06 武汉烽火众智数字技术有限责任公司 一种用于视频摘要的目标快速重排列方法
US9838734B2 (en) * 2013-12-17 2017-12-05 Echostar Technologies L.L.C. Systems and methods for customized preview videos
CN103686453A (zh) * 2013-12-23 2014-03-26 苏州千视通信科技有限公司 通过划分区域并设置不同粒度来提高视频摘要精度的方法
WO2018051307A1 (en) * 2016-09-19 2018-03-22 Prockopee Holdings Pte Ltd Frameworks and methodologies configured to enable support and delivery of a multimedia messaging interface, including automated content generation and classification, content search and prioritisation, and data analytics
US11363352B2 (en) 2017-09-29 2022-06-14 International Business Machines Corporation Video content relationship mapping
US10587919B2 (en) 2017-09-29 2020-03-10 International Business Machines Corporation Cognitive digital video filtering based on user preferences
CN110753269B (zh) * 2018-07-24 2022-05-03 Tcl科技集团股份有限公司 视频摘要生成方法、智能终端及存储介质
US11102523B2 (en) * 2019-03-19 2021-08-24 Rovi Guides, Inc. Systems and methods for selective audio segment compression for accelerated playback of media assets by service providers
US11039177B2 (en) 2019-03-19 2021-06-15 Rovi Guides, Inc. Systems and methods for varied audio segment compression for accelerated playback of media assets
US20200366973A1 (en) * 2019-05-14 2020-11-19 Pccw Vuclip (Singapore) Pte. Ltd. Automatic Video Preview Creation System

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649060A (en) * 1993-10-18 1997-07-15 International Business Machines Corporation Automatic indexing and aligning of audio and text using speech recognition
CN1158481A (zh) * 1995-11-02 1997-09-03 索尼公司 具有管理的节目摘要的记录介质及其再现设备和方法
US5781687A (en) * 1993-05-27 1998-07-14 Studio Nemo, Inc. Script-based, real-time, video editor
CN1213817A (zh) * 1994-07-04 1999-04-14 索尼公司 用于重放记录介质的装置
CN1303095A (zh) * 1999-10-27 2001-07-11 三星电子株式会社 存储附加信息的记录介质、记录方法及恢复方法
CN1426563A (zh) * 2000-12-22 2003-06-25 皇家菲利浦电子有限公司 使用音频类别界定节目边界和商业广告边界的系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200734A (ja) * 1993-12-28 1995-08-04 Toshiba Corp 光学的文字読取装置
JPH07245745A (ja) * 1994-03-07 1995-09-19 Nippon Hoso Kyokai <Nhk> 文字情報データの音声提示方法
JP3472659B2 (ja) * 1995-02-20 2003-12-02 株式会社日立製作所 映像供給方法および映像供給システム
US5703655A (en) * 1995-03-24 1997-12-30 U S West Technologies, Inc. Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process
JPH10232884A (ja) * 1996-11-29 1998-09-02 Media Rinku Syst:Kk 映像ソフトウェア処理方法及び映像ソフトウェア処理装置
JPH11331761A (ja) * 1998-05-18 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 映像の自動要約方法およびその装置およびその方法を記録した記録媒体
JP2000175160A (ja) * 1998-12-02 2000-06-23 Nec Corp 文字放送受信装置
US6505153B1 (en) 2000-05-22 2003-01-07 Compaq Information Technologies Group, L.P. Efficient method for producing off-line closed captions
JP2002117043A (ja) * 2000-10-11 2002-04-19 Ricoh Co Ltd 文書検索装置、文書検索方法およびその方法を実施するためのプログラムを記録した記録媒体
CN1483288A (zh) * 2000-11-14 2004-03-17 皇家菲利浦电子有限公司 节目摘要和/或索引
US6798912B2 (en) 2000-12-18 2004-09-28 Koninklijke Philips Electronics N.V. Apparatus and method of program classification based on syntax of transcript information
US6922809B2 (en) 2001-01-25 2005-07-26 International Business Machines Corporation Method and apparatus providing capitalization recovery for text
US7046914B2 (en) * 2001-05-01 2006-05-16 Koninklijke Philips Electronics N.V. Automatic content analysis and representation of multimedia presentations
JP4197958B2 (ja) 2001-05-15 2008-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号中の字幕の検出
WO2003051031A2 (en) * 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Method and apparatus for planarization of a material by growing and removing a sacrificial film
US7360234B2 (en) * 2002-07-02 2008-04-15 Caption Tv, Inc. System, method, and computer program product for selective filtering of objectionable content from a program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781687A (en) * 1993-05-27 1998-07-14 Studio Nemo, Inc. Script-based, real-time, video editor
US5649060A (en) * 1993-10-18 1997-07-15 International Business Machines Corporation Automatic indexing and aligning of audio and text using speech recognition
CN1213817A (zh) * 1994-07-04 1999-04-14 索尼公司 用于重放记录介质的装置
CN1158481A (zh) * 1995-11-02 1997-09-03 索尼公司 具有管理的节目摘要的记录介质及其再现设备和方法
CN1303095A (zh) * 1999-10-27 2001-07-11 三星电子株式会社 存储附加信息的记录介质、记录方法及恢复方法
CN1426563A (zh) * 2000-12-22 2003-06-25 皇家菲利浦电子有限公司 使用音频类别界定节目边界和商业广告边界的系统和方法

Also Published As

Publication number Publication date
JP2007503145A (ja) 2007-02-15
EP1658612A1 (en) 2006-05-24
WO2005017899A1 (en) 2005-02-24
US7894709B2 (en) 2011-02-22
JP4630869B2 (ja) 2011-02-09
CN1836287A (zh) 2006-09-20
US20060239644A1 (en) 2006-10-26
KR20060064639A (ko) 2006-06-13
KR101058054B1 (ko) 2011-08-19

Similar Documents

Publication Publication Date Title
CN1836287B (zh) 视频摘要提取
CN100557604C (zh) 用于索引和汇总音乐视频的系统和方法
CN101777371B (zh) 再现信息存储介质上存储的av数据的再现装置
US20090196569A1 (en) Video trailer
US20050033758A1 (en) Media indexer
US20090222849A1 (en) Audiovisual Censoring
CN100417214C (zh) 内容记录和再现设备、方法
CN101568968B (zh) 用于创建已包括摘要和报道的视听文献的新摘要的方法以及可实现所述方法的接收器
US20060222318A1 (en) Information processing apparatus and its method
KR100927352B1 (ko) 조건부 액세스를 제공하는 방법 및 장치
CN1251487C (zh) 为数字视频记录自动加索引
JP2002245066A (ja) 情報検索装置及び方法、並びに記憶媒体
US20070230907A1 (en) Image processing apparatus and file reproducing method
JP2008020767A (ja) 記録再生装置および方法、プログラム、並びに記録媒体
KR20060102639A (ko) 동영상 재생 시스템 및 방법
CN101828388A (zh) 运动图像记录方法及应用该方法的广播接收机
CN101015012A (zh) 存储包括元数据的av数据的信息存储介质、从该介质再现av数据的设备以及搜索元数据的方法
Divakaran et al. A video-browsing-enhanced personal video recorder
CN101489083B (zh) 一种数字电视音视频数据录制回放方法和系统
CN1926630A (zh) 在含需求内容描述符的记录介质上记录内容
KR20090038302A (ko) 컨텐트 및 컨텐트에 대한 어플리케이션의 녹화 방법 및 그장치, 컨텐트의 재생 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120321

Termination date: 20130804