CN1894964A - 创建视听数据流的多媒体概要的方法和电路 - Google Patents

创建视听数据流的多媒体概要的方法和电路 Download PDF

Info

Publication number
CN1894964A
CN1894964A CNA2004800379544A CN200480037954A CN1894964A CN 1894964 A CN1894964 A CN 1894964A CN A2004800379544 A CNA2004800379544 A CN A2004800379544A CN 200480037954 A CN200480037954 A CN 200480037954A CN 1894964 A CN1894964 A CN 1894964A
Authority
CN
China
Prior art keywords
stream
audiovisual data
information
data
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800379544A
Other languages
English (en)
Inventor
M·巴比里
G·E·梅肯坎普
B·P·G·赫特
B·梅里亚多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1894964A publication Critical patent/CN1894964A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Abstract

随着消费者可检索到的视听数据量的快速增长，对于视听数据(例如电影)的适当概括的需求也在增加。为此，本发明提供一种创建视听数据流(例如电影)的多媒体概要的方法。首先，检索文本概要(204)。接着，对视听数据流进行分段(208)并且从视听数据流(210)和文本概要(206)中提取信息。最后，选择承载着与由文本概要所承载的信息相匹配的信息的分段(212)。大量的电影和电视剧的概要可在因特网上获得，所述概要是由爱好者制作并且是为爱好者制作的，这为创建多媒体概要提供了可靠的来源。

Description

创建视听数据流的多媒体概要的方法和电路
本发明涉及一种创建视听数据流的多媒体概要的方法。
本发明还涉及一种创建视听数据流的多媒体概要的电路。
本发明还涉及一种包括这种电路的用于处理视听数据的设备。
此外，本发明还涉及一种计算机程序产品，其包括对处理单元进行编程的代码。
此外，本发明还涉及一种承载这种计算机程序产品的数据载体。
据报道，很长一段时间以来，消费者可得到的存储量以及消费者使用的存储量正在增加。并且，呈现给消费者的内容量以及消费者可得到的内容量正在不断地增长。为了对由消费者存储或者为消费者存储的所有内容提供适当的概述，适当的概要是必不可少的，特别是对于视听数据流(例如电影)来说更是如此。
对于消费者来说，亲自对他或她可获得的每一部电影做概括是不可能的。因此，非常希望这个概括电影的处理是自动的。
专利申请US 2002/0083471公开了一种提供视频节目的多媒体概要的系统和方法。创建多媒体概要的处理是从根据WO 02/041634所公开的方法自动创建文本概要开始的。虽然自动创建文本概要不需要用户交互，但是其需要大量的处理能力并因此导致昂贵的电路。此外，自动创建文本概要还很容易由于选择了视频节目的错误部分而导致失败。出现这种情况的原因在于：用于自动创建文本概要的电路根据几个规则来工作，而所述规则可能不适用于每一个视频节目。
本发明的一个目的是提供一种需要更少处理能力的创建多媒体概要的方法和电路。为了实现该目的，本发明提供一种创建视听数据流的多媒体概要的方法，该方法包括如下步骤：从外部源获得该视听数据流的已制作好(ready-made)的文本概要；对该文本概要进行分析以提取信息；对视听数据流进行分段和分析以提取信息；从视听数据流中选择包括与从文本概要中提取的信息相匹配的信息的分段；以及将所选择的分段进行组合从而形成多媒体概要。
本发明是基于这样一种认识而建立的：可以获得具有电影和电视剧等视频节目的已制作好的文本概要的许多数据库。用于通过例如因特网检索这些文本概要的电路非常多并且可以以很低的价格获得，而且只需要最低的处理能力。此外，文本概要通常可以免费获得。
此外，这些概要通常是由电影评论家、电影爱好者或电视剧爱好者作出的，这些人了解电影和风格，并且他们知道电影或某集电视剧的亮点在哪。通过这种方式，可利用专门的智力规则来创建文本概要。通过这种方式，比起应用对于人脑所使用的规则而言几乎是原始的规则的电路，提供了更为准确的文本概要。
在根据本发明的一个实施例中，视听数据流包括承载对应于该视听数据流的字幕的子流；以及从该视听数据流中提取的信息是通过对字幕进行分析而从视听数据流中提取的。
这个实施例的一个好处是：字幕很容易提取，因为不必从待概括的其他视频数据(例如电影)中提取字幕。
在根据本发明的另一个实施例中，从文本概要中提取的信息是关键词。
这个实施例的一个好处是：(可以在所述子流中获得的)单词很容易处理，因为可以将所述单词转换成字母数字式数据并将其作为字母数字式数据进行处理。
根据本发明的另一个实施例，利用与从文本概要中提取的信息相关的信息来扩展所述从文本概要中提取的信息。
这个实施例的一个好处是，短文本概要可以通过这种方式来提供更多信息或更详细的信息。特别地，由图文电视提供的概要是相当短的，因为它们通常必须显示在一页上。通过扩展从该概要中提取的信息，可以获得附加的信息以用来搜索待概括的视听数据流中的匹配分段。
在根据本发明的又一个实施例中，在多媒体概要被重放的时候组合所述分段。
这个实施例的一个好处是：不需要大量的额外存储空间来存储整个多媒体概要，这是因为可以从原始视听数据流中重放分段。多媒体概要的建立可以在多媒体概要的重放之前离线地(off-line)进行。其结果可以是关于待概括的原始视听数据流的播放列表。
根据本发明的用于创建视听数据流的多媒体概要的电路包括：通信单元，用于从外部源获得视听数据流的已制作好的文本概要；以及处理单元，其被构建为：分析文本概要以提取信息；对视听数据流进行分段和分析以提取信息；从视听数据流中选择包含与从文本概要提取的信息相匹配的信息的分段；以及组合这些分段，从而形成多媒体概要。
根据本发明的视听数据处理设备包括这种电路。
根据本发明的计算机程序产品包括对处理单元进行编程以执行根据本发明的方法的代码。
承载根据本发明的计算机程序产品的数据载体承载着这样的计算机程序产品。
现在将通过附图对本发明的各实施例进行详细的说明，其中：
图1示出了根据本发明的设备的一个实施例；
图2是一个流程图，其描述了根据本发明的方法的一个实施例；
图3示出了根据本发明的数据载体的一个实施例。
图1示出了一个消费者电子系统100，其包括视频记录器110、电视机150以及控制装置160，其中该视频记录器作为根据本发明的设备的一个实施例。视频记录器110被设置成接收并记录视听数据流以及由信号170载送的与这些视听数据流有关的交互式应用。
为此，视频记录器110包括用来接收信号170的接收器120、多路分解器122、视频处理器124、例如微处理器126的用于控制该视频记录器110所包括的部件的中央处理单元、作为存储装置的硬盘驱动器128、程序代码存储器130、用于从控制装置160接收信号的用户命令接收器132以及用于连接该视频记录器110所包括的部件的中央总线134。
该视频记录器进一步包括网络接口单元140，其用于连接至网络(例如因特网或LAN)。该网络接口单元140可以被具体实现成模拟调制解调器、ISDN、DSL或有线电视调制解调器或者UTP/以太网/TCP-IP网络接口。
接收器120被设置成调谐到一个广播(音频或视频)频道，并从信号170中导出该广播频道的数据。可以通过任何已知的方法(有线电视、地面、卫星、宽带网络连接)或其他任何分发视听数据的方法来接收信号170。信号170甚至可以从另一个消费者电子设备的输出中导出。接收器120输出载送至少一个视听数据流的基带信号。
多路分解器122被设置成从可能包含在由接收器120输出的基带信号中的其他数据中多路分解出视听数据。视频处理器124被设置成以可以由电视机150呈现的方式来呈现由多路分解器122输出的视听数据。可以以各种模拟格式(例如SECAM和PAL)或者以数字格式来提供所述输出。
存储在程序代码存储器130中的数据使得微处理器126能够执行根据本发明的方法。程序代码存储器130可以被具体实现成闪速EEPROM、ROM、光盘或其他任何类型的数据承载介质。
所述存储装置还可以被具体实现成光盘驱动器(例如DVD或蓝光驱动器)，并且适于存储由接收器120或网络接口单元140接收的内容，以便将来重现在电视机150上或者将来通过网络接口单元140进行散播。所述内容可以在存储之前被处理。
为了给视频记录器110的用户提供针对存储在硬盘驱动器128内的所有数据的良好的概述，微处理器126为视听数据流创建概要，其中所述视听数据流例如是电影、电视节目或者其他存储在硬盘驱动器128内或者由接收器140接收的数据。这可以自动完成，也可以由用户发起。
图2是一个流程图200，其对根据本发明的创建视听数据流的概要的方法的一个实施例进行了描述。下表1中提供了各个决中的处理步骤。下面将结合图1对该处理进行说明。
  附图标记   处理步骤
  202   启动概要处理
  204   检索已制作好的文本概要
  206   分析检索到的概要
  208   对将要概括的流进行分段
  210   对将要概括的流的分段进行分析
  212   选择具有与从文本概要提取出的信息相匹配的信息的分段
 214   对所选择的分段进行组合
 216   返回概要
                        表1
在处理步骤202中，该处理被自动地(由微处理器126所运行的代理)启动或者由用户活动(例如操作控制装置160)来启动。
接着，在处理步骤204中，检索待概括流的已制作好的文本概要。电影的概要可以在许多地方获得，例如在因特网址http://www.cinema.nl处获得。此外，图文电视和电子节目指南(EPG)也提供电影和其他节目(例如电视剧)的文本概要。特别是对于肥皂剧，在广播了一集之后，其概要就提供其完整情节。
在一个有利的实施例中，通过网络接口单元140从因特网服务器检索概要。在本发明的另一个实施例中，从图文电视数据中检索概要，其中图文电视数据被多路复用在广播信号中，并在多路分解器122中被从广播信号中导出。对于模拟电视信号，图文电视数据被多路复用在垂直消隐间隔中。在数字电视的情况中，图文电视数据可以在单独的流中与视听数据流一起提供。图文电视数据还可以通过因特网(例如http://teletekst.nos.nl/)获得，并且可以通过网络接口单元140来检索。
虽然在很多情况下图文电视数据和EPG数据是与视听数据流一起接收的并因此实际上可在视频记录器110中获得，但是在这个应用的情境中，其被认为是从外部源检索到的，这是因为通过这些措施检索到的文本概要的产生与视听数据流的创建(例如电影的拍摄)是分离的。
在本发明又一个实施例中，从电子节目指南中获得概要。这个节目指南可以以和检索图文电视数据相同的方式从广播信号或者从因特网中获得。
以这种方法获得概要的一个主要优点是：不必从待概括的视听数据流中作出概要，相反，概要已经是可获得的。
在检索了概要之后，在步骤206中分析概要以提取信息。在一个优选实施例中，从该概要中提取出关键词。这些关键词可以是不止出现一次的、或者是在电影等的标题中出现的动词、名词或形容词。
在另一个实施例中，该信息提取处理搜索与从文本概要中提取的关键词相关的单词。这些相关单词可以是同义词，但是我们还可以考虑其他关系，例如“传真”与“电话”有关，“汽车”与“驾驶”有关。在一个实施例中，与所提取的信息有关的信息是利用网络接口单元140从外部数据库中检索的。在另一个实施例中，用于搜索附加的相关信息的数据库被存储在硬盘驱动器128中。
所述数据库还可以包括不被认为是关键词的单词。例如“to be”或者其他使用频率很高的动词的所有变化形式。
然后，在处理步骤208中，利用例如在相同申请人的申请WO02/093929中公开的已知方法对视听数据流进行分段。
在对多媒体数据对象进行了分段之后，在处理步骤210中对这些分段进行分析以便提取信息。本文中提出了用于从分段中提取信息的本发明的各种实施例。当多媒体数据对象是电影并且在所述电影本身中提供有字幕时，可以从其他视频数据中提取出字幕，并且可以利用OCR算法来读取字幕。
当把字幕作为附加的数据(例如图文电视或闭路字幕)以字母数字格式来提供时，可以以一种简单的方式自动地提取信息。
前面段落中所讨论的两个选项的中间选项也是可能的。在DVD上，字幕可以由内容供应商在单独的流中以图形格式来提供。为了提取信息，可以容易地将字幕转换成字幕数字式字符，因为不必从所述字幕所针对的视听数据流中的视频数据中提取所述字幕。
在本发明的另一个实施例中，电影中的人物的语音是利用语音识别算法来提取的。虽然这种处理需要大量处理能力，但是在未来的几年内微处理器的处理能力预计将进一步提高。这使得可以在操作过程中(on the fly)使用廉价的商用微处理器来进行语音识别。
从字幕或转换后的语音文本中提取名词、动词和/或形容词，正如在处理步骤206中从概要中提取数据一样。
除了文本之外，也可以从视听数据流中提取其他信息，例如爆炸、动作场景、对话或者主要人物的面部(通过面部识别的方式)。
当视听数据流已经被分段并且已经从文本概要和视听数据流中提取出信息时，在处理步骤212中为多媒体概要选择分段。这是通过分析从文本概要中提取的信息以及搜索包含匹配信息的分段来进行的。在本发明的一个实施例中，当一个分段包含至少一个包含在从文本概要中提取出的信息中的关键词时，为多媒体概要选择该分段。
在本发明的另一个实施例中，当一个分段包含相关的关键词的组合(例如“警察”和“逮捕”，或者“荷兰”和“木屐”时)，为多媒体概要选择该分段。这样的组合也被看作是包含在从视听数据流中提取的信息中的单词和包含在从文本概要中提取的信息中的单词之间的匹配。
承载着对于理解视听数据流所表示的故事的情节来说很重要的、不同于(口头)文本的其他信息也可以被包括在概要中。这样的分段例如是具有动作场景和爆炸的分段。
在本发明的一个实施例中，除了由分段所承载的信息之外，场景必须满足其他要求才能被选择在多媒体概要中。这种要求是场景的长度和各种场景的位置，因为在大多数情况下，希望用于概要的分段是从视听数据流的整个长度选择的，而不希望出现所选场景的90％是从该流的前10％选择的情况。
在视听数据流的适当分段已经被选择后，这些分段被组合在一个新的视听数据流中，从而形成必须为之制作概要的原始视听数据流的多媒体概要。这是在处理步骤214中进行的。优选地，这些分段按照其在原始视听数据流中出现的顺序而被组合。
然而，在本发明的又一个实施例中，这些分段按照包含在所述分段中的信息出现在文本概要中的顺序而被组合。在本发明的再一个实施例中，所述分段是以时间顺序排列在多媒体概要中的。这意味着当原始视听数据流包括例如电影中的角色的倒叙(flash-back)时，这些倒叙首先被放入多媒体概要中，接着是其他分段。
在本发明的另一个实施例中，该方法返回一个具有指向原始视听数据流中的各场景的指针的播放列表。这个实施例的一个好处是，不必为多媒体概要存储单独的流。
最后，在处理步骤216中返回多媒体概要。该多媒体概要可以被存储在硬盘驱动器128中。
本领域技术人员可以认识到：流程图200所描述的处理的各处理步骤不必按照所呈现的顺序来执行。例如，还可以在视听数据流已被分段并且已经从其中提取信息之后检索概要。此外，可以同时执行各步骤。
对本领域技术人员来说，对上面的说明中所述的实施例进行各种修改是显而易见的。并且可以在不脱离本发明范围的情况下改变各实施例的特征。
例如，可以不扩展从文本概要中提取的信息，而是扩展从视听数据流中提取的信息或者扩展从上述两个信息源中提取的信息。
此外，虽然根据本发明的方法的各实施例被描述为主要由单个处理单元(微处理器126(图1))以及在较低程度上由接收器120(图1)和网络接口单元140(图1)(所有的三个部件形成了作为根据本发明的电路的一个实施例的电路180)来执行，但是本发明的其他实施例也是可能的，其中一个或多个分离的步骤由分离的部件(比如ASIC之类的专用电路)来执行。
本发明可以被具体实现为计算机程序产品，其使得通用计算机(例如图3中的个人计算机300)能够执行根据本发明的方法。
图3还示出了包括对个人计算机300进行编程以执行根据本发明的方法的数据的数据载体310。
为此，将数据载体310插入到包括在个人计算机300中的盘驱动器302中。该盘驱动器302从数据载体310中检索数据，并且将其传送到微处理器304以对微处理器304进行编程。接着，编程后的微处理器304执行根据本发明的方法。
个人计算机300包括通信单元306，以便获得待概括的视听数据流的文本概要。该通信单元306可以被具体实现为模拟的、有线电视或DSL调制解调器、被具体实现为网络接口(UTP、以太网、TCP-IP)或者本领域技术人员所知的其他任何类型的通信单元。
总之，本发明涉及如下内容：
随着消费者可检索到的视听数据量的快速增长，对于视听数据(例如电影)的适当概括的需求也在增加。为此，本发明提供一种创建视听数据流(例如电影)的多媒体概要的方法。首先，检索文本概要(204)。接着，对视听数据流进行分段(208)并且从视听数据流(210)和文本概要(206)中提取信息。最后，选择承载着与由文本概要所承载的信息相匹配的信息的分段(212)。大量的电影和电视剧的概要可在因特网上获得，所述概要是由爱好者制作并且是为爱好者制作的，这为创建多媒体概要提供了可靠的来源。

Claims (16)

1、创建视听数据流的多媒体概要的方法，包括如下步骤：
a)从外部源获得(204)该视听数据流的已制作好的文本概要；
b)对该文本概要进行分析(206)以提取信息；
c)对该视听数据流进行分段(208)和分析(210)以提取信息；
d)从该视听数据流中选择(212)包括与从该文本概要中提取的信息相匹配的信息的分段；以及
e)对所选择的分段进行组合(214)，从而形成多媒体概要。
2、如权利要求1所述的方法，其中所述外部源是下列各项的至少其中之一：
a)图文电视；
b)电子节目指南；或者
c)因特网服务器。
3、如权利要求1所述的方法，其中
a)该视听数据流包括承载着对应于该视听数据流的字幕的子流；以及
b)从该视听数据流中提取的信息是通过对字幕进行分析而从该视听数据流中提取的。
4、如权利要求3所述的方法，其中所述子流承载着：
a)闭路字幕数据；
b)图文电视字幕数据；和/或
c)图形格式的字幕。
5、如权利要求1所述的方法，其中从所述文本概要中提取的信息是关键词。
6、如权利要求5所述的方法，其中所述关键词是包含在文本概要中的名词、形容词和/或动词。
7、如权利要求1所述的方法，其中利用与从所述文本概要中提取的信息相关的信息来扩展从所述文本概要中提取的信息。
8、如权利要求6所述的方法，其中从所述文本概要中提取的信息是名词、形容词和/或动词，并且利用与从所述文本概要中提取的名词相关的其他名词、形容词和/或动词来扩展所提取的信息。
9、如权利要求7所述的方法，其中所述其他名词、形容词和/或动词是从所述文本概要中提取的名词、形容词和/或动词的同义词。
10、如权利要求5所述的方法，其中：
a)该视听数据流包括承载着字幕的子流；以及
b)通过对字幕进行分析从该视听数据流中提取信息；以及
c)从该视听数据流中选择包括与从所述文本概要中提取的信息相匹配的信息的分段的步骤包括选择其中所述字幕包括至少一个关键词的至少一个分段。
11、如权利要求1所述的方法，其中从该视听数据流和所述文本概要中提取的信息包括单词，并且当从该视听数据流中提取的至少一个第一单词与从所述文本概要中提取的至少一个第二单词匹配时，选择该视听数据流的一个分段。
12、如权利要求1所述的方法，其中在所述多媒体概要被重放时组合所述分段。
13、用于创建视听数据流的多媒体概要的电路(180)，包括：
a)通信单元(140，120)，用于从外部源获得该视听数据流的已制作好的文本概要；以及
b)处理单元(126)，其被构建为：
i.)分析该文本概要以提取信息；
ii.)对该视听数据流进行分段和分析以提取数据；
iii.)从该视听数据流中选择包含与从该文本概要中提取的信息相匹配的信息的分段；以及
iv.)组合所述分段，从而形成多媒体概要。
14、用于处理视听数据的设备(110)，其包括根据权利要求10的电路。
15、计算机程序产品，其包括对处理单元(126，304)进行编程以执行如权利要求1所述的方法的代码。
16、承载着如权利要求13所述的计算机程序产品的数据载体(130，310)。
CNA2004800379544A 2003-12-18 2004-12-07 创建视听数据流的多媒体概要的方法和电路 Pending CN1894964A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03104799 2003-12-18
EP03104799.6 2003-12-18

Publications (1)

Publication Number Publication Date
CN1894964A true CN1894964A (zh) 2007-01-10

Family

ID=34707262

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800379544A Pending CN1894964A (zh) 2003-12-18 2004-12-07 创建视听数据流的多媒体概要的方法和电路

Country Status (6)

Country Link
US (1) US20070109443A1 (zh)
EP (1) EP1698174A1 (zh)
JP (1) JP2007519321A (zh)
KR (1) KR20060126508A (zh)
CN (1) CN1894964A (zh)
WO (1) WO2005062610A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548120A (zh) * 2015-09-23 2017-03-29 北京丰源星际传媒科技有限公司 影院观影气氛采集统计方法及系统
CN113055741A (zh) * 2020-12-31 2021-06-29 科大讯飞股份有限公司 视频摘要的生成方法、电子设备及计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080049104A1 (en) * 2006-08-25 2008-02-28 Samsung Electronics Co., Ltd. Repeater apparatus linking video acquirement apparatus and video recording apparatus using unshielded twisted pair cable
US20100002137A1 (en) * 2006-11-14 2010-01-07 Koninklijke Philips Electronics N.V. Method and apparatus for generating a summary of a video data stream
FR2910769B1 (fr) * 2006-12-21 2009-03-06 Thomson Licensing Sas Procede de creation d'un resume d'un document audiovisuel comportant un sommaire et des reportages, et recepteur mettant en oeuvre le procede
US8477994B1 (en) * 2009-02-26 2013-07-02 Google Inc. Creating a narrative description of media content and applications thereof
JP5367499B2 (ja) * 2009-08-17 2013-12-11 日本放送協会 シーン検索装置及びプログラム
CN104396262A (zh) * 2012-06-25 2015-03-04 汤姆森许可贸易公司 同步电影概要
US10091552B2 (en) * 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
US20020051077A1 (en) * 2000-07-19 2002-05-02 Shih-Ping Liou Videoabstracts: a system for generating video summaries
AU2002239297A1 (en) * 2000-11-16 2002-06-03 Mydtv, Inc. System and methods for determining the desirability of video programming events
US20020083471A1 (en) * 2000-12-21 2002-06-27 Philips Electronics North America Corporation System and method for providing a multimedia summary of a video program
US20020175917A1 (en) * 2001-04-10 2002-11-28 Dipto Chakravarty Method and system for streaming media manager
US20030093814A1 (en) * 2001-11-09 2003-05-15 Birmingham Blair B.A. System and method for generating user-specific television content based on closed captioning content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548120A (zh) * 2015-09-23 2017-03-29 北京丰源星际传媒科技有限公司 影院观影气氛采集统计方法及系统
CN113055741A (zh) * 2020-12-31 2021-06-29 科大讯飞股份有限公司 视频摘要的生成方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP1698174A1 (en) 2006-09-06
JP2007519321A (ja) 2007-07-12
US20070109443A1 (en) 2007-05-17
WO2005062610A1 (en) 2005-07-07
KR20060126508A (ko) 2006-12-07

Similar Documents

Publication Publication Date Title
KR100711948B1 (ko) 개인화된 비디오 분류 및 검색 시스템
JP4198786B2 (ja) 情報フィルタリングシステム、情報フィルタリング装置、映像機器および情報フィルタリング方法
US10034028B2 (en) Caption and/or metadata synchronization for replay of previously or simultaneously recorded live programs
CN1190966C (zh) 音频/数据/视频信息选择的方法
US9100723B2 (en) Method and system for managing information on a video recording
CN1226867C (zh) 推荐节目的方法及其系统
US6580437B1 (en) System for organizing videos based on closed-caption information
KR100915847B1 (ko) 스트리밍 비디오 북마크들
US20050028194A1 (en) Personalized news retrieval system
US20020051077A1 (en) Videoabstracts: a system for generating video summaries
KR20040058285A (ko) 개인 정보 검색, 업데이트 및 제공을 위한 방법 및 시스템
CN1425249A (zh) 用于接入视频节目的多媒体概要的系统和方法
CN1524237A (zh) 自动内容分析及多媒体演示的表示
US20070143794A1 (en) Information processing apparatus, method, and program
MXPA04002159A (es) Busqueda de texto libre y atributos de datos de guia de programacion electronica.
CN1582545A (zh) 利用脚本信息识别和查明节目的广告部分的方法
EP0786115A1 (en) System and method for skimming digital audio/video data
US8051446B1 (en) Method of creating a semantic video summary using information from secondary sources
CN1894964A (zh) 创建视听数据流的多媒体概要的方法和电路
Jasinschi et al. Automatic TV program genre classification based on audio patterns
JP2011128981A (ja) 検索装置及び検索方法
US20080016068A1 (en) Media-personality information search system, media-personality information acquiring apparatus, media-personality information search apparatus, and method and program therefor
CN1483288A (zh) 节目摘要和/或索引
O'Connor et al. Fischlar: an on-line system for indexing and browsing broadcast television content
Li et al. Bridging the semantic gap in sports

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070110