CN1459188A - 动态关键帧的生成与使用 - Google Patents

动态关键帧的生成与使用 Download PDF

Info

Publication number
CN1459188A
CN1459188A CN02800615A CN02800615A CN1459188A CN 1459188 A CN1459188 A CN 1459188A CN 02800615 A CN02800615 A CN 02800615A CN 02800615 A CN02800615 A CN 02800615A CN 1459188 A CN1459188 A CN 1459188A
Authority
CN
China
Prior art keywords
frame
key frame
memory
source video
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02800615A
Other languages
English (en)
Other versions
CN1312905C (zh
Inventor
S·古塔
K·库拉帕蒂
A·科尔梅纳雷兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1459188A publication Critical patent/CN1459188A/zh
Application granted granted Critical
Publication of CN1312905C publication Critical patent/CN1312905C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/60—Solid state media
    • G11B2220/65—Solid state media wherein solid state memory is used for storing indexing information or metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

利用视频处理系统(VPS)(10)处理视频源帧(44)(如电视电影)的动态方法和系统，视频处理系统包括处理器(12)、存储器结构(14)、输入装置(19)和输出显示器(20)。VPS(10)从视频源(30)接收的视频源帧(44)由处理器(12)执行。在执行(50)视频源帧(44)时，从视频源帧(44)抽取称为关键帧(48)的帧子集(44)，并将其存储(54)在存储器结构(14)中。关键帧(48)的抽取(52)是根据帧抽取算法(32)而实现的。抽取(52)在视频源帧(44)的执行(50)完成前终止。抽取(52)终止后，用户(40)通过输出显示器(20)浏览(56)关键帧(48)，以确定是否观看视频源帧(44)的剩余部分。关键帧(48)在浏览(56)后清除(60)。

Description

动态关键帧的生成与使用
本发明一般涉及处理电视(TV)节目的视频源帧的方法和系统，更具体地说，涉及这种动态并受控于视频处理系统中存储的算法的处理。
如果电视(TV)用户在电视节目初始部分已经播放后打开电视，则用户可能决定观看该电视节目的剩余部分，但却不知道该电视节目的初始部分，也不知道他或她是否可能喜欢观看该电视节目的剩余部分。因此，需要一种方法和系统来帮助这样的电视用户决定是否观看电视节目的剩余部分。
本发明提供一种用于处理视频源帧的方法，所述方法包括：
提供视频处理系统(VPS)，该系统包括处理器、存储器结构和视频输入装置，其中处理器连接到存储器结构和视频输入装置；
通过该视频输入装置将视频源帧从视频源输入到VPS；
由处理器执行视频源帧；
在执行期间，从视频源帧中动态且非连续地抽取关键帧，所述抽取根据存储器结构中存储的帧抽取算法而实现并由处理器执行；
在存储器结构的第一存储器中存储抽取的关键帧；以及
在视频源帧的所述执行完成前终止抽取关键帧。
本发明提供了一种用于处理视频帧的系统，所述系统包括：
视频帧抽取算法，在视频源帧的执行期间从视频源帧动态且非连续地抽取关键帧；
处理器，执行视频源帧并执行视频帧抽取算法；
视频输入装置，从视频源接收视频源帧；其中视频输入装置连接到处理器；
存储器结构，连接到处理器，其中存储器结构存储视频帧抽取算法，并且其中存储器结构的第一存储器存储抽取的关键帧；以及
终止机制，在视频源帧执行完成前终止关键帧的抽取。
本发明提供了一种方法和结构，用于帮助电视(TV)用户决定在其打开电视时电视节目的初始部分已经播出的情况下是否观看该电视节目的剩余部分。
图1显示根据本发明的实施例的视频处理系统的方框图；
图2显示根据本发明的实施例的关键帧抽取；
图3显示根据本发明的实施例，结合相关关键帧的抽取、存储和清除的视频源帧实时域。
图1显示根据本发明的实施例的视频处理系统(VPS)10的方框图。VPS10包括处理器12、连接到处理器12的存储器结构14、连接到处理器12的视频输入装置18、连接到处理器12的用户输入装置19、连接到处理器12的视频处理装置34、以及连接到处理器12的输出显示器20。系统10可表示计算机系统(例如，台式、膝上型、掌上型计算机系统)、电视(TV)用机顶盒等。
存储器结构14包括一个或多个存储装置或其中的区域(例如，存储装置或区域22或24)，所述装置或区域可包括临时存储器、永久性存储器和可移动存储器。存储在临时存储器中的数据在VPS10的电源断开时会消失。临时存储器可包括随机存取存储器(RAM)等。存储在永久存储器中的数据在VPS10的电源断开时仍然存在。永久存储器可包括硬盘存储器、光存储器等。可移动存储器可以方便地从VPS10中取出。可移动存储器可包括软盘或磁带等。
视频输入装置18是用于接收视频信号和视频信号中的视频帧的一个或多个视频输入装置(例如，天线、圆盘式卫星电视天线等)。用户输入装置19是一个或多个用户输入装置，其中可包括遥控器、键盘、鼠标等。输出显示器20包括显示视频帧中所包含内容(即一个或多个视频帧)的任何显示器，如电视显示器、计算机监视器等。输出显示器20也许能够显示所有内容(视频、音频、文本等)或其中的部分内容(例如，仅限于视频内容、仅限于音频内容、仅限于文本内容等)。
图1显示的视频源30是一个或多个视频节目源。视频源30是可由VPS10通过通信媒体或路径25(如电视电缆线路)接收的视频节目源。视频源30可包括电视(TV)广播系统、电视卫星系统、因特网网站、本地设备(如VHS磁带播放器、DVD播放机)等。虽然本发明的实施例针对的是电视节目，但本发明的范围包括可通过VPS10从视频源30传递到用户的任一视频节目(即任一视频帧的节目序列)。因此，视频源30也可包括通过因特网广播视频节目的因特网网站，其中此类因特网广播的节目可由VPS10通过技术上可行的任一通信媒体或路径25(如电话线、电视电缆线路等)接收。
图1也显示了通过用户输入装置19和输出显示器20与VPS10通信的用户40。
在图1中，视频源帧(如电视节目)通过通信媒体或路径25从视频源30传送到VPS10的视频输入装置18。本发明的一个方面是从上述视频源帧中抽取称为关键帧的帧子集，如图2所示。
图2显示了根据本发明的实施例的关键帧抽取。在图2中，对视频源帧44(表示为A1，A2，...，A12)进行处理以形成关键帧48(表示为B1、B2、B3)。关键帧48的构成在两个方面少于所有视频源帧44。第一方面是，只对视频源帧44的初始部分45(即帧A1，A2，...，A6)进行抽取以生成关键帧48，而视频源帧44的剩余部分46(即帧A7，A8，...，A12)不存在抽取的可能性。实际上，在帧A6的处理完成时，帧抽取方法或机制便已停止或禁止。第二方面是，B1、B2和B3的关键帧48是非连续地从视频源帧44的初始部分45中抽取的。非连续抽取意味着并非抽取初始部分45的所有帧，即在形成关键帧48时，初始部分45中至少一帧没被抽出。由于第二方面的原因，后续回放关键帧48所需要的时间少于初始部分45的实时播放时间。
关键帧48可以有利地用于下面的情况，其中电视用户40(参见图1)在电视节目初始部分已经播出后打开电视。如果在电视节目的初始部分45执行(即播放)时已实时生成了从电视节目的视频源帧44的初始部分45抽取的关键帧48，则用户随后可浏览(如回放)关键帧48以决定是否观看该电视节目的剩余部分46。由于关键帧48只是暂时使用，因此关键帧48可存储在临时存储器(如RAM)中，并在该关键帧48不再需要(如已浏览了该关键帧48后)时便立即清除。这样，关键帧48不代表VPS系统10的存储容量上的主要负担(参见图1)。
回到图1，且如上所述，视频源帧通过通信媒体或路径25从视频源30传送到VPS10的视频输入装置18。随着视频源帧进入VPS系统10并由处理器12处理或控制，视频源帧会由处理器12实时地进行所谓的“执行”。视频源帧通过视频路径26传递到视频处理装置34，然后通过视频路径27进入存储器结构。视频处理装置34执行从视频源帧抽取关键帧所需的对视频源帧进行的任何硬件处理。
关键帧的抽取是根据存储器结构14中存储的帧抽取算法32实现的。帧抽取算法32确定要抽取视频源帧的哪些帧，并且其中可包括本领域的普通技术人员所知的任一帧抽取方法。基于内容的帧抽取算法的示例是美国专利6137544(2000年10月24日，Dimitrova等人)中公开的场景检测关键帧方法，这里通过引用将该专利的全部内容结合到本文中。美国专利6137554公开了四种场景检测关键帧方法，名为方法1(第5列，第27行-第6列，第31行)、方法2(第6列，第32行-第7列，第22行)、方法3(第7列，第23行-第8列，第18行)及方法4(第8列，第19行-第9列，第43行)。通常，帧抽取算法32可包括确定抽取视频源帧中哪些帧的任一方法。也可使用独立于内容的帧抽取方法，如仅抽取奇数帧(即编号为1、3、5...的帧)。帧抽取算法32可以是由处理器12执行的软件包的一部分，并且可以存储在存储器结构14的RAM等中。或者，帧抽取算法32可编码在硬件中，如编码到只读存储器(ROM)芯片等上。注意，帧抽取算法32的具体情况决定是否需要视频处理装置34，因为帧抽取算法32可能不要求视频源帧进行硬件处理，并可能只要求将视频源帧从输入装置26传递到存储器结构14。
在对视频源帧进行实时动态执行时生成关键帧。动态抽取意味着在执行视频源帧时的实时抽取。关键帧存储在存储器结构14中并可存储在临时存储器(如RAM)、永久存储器(如硬盘存储器)或可移动存储器(如软盘或磁带存储器)中。将关键帧存储在RAM中的优点是对RAM的数据访问要快于对永久存储器的数据访问。此外，如果只是暂时使用关键帧，由此在它们生成后不久便将被清除，则无需存储关键帧的永久存储器。另外，永久存储器可能变满，这样临时存储器是存储附加数据唯一可用的存储器。将关键帧存储在永久存储器的优点是由于处理器正在并行运行其它应用而其它应用具有密集的RAM要求，因此可能没有足够可用于存储关键帧的RAM。此外，对于需要保留以备将来使用的那些关键帧，永久存储器可使关键帧即使在VPS10电源断开后也存在。将关键帧存储在可移动存储器中的优点是如果需要可方便存储关键帧以备将来使用，而不会影响RAM、硬盘等存储资源。
对于本发明的典型用法，关键帧抽取将在视频源帧执行完毕前终止。例如，如果视频源帧涉及60分钟的电视节目，用户40可能在该节目播放了15分钟后打开电视，然后浏览关键帧以决定是否观看电视节目剩余的45分钟。由于浏览关键帧可能要一或二分钟，因此留给用户后续观看该电视节目的时间将少于45分钟，从而留下了时间差，以下将结合图3的讨论说明该时间差。
用户40可采取措施终止关键帧抽取，如操作用户输入装置19等。例如，如果用户输入装置19是遥控装置，则可以通过按压遥控装置上的按钮触发关键帧抽取的终止。或者，抽取算法32可包括在预定条件发生时终止关键帧抽取的功能。许多预定条件的示例可用于终止关键帧抽取。第一个示例包括从视频源帧执行开始(例如，执行30分钟电视节目的前5分钟)的预定时段的执行。第二个示例包括执行视频源帧的预定部分或百分比或数量(如分别为执行对应于30分钟电视节目的前6分钟的2000帧视频源帧的0.20或20％或100帧)。上述示例说明的情况是用户40预计无法观看电视节目的初始部分，但能够估计大约何时他或她将能够打开电视观看电视节目的剩余部分。VPS10也可包括由算法32在预定条件发生时使其发声的铃或蜂鸣器，从而提醒用户40及时开始浏览关键帧。
关键帧抽取终止后，算法32可表明关键帧抽取在视频源帧序列的何处终止(即关键帧抽取终止时抽取的视频源帧的指示)。随后，可以通过生成包括该指示的特殊关键帧等方法并将该特殊关键帧附在存储器结构14中存在的已抽取关键帧上来记录此指示(如视频源帧编号的特定帧编号)。如果视频源帧由VPS10记录和保存，则记录此指示使用户40能够确定视频源帧未抽取的剩余部分的开始之处。用户40的这个确定使其可在以后以有序组合方式观看关键帧和视频源帧的剩余部分。
出于用户浏览的目的，已抽取关键帧可通过输出显示器20进行浏览，该显示器可以是电视显示器或计算机监视器等。“可浏览”指的是能够具有可供浏览的已抽取关键帧的视频、音频和文本帧内容，或其中的部分(如仅限于视频内容、仅限于音频内容、仅限于文本内容等)。已抽取关键帧从存储器结构14移动(例如复制)到输出显示器20。用户40通过输出显示器20动态实时地浏览关键帧，并因此决定是否观看电视节目的剩余部分，即在用户40浏览完关键帧后进入VPS10的剩余视频源帧。例如参见以上讨论的图2中视频源帧44的剩余部分46。
在图1中，如果用户40不再使用关键帧，则可以清除关键帧。因此，用户可诸如通过操作用户输入装置19等激活对关键帧的清除。例如，如果用户输入装置19是遥控装置，则可以通过按压遥控装置上的按钮触发对关键帧的清除。或者，抽取算法32可包括在预定条件发生时清除关键帧的功能。许多预定条件的示例可用于清除关键帧。第一个示例包括在用户40浏览了关键帧后经过预定时间量(例如浏览后的2分钟)进行清除。第一个示例假定关键帧在浏览后无需保留，但仍允许用户有时间缓冲(如2分钟)，在此缓冲时间内决定返回并启动第二次关键帧浏览。第二个示例包括完成视频源帧的执行，假定用户40无法确定在电视节目结束后他或她将不需要再次浏览关键帧。当然，用户40可决定不清除关键帧，或者可决定保存关键帧以备将来使用。如果用户40希望保存关键帧以备将来使用，并且如果关键帧存储在临时存储器(如RAM)或永久存储器(如硬盘存储器)中，则用户40可执行将关键帧复制到可移动存储器(例如软盘存储器或磁带)。临时存储器或永久存储器中的关键帧在复制到可移动存储器后可被清除。
图3说明根据本发明的实施例，结合相关关键帧的抽取、存储和清除执行视频源帧的实时域。在图3中，从时间t1到t2进行视频源帧的执行的步骤50，其中，t1＜t2。从时间t1到tA进行从视频源帧抽取关键帧的步骤52，其中，t1＜tA＜t2。因此，抽取关键帧52在视频源帧的实时执行50期间动态(且如上所述非连续地)进行。可通过上述任一方法在时间tA终止抽取关键帧52。将已抽取关键帧存储在存储器结构14(见图1)的步骤54与抽取关键帧的步骤52并行进行，即从时间t1到tA。用户40浏览已抽取关键帧的步骤56(见图1)可如图3所示在tA或tA之后开始，并在时间tB结束，其中，tA＜tB＜t2。浏览了已抽取关键帧后，用户40(见图1)可选择执行步骤58中的观看从时间tW到时间t2的剩余视频源帧，其中，tB＜tW＜t2。
上述时间顺序留下了时间差51(从时间tA到时间tB)，在该时间差期间，视频帧在执行但用户40看不到，因为抽取步骤52在时间tA终止，而浏览步骤56在时间差51期间发生。此问题的解决方法是在时间tB而不是在时间tA终止抽取步骤52，这样在抽取步骤52仍在执行时进行浏览步骤56，并且浏览步骤56因而早于抽取步骤52的终止而进行。此解决方法使用户40(见图1)浏览的关键帧包括了步骤58中观看的那些视频源帧前的所有视频源帧。
本发明的优点在于已抽取关键帧一般在浏览后便不再需要并因此被清除，这释放了已抽取关键帧占用的存储器结构14中的空间(见图1)。相应地，在浏览步骤56结束时或结束后不久，即在时间tE，其中tE＜tB，可启动清除已抽取关键帧的步骤60。清除步骤60在时间tC终止。与本文所讨论的其它时间标度(如抽取时段或浏览时段)相比，清除时段即tC-tE是很短的。在独立应用中，用户40(见图1)可选择保持已抽取帧以便在视频源帧完全执行后使用。在此类独立应用中，清除步骤60可在视频源帧执行完成的时间t2之后执行。
虽然以上论述集中在对应于一个电视节目的一组视频源帧，但本发明的范围一般包括同时处理一组或多组这种视频源帧。这种同步处理N个视频源帧包括动态且非连续地抽取对应于N组视频源帧中的每一组的关键帧组，其中N＞1。这种同步处理使用户40(见图1)能够在有N个节目且每个节目已播放一部分的情况下决定观看N个对应电视节目中的哪个节目。
虽然本文说明性地讨论了本发明的特定实施例，许多修改和变化对本发明的技术人员都是显而易见的。因此，所附权利要求书旨在包括在本发明的真实精神和范围之内的所有此类修改和变化。

Claims (21)

1.一种处理视频源帧(44)的方法，它包括：
提供视频处理系统(VPS)(10)，该系统包括处理器(12)、存储器结构(14)和视频输入装置(18)，其特征在于，所述处理器(12)连接到所述存储器结构(14)和所述视频输入装置(18)；
通过所述视频输入装置(18)将视频源帧(44)从视频源(30)输入到所述VPS(10)；
由所述处理器(12)执行(50)所述视频源帧(44)；
在所述执行(50)期间，从所述视频源帧(44)中动态且非连续地抽取(52)关键帧(48)，所述抽取(52)根据所述存储器结构(14)中存储的帧抽取算法(32)而实现并由所述处理器(12)执行；
在所述存储器结构(14)的第一存储器中存储(54)所述已抽取关键帧(48)；以及
在所述视频源帧(44)的所述执行(50)完成前终止抽取(52)关键帧(48)。
2.如权利要求1所述的方法，其特征在于，还包括在所述第一存储器中记录所述终止发生时执行(50)的视频源帧(44)的指示。
3.如权利要求1所述的方法，其特征在于，由所述VPS(10)的用户(40)的操作触发所述终止。
4.如权利要求1所述的方法，其特征在于，所述终止在预定条件出现时发生。
5.如权利要求1所述的方法，还包括由所述VPS(10)的用户(40)浏览(56)所述关键帧(48)，其特征在于，所述浏览(56)是通过连接到所述处理器(12)的输出显示器(20)进行的。
6.一种处理视频帧(44)的系统，它包括：
视频帧抽取算法(32)，在所述视频源帧(44)的执行(50)期间，从所述视频源帧(44)动态且非连续地抽取(52)关键帧(48)；
处理器(12)，执行(50)所述视频源帧(44)并执行所述视频帧抽取算法(32)；
视频输入装置(18)，从视频源(30)接收所述视频源帧(44)的，其特征在于所述视频输入装置(18)连接到所述处理器(12)；
存储器结构(14)，它连接到所述处理器(12)，其特征在于所述存储器结构(14)存储所述视频帧抽取算法(32)，以及其中所述存储器结构(14)的第一存储器存储(54)所述已抽取关键帧(48)；以及
终止机制，在所述视频源帧(44)的执行(50)完成前终止所述关键帧(48)的抽取(52)。
7.如权利要求6所述的系统(10)，其特征在于，还包括记录机制，它在关键帧(48)的所述抽取(52)终止时，在所述第一存储器中记录执行(50)的视频源帧(44)的指示。
8.如权利要求7所述的系统(10)，其特征在于，所述记录机制将所述指示记录在添加到所述已抽取关键帧(48)的特殊关键帧中。
9.如权利要求6所述的系统(10)，其特征在于，所述终止机制包括用户控制装置。
10.如权利要求6所述的系统(10)，其特征在于，所述终止机制在预定条件出现时终止所述抽取(52)。
11.如权利要求10所述的系统(10)，其特征在于，所述预定条件包括抽取(50)所述视频源帧(44)的预定部分或百分比。
12.如权利要求10所述的系统(10)，其特征在于，所述预定条件包括抽取(50)预定数量的视频源帧(44)。
13.如权利要求10所述的系统(10)，其特征在于，所述预定条件包括从所述视频源帧(44)的所述执行(50)开始经过的预定时段。
14.如权利要求6所述的系统(10)，它还包括输出显示器(20)，用户(40)可通过该显示器浏览所述已抽取关键帧(48)，其特征在于，所述输出显示器(20)连接到所述处理器(12)。
15.如权利要求14所述的系统(10)，其特征在于，所述系统(10)允许在所述视频源帧(44)的执行(50)完成前浏览(56)所述关键帧(48)。
16.如权利要求15所述的系统(10)，其特征在于，所述系统(10)允许在所述终止机制终止抽取(52)所述关键帧(48)之时或之后浏览(56)所述关键帧(48)。
17.如权利要求15所述的系统(10)，其特征在于，所述系统(10)允许在所述终止机制终止抽取(52)所述关键帧(48)之前浏览(56)所述关键帧(48)。
18.如权利要求14所述的系统(10)，其特征在于，所述系统(10)允许在所述视频源帧(44)的执行(50)完成之时或之后浏览(56)所述关键帧(48)。
19.如权利要求14所述的系统(10)，其特征在于，还包括清除机制，该机制在所述用户(40)浏览(56)完所述关键帧(48)之时或之后从所述第一存储器清除(60)所述关键帧(48)。
20.如权利要求6所述的系统(10)，它还包括所述存储器结构(14)的第二存储器和传送机制，其特征在于，所述传送机制将所述关键帧(48)从所述第一存储器传送到所述第二存储器，并且其中所述第二存储器包括可移动存储器。
21.如权利要求20所述的系统(10)，它还包括清除机制，所述清除机制在所述传送机制完成所述关键帧(48)从所述第一存储器到所述第二存储器的传送后，从所述第一存储器清除(60)所述关键帧(48)。
CNB028006151A 2001-03-13 2002-02-20 动态关键帧的生成与使用 Expired - Fee Related CN1312905C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/805,748 US7418192B2 (en) 2001-03-13 2001-03-13 Dynamic key frame generation and usage
US09/805,748 2001-03-13

Publications (2)

Publication Number Publication Date
CN1459188A true CN1459188A (zh) 2003-11-26
CN1312905C CN1312905C (zh) 2007-04-25

Family

ID=25192409

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028006151A Expired - Fee Related CN1312905C (zh) 2001-03-13 2002-02-20 动态关键帧的生成与使用

Country Status (6)

Country Link
US (1) US7418192B2 (zh)
EP (1) EP1371221A1 (zh)
JP (1) JP2004519930A (zh)
KR (1) KR20030001478A (zh)
CN (1) CN1312905C (zh)
WO (1) WO2002073952A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003249663A1 (en) * 2002-05-28 2003-12-12 Yesvideo, Inc. Summarization of a visual recording
US7483618B1 (en) 2003-12-04 2009-01-27 Yesvideo, Inc. Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest
WO2007091587A1 (ja) * 2006-02-08 2007-08-16 Nec Corporation 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム
US7558760B2 (en) * 2007-06-12 2009-07-07 Microsoft Corporation Real-time key frame generation
US20110191679A1 (en) * 2010-02-02 2011-08-04 Futurewei Technologies, Inc. System and Method for Online Media Preview
US9602849B2 (en) 2010-09-17 2017-03-21 Futurewei Technologies, Inc. Method and apparatus for scrub preview services
CN103262096B (zh) 2010-12-09 2016-08-10 诺基亚技术有限公司 基于有限上下文从视频序列中识别关键帧
US9288511B2 (en) 2011-02-18 2016-03-15 Futurewei Technologies, Inc. Methods and apparatus for media navigation
CN105830458A (zh) 2013-12-11 2016-08-03 基文影像公司 用于控制图像流显示的系统和方法
US9894126B1 (en) 2015-05-28 2018-02-13 Infocus Corporation Systems and methods of smoothly transitioning between compressed video streams

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002832A (en) 1995-02-09 1999-12-14 Matsushita Electric Industrial Co., Ltd. Apparatus and method for recording and reproducing data
US6061056A (en) * 1996-03-04 2000-05-09 Telexis Corporation Television monitoring system with automatic selection of program material of interest and subsequent display under user control
JPH10243352A (ja) 1997-02-27 1998-09-11 Hitachi Ltd 映像情報記録再生装置
JPH10304313A (ja) * 1997-04-25 1998-11-13 Sony Corp 記録再生機能を有するテレビジョン受像機および記録再生機能を有するテレビジョン受像機の記録再生方法
US6137544A (en) * 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
JP4086344B2 (ja) * 1997-07-31 2008-05-14 キヤノン株式会社 画像送信装置及び制御方法
US6219837B1 (en) * 1997-10-23 2001-04-17 International Business Machines Corporation Summary frames in video
GB9802415D0 (en) 1998-02-05 1998-04-01 Danmere Limited Storage tape control system
US6473095B1 (en) * 1998-07-16 2002-10-29 Koninklijke Philips Electronics N.V. Histogram method for characterizing video content
WO2000005884A1 (en) 1998-07-20 2000-02-03 Mate - Media Access Technologies Ltd. A method of automatic selection of video channels
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US20020054752A1 (en) 1998-08-07 2002-05-09 Anthony Wood Video data recorder with personal channels

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence

Also Published As

Publication number Publication date
US7418192B2 (en) 2008-08-26
JP2004519930A (ja) 2004-07-02
WO2002073952A1 (en) 2002-09-19
EP1371221A1 (en) 2003-12-17
CN1312905C (zh) 2007-04-25
US20020130976A1 (en) 2002-09-19
KR20030001478A (ko) 2003-01-06

Similar Documents

Publication Publication Date Title
JP4569055B2 (ja) 信号処理装置及び信号処理方法
JP4165851B2 (ja) 記録装置及び記録制御方法
US6118923A (en) Method and apparatus for deferred selective viewing of televised programs
US7302697B1 (en) Broadcast pause and resume for enhanced television
US20060239644A1 (en) Video abstracting
KR20070099852A (ko) 시리즈 컨텐츠의 시청 포인트를 기초로 컨텐츠를재생시키는 장치 및 그 방법
JP4426743B2 (ja) 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
CN1312905C (zh) 动态关键帧的生成与使用
US20040086263A1 (en) System for maintaining history of multimedia content and method thereof
US20030031460A1 (en) Video indexing using high quality sound
JP2004096310A (ja) 番組放映装置、方法及びプログラム
JP5598539B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN1167263C (zh) 控制数字视频数据显现的方法和设备
CN1222948C (zh) 视频信号记录方法和视频信号重放方法
US20050283793A1 (en) Advertising detection method and related system for detecting advertising according to specific beginning/ending images of advertising sections
JP3909130B2 (ja) ストリームイベント点検出表示方法および装置
US8170397B2 (en) Device and method for recording multimedia data
JPH11239322A (ja) ビデオブラウジング／ビューイングシステム
JP2006325012A (ja) 録画番組選択支援方法および録画再生装置
JP3797941B2 (ja) 情報収集装置及び情報収集方法
US20040139069A1 (en) Dynamic searching method and dynamic searching device of storage medium
CN117319587A (zh) 一种报警短视频录制方法、电子设备和存储介质
JP5243164B2 (ja) 情報処理装置およびコンテンツ・リマインド方法
CN114666667A (zh) 视频关键点的生成方法、装置、电子设备及存储介质
JP2000287156A (ja) 情報記録再生装置および方法、並びに提供媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee