CN100518281C - 视频内容动态搜索的方法和装置 - Google Patents
视频内容动态搜索的方法和装置 Download PDFInfo
- Publication number
- CN100518281C CN100518281C CNB2003801077119A CN200380107711A CN100518281C CN 100518281 C CN100518281 C CN 100518281C CN B2003801077119 A CNB2003801077119 A CN B2003801077119A CN 200380107711 A CN200380107711 A CN 200380107711A CN 100518281 C CN100518281 C CN 100518281C
- Authority
- CN
- China
- Prior art keywords
- video content
- playback
- normal
- replay
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/107—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating tapes
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/60—Solid state media
- G11B2220/65—Solid state media wherein solid state memory is used for storing indexing information or metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Abstract
本发明公开视频内容动态搜索的方法和装置。为重放视频内容,根据本发明的视频内容动态搜索装置根据当前重放位置和镜头索引信息确定正常重放段和快进重放段,并以与所确定段相应的预定速度从当前重放位置交替地重放视频内容。在此,音频在正常重放段与视频一起被重放。
Description
技术领域
本发明涉及一种启示/重现装置,并且尤其是,涉及一种视频内容的动态搜索方法。
背景技术
随着大众传媒的发展和多媒体内容的方便生产,每天人们与大量媒体接触。由于媒体内容的量变大,需要使用者想要得到的数据的自动分类系统,并且解决这种需要的方法被积极地研究。尤其地,随着数字技术的发展,视频内容被数字化地存储和在市场上出售。如果数字广播被普及,视频内容的数字化将被进一步加速。
关于这些数字视频内容,一些使用者可能想要看到体育相关的新闻情景,另一些使用者可能想要看到股票想关的新闻情景,而其他使用者可能想要看到在表演节目中的特定的人物的场景。为满足使用者的多种要求,多种研究在活跃地进行。
一些使用者可能想要在有限的时间中知道视频内容的全部情景。正是“精彩场面(highlight)”实现这一需求。总之,精彩场面可以被看作归类视频内容中的重要场景制成的新内容。以“运动精彩场面”、“电影预告”、“头条新闻”等为例。然而事实上,根据当今技术从视频内容摘录出精彩场面很难实现自动化。因此,大多数人手工从视频信息中摘录精彩场面。如上所述,随着媒体数量极大地提高,需要大量的时间和成本来手工创建所有视频信息的精彩场面,因此实际上很难商业化。因此,需要使使用者理解全部的内容的自动系统。
一般,当使用者想要跳转到视频内容的预定位置,通常可以使用关键帧(key frame)。使用关键帧制作的视频摘要帮助使用者快速跳转到使用者想要获得的情景。然而,由于使用者需要许多关键帧以便容易地找到使用者想要获得的位置并且很难在有限的显示空间显示许多关键帧,使用者需要多次选择条目。对于使用者而言,十分不方便。此外,通常使用者很难理解整个视频内容。
最近,各种视频索引技术已被研究来找出数字视频的使用者需要的情景。换言之,例如找出特定人物的情景、识别出人物是谁和索引人物外貌的信息的方法,和从电影或运动中摘录主要情景和索引摘录情景的方法已被研究。然而,视频具有多种类型和不同数据根据类型进行索引。因此,根据现有技术,可以精确地为使用者摘录有意义的信息的自动系统很难实现。
同时,与模拟视频相反,数字视频可以通过使用快进/快倒功能防止视频品质退化。
在数字视频广泛使用的快进方法中,每单位时间解码的帧的数目被增加,因此只有其中一些帧被显示或者一些帧被略过并且帧被解码以显示。
然而,增加每单位时间解码的帧的数量的方法根据终端性能影响最大速度。因此,在数字视频的快进/快倒功能中,通常略过一些部分和解码并显示帧的方法被广泛地使用。在传统技术中,数字视频的快进/快倒功能为满足使用者在有限时间内想要知道全部内容或移动到使用者需要的位置的需求的最合理解决方法。然而,当预定部分被略过时,通常以预定的时间间隔略过,因此使用者可能丢失使用者需要的情景或者不重要的情景可能相比较而言被过多显示。
同时,在用于搜索视频的传统活动图象变速重放方法中,变化的速度被在重放活动图象的所有时期经常地固定。然而,当使用变速重放技术快速重放或慢速重放活动图象时,使用者的视觉特性不能被满足。
例如,当活动图象以恒定的速度快进时,屏幕变化得太快以致使用者不能在活动图象快速变化的时段中识别活动图象。在活动图象变化慢的时段中屏幕变化得太慢以致使用者感觉厌烦并且不能感觉到快进。
反之,当活动图象被慢速重放时,尽管使用者想要在活动图象快速变化的时段慢速重放,屏幕被快速变化。在活动图象被慢速变化的时段,屏幕变化太慢以致由于屏幕更慢的变化使使用者感到厌烦。
一般,快进具有快速搜索的目的而慢速重放具有仔细观察特定情景的目的。实际上,从使用者观看的角度考虑,使用者希望在情景快速变化时段中更加慢速地重放并且使用者希望在情景慢速变化时段中更快地重放。
因此,如果根据变速时段的图片变化率,通过适应地改变变速程度自动地和适应地控制活动图象的速度,上述问题被解决。
已有人提出自动适应速度控制技术。该技术包括步骤:检测切换,和通过使用一个切换和另一切换之间的帧的数量和在重放时段的相邻帧之间影像的差别,根据影像移动率控制重放速度更快或更慢,因此根据影像的动态特性,在变速时段的速度被适当地改变以适合于人们的视觉特性。
例如,根据屏幕的复杂性自动控制重放速度的系统的概念已被提出。该系统被提出作为根据情景的运动率自动控制重放速度的显示系统。然而,在该技术中,情景变化被定义差值图象。基于相邻帧的图象差的“屏幕复杂性”被使用。
然而,当运动被定义为差值图象时,由于该技术应该比较全部象素,处理时间变长。在屏幕复杂性被定义为差值图象的技术中,如果目标和背景之间的色差很大,尽管目标变化很慢,仍确定目标变化为快速的。相应地目标被慢速重放因此使用者需要的重放速度没有达到。
同时,以视频实际内容进行的角度来看,前一和下一图象的全部差别不会完整地反映内容进行的含义。根据情节进行以及仅仅图象差,内容的复杂性实际上可以被不同地感到。这一点却没有引起注意。
例如,在肥皂剧的情况中,对话情景可以被单调地继续但是如果摄像机的位置经常被改变,前一和下一图象的差别就大了。该部分可以被确定为复杂屏幕并慢速重放。然而,尽管对话情景单调地继续很长时间,该部分更好是快进。
因此,很难仅由根据类型、应用和反映内容含义的活动图象的内容的差值图象而自动估计和确定“内容的复杂性”。以视频实际内容进行的角度,当综合考虑到运动信息、镜头信息、人物面部信息(作为内容进行的核心的特定目标检测信息)、文本信息和音频信息等时,视频的“内容的复杂性”反映实际的人感觉的“内容的复杂性”。
如上所述,随着多媒体内容数量的增长,需要用于归类使用者需要的数据的自动系统。
当今,随着称为个人视频记录器(PVR)的新的个人视频记录设备(可以记录和重现视频)被开发,这种自动系统很经常被需要。
在传统技术中,快进功能被用来快速跳到使用者需要的位置并且用于构成自动摘要系统的视频浏览技术被引入。
然而,传统快进功能难于帮助使用者容易地跳到使用者需要的位置或一些使用者由于太快速的情景进行而感到眩晕。
理想是使用视频浏览功能作为自动视频摘要功能而非帮助使用者跳到使用者需要的位置的方法。
尤其是,由于使用基于复杂视频分析功能或1-或2-维关键帧的树状结构的视频导航功能需要复杂的用户界面,对于除专家以外的使用者很难在电视环境下使用视频导航功能并且界面设计很复杂。
如上所述,视频内容搜索需要被用于编辑使用者所有的内容和简单浏览。换而言之,使用者想要看到排除广告或不感兴趣信息的视频内容并想要单独编辑和存储仅使用者需要的部分。
当今,PVR记录广播流在数字媒体上,允许使用者在任何时间再次看到相应内容,任意访问使用者需要的位置,和提供模拟视频不可能实现的快进功能。
因此,需要的是有效地解决传统视频搜索技术中的问题,并能够包括在数字视频记录/重现装置,如PVR中的视频搜索系统。
发明内容
因此,本发明直接关于充分消除一个或多个由于相关技术的限制和缺点引发的问题的视频内容的动态搜索方法和装置。
本发明的一个目的是提供一种视频内容的动态搜索方法和装置,其具有使用镜头索引信息快速搜索视频流和帮助使用者快速地跳到使用者需要的位置的动态搜索功能。
本发明的另一目的是提供一种视频内容的动态搜索方法和装置,其不需要镜头结构和情景结构而使得索引产生器的结构和实现变得简单,该方法和装置与传统浏览技术相比可以方便地跳到需要的位置,通过重放全部流而不会丢失使用者需要的位置,并克服重放屏幕造成的眩晕的问题以及当使用传统快进功能时使用者不能准确地跳到使用者需要的位置的问题。
本发明的进一步的目的是提供视频内容的动态搜索方法和装置,帮助使用者看到全部内容并基于十分简单的索引,例如视频内容的镜头信息,方便并快速地跳到使用者需要的位置。
本发明的又一目的是提供可以包括在PVR中和可以基于镜头视频内容的镜头索引信息自动和重复执行视频的正常重放和快进的数字视频记录/重现装置。
本发明的另外的特征和优点将在下述说明书中被列出,其特征和优点可以部分地从说明书中明显看出,或者可以通过本发明的实践被理解。本发明的目的和其他优点将通过所写的说明书和其权利请求及附图中特别指出的结构被实现和获得。
为达到这些或其他的优点并根据本发明的目的,根据本发明第一实施例,视频内容的动态搜索方法包括步骤:(a)根据镜头的索引信息和当前重放位置,确定正常重放段和快进重放段;和(b)根据确定的段以相应速度从当前重放位置重放视频内容。
根据该方法,步骤(b)包括步骤:(b-1)以与快进重放段的重放速度相同的高速从当前位置快进视频内容;和(b-2)当视频内容的重放位置为正常重放段的起始位置时,以与正常重放段的重放速度相同的正常速度重放视频内容。
根据该方法,在正常重放段中,音频以及视频内容内容以正常的速度重放。
根据该方法,在选自在动态搜索模式的正常重放过程中使用者明确地请求快进重放的情况、在正常重放过程中使用者请求动态搜索功能的情况、和动态搜索中预定量的视频内容以正常速度被完全重放的情况所组成的组中的任一情况中,重放模式从正常重放转换到快进重放。
根据该方法,在选自在动态搜索模式的快进过程中使用者明确地请求正常重放的情况、在动态搜索的快进过程中视频内容的重放位置达到具有长的正常重放段的镜头的起始位置的情况组成的组中,重放模式从快进重放转换到正常重放。
根据本发明第二实施例,视频内容动态搜索方法包括步骤:(a)当在视频浏览中请求进行动态搜索时,根据视频内容的镜头索引信息和当前重放位置确定正常重放段;(b)以高速从当前重放位置到正常重放段的起始位置快进视频内容。(c)当视频内容的重放位置为正常重放段的起始位置时,以与正常重放段的重放速度相同的正常速度重放视频内容;和(d)当在正常重放段的视频内容的重放被完成时,重复执行步骤(a)到(c)。
根据本发明第三实施例,视频内容的动态搜索装置包括:存储视频内容的媒体存储单元;存储视频内容的镜头索引信息的索引存储器;产生视频内容的镜头索引信息的索引产生器;通过使用镜头索引信息确定正常重放段和快进重放段并根据确定的段控制重放视频内容的控制器;和用于输出重放的视频内容的输出单元。
根据该装置,控制器包括:产生重放控制、记录控制、非线性视频浏览控制和索引控制的命令以提供记录功能、索引产生、重放和动态搜索功能的命令解译器;控制存储视频内容到媒体存储单元中的记录控制器;输出视频内容到输出单元,控制重放全部视频内容,和提供非线性视频浏览功能和快进/快倒功能的重放控制器;和传递视频内容的存储信息到重放控制器以提供快进/快倒功能,和给非线性视频浏览控制器提供镜头索引信息的索引管理器。
附图说明
附图,包括其中以提供本发明的进一步的理解并构成该说明书的一部分,说明本发明的实施例并与说明书一起用于解释本发明的原理。
在附图中:
图1为说明镜头索引信息的一个例子。
图2为说明本发明动态搜索方法的概念。
图3为说明本发明中动态搜索模式和重放模式之间的转换。
图4为应用本发明的视频内容动态搜索方法的PVR系统的框图。
具体实施方式
在此,本发明的优选实施例将参照附图被详细说明。
多媒体内容分析技术的视频索引技术已被研究很长时间。该技术中的镜头分割技术被看作高精度的视频内容分析技术。在镜头分割技术中,视频内容被分割为作为物理编辑单元的镜头。一般,镜头分割技术可以具有95%或更高的精度。镜头分割技术可以整合在个人视频记录器(PVR)中。例如,在记录的同时,视频内容被分析并且可以使用镜头分割技术产生镜头索引。因此,在该发明中,假设使用者想要移动到进行搜索或编辑的位置通常是场景的起始位置。通过使用可以与视频类型无关而被应用的镜头分割信息,一些部分被高速快进而另一些部分以正常速度重放。音频信息也被提供。
在设定各个面的速度中可以多样的变化。基本地,长镜头以正常速度被重放而短镜头以高速被快进。在动态搜索功能中,快进和正常重放被重复进行。需要克服的问题是在传统快进功能中,使用者不能通过使用重放方法准确跳到需要的位置。当使用者需要的情景在快进重放段中时,很难识别是否使用者需要的情景在浏览中被错过。本发明提供快速跳到使用者需要的准确位置的方法。动态搜索功能可以在客户-服务器环境下和独立系统,尤其是PVR,中工作。
图1为说明镜头索引信息的一个例子。
如图1所示,镜头索引包括单个的镜头信息的列表。单个镜头信息包括最小镜头的段信息。镜头段信息包括视频内容相关镜头的起始位置和结束位置。
单个镜头信息最小部分信息(起始位置和结束位置)。单个镜头信息可以包括附加信息(代表帧信息、平均运动量信息等)。流逝的时间或长度信息可以被计算为“结束位置-起始位置”。
图2为说明本发明的动态搜索方法的例子。
如图2所示,在动态搜索功能中,按照使用者对动态搜索的请求,正常重放和快进被自动地重复。在视频浏览中使用者请求动态搜索,视频重放模式可以被转换为快进模式和相应的视频被快进。在预定时间,视频重放模式可以自动地转换为正常的重放模式和相应的视频内容在预定时间中以正常速度被重放。然后,视频重放模式再次自动地转换为快进模式。当然,在此时,音频在正常重放模式中也与视频一起被重放。在此,为把视频重放模式从快进模式转换为正常模式或从正常模式转换为快进模式,可以使用下列规则。
首先,在选自在动态搜索模式的正常重放过程中使用者明确请求快进重放的第一情况(1-1)、在正常重放过程中使用者请求动态搜索功能的第二情况(1-2)和在动态搜索中预定量的视频内容以正常速度被完全重放的第三情况(1-3)组成的组中的任一情况中,重放模式从正常重放转换为快进重放。
其次,在选自在动态搜索模式的快进过程中使用者明确请求正常重放的第一情况(2-1)、在动态搜索的快进过程中视频内容的重放位置达到长的正常重放段的镜头的起始位置的第二情况(2-2)组成的组中的任一情况中,重放模式从快进重放转换为正常重放。
在上述在动态搜索模式的正常重放过程中使用者明确请求快进重放或相反的两个第一情况(1-1和2-1)中,由于响应使用者改变视频重放模式的请求,视频重放模式被自然地转换。
如上所述,当动态搜索功能被请求时,由于快进重放在正常重放前进行,在第二情况(1-2)下,视频重放模式被转换为快进重放模式。由于动态搜索自动转换视频重放模式以重放视频内容,在动态搜索中预定量的视频内容以正常速度被完成重放后,视频重放模式被转换为快进模式。
通常,使用者想要略过广告以从起始位置正常重放视频内容,从相应的起始位置开始编辑视频内容,或略过记者收集的短场景以从起始位置重放或编辑主持人场景、图表说明场景或采访场景。
因此,按照这样的设想,本发明的动态搜索功能具有在多数视频内容的起始位置的镜头和新闻中的主持人场景、图表说明场景和采访场景要比广告场景和记者收集的场景长的特性。当视频内容的当前位置达到相比较长的镜头的起始位置时,通过同时使用该特性、快进中的视频内容的当前位置和镜头索引信息,视频重放模式被自动地从快进模式转换为正常重放模式。因此,使用者被允许通过请求记录/重现系统在任意位置停止或从任意位置正常重放视频内容而在任意位置停止记录/重现系统或从任意位置正常重放视频内容。本发明可以被用于准确跳到使用者需要的位置并重放视频内容。
在此,镜头长度从镜头索引的段信息获得。确定镜头是长或短的标准可以是是否镜头比特定阈值长或短或者是否镜头比附近镜头的平均值长或短。
从快进模式转换视频重放模式为正常重放模式的第三情况(2-3)可以在动态搜索中被使用或不被使用。当短片段不正常地持续很长一段时间时,假定镜头索引可能非正常地产生,该转换可以被应用。在此,预定时段可以被设置为5分钟或10分钟。在这种情况下,确保快进不能被执行超过5分钟或10分钟。如果预置时段被设置为无穷大,上述情况被忽略。因此,根据预定时段存在与否,上述条件可以被有选择地使用。
在从正常重放模式转换视频重放模式到快进模式的第三情况(1-3)中,预定量可以以两种方式被解释。首先,在全部的相应镜头以正常速度被重放后,视频重放模式被自动地从正常重放模式转换为快进模式。其次,与相应镜头的长度无关以正常速度重放仅固定量(例如4秒)的相应镜头后,视频重放模式被自动地从正常重放模式转换为快进模式。
换而言之,如果正常重放的镜头长度为20秒,视频内容在第一种方法中被正常地重放20秒,而在第一方法中视频内容被正常地重放4秒且剩余的16秒相应镜头的剩余部分被快进。
在此,第一方法是为使用者全面地了解正常重放镜头的内容。在第二方法中,由于正常重放的相应镜头可能不是使用者需要的镜头,使用者在正常重放中确定该场景是否为使用者需要的场景。如果该场景是使用者需要的场景,使用者请求系统执行一些操作。如果使用者没有请求系统任何操作,视频重放模式从正常重放模式转换为快进模式。
该动态搜索功能包括三个步骤。各个步骤将描述如下。
动态搜索功能接收视频动态搜索请求。
第一步:根据视频内容的当前重放位置和镜头索引信息,选择正常重放的起始位置和长度。
第二步:视频内容从当前位置到正常重放的起始位置被快进。
第三步:当视频内容的当前位置与正常重放的起始位置相同时,视频内容的视频重放模式转换为正常重放模式。在第一步骤中定义的视频内容的量(例如正常重放长度)以视频和音频同时重放的正常速度被重放。然后,进行到第一步骤,重复进行第一到第三步骤。
通过执行上述操作,根据视频内容的当前重放位置和镜头索引信息,正常重放段和快进重放段被确定。视频内容不需要使用者任何输入被重复正常地重放和快进。
在此,镜头索引信息包括作为视频内容的物理编辑单元的单个镜头的流的段信息。
同时,在选自动态搜索模式的正常重放过程中使用者明确地请求视频内容的快进重放的第一情况(1-1)、在正常重放过程中使用者请求动态搜索功能的第二情况(1-2)和在动态搜索中预定量的视频内容以正常的速度被完全重放的第三情况(1-3)组成的组中的任一情况中,视频重放模式从正常重放模式转换为快进模式。在在动态搜索中预定量的视频内容以正常的速度被完全重放后从正常重放模式到快进模式的自动视频重放模式转换中,以正常速度被重放的视频内容的量可以是完整选择的镜头或与与镜头长度无关而选择的镜头的第一半中指定的量。
在选自快进过程中使用者明确请求视频内容的正常重放的第一情况(2-1)、在动态搜索的快进过程中根据预定规则,视频内容的当前重放位置达到长度很长的镜头的起始位置的第二情况(2-2)组成的组中的任意一种情况下,视频重放模式从快进模式被转换为正常重放模式。
在从快进模式到正常重放模式的自动视频重放模式的转换中,正常重放的起始位置为在第一步骤中确定的正常重放的镜头的起始位置。开始以正常速度被重放的镜头被选择为长度大于特定阈值的镜头。长度基于镜头索引中的镜头段信息(起始位置和结束位置)估计。对于适应性动态搜索,分割结果大于特定阈值的镜头被选作在快进过程中以正常速度被重放的镜头。分割结果通过以镜头长度除以附近镜头的平均长度而获得。
为防止使用者由于太长的快进导致感觉眩晕,倘若视频内容快进超过动态搜索中定义的预定时间,视频重放模式可以从快进模式转换为正常重放模式。
在重放模式之间的转换可以被总结如图3所示。由于存在视频记录/重现装置提供的多种功能,在涉及本发明的视频重放模式之间的基本转换将被描述。S30为使用者输入阶段。S31为正常重放阶段。S32为快进阶段。S33为中止阶段。在动态搜索模式中预定量的视频内容以正常速度重放后,发生从S31到S32的转换。倘若在动态搜索的快进过程中视频内容的当前重放位置达到按照预置规则长度较长的镜头的起始位置,或者倘若视频内容快进超过动态搜索中定义的预定时间段,从S32到S31的转换发生。
如图3所示,视频重放模式根据使用者请求动态搜索从正常重放模式转换为快进模式。根据镜头索引信息和视频内容的当前重放位置,视频记录/重现系统被自动转换为正常重放模式。综合考虑镜头索引信息、视频内容的当前重放位置和正常重放段的长度,视频记录/重现系统在正常重放过程中被再次转换为快进模式。视频记录/重现系统重复该操作直到使用者输入任何请求。
图4为包括具有视频内容动态搜索功能的动态搜索装置的PVR系统的框图。
如图4所示,根据本发明的PVR系统包括信号输入单元1、输入设备2、输出设备3、媒体存储单元4、重放控制器5、索引管理器6、非线性视频浏览(NLVB)控制器7、命令解译器8、记录控制器9、索引产生器10和索引存储器11。信号输入单元1接收视频内容。输入设备2传递使用者的命令。输出设备3输出视频内容。媒体存储单元4存储通过信号输入单元1输入的A/V流和记录的流。重放控制器5输出视频内容到输出单元3,控制重放全部媒体并提供非线性视频浏览功能和快进/快倒功能。非线性视频浏览功能包括必要时使用与NLVB控制器7或索引管理器6通信的动态搜索。索引管理器6传递视频内容的存储信息到重放控制器5以提供快进/快倒功能,并提供存储的镜头索引信息到NLVB控制器7。NLVB控制器通过索引管理器6与索引存储器11通信并确定在重放控制器控制器下以某种速度重放某一部分。命令解译器8传递用于重放控制、记录控制、非线性视频浏览控制和索引控制的命令到各个控制模块。记录控制器9控制存储通过信号输入单元1输入的A/V源在视频存储单元4中。索引产生器10通过记录控制器9提取在媒体储存单元4中存储的视频信息的镜头索引信息。索引存储器11存储产生的镜头索引信息。
该PVR系统可以同时进行记录、索引、观看和非线性浏览。
必要时非线性浏览功能包括动态搜索功能和进一步包括浏览功能(skimming function)。PVR系统基本上需要信号输入单元1、重放控制器5、记录控制器9、索引存储器11、索引管理器6、媒体存储单元4、命令解译器8、输入设备2和输出设备3以使作为PVR基础功能的记录/检查功能成为可能。为提供本发明的动态搜索功能,对比传统PVR,索引产生器10、索引管理器6和索引存储器11变为可以处理附加信息的模块。非线性视频浏览(NLVB)控制器7被配置。
信号输入单元1为接收视频信息的源。输出设备3为输出视频内容的设备,例如监视器和扬声器。
媒体存储单元4为存储通过信号输入单元1输入的A/V流的设备。输入设备2是例如键盘和远端控制器的传递使用者的命令到系统的设备。命令解译器8是传递重放控制、记录控制、非线性视频浏览控制和索引控制的命令到各个控制模块的设备。
索引产生器10存储通过记录控制器9存储在媒体存储单元4中的视频内容的存储信息到索引存储器11中,并通过使用自动视频索引算法从通过信号输入单元1输入的A/V流中产生视频内容的索引信息以在索引存储器中存储索引信息,或在镜头索引信息通过信号输入单元1被输入时,在索引存储器11中存储镜头索引信息。
因此,索引存储器11存储视频内容的存储信息和镜头索引信息。索引管理器6传递视频内容的存储信息到重放控制器5以提供技巧播放例如快进和快到,并给NLVB控制器7提供存储的镜头索引信息。
记录控制器9给索引产生器10提供记录的视频内容的存储信息,并存储输入A/V流到媒体存储单元4中。重放控制器5输出视频内容到输出单元3,控制重放全部媒体,并在必要时通过使用与NLVB控制器7或索引存储器11的通信,提供非线性视频浏览功能和技巧播放。
NLVB控制器7为通过索引控制器6与索引存储器11通信的模块,并确定在重放控制器5的控制下以何速度重放哪些部分。
与动态搜索功能相关的PVR系统将被说明。
当动态搜索请求通过输入单元2由使用者输入时,命令解译器8确定被输入的请求是否需要动态搜索功能并通知重放控制器5确定的结果。
重放控制器5与NLVB控制器7通信以获得将要重放的片段信息和用于动态搜索请求时视频重放模式的信息。
NLVB控制器7基于通过索引管理器6输入的镜头索引信息和通过重放控制器5传递的视频内容的当前重放位置确定以何种速度重放哪一段并给重放控制器5传递确定的结果。
然后,根据指定的方法,重放控制器5重放在媒体存储单元4中的视频内容的相应部分。
NLVB控制器7继续搜索当前重放位置的视频内容并交替地进行快进和正常重放。
工业适用性
使用根据本发明的动态搜索功能,与传统快进相比使用者的眩晕被最小化。使用者可以在大致同时准确地搜索视频内容找到需要位置。
与摘要信息被提供和确定为不必要的部分被略过的传统浏览方法相比较,由于本发明中全部的段被重放,根据本发明的动态搜索功能可以防止使用者由于错误的镜头索引而错误地略过或由于错误的确定导致通过浏览系统错误地略过主要段落,因此有利于搜索。
因为一般快进和浏览具有自身的实用性,如果一个系统同时提供上述基本功能和本发明的动态搜索功能,可以建立非常有用的系统。
由于本发明的动态搜索功能把仅镜头索引信息作为附加输入,视频内容的动态搜索装置可以容易地仅通过把索引模块和动态搜索控制模块添加到传统PVR系统而构建。当用于传统浏览的镜头索引产生器被包括在系统中时,系统可以通过给系统添加动态搜索控制模块而提供动态搜索功能。
尽管本发明参照其优选实施例被描述和说明,对本领域技术人员而言,在不脱离本发明的实质和范围进行多样的修改和变化是显而易见的。因此,本发明覆盖在所附权利请求及其等价形式的范围内的修改和变化。
Claims (15)
1、视频内容动态搜索方法,包括步骤:
(a)根据镜头索引信息和当前重放位置确定正常重放段和快进重放段;和
(b)根据确定的段从当前重放位置以相应速度重放视频内容;
其中在选自由使用者在动态搜索模式的正常重放过程中明确地请求快进重放的情况、使用者要求在正常重放过程中请求动态搜索功能的情况和在动态搜索中预定量的视频内容以正常速度被完全重放的情况构成的组中的任一情况中,重放模式从正常重放转换到快进重放;
在选自由使用者在动态搜索模式的快进重放过程中明确地请求正常重放的情况、在动态搜索的快进过程中视频内容的重放位置达到正常重放部分长的镜头的起始位置的情况构成的组中的任意一种情况中,重放模式从快进重放转换到正常重放。
2、权利要求1的动态搜索方法,其特征在于,步骤(b)包括步骤:
(b-1)以与快进重放段的重放速度相同的速度从当前位置快进视频内容;和
(b-2)当视频内容的重放位置与正常重放段的起始位置一致时,以与正常重放段相同的正常速度重放视频内容。
3、权利要求1的动态搜索方法,其特征在于,使用从镜头索引信息获得的起始位置和长度信息确定正常重放段。
4、权利要求1的动态搜索方法,其特征在于,在正常重放段中,音频内容及视频内容以正常的速度重放。
5、权利要求1的动态搜索方法,其特征在于,镜头索引信息包括作为视频内容的物理编辑单元的单个镜头的流中的段信息。
6、权利要求1的动态搜索方法,其特征在于,当在动态搜索中预定量的视频内容以正常速度重放后,重放模式自动地从正常重放转换到快进,和
以正常速度重放的视频内容的量相当于整个选择的镜头。
7、权利要求1的动态搜索方法,其特征在于,当在动态搜索中预定量的视频内容以正常速度重放后,重放模式自动地从正常重放转换到快进,和
以正常速度重放的视频内容的量是指定为所选镜头的第一半的量,而与镜头长度无关。
8、权利要求1的动态搜索方法,其特征在于,在动态搜索的快进过程中重放模式自动地从快进转换到正常重放,
视频内容的当前重放位置为正常重放的起始位置,和
开始以正常速度重放的镜头被选作长度大于预定的临界值的镜头,长度基于镜头检索信息中的镜头段信息中的起始位置和结束位置计算。
9、权利要求1的动态搜索方法,其特征在于,在动态搜索的快进过程中,重放模式自动地从快进转换到正常重放,
视频内容的当前重放位置为正常重放的起始位置,和
开始以正常速度重放的镜头被选作分割结果大于预定的临界值的镜头,分割结果是通过以根据镜头索引信息中的镜头段信息中的起始位置和结束位置计算的长度除以附近镜头的平均长度获得。
10、权利要求1的动态搜索方法,其特征在于,当视频内容被快进超过在动态搜索中确定的预定时间,在快进过程中视频内容自动地开始以正常的速度重放。
11、视频内容动态搜索方法,包括步骤:
(a)当在视频浏览中请求进行动态搜索时,根据镜头索引信息和视频内容的当前重放位置确定正常重放段;
(b)从当前重放位置到正常重放段以高速快进视频内容;
(c)当视频内容的重放位置为正常重放段的起始位置时,以与正常重放段的速度相同的正常速度重放视频内容;和
(d)当正常重放段的视频内容的重放被完成时,重复执行步骤(a)到(c);
在选自由在动态搜索模式的正常重放过程中使用者明确地请求快进重放的情况、在正常重放过程中使用者请求动态搜索功能的情况和在动态搜索中预定量的视频内容以正常速度被完全重放的情况构成的组中的任一情况下,重放模式从正常重放转换到快进重放;
在选自由在动态搜索模式的快进过程中使用者明确地请求正常重放的情况、在动态搜索的快进过程中视频内容的重放位置达到正常重放段长的的镜头的起始位置的情况构成的组中的任意一种情况中,重放模式从快进重放转换到正常重放。
12、权利要求11的动态搜索方法,其特征在于,在正常重放段,音频内容与视频内容一起以正常速度被重放。
13、权利要求11的动态搜索方法,其特征在于,镜头索引信息包括作为视频内容物理编辑单元的单个镜头的流中的段信息。
14、视频内容的动态搜索装置,包括:
存储视频内容的媒体存储单元;
存储视频内容的镜头索引信息的索引存储器;
产生视频内容的镜头索引信息的索引产生器;
通过使用镜头索引信息确定正常重放段和快进重放段并根据确定的段控制重放视频内容的控制器;和
用于输出重放的视频内容的输出单元。
15、权利请求14的动态搜索装置,其特征在于,控制器包括:
产生重放控制、记录控制、非线性视频浏览控制和索引控制的命令以提供记录、索引产生、重放和动态搜索功能的命令解译器;
控制存储视频内容到媒体存储单元中的记录控制器;
用于输出视频内容到输出单元,控制重放整个视频内容和提供非线性浏览功能和快进/快倒功能的重放控制器;和
传递视频内容的存储信息到重放控制器以提供快进/快倒功能,和提供镜头索引信息到非线性视频浏览控制器的索引管理器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020020084780A KR100555426B1 (ko) | 2002-12-27 | 2002-12-27 | 비디오 콘텐트의 동적 탐색 방법 및 장치 |
KR1020020084780 | 2002-12-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1732685A CN1732685A (zh) | 2006-02-08 |
CN100518281C true CN100518281C (zh) | 2009-07-22 |
Family
ID=32677793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2003801077119A Expired - Fee Related CN100518281C (zh) | 2002-12-27 | 2003-12-26 | 视频内容动态搜索的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20060041908A1 (zh) |
EP (1) | EP1579687A4 (zh) |
KR (1) | KR100555426B1 (zh) |
CN (1) | CN100518281C (zh) |
AU (1) | AU2003289532A1 (zh) |
WO (1) | WO2004059971A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7904815B2 (en) * | 2003-06-30 | 2011-03-08 | Microsoft Corporation | Content-based dynamic photo-to-video methods and apparatuses |
KR20060029161A (ko) | 2003-06-30 | 2006-04-04 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 트릭 모드 분야에서 사용하는 방법, 플레이어, 리코더,신호 및 리코드 캐리어 |
US20070101264A1 (en) * | 2005-11-01 | 2007-05-03 | Microsoft Corporation | Position-and length-sensitive video timeline behavior |
EP1806919A1 (en) * | 2006-01-05 | 2007-07-11 | Alcatel Lucent | Media delivery system with content-based trick play mode |
CN101686343B (zh) * | 2008-09-28 | 2012-10-10 | 康佳集团股份有限公司 | 假台自动清除方法 |
CN102342097A (zh) * | 2009-04-24 | 2012-02-01 | 松下电器产业株式会社 | 节目间重复部分检测方法及装载其的影像声音记录装置 |
CN102823268B (zh) | 2010-03-31 | 2018-05-22 | 汤姆森特许公司 | 视频数据的技巧回放 |
CN103222261B (zh) * | 2010-09-17 | 2017-04-05 | 汤姆逊许可公司 | 视频系统中基于语义的特技模式播放的方法 |
JP2012185899A (ja) * | 2011-02-15 | 2012-09-27 | Jvc Kenwood Corp | 再生装置、再生方法、及び、プログラム |
KR101901232B1 (ko) * | 2011-12-01 | 2018-09-27 | 삼성전자 주식회사 | 컨텐츠를 분할하여 표시하는 방법 및 장치 |
KR101869905B1 (ko) * | 2012-03-12 | 2018-06-21 | 한화에어로스페이스 주식회사 | 영상 재생 방법 및 장치 |
CN104519294B (zh) * | 2013-09-27 | 2018-02-09 | 杭州海康威视数字技术股份有限公司 | 基于移动信息的视频录像智能回放方法及其装置 |
CN104702897B (zh) * | 2013-12-10 | 2018-05-15 | 明泰科技股份有限公司 | 网络视频录影的快速历史回放及事件锁定的方法 |
CN104065982B (zh) * | 2014-06-19 | 2015-12-30 | 腾讯科技(深圳)有限公司 | 流媒体直播的方法和装置 |
CN104506947B (zh) * | 2014-12-24 | 2017-09-05 | 福州大学 | 一种基于语义内容的视频快进/快退速度自适应调整方法 |
US10686984B1 (en) | 2015-02-13 | 2020-06-16 | Waylens, Inc. | Connected camera system |
CN111246303B (zh) * | 2020-01-17 | 2022-03-01 | 北京达佳互联信息技术有限公司 | 视频播放方法、装置、电子设备及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5333091B2 (en) * | 1993-01-08 | 1996-12-17 | Arthur D Little Enterprises | Method and apparatus for controlling a videotape player to automatically scan past recorded commercial messages |
US5999689A (en) * | 1996-11-01 | 1999-12-07 | Iggulden; Jerry | Method and apparatus for controlling a videotape recorder in real-time to automatically identify and selectively skip segments of a television broadcast signal during recording of the television signal |
US7269330B1 (en) * | 1996-11-01 | 2007-09-11 | Televentions, Llc | Method and apparatus for controlling a video recorder/player to selectively alter a video signal |
US6588015B1 (en) * | 1998-01-14 | 2003-07-01 | General Instrument Corporation | Broadcast interactive digital radio |
KR100584280B1 (ko) * | 2000-03-13 | 2006-05-26 | 엘지전자 주식회사 | 멀티미디어 컨텐트의 재생 제어 방법 및 시스템 |
KR20020023063A (ko) * | 2000-09-22 | 2002-03-28 | 구자홍 | 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치 |
KR100370249B1 (ko) * | 2000-08-19 | 2003-01-29 | 엘지전자 주식회사 | 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템 |
KR100403238B1 (ko) * | 2000-09-30 | 2003-10-30 | 엘지전자 주식회사 | 비디오의 지능형 빨리 보기 시스템 |
KR100422699B1 (ko) * | 2001-05-22 | 2004-03-12 | 엘지전자 주식회사 | 비디오 콘텐트의 재생 제어방법과 장치 |
-
2002
- 2002-12-27 KR KR1020020084780A patent/KR100555426B1/ko not_active IP Right Cessation
-
2003
- 2003-12-26 US US10/540,426 patent/US20060041908A1/en not_active Abandoned
- 2003-12-26 EP EP03779019A patent/EP1579687A4/en not_active Withdrawn
- 2003-12-26 CN CNB2003801077119A patent/CN100518281C/zh not_active Expired - Fee Related
- 2003-12-26 AU AU2003289532A patent/AU2003289532A1/en not_active Abandoned
- 2003-12-26 WO PCT/KR2003/002845 patent/WO2004059971A1/en not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
EP1579687A4 (en) | 2010-10-27 |
WO2004059971A1 (en) | 2004-07-15 |
US20060041908A1 (en) | 2006-02-23 |
AU2003289532A1 (en) | 2004-07-22 |
EP1579687A1 (en) | 2005-09-28 |
CN1732685A (zh) | 2006-02-08 |
KR20040058511A (ko) | 2004-07-05 |
KR100555426B1 (ko) | 2006-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100518281C (zh) | 视频内容动态搜索的方法和装置 | |
KR100411437B1 (ko) | 지능형 뉴스 비디오 브라우징 시스템 | |
US7356244B2 (en) | Method and system for replaying video images | |
KR100711948B1 (ko) | 개인화된 비디오 분류 및 검색 시스템 | |
JP4364190B2 (ja) | マルチメディアデータストリームの非線形的再生制御方法及びその装置 | |
US7362950B2 (en) | Method and apparatus for controlling reproduction of video contents | |
US20050028194A1 (en) | Personalized news retrieval system | |
US20110320471A1 (en) | Movie Recommendation System and Movie Recommendation Method | |
CA2749137A1 (en) | Video data recorder with personal channels | |
JP2008148077A (ja) | 動画再生装置 | |
CN1921554A (zh) | 搜索pvr中记录的场景的方法和使用该方法的电视接收机 | |
JP5079817B2 (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
CN100382595C (zh) | 自动视频内容重放系统和方法 | |
JP4925938B2 (ja) | ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置 | |
JP4208434B2 (ja) | 放送受信機,放送制御方法,コンピュータ読み取り可能な記録媒体,及びコンピュータプログラム | |
KR100609154B1 (ko) | 비디오 콘텐츠 재생 방법 및 장치 | |
KR100991619B1 (ko) | 내용 기반 트릭 플레이를 위한 방송 서비스 방법 및 시스템 | |
KR20050056544A (ko) | 녹화 프로그램 목록의 저장방법 | |
US8275242B2 (en) | Recording/reproducing apparatus and display control method | |
KR100370249B1 (ko) | 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템 | |
JP2002325214A (ja) | 関連番組参照型受信装置および関連番組参照型送信装置ならびに関連番組参照型プログラム | |
JP2012004687A (ja) | コンテンツ再生装置、コンテンツ出力装置、およびコンテンツ再生システム | |
JP2004521525A (ja) | 番組よりも下位レベルでのテレビショー番組の視覚化及び再生 | |
KR20070033119A (ko) | Pvr 기능을 구비한 디지털 방송 수신장치 및 이를이용한 녹화 목록 검색방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090722 Termination date: 20101226 |