CN1735887B - 用于相似视频内容跳转的方法和设备 - Google Patents

用于相似视频内容跳转的方法和设备 Download PDF

Info

Publication number
CN1735887B
CN1735887B CN2003801083266A CN200380108326A CN1735887B CN 1735887 B CN1735887 B CN 1735887B CN 2003801083266 A CN2003801083266 A CN 2003801083266A CN 200380108326 A CN200380108326 A CN 200380108326A CN 1735887 B CN1735887 B CN 1735887B
Authority
CN
China
Prior art keywords
scene
signature
video
similar
principal component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2003801083266A
Other languages
English (en)
Other versions
CN1735887A (zh
Inventor
F·F·斯尼德尔
J·A·内斯瓦巴
M·M·巴比里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1735887A publication Critical patent/CN1735887A/zh
Application granted granted Critical
Publication of CN1735887B publication Critical patent/CN1735887B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

一种用于播放视频内容的设备,包括一个用于播放视频内容的播放装置(100)。视频内容包括重叠的场景(621、622、641、642、661、662、681、682),每个场景具有相关联的场景签名。场景跳转选择器(44)适于在播放装置(100)正在播放视频内容时选择一个跳转。该选择定义在选择时正在由播放装置(100)播放的一个当前场景(102),以及对应于该当前场景(102)的场景签名。相似场景跳转处理器(104)响应于对当前场景(102)的定义而操作。相似场景跳转处理器(104)将当前的场景签名与视频内容的其它场景签名作比较,以识别一个相似的场景(106)。相似场景跳转处理器(104)使播放装置(100)转而播放该相似的场景(106)。

Description

用于相似视频内容跳转的方法和设备
以下内容涉及娱乐领域,特别涉及使高容量个人视频记录器的用户能方便地转换或跳转到相同或不同的流中的相似内容。然而,以下内容更一般地允许在数字广播电视接收机、数字有线电视接收机、音频光盘播放器及记录器、数字无线电广播接收机、因特网浏览器、计算机网络浏览器等等中进行内容跳转。
个人视频记录器和播放器当前具有超过40小时的视频内容的存储容量,预期在可见的将来,存储容量将充分地增长。鉴于这些大存储容量,用户能大大受益于用于智能地管理、播放和浏览视频内容的工具和功能。
偶然“发现”感兴趣的娱乐内容,对观看者来说是有价值的。在收看广播、有线电视或卫星电视期间,用户一般忙于频道跳转或冲浪,其中,用户操作一个遥控频道选择器来在电视频道之间跳转,以搜索感兴趣的节目。即使容易获得用来标识电视节目的印刷的和电子的观看指南,用户也频繁地采用频道跳转。然而,这样的频道跳转可能并非完全都是随机的,因为用户可能熟悉通常在某些特定频道上放映的节目的类型。
由用户例如用个人视频摄影机(即摄录一体机)或个人视频记录器纪录的视频内容,一般将不包括内容指南。在重放期间,用户可能想要进行对所记录内容的内容跳转。这样的内容跳转一般类似于频道跳转,只不过用户是在视频流的不同部分之间或者在视频流之间跳转,而非在电视频道之间跳转。
问题是用户一般没有方便的办法来识别在一个视频流内或在视频流之间的合意的内容跳转。用户将受益于能够在特定内容类型内、或在与当前正被观看的内容相似的内容内进行内容跳转。此外,用户可能想要根据与当前被观看的节目的相似性或者通过指定所要跳转到的特定内容类型(例如动作场景或体育节目)来限定内容跳转。
本发明设想出一种克服前述的缺陷和其它缺陷的改进的设备和方法。
按照一个方面,公开一种用于播放视频内容的设备。提供一个用于存储至少一个视频流的视频内容装置。每个视频流包括多个场景。每个场景由一个对应的场景签名(signature)描述。提供一个选择装置,用于选择一个描述用户想要观看的场景的视频内容的场景签名。提供一个用于比较所选择的场景签名与所存储的视频流的场景签名以便识别一个或多个其场景签名与所选择的场景签名相似的场景的装置。提供一个用于播放至少一个其场景签名被识别为与所选择的场景签名相似的场景的装置。
按照另一个方面,提供一种用于播放视频内容的方法。选择一个描述一个视频场景的各帧的综合特征的场景签名。将所选择的场景签名与描述至少一个所存储的视频流的各场景的多个所存储的场景签名相比较,以识别至少一个与所选择的场景签名相似的场景签名。播放至少一个其场景签名被识别为与所选择的流签名相似的场景的装置。
一个优点在于提供在一个预先记录的视频流内或在视频流之间的基于内容的频道跳转。
另一个优点在于根据定量的、用户指定的跳转标准来提供基于内容的跳转。
再一个优点是提供灵活且准确的内容概括信息以用于基于内容的跳转。
对于所属领域的一般熟练人员来说,通过阅读以下对各优选实施例的详细说明,许多其它的优点和益处将变得显而易见。
本发明可采取不同的部件和部件安排的形式以及不同的处理操作和处理操作安排的形式。附图只是为了举例说明各优选实施例,不应被视为限制本发明。
图1示意性地表示一个个人视频记录器和相关联的娱乐系统,图中有一个示例性的卫星电视输入,以及一个提供对于场景跳转和流跳转的用户选择的遥控器;
图2示意性地表示个人视频记录器的用于生成和记录与正被记录的视频内容相关联的场景和流签名信息的适当部件;
图3示意性地表示对应于多流视频内容的场景的一种适当的重叠安排;
图4示意性地表示个人视频记录器的用于进行场景跳转的适当部件;
图5表示一个示例性的跳转阈值标度;
图6表示一个示例性的语义场景(semantic scenes)选择菜单;
图7示意性地表示个人视频记录器的用于进行流跳转的适当部件。
参看图1,个人视频记录器(PVR)10包括硬盘12和基于计算机处理器的控制器14。记录器10记录一个或多个输入音频/视频数据流,并同时重放输入数据、具有延迟的输入数据或者其它以前记录的数据。利用当前的技术,具有大约40小时的存储容量的硬盘是容易得到的。利用更高密度的存储器、多盘记录系统等等,更大存储量将变得可用。尽管是连同个人视频记录器一起说明的,但是应当理解,这个技术也适用于预先记录的音频/视频媒体、读/写光盘、被配置成执行个人视频记录任务的计算机系统等等。
个人视频记录器10向娱乐系统20输出重放(playback),娱乐系统20包括一个优选地是高清晰度显示器的视频显示器22和一个优选地是高保真音频系统的音频扬声器系统24。尽管是分开显示的,但在有些实施例中,音频扬声器物理上被集成在视频显示装置中。此外,个人视频记录器物理上能与娱乐系统20集成在一起。个人视频记录器10也连接到外部视频和/或音频输入源,诸如卫星电视调谐器30,其与一个接收由卫星36广播的卫星电视信号34的碟形卫星天线32通信。其它适合的音频/视频输入包括广播电视、有线电视、广播无线电、数字无线电等等。可选地,电视调谐器30被集成在个人视频记录器10或娱乐系统20中。
用户用一个发射由个人视频记录器10、娱乐系统20、电视调谐器30或其他要被控制的部件接收的红外信号42的手持遥控器40来控制个人视频记录器10、娱乐系统20、电视调谐器30和可选的其它部件。遥控器40包括按钮、旋转拨盘或其它适合用于输入用户命令的控制装置。特别地,遥控器40包括一个场景跳转按钮44和一个视频流跳转按钮46,用户激活这两个按钮来分别启动向硬盘12上的相似场景或相似视频流的内容跳转。为了更复杂的控制操作,用遥控器40操纵一个可选的、被个人视频记录器叠加在显示器22上的屏幕上指针48,以从由个人视频记录器10所生成的一个被显示的选择菜单中进行选择。
继续参看图1并进一步参看图2,个人视频记录器10包括一个记录部件50,其把从卫星电视调谐器30或其它外部视频输出源接收的视频输入记录到硬盘12或其他海量存储装置。在记录同时或者在记录之后,场景定义处理器54定义视频内容中的重叠场景。
继续参看图2并进一步参看图3,场景定义处理器54接收视频内容,并定义对应于各场景的重叠区间(overlapping intervals)。具体来说,图3表示两个视频流601、602,它们被解析成对应于各场景的重叠的场景区间,诸如视频流601的重叠的场景621、641、661、681或视频流602的重叠的场景622、642、662、682。在适当的实施例中,每个场景长度在30秒至10分钟之间。在一个优选实施中,两分钟的场景被以重叠的方式被隔开,从而以10秒的间隔区间开始。场景长度和间隔(spacings)根据视频内容的特征(诸如在视频内容中出现的活动的量)而被适当地确定。例如,一个动作视频优选地比一个更慢的电影风格的视频具有更短的且更紧密地重叠的场景。设想让场景定义处理器54根据视频内容的运动参数或其它特性来选择场景长度和重叠间隔。
回头参看图2,每个场景被处理,以生成一个场景签名。一个低级别特征处理器80,在逐帧的基础上或者在帧组(例如画面组(GOP))的基础上计算低级别的音频和/或视频内容特征。适当的低级别特征包括绝对平均亮度参数、图像亮度差参数、帧复杂度参数、平均绝对差(MAD)运动估计参数、运动参数、图像纹理参数、颜色分布参数、(例如按对象或者按心理声学特征定义的)场景合成参数等等。对于每个场景,主分量分析器(PCA)82把低级别特征作为主分量矢量投射到一个主分量空间。如现有技术中已知的那样,可以选择少量的主分量,其代表关于所述低级别特征的基本信息量。这充分地减少了存储器的使用,改善了相似性度量的鲁棒性和相似性计算的复杂度。此外,因为PCA特征在表示精确性方面是可缩放的,所以可以在一方面的低级别PCA特征的数量和因此得到的表示精确性与存储器的使用、鲁棒性和计算复杂度之间作出折衷。尽管主分量分析是用于计算场景签名的一个优选架构,但也可以采用其他方法。例如,对一个或几个所选择的低级别特征的平均或其它统计汇总可以被用来计算场景签名。
场景签名生成器84根据场景的各个帧或帧组来为每个场景计算一个适当的定量的场景签名。这样的签名的范围可以从跨越一组帧的短期签名(即大约在一个GOP级别PCA特征的长度的签名)、到组合几分钟的GOP级别PCA特征的中期签名(即在大约场景长度的签名)、再到代表一个完整视频流或其相当大的一部分的长期签名。优选地,采用代表场景的中期签名。这样的中期签名在GOP级别的PCA架构内适宜按照下式计算:
P ‾ = 1 N GOP Σ i = 1 N GOP P ( k - i + 1 ) - - - ( 1 )
其中,
P(k)=[P1(k)P2(k)...PL(k)]    (2)
是场景内第k个GOP的主分量矢量,L是在定义主分量矢量P(k)的过程中所使用的PCA特征或主分量的数量,NGOP是在一个签名区间(signature interval)Tmt中的GOP的数量。一般来说,选择展现较大的(优选地是最大的)方差的主分量作为在构造P(k)过程中所使用的L个分量。签名区间Tmt一般对应于场景长度。第n个特征的标准差特征矢量由下式给出:
σ n ( k ) = 1 N GOP - 1 Σ i = 1 N GOP ( P n ( k - i + 1 ) - P ‾ n ( k ) ) 2 - - - ( 3 )
其中k还表示场景中的GOP,其范围自1至NGOP。主分量矢量的标准差矢量由下式给出:
σ(k)=[σ1(k)σ2(k)...σL(k)]   (4)
其中k还表示场景中的GOP,其范围自1至NGOP。然后按照下式计算一个适当的定量的基于PCA的中期签名:
S(k)=[P(k)σ(k)]     (5)。
等式(5)中规定了一个优选的基于PCA的中期场景签名。然而,可以采用其它场景签名,诸如一个平均短期事件分布(例如在场景区间Tmt中视频转换的数目和/或黑帧出现的数目)或一个低级别特征的平均或标准差,所述低级别特征诸如平均亮度参数、帧复杂度参数、平均绝对差(MAD)参数、运动参数或上述各替换参数的组合。然而,PCA架构作为场景签名有一个优点:主分量值是容易被缩放的。
为方便在场景跳转期间快速比较场景签名,优选地由一个场景签名相关处理器90来处理视频内容的场景签名,以把场景签名分类或安排成可快速搜索的场景签名表92,该表由视频记录部件50写到硬盘12或其它存储介质上。使用在生成可搜索的数据库时通常采用的算法来适当地进行场景签名的预相关。优选地,在音频/视频数据被记录时生成场景签名,并把场景签名存储在硬盘12上的可搜索的场景签名表92中。通过按相对相似性组织场景签名,以后可以更快地识别相似的场景。或者,控制器可以在后记录操作中处理最近记录的数据,以生成签名。
回头参看图1并进一步参看图4,个人视频记录器10的视频重放部件100重放在硬盘12或其它海量存储装置上存储的预先记录的多媒体内容,以产生一个被发送到娱乐系统20的、诸如音频视频输出101的输出。用户操作遥控器40的场景跳转按钮44,以选择一个场景跳转。场景跳转按钮44优选地在视频重访期间的任何时候都能被选择,以启动一个基于内容的场景跳转。场景跳转按钮44的激活识别一个对应于当场景跳转按钮44被激活时正被视频重放部件100重放的场景的当前场景102。
相似场景跳转处理器104接收当前场景102并访问可搜索的场景签名表92,以识别一个对应的相似场景签名。在个人视频记录器10的硬盘12这样的存储介质的情况下,视频内容是被个人记录器10记录的,并且可搜索的场景签名表92是被适当地生成并预先记录在硬盘12上的,正如前文参照图2所述的那样。在诸如含有由商业卖主生成的视频内容的只读光盘之类的只读介质的情况下,可搜索的场景签名表92被商业卖主适当地预先记录在光盘上。
选择了一个当前场景签名后,通过计算该当前场景签名与其它可用的签名之间的欧几里得距离(Euclidean distance)来适当地进行场景匹配。当前场景签名与另一个场景签名之间的欧几里得距离由下式给出:
dscene(i,j)=(S(i)-S(j))(S(i)-S(j))T    (6)
其中,系数i对应于当前场景,S(i)是当前场景签名,系数j对应于另一个场景(j不等于i),S(j)是另一个场景的场景签名。相似场景跳转处理器104为每一个其它场景(即除了系数j=i以外的所有场景系数j)计算dscene(i,j),并选择具有最小的对应欧几里得距离dscene(i,j)的场景。除了使用欧几里得距离,也可以采用其它的签名比较优值(figures of merit),例如绝对差,如下式:
d scene ( i , j ) = Σ p = 1 2 L abs ( S p ( i ) - S p ( j ) ) - - - ( 7 ) .
如果所识别的最小欧几里得距离小于一个跳转阈值,则选择对应的场景作为相似场景106。这个相似场景106被输入到视频重放部件100,后者跳转到该相似场景在硬盘12或其他存储器上的地址,并从该点播放。然而,如果所识别的最小欧几里得距离大于跳转阈值,则不进行跳转。在这样的情况下,例如可以通过声音或者通过一个在屏幕上短暂显示的表示没有找到适当匹配的图标或消息来通知用户没有找到适当的匹配。
继续参看图4并进一步参看图5,跳转阈值处理器108优选地使用户能选择由相似场景跳转处理器104使用的跳转阈值。在图5中所示的一个适当的方法中,跳转阈值处理器108提供给用户一个在显示装置22上示出的跳转阈值标度110,其具有在一个对应于更相似的设置的最小阈值到一个对应于更不同的设置的最大阈值之间的连续范围或不连续步幅的范围。在一个优选实施例中,最小阈值是一个拷贝检测设置112,其中,仅当找到一个精确的匹配时才发生跳转。最大阈值优选地是一个总是跳转(hop always)设置114,其中,不管匹配是如何不相似,跳转都发生。两个极端是拷贝检测112和总是挑转114。在设计阶段,通过分析一个较大的音频/视频内容采样上的相似性度量值的分布而适当地选择最大、中间和最小阈值。对于更相似的或拷贝检测设置112来说,除非相似场景跳转处理器104找到一个基本上相似的场景或者相同场景的另一个拷贝(即一个具有在数量上与当前场景签名基本上相似或相同的场景签名的场景),否则将不进行场景跳转。对于更不同的或总是跳转设置114来说,即使场景与当前场景签名有少得多的相似性,也将进行场景跳转。用户通过用叠加在显示器22上的屏幕上指针48操纵一个阈值指针116、或者通过操纵遥控器40的其它按钮或控制装置来选择跳转阈值。
在一个实施例中,阈值被用来决定是否跳到其签名与当前场景签名最接近的场景。如果该最接近的场景与当前场景基本上不相似,这样做将阻止跳到另一个场景。然而,跳转阈值可以以其它的方式被使用。例如,相似场景跳转处理器104不是检查视频流中的每一个其它场景,而是随机地(或伪随机地)将其它场景的签名与当前场景签名作比较,并选择在随即采样中遇到的、其签名在当前场景签名的跳转阈值内的第一个场景作为相似场景106。在这个方法中,相似场景106可能不是最相似的场景,但是它在阈值内是相似的。这个方法合适地使用户能把跳转扩展到更宽的场景范围,特别是如果跳转阈值被设置得靠近总是跳转设置114时。可选地,相似场景跳转处理器104可以被配置成用两个或更多模式中的所选择的一个来执行跳转,所述模式例如是:(i)检查所有的场景,如果最近的场景在跳转阈值内,则跳转到该最近的场景;(ii)随机地检查场景,当发现一个场景在当前场景签名的跳转阈值内时进行跳转;以及(iii)跳转到一个随机选择的场景。在后一个模式(iii)中,不进行相似性比较,并且产生完全随机的或伪随机的跳转。
此外,可选地省略跳转阈值处理器108。这例如可通过采用一个固定的跳转阈值或者通过不使用跳转阈值而实现。如果不使用跳转阈值,则选择具有最小欧几里得距离dscene(i,j)、最小绝对距离或其它最优化的签名比较优值的场景作为相似场景106,并且不管所述欧几里得距离、绝对距离或其它最优化的签名比较优值如何,都进行场景跳转。
继续参看图4并进一步参看图6,不用当前场景作为比较的参考,而是能用一类所选择的场景作为参考。语义场景选择处理器120适当地选择一个用于场景比较的特征场景。语义场景选择处理器120访问一个语义场景表122,该表含有普遍遇到的电影场景(诸如爆炸场景、动作场景、浪漫场景、体育得分场景、电视节目介绍等等)的典型场景或场景签名以及对应于每个场景或场景签名的一个语义标签。语义场景选择处理器120在显示装置22上显示一个语义场景选择菜单124(见图6),用户使用屏幕上指针48或另一个选择控制装置来选择一个感兴趣的场景,诸如动作场景。这个场景被选择作为当前场景102,而视频内容中的对应的相似场景则如前文所述的那样由相似场景跳转处理器104选择。一个语义场景类可以由多个由用户或外部服务提供的签名(场景)例子组成。所发现的最相似的场景是与该类中的例子之一具有最小距离的场景。
回头参看图1并进一步参看图7,视频流跳转按钮46优选地也能在视频重放部件100的操作期间的任何时候被选择,以启动向一个相似视频流的跳转。用户操作遥控器40的视频流跳转按钮46来选择一个视频流跳转。视频流跳转按钮46的激活识别一个对应于当视频流跳转按钮46被激活时正在被视频重放部件100重放的视频流的当前视频流202。
视频流跳转处理器204接收当前视频流202,并将该流与记录在硬盘12上的其它视频流作比较。在一个适当的方法中,通过计算场景签名的每个交叉对(cross-pair)的相似性、以及平均或以其它方式汇总所述交叉对相似性来将两个视频流相关。也就是说,为计算视频流A和B的相关性,计算视频流A的第一个场景签名与视频流B的每个场景签名之间的交叉对相似性。对视频流A的每个场景签名重复这个过程以产生各交叉对,然后对它们进行平均。
更具体来说,选择了一个当前视频流202后,通过按照下式定量地比较视频流来适当地进行视频流匹配:
d stream ( k , m ) = 1 N k Σ i ∈ S k min ( d scene ( i , j ) | j ∈ S m ) - - - ( 8 )
其中Sk是当前视频流202的Nk个签名的集合,Sm是另一个视频流m的签名的集合。通过下式给出的一个最小流比较系数dstream(k,l)来识别一个最相似的视频流(mbest)206:
mbest=argmin(dstream(k,m))     (9)
其中系数m经过硬盘12上所记录的所有视频流。
与图4的场景跳转相似,图7的流跳转可选地包括一个流跳转阈值。在一个适当方法中,如果最小流距离值dstream(k,mbest)大于视频流跳转阀值,则不进行向最相似的视频流206的跳转。在另一个适当的方法中,视频流跳转处理器204选择其定量的视频流比较优值(诸如等式(8)所给出的示例性视频流优值dstream(k,m))低于视频流跳转阈值的第一个流。视频流跳转阈值通过一个由大体上与场景跳转阈值处理器108相似的视频流跳转阈值处理器208产生的图形视频流跳转阈值标度而被适当地选择。流跳转可选地可被配置成允许两个或更多的流跳转模式,例如:(i)检查所有的流,如果对应的距离值在流在跳转阈值内,则跳转到最近的流;(ii)随机地检查各流,并跳转到其对应的距离值在流跳转阈值内的第一个流;(iii)随机地跳转到另一个流。在后一个模式(iii)中,不进行相似性比较,并且进行完全随机的或伪随机的跳转。
此外,图7的流跳转可选地包括一个语义流跳转选项,其使用语义视频流选择处理器220,该处理器选择用于比较的特征视频流。语义视频流选择处理器220访问一个语义视频流表222,该表含有普遍遇到的电影类型(诸如动作电影、浪漫电影、体育节目、电视喜剧等等)的典型的带语义标签的视频流类。语义视频流选择处理器220优选地采用一个类似于图6的语义场景选择菜单124的视频流选择菜单。用户选择一个特征视频流类,其作为当前视频流202被输入到视频流跳转处理器204,以在硬盘12上搜索一个相似的视频流。一个适当的语义流类可包括若干个签名序列,它们代表由用户或外部服务提供的、匹配该类的典型视频流。所发现的最相似的流是与该类中的例子之一具有最小距离的流。
以上参照一个个人视频记录器说明了各实施例。然而,可以在不包括记录功能的视频或多媒体播放器中采用类似的基于内容的跳转。基于内容的跳转也能被用于硬盘以外的其它记录介质,诸如磁带、光盘或电子存储单元。此外,类似的基于内容的跳转能被用于其它类型的内容,诸如音频流、电子文档、计算机软件等等。内容跳转也能被用来监视一个所选定的内容类型的多个实时内容流。例如,能监视有线电视、广播或卫星电视系统的所播映的体育节目的得分事件。(这例如可通过参照在语义场景表122中存储的典型得分事件签名而实现。)类似地,可以监视一个广播或数字无线电系统的所选定的一首歌或一类音乐。当在被监视的其中一个流上检测到所选择的目标内容时,显示器跳转到具有所检测的目标内容的流。
以上参照各优选实施说明了本发明。显然,他人在阅读和理解前述的详细说明后将想到各种修改和改变。本法明旨在包括所有这种修改和改变,只要它们落在后附的权利要求书或其等效表述的范围之内。

Claims (16)

1.一种用于播放视频内容的设备,该设备包括:
视频内容装置(12),用于存储至少一个视频流(601、602),每个视频流包括多个场景(621、622、641、642、661、662、681、682),每个场景包括多个帧,每个场景由对应的场景签名描述;
场景定义处理器(54),用于定义与所述视频流中的场景(621、622、641、642、661、662、681、682)相对应的重叠区间;
签名处理器(80、82、84),用于计算每个场景的所述场景签名;
选择装置(44),用于选择对用户想要观看的场景的视频内容进行描述的场景签名;
用于将所选择的场景签名与所存储的视频流(601、602)的各场景签名作比较、以识别一个或多个其场景签名与所选择的场景签名相似的场景的装置(104);以及
用于播放至少一个其场景签名被识别为与所选择的场景签名相似的场景的装置(100),
其中所述签名处理器还包括:
低级别特征处理器(80),用于计算所述场景中的一个或多个低级别视频内容特征;
主分量投射器(82),用于把所述低级别视频内容特征投射到主分量空间上以定义各主分量矢量,其中在定义所述各主分量矢量时,把展现大方差的主分量选择为所述各主分量矢量的分量,以及
场景签名生成器(84),用于组合每个场景的各主分量矢量以定义对应的场景签名,其中所述场景签名还包括所述各主分量矢量的标准差矢量。
2.如权利要求1中所述的设备,其中,每个场景(621、622、641、642、661、662、681、682)具有30秒至10分钟之间的长度,并且各场景(621、622、641、642、661、662、681、682)以1秒和2分钟之间的间隔区间重叠。
3.如权利要求1中所述的设备,其中,所述低级别特征是从包含以下参数的组中选择的:绝对平均亮度参数、图像亮度差参数、帧复杂度参数、平均绝对差(MAD)运动估计参数、运动参数、图像纹理参数、颜色分布参数以及场景合成参数。
4.如权利要求1中所述的设备,其中,所述选择装置(44)选择当前播放的场景的场景签名作为所选择的场景签名。
5.如权利要求1中所述的设备,其中,所述比较装置(104)识别相似的场景,该场景具有相对于所选择的场景签名来说最小的签名比较优值。
6.如权利要求1中所述的设备,其中,所述比较装置(104)确定所存储的场景签名是否在一个预定的阈值内与所选择的场景签名相似,所述播放装置(100)播放其签名在该阈值之内的场景。
7.如权利要求6中所述的设备,进一步包括:
选择所述阈值的值的阈值选择装置(108)。
8.如权利要求1中所述的设备,其中,所述视频内容包括多个视频流(601、602),该设备进一步包括:
流跳转选择装置(46),用于选择播放装置(100)正在播放的当前流(202);以及
流跳转装置(204),用于将当前流(202)的各场景的场景签名与多个视频流的场景签名作比较,以识别相似的视频流(206),该流跳转装置(204)使播放装置(100)转到播放该相似的流(206)。
9.如权利要求1中所述的设备,进一步包括:
场景签名表(92),用于存储按相似性安排的场景签名,所述比较装置(104)访问该场景签名表(92)以识别相似的场景。
10.如权利要求9中所述的设备,进一步包括:
所述签名处理器(80、82、84)在所述场景签名表(92)中存储所述场景签名。
11.如权利要求10中所述的设备,进一步包括;
用于记录视频内容的记录装置(50),所述签名处理器(80、82、84)在视频内容被记录时计算各场景签名。
12.如权利要求1中所述的设备,其中,所述场景定义处理器(54)根据视频内容的特征来选择所述重叠区间的间隔。
13.如权利要求1中所述的设备,其中,所述选择装置(44)从一组按语义识别的场景签名值(122)中选择场景签名。
14.一种用于播放视频内容的方法,该方法包括:
定义与在至少一个所存储的视频流中的场景相对应的重叠区间,其中每个场景包括多个帧;
计算每个场景的场景签名,所计算的场景签名对所述场景的各帧的综合特征进行描述;
选择场景签名,并将所选择的场景签名与对至少一个所存储的视频流的各场景进行描述的多个所存储的场景签名作比较,以识别至少一个与所选择的场景签名相似的场景签名;以及
播放至少一个其场景签名被识别为与所选择的流签名相似的场景,
其中计算每个场景的场景签名包括:
计算所述场景的一个或多个低级别视频内容特征;
把所述低级别视频内容特征投射到主分量空间上以定义各主分量矢量,其中在定义所述各主分量矢量时,把展现大方差的主分量选择为所述各主分量矢量的分量,以及
组合每个场景的各主分量矢量以定义对应的场景签名,其中所述场景签名还包括所述各主分量矢量的标准差矢量。
15.如权利要求14中所述的方法,其中,所述将所选择的场景签名与多个所存储的场景签名作比较包括:
计算用于对所选择的场景签名和每个被比较的场景签名进行比较的场景比较优值;
定量地将该场景比较优值与阈值作比较;和
根据该计算和定量比较来选择相似的场景签名。
16.如权利要求14中所述的方法,进一步包括:
在所述选择之前记录所述至少一个所存储的视频流,在记录期间进行对所存储的场景签名的计算。
CN2003801083266A 2003-01-06 2003-12-19 用于相似视频内容跳转的方法和设备 Expired - Fee Related CN1735887B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US43822003P 2003-01-06 2003-01-06
US60/438,220 2003-01-06
PCT/IB2003/006241 WO2004061711A1 (en) 2003-01-06 2003-12-19 Method and apparatus for similar video content hopping

Publications (2)

Publication Number Publication Date
CN1735887A CN1735887A (zh) 2006-02-15
CN1735887B true CN1735887B (zh) 2010-04-28

Family

ID=32713298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2003801083266A Expired - Fee Related CN1735887B (zh) 2003-01-06 2003-12-19 用于相似视频内容跳转的方法和设备

Country Status (7)

Country Link
US (1) US7676820B2 (zh)
EP (1) EP1584048A1 (zh)
JP (2) JP4662779B2 (zh)
KR (1) KR101001172B1 (zh)
CN (1) CN1735887B (zh)
AU (1) AU2003288643A1 (zh)
WO (1) WO2004061711A1 (zh)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) * 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US7143434B1 (en) * 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US9038108B2 (en) 2000-06-28 2015-05-19 Verizon Patent And Licensing Inc. Method and system for providing end user community functionality for publication and delivery of digital media content
US7970260B2 (en) * 2001-06-27 2011-06-28 Verizon Business Global Llc Digital media asset management system and method for supporting multiple users
US20060236221A1 (en) * 2001-06-27 2006-10-19 Mci, Llc. Method and system for providing digital media management using templates and profiles
US8972862B2 (en) 2001-06-27 2015-03-03 Verizon Patent And Licensing Inc. Method and system for providing remote digital media ingest with centralized editorial control
US8990214B2 (en) * 2001-06-27 2015-03-24 Verizon Patent And Licensing Inc. Method and system for providing distributed editing and storage of digital media over a network
WO2003051031A2 (en) * 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Method and apparatus for planarization of a material by growing and removing a sacrificial film
WO2003091850A2 (en) * 2002-04-26 2003-11-06 The Trustees Of Columbia University In The City Of New York Method and system for optimal video transcoding based on utility function descriptors
WO2006096612A2 (en) * 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US9076311B2 (en) * 2005-09-07 2015-07-07 Verizon Patent And Licensing Inc. Method and apparatus for providing remote workflow management
US9401080B2 (en) 2005-09-07 2016-07-26 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing video frames
US8631226B2 (en) * 2005-09-07 2014-01-14 Verizon Patent And Licensing Inc. Method and system for video monitoring
US8594429B2 (en) 2005-10-11 2013-11-26 Hewlett-Packard Development Company, L.P. Method and apparatus for processing a video stream
US20070292023A1 (en) * 2006-06-20 2007-12-20 Baer Richard L Data reduction for wireless communication
GB0623961D0 (en) * 2006-11-30 2007-01-10 Univ St Andrews Video fingerprinting
EP1975938A1 (en) * 2007-03-31 2008-10-01 Sony Deutschland Gmbh Method for determining a point in time within an audio signal
CN101681373B (zh) * 2007-05-17 2012-09-26 杜比实验室特许公司 推导对于画面修改和帧速率转换不敏感的视频签名
CN101540881B (zh) * 2008-03-19 2011-04-13 华为技术有限公司 实现流媒体定位播放的方法、装置及系统
WO2009126785A2 (en) * 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US20100195978A1 (en) * 2009-02-03 2010-08-05 Ekchian Gregory J System to facilitate replay of multiple recordings of a live event
JP5388631B2 (ja) * 2009-03-03 2014-01-15 株式会社東芝 コンテンツ提示装置、及び方法
US8135221B2 (en) * 2009-10-07 2012-03-13 Eastman Kodak Company Video concept classification using audio-visual atoms
JP2011188342A (ja) 2010-03-10 2011-09-22 Sony Corp 情報処理装置、情報処理方法及びプログラム
US8971651B2 (en) 2010-11-08 2015-03-03 Sony Corporation Videolens media engine
US20130002858A1 (en) * 2011-06-28 2013-01-03 Bridge Robert F Mechanisms for Conserving Power in a Compressive Imaging System
US8938393B2 (en) 2011-06-28 2015-01-20 Sony Corporation Extended videolens media engine for audio recognition
US8744186B1 (en) 2011-09-30 2014-06-03 Tribune Broadcasting Company, Llc Systems and methods for identifying a scene-change/non-scene-change transition between frames
US8842910B2 (en) * 2012-08-17 2014-09-23 Tandent Vision Science, Inc. Spatially varying log-chromaticity normals for use in an image process
GB2498238B (en) * 2012-09-14 2013-12-25 Canon Europa Nv Image duplication prevention apparatus and image duplication prevention method
CN102932693B (zh) * 2012-11-09 2015-06-10 北京邮电大学 一种预取视频段的方法和装置
WO2016098187A1 (ja) * 2014-12-17 2016-06-23 株式会社日立製作所 画像検索装置および画像検索方法
US10535029B2 (en) 2015-01-23 2020-01-14 Sprinklr, Inc. Multi-dimensional command center
US20180302680A1 (en) * 2016-12-16 2018-10-18 Google Inc. On-Demand Video Surfing
US10942697B2 (en) * 2017-03-07 2021-03-09 Sprinklr, Inc. System for discovering configuration of display wall
US10176846B1 (en) 2017-07-20 2019-01-08 Rovi Guides, Inc. Systems and methods for determining playback points in media assets
US10666954B2 (en) * 2018-06-19 2020-05-26 International Business Machines Corporation Audio and video multimedia modification and presentation
CN110830852B (zh) * 2018-08-07 2022-08-12 阿里巴巴(中国)有限公司 一种视频内容的处理方法及装置
US11244363B1 (en) 2018-10-25 2022-02-08 Sprinklr, Inc. Rating and review integration system
US11386178B2 (en) 2019-06-20 2022-07-12 Sprinklr, Inc. Enhanced notification system for real time control center
CN112099725A (zh) * 2019-06-17 2020-12-18 华为技术有限公司 一种数据处理方法、装置及计算机可读存储介质
US11397923B1 (en) 2019-10-07 2022-07-26 Sprinklr, Inc. Dynamically adaptive organization mapping system
CN112866810B (zh) * 2021-01-05 2023-04-21 三星电子(中国)研发中心 视频播放方法及视频播放装置
CN114584840B (zh) * 2022-02-28 2024-02-23 北京梧桐车联科技有限责任公司 音视频播放方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
CA2280163A1 (en) * 1997-02-06 1998-08-13 Telexis Corporation Method and apparatus for recognising video sequences
US6259817B1 (en) * 1995-09-15 2001-07-10 Interval Resarch Corporation Method of compressing a plurality of video images for efficiently storing, displaying and searching the plurality of video images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
CA2196930C (en) * 1997-02-06 2005-06-21 Nael Hirzalla Video sequence recognition
JP3738939B2 (ja) * 1998-03-05 2006-01-25 Kddi株式会社 動画像のカット点検出装置
US6366296B1 (en) * 1998-09-11 2002-04-02 Xerox Corporation Media browser using multimodal analysis
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US7194752B1 (en) * 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
JP2001177788A (ja) 1999-12-20 2001-06-29 Sony Corp 情報信号再生方法及び情報信号再生装置
US6542546B1 (en) * 2000-02-02 2003-04-01 Mitsubishi Electric Research Laboratories, Inc. Adaptable compressed bitstream transcoder
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
ATE451691T1 (de) * 2000-09-08 2009-12-15 Koninkl Philips Electronics Nv Vorrichtung zur wiedergabe eines auf einem aufzeichnungsmedium gespeicherten informationssignals
US6931595B2 (en) * 2000-11-02 2005-08-16 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
EP1421792B1 (en) * 2001-06-08 2011-11-09 Grotuit Media Inc. Audio and video program recording, editing and playback systems using metadata
US7064796B2 (en) * 2001-12-21 2006-06-20 Eloda Inc. Method and system for re-identifying broadcast segments using statistical profiles
US7103222B2 (en) * 2002-11-01 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Pattern discovery in multi-dimensional time series using multi-resolution matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521841A (en) * 1994-03-31 1996-05-28 Siemens Corporate Research, Inc. Browsing contents of a given video sequence
US6259817B1 (en) * 1995-09-15 2001-07-10 Interval Resarch Corporation Method of compressing a plurality of video images for efficiently storing, displaying and searching the plurality of video images
CA2280163A1 (en) * 1997-02-06 1998-08-13 Telexis Corporation Method and apparatus for recognising video sequences

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2001-177788A 2001.06.29

Also Published As

Publication number Publication date
JP5227382B2 (ja) 2013-07-03
KR20050088490A (ko) 2005-09-06
JP2006514451A (ja) 2006-04-27
WO2004061711A1 (en) 2004-07-22
JP4662779B2 (ja) 2011-03-30
JP2011041299A (ja) 2011-02-24
CN1735887A (zh) 2006-02-15
US20060184963A1 (en) 2006-08-17
EP1584048A1 (en) 2005-10-12
AU2003288643A1 (en) 2004-07-29
US7676820B2 (en) 2010-03-09
KR101001172B1 (ko) 2010-12-15

Similar Documents

Publication Publication Date Title
CN1735887B (zh) 用于相似视频内容跳转的方法和设备
US9564174B2 (en) Method and apparatus for processing multimedia
US20070089125A1 (en) Content-processing system, method, and computer program product for monitoring the viewer's mood
CN100409358C (zh) 提供一种彩色滑动条的再现装置
US7665035B2 (en) Content selection apparatus, system, and method
US20110320471A1 (en) Movie Recommendation System and Movie Recommendation Method
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
US20070101394A1 (en) Indexing a recording of audiovisual content to enable rich navigation
US7058278B2 (en) Information signal processing apparatus, information signal processing method, and information signal recording apparatus
US20060036783A1 (en) Method and apparatus for content presentation
JPWO2006025284A1 (ja) ストリーム再生装置
JP5079817B2 (ja) サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機
CN101466013B (zh) 信号处理器和信号处理方法
JP3801101B2 (ja) 嗜好情報抽出方法及び装置及びプログラム
JP2011525727A (ja) コンテンツアイテムのサマリを提示するための方法及び装置
JP2007318200A (ja) コンテンツ再生装置およびコンテンツ再生方法
JP5266981B2 (ja) 電子機器、情報処理方法及びプログラム
JP2005341363A (ja) 番組選択装置、番組選択方法、及び受信端末装置
JP2005354148A (ja) 記録装置
KR20060133816A (ko) 영상표시기기의 광고편집장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100428

Termination date: 20121219