CN1735887A - 用于相似视频内容跳转的方法和设备 - Google Patents
用于相似视频内容跳转的方法和设备 Download PDFInfo
- Publication number
- CN1735887A CN1735887A CNA2003801083266A CN200380108326A CN1735887A CN 1735887 A CN1735887 A CN 1735887A CN A2003801083266 A CNA2003801083266 A CN A2003801083266A CN 200380108326 A CN200380108326 A CN 200380108326A CN 1735887 A CN1735887 A CN 1735887A
- Authority
- CN
- China
- Prior art keywords
- scene
- signature
- video
- stream
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 15
- 239000013598 vector Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 15
- 230000009191 jumping Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000802640 Homo sapiens Lactosylceramide 4-alpha-galactosyltransferase Proteins 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 102100035838 Lactosylceramide 4-alpha-galactosyltransferase Human genes 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000031864 metaphase Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/327—Table of contents
- G11B27/329—Table of contents on a disc [VTOC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种用于播放视频内容的设备,包括一个用于播放视频内容的播放装置(100)。视频内容包括重叠的场景(621、622、641、642、661、662、681、682),每个场景具有相关联的场景签名。场景跳转选择器(44)适于在播放装置(100)正在播放视频内容时选择一个跳转。该选择定义在选择时正在由播放装置(100)播放的一个当前场景(102),以及对应于该当前场景(102)的场景签名。相似场景跳转处理器(104)响应于对当前场景(102)的定义而操作。相似场景跳转处理器(104)将当前的场景签名与视频内容的其它场景签名作比较,以识别一个相似的场景(106)。相似场景跳转处理器(104)使播放装置(100)转而播放该相似的场景(106)。
Description
以下内容涉及娱乐领域,特别涉及使高容量个人视频记录器的用户能方便地转换或跳转到相同或不同的流中的相似内容。然而,以下内容更一般地允许在数字广播电视接收机、数字有线电视接收机、音频光盘播放器及记录器、数字无线电广播接收机、因特网浏览器、计算机网络浏览器等等中进行内容跳转。
个人视频记录器和播放器当前具有超过40小时的视频内容的存储容量,预期在可见的将来,存储容量将充分地增长。鉴于这些大存储容量,用户能大大受益于用于智能地管理、播放和浏览视频内容的工具和功能。
偶然“发现”感兴趣的娱乐内容,对观看者来说是有价值的。在收看广播、有线电视或卫星电视期间,用户一般忙于频道跳转或冲浪,其中,用户操作一个遥控频道选择器来在电视频道之间跳转,以搜索感兴趣的节目。即使容易获得用来标识电视节目的印刷的和电子的观看指南,用户也频繁地采用频道跳转。然而,这样的频道跳转可能并非完全都是随机的,因为用户可能熟悉通常在某些特定频道上放映的节目的类型。
由用户例如用个人视频摄影机(即摄录一体机)或个人视频记录器纪录的视频内容,一般将不包括内容指南。在重放期间,用户可能想要进行对所记录内容的内容跳转。这样的内容跳转一般类似于频道跳转,只不过用户是在视频流的不同部分之间或者在视频流之间跳转,而非在电视频道之间跳转。
问题是用户一般没有方便的办法来识别在一个视频流内或在视频流之间的合意的内容跳转。用户将受益于能够在特定内容类型内、或在与当前正被观看的内容相似的内容内进行内容跳转。此外,用户可能想要根据与当前被观看的节目的相似性或者通过指定所要跳转到的特定内容类型(例如动作场景或体育节目)来限定内容跳转。
本发明设想出一种克服前述的缺陷和其它缺陷的改进的设备和方法。
按照一个方面,公开一种用于播放视频内容的设备。提供一个用于存储至少一个视频流的视频内容装置。每个视频流包括多个场景。每个场景由一个对应的场景签名(signature)描述。提供一个选择装置,用于选择一个描述用户想要观看的场景的视频内容的场景签名。提供一个用于比较所选择的场景签名与所存储的视频流的场景签名以便识别一个或多个其场景签名与所选择的场景签名相似的场景的装置。提供一个用于播放至少一个其场景签名被识别为与所选择的场景签名相似的场景的装置。
按照另一个方面,提供一种用于播放视频内容的方法。选择一个描述一个视频场景的各帧的综合特征的场景签名。将所选择的场景签名与描述至少一个所存储的视频流的各场景的多个所存储的场景签名相比较,以识别至少一个与所选择的场景签名相似的场景签名。播放至少一个其场景签名被识别为与所选择的流签名相似的场景的装置。
一个优点在于提供在一个预先记录的视频流内或在视频流之间的基于内容的频道跳转。
另一个优点在于根据定量的、用户指定的跳转标准来提供基于内容的跳转。
再一个优点是提供灵活且准确的内容概括信息以用于基于内容的跳转。
对于所属领域的一般熟练人员来说,通过阅读以下对各优选实施例的详细说明,许多其它的优点和益处将变得显而易见。
本发明可采取不同的部件和部件安排的形式以及不同的处理操作和处理操作安排的形式。附图只是为了举例说明各优选实施例,不应被视为限制本发明。
图1示意性地表示一个个人视频记录器和相关联的娱乐系统,图中有一个示例性的卫星电视输入,以及一个提供对于场景跳转和流跳转的用户选择的遥控器;
图2示意性地表示个人视频记录器的用于生成和记录与正被记录的视频内容相关联的场景和流签名信息的适当部件;
图3示意性地表示对应于多流视频内容的场景的一种适当的重叠安排;
图4示意性地表示个人视频记录器的用于进行场景跳转的适当部件;
图5表示一个示例性的跳转阈值标度;
图6表示一个示例性的语义场景(semantic scenes)选择菜单;
图7示意性地表示个人视频记录器的用于进行流跳转的适当部件。
参看图1,个人视频记录器(PVR)10包括硬盘12和基于计算机处理器的控制器14。记录器10记录一个或多个输入音频/视频数据流,并同时重放输入数据、具有延迟的输入数据或者其它以前记录的数据。利用当前的技术,具有大约40小时的存储容量的硬盘是容易得到的。利用更高密度的存储器、多盘记录系统等等,更大存储量将变得可用。尽管是连同个人视频记录器一起说明的,但是应当理解,这个技术也适用于预先记录的音频/视频媒体、读/写光盘、被配置成执行个人视频记录任务的计算机系统等等。
个人视频记录器10向娱乐系统20输出重放(playback),娱乐系统20包括一个优选地是高清晰度显示器的视频显示器22和一个优选地是高保真音频系统的音频扬声器系统24。尽管是分开显示的,但在有些实施例中,音频扬声器物理上被集成在视频显示装置中。此外,个人视频记录器物理上能与娱乐系统20集成在一起。个人视频记录器10也连接到外部视频和/或音频输入源,诸如卫星电视调谐器30,其与一个接收由卫星36广播的卫星电视信号34的碟形卫星天线32通信。其它适合的音频/视频输入包括广播电视、有线电视、广播无线电、数字无线电等等。可选地,电视调谐器30被集成在个人视频记录器10或娱乐系统20中。
用户用一个发射由个人视频记录器10、娱乐系统20、电视调谐器30或其他要被控制的部件接收的红外信号42的手持遥控器40来控制个人视频记录器10、娱乐系统20、电视调谐器30和可选的其它部件。遥控器4O包括按钮、旋转拨盘或其它适合用于输入用户命令的控制装置。特别地,遥控器40包括一个场景跳转按钮44和一个视频流跳转按钮46,用户激活这两个按钮来分别启动向硬盘12上的相似场景或相似视频流的内容跳转。为了更复杂的控制操作,用遥控器40操纵一个可选的、被个人视频记录器叠加在显示器22上的屏幕上指针48,以从由个人视频记录器10所生成的一个被显示的选择菜单中进行选择。
继续参看图1并进一步参看图2,个人视频记录器10包括一个记录部件50,其把从卫星电视调谐器30或其它外部视频输出源接收的视频输入记录到硬盘12或其他海量存储装置。在记录同时或者在记录之后,场景定义处理器54定义视频内容中的重叠场景。
继续参看图2并进一步参看图3,场景定义处理器54接收视频内容,并定义对应于各场景的重叠区间(overlapping intervals)。具体来说,图3表示两个视频流601、602,它们被解析成对应于各场景的重叠的场景区间,诸如视频流601的重叠的场景621、641、661、681或视频流602的重叠的场景622、642、662、682。在适当的实施例中,每个场景长度在30秒至10分钟之间。在一个优选实施中,两分钟的场景被以重叠的方式被隔开,从而以10秒的间隔区间开始。场景长度和间隔(spacings)根据视频内容的特征(诸如在视频内容中出现的活动的量)而被适当地确定。例如,一个动作视频优选地比一个更慢的电影风格的视频具有更短的且更紧密地重叠的场景。设想让场景定义处理器54根据视频内容的运动参数或其它特性来选择场景长度和重叠间隔。
回头参看图2,每个场景被处理,以生成一个场景签名。一个低级别特征处理器80,在逐帧的基础上或者在帧组(例如画面组(GOP))的基础上计算低级别的音频和/或视频内容特征。适当的低级别特征包括绝对平均亮度参数、图像亮度差参数、帧复杂度参数、平均绝对差(MAD)运动估计参数、运动参数、图像纹理参数、颜色分布参数、(例如按对象或者按心理声学特征定义的)场景合成参数等等。对于每个场景,主分量分析器(PCA)82把低级别特征作为主分量矢量投射到一个主分量空间。如现有技术中已知的那样,可以选择少量的主分量,其代表关于所述低级别特征的基本信息量。这充分地减少了存储器的使用,改善了相似性度量的鲁棒性和相似性计算的复杂度。此外,因为PCA特征在表示精确性方面是可缩放的,所以可以在一方面的低级别PCA特征的数量和因此得到的表示精确性与存储器的使用、鲁棒性和计算复杂度之间作出折衷。尽管主分量分析是用于计算场景签名的一个优选架构,但也可以采用其他方法。例如,对一个或几个所选择的低级别特征的平均或其它统计汇总可以被用来计算场景签名。
场景签名生成器84根据场景的各个帧或帧组来为每个场景计算一个适当的定量的场景签名。这样的签名的范围可以从跨越一组帧的短期签名(即大约在一个GOP级别PCA特征的长度的签名)、到组合几分钟的GOP级别PCA特征的中期签名(即在大约场景长度的签名)、再到代表一个完整视频流或其相当大的一部分的长期签名。优选地,采用代表场景的中期签名。这样的中期签名在GOP级别的PCA架构内适宜按照下式计算:
其中,
P(k)=[P1(k)P2(k)...PL(k)] (2)是场景内第k个GOP的主分量矢量,L是在定义主分量矢量P(k)的过程中所使用的PCA特征或主分量的数量,NGOP是在一个签名区间(signature interval)Tmt中的GOP的数量。一般来说,选择展现较大的(优选地是最大的)方差的主分量作为在构造P(k)过程中所使用的L个分量。签名区间Tmt一般对应于场景长度。第n个特征的标准差特征矢量由下式给出:
其中k还表示场景中的GOP,其范围自1至NGOP。主分量矢量的标准差矢量由下式给出:
σ(k)=[σ1(k)σ2(k)...σL(k) (4)
其中k还表示场景中的GOP,其范围自1至NGOP。然后按照下式计算一个适当的定量的基于PCA的中期签名:
等式(5)中规定了一个优选的基于PCA的中期场景签名。然而,可以采用其它场景签名,诸如一个平均短期事件分布(例如在场景区间Tmt中视频转换的数目和/或黑帧出现的数目)或一个低级别特征的平均或标准差,所述低级别特征诸如平均亮度参数、帧复杂度参数、平均绝对差(MAD)参数、运动参数或上述各替换参数的组合。然而,PCA架构作为场景签名有一个优点:主分量值是容易被缩放的。
为方便在场景跳转期间快速比较场景签名,优选地由一个场景签名相关处理器90来处理视频内容的场景签名,以把场景签名分类或安排成可快速搜索的场景签名表92,该表由视频记录部件50写到硬盘12或其它存储介质上。使用在生成可搜索的数据库时通常采用的算法来适当地进行场景签名的预相关。优选地,在音频/视频数据被记录时生成场景签名,并把场景签名存储在硬盘12上的可搜索的场景签名表92中。通过按相对相似性组织场景签名,以后可以更快地识别相似的场景。或者,控制器可以在后记录操作中处理最近记录的数据,以生成签名。
回头参看图1并进一步参看图4,个人视频记录器10的视频重放部件100重放在硬盘12或其它海量存储装置上存储的预先记录的多媒体内容,以产生一个被发送到娱乐系统20的、诸如音频视频输出101的输出。用户操作遥控器40的场景跳转按钮44,以选择一个场景跳转。场景跳转按钮44优选地在视频重访期间的任何时候都能被选择,以启动一个基于内容的场景跳转。场景跳转按钮44的激活识别一个对应于当场景跳转按钮44被激活时正被视频重放部件100重放的场景的当前场景102。
相似场景跳转处理器104接收当前场景102并访问可搜索的场景签名表92,以识别一个对应的相似场景签名。在个人视频记录器10的硬盘12这样的存储介质的情况下,视频内容是被个人记录器10记录的,并且可搜索的场景签名表92是被适当地生成并预先记录在硬盘12上的,正如前文参照图2所述的那样。在诸如含有由商业卖主生成的视频内容的只读光盘之类的只读介质的情况下,可搜索的场景签名表92被商业卖主适当地预先记录在光盘上。
选择了一个当前场景签名后,通过计算该当前场景签名与其它可用的签名之间的欧几里得距离(Euclidean distance)来适当地进行场景匹配。当前场景签名与另一个场景签名之间的欧几里得距离由下式给出:
dscene(i,j)=(S(i)-S(j)(S(i)-S(j))T (6)
其中,系数i对应于当前场景,S(i)是当前场景签名,系数j对应于另一个场景(j不等于i),S(j)是另一个场景的场景签名。相似场景跳转处理器104为每一个其它场景(即除了系数j=i以外的所有场景系数j)计算dscene(i,j),并选择具有最小的对应欧几里得距离dscene(i,j)的场景。除了使用欧几里得距离,也可以采用其它的签名比较优值(figures of merit),例如绝对差,如下式:
如果所识别的最小欧几里得距离小于一个跳转阈值,则选择对应的场景作为相似场景106。这个相似场景106被输入到视频重放部件100,后者跳转到该相似场景在硬盘12或其他存储器上的地址,并从该点播放。然而,如果所识别的最小欧几里得距离大于跳转阈值,则不进行跳转。在这样的情况下,例如可以通过声音或者通过一个在屏幕上短暂显示的表示没有找到适当匹配的图标或消息来通知用户没有找到适当的匹配。
继续参看图4并进一步参看图5,跳转阈值处理器108优选地使用户能选择由相似场景跳转处理器104使用的跳转阈值。在图5中所示的一个适当的方法中,跳转阈值处理器108提供给用户一个在显示装置22上示出的跳转阈值标度110,其具有在一个对应于更相似的设置的最小阈值到一个对应于更不同的设置的最大阈值之间的连续范围或不连续步幅的范围。在一个优选实施例中,最小阈值是一个拷贝检测设置112,其中,仅当找到一个精确的匹配时才发生跳转。最大阈值优选地是一个总是跳转(hop always)设置114,其中,不管匹配是如何不相似,跳转都发生。两个极端是拷贝检测112和总是挑转114。在设计阶段,通过分析一个较大的音频/视频内容采样上的相似性度量值的分布而适当地选择最大、中间和最小阈值。对于更相似的或拷贝检测设置112来说,除非相似场景跳转处理器104找到一个基本上相似的场景或者相同场景的另一个拷贝(即一个具有在数量上与当前场景签名基本上相似或相同的场景签名的场景),否则将不进行场景跳转。对于更不同的或总是跳转设置114来说,即使场景与当前场景签名有少得多的相似性,也将进行场景跳转。用户通过用叠加在显示器22上的屏幕上指针48操纵一个阈值指针116、或者通过操纵遥控器40的其它按钮或控制装置来选择跳转阈值。
在一个实施例中,阈值被用来决定是否跳到其签名与当前场景签名最接近的场景。如果该最接近的场景与当前场景基本上不相似,这样做将阻止跳到另一个场景。然而,跳转阈值可以以其它的方式被使用。例如,相似场景跳转处理器104不是检查视频流中的每一个其它场景,而是随机地(或伪随机地)将其它场景的签名与当前场景签名作比较,并选择在随即采样中遇到的、其签名在当前场景签名的跳转阈值内的第一个场景作为相似场景106。在这个方法中,相似场景106可能不是最相似的场景,但是它在阈值内是相似的。这个方法合适地使用户能把跳转扩展到更宽的场景范围,特别是如果跳转阈值被设置得靠近总是跳转设置114时。可选地,相似场景跳转处理器104可以被配置成用两个或更多模式中的所选择的一个来执行跳转,所述模式例如是:(i)检查所有的场景,如果最近的场景在跳转阈值内,则跳转到该最近的场景;(ii)随机地检查场景,当发现一个场景在当前场景签名的跳转阈值内时进行跳转;以及(iii)跳转到一个随机选择的场景。在后一个模式(iii)中,不进行相似性比较,并且产生完全随机的或伪随机的跳转。
此外,可选地省略跳转阈值处理器108。这例如可通过采用一个固定的跳转阈值或者通过不使用跳转阈值而实现。如果不使用跳转阈值,则选择具有最小欧几里得距离dscene(i,j)、最小绝对距离或其它最优化的签名比较优值的场景作为相似场景106,并且不管所述欧几里得距离、绝对距离或其它最优化的签名比较优值如何,都进行场景跳转。
继续参看图4并进一步参看图6,不用当前场景作为比较的参考,而是能用一类所选择的场景作为参考。语义场景选择处理器120适当地选择一个用于场景比较的特征场景。语义场景选择处理器120访问一个语义场景表122,该表含有普遍遇到的电影场景(诸如爆炸场景、动作场景、浪漫场景、体育得分场景、电视节目介绍等等)的典型场景或场景签名以及对应于每个场景或场景签名的一个语义标签。语义场景选择处理器120在显示装置22上显示一个语义场景选择菜单124(见图6),用户使用屏幕上指针48或另一个选择控制装置来选择一个感兴趣的场景,诸如动作场景。这个场景被选择作为当前场景102,而视频内容中的对应的相似场景则如前文所述的那样由相似场景跳转处理器104选择。一个语义场景类可以由多个由用户或外部服务提供的签名(场景)例子组成。所发现的最相似的场景是与该类中的例子之一具有最小距离的场景。
回头参看图1并进一步参看图7,视频流跳转按钮46优选地也能在视频重放部件100的操作期间的任何时候被选择,以启动向一个相似视频流的跳转。用户操作遥控器40的视频流跳转按钮46来选择一个视频流跳转。视频流跳转按钮46的激活识别一个对应于当视频流跳转按钮46被激活时正在被视频重放部件100重放的视频流的当前视频流202。
视频流跳转处理器204接收当前视频流202,并将该流与记录在硬盘12上的其它视频流作比较。在一个适当的方法中,通过计算场景签名的每个交叉对(cross-pair)的相似性、以及平均或以其它方式汇总所述交叉对相似性来将两个视频流相关。也就是说,为计算视频流A和B的相关性,计算视频流A的第一个场景签名与视频流B的每个场景签名之间的交叉对相似性。对视频流A的每个场景签名重复这个过程以产生各交叉对,然后对它们进行平均。
更具体来说,选择了一个当前视频流202后,通过按照下式定量地比较视频流来适当地进行视频流匹配:
其中Sk是当前视频流202的Nk个签名的集合,Sm是另一个视频流m的签名的集合。通过下式给出的一个最小流比较系数dstream(k,1)来识别一个最相似的视频流(mbest)206:
mbest=argmin(dstream(k,m)) (9)
其中系数m经过硬盘12上所记录的所有视频流。
与图4的场景跳转相似,图7的流跳转可选地包括一个流跳转阈值。在一个适当方法中,如果最小流距离值dstream(k,mbest)大于视频流跳转阀值,则不进行向最相似的视频流206的跳转。在另一个适当的方法中,视频流跳转处理器204选择其定量的视频流比较优值(诸如等式(8)所给出的示例性视频流优值dstream(k,m))低于视频流跳转阈值的第一个流。视频流跳转阈值通过一个由大体上与场景跳转阈值处理器108相似的视频流跳转阈值处理器208产生的图形视频流跳转阈值标度而被适当地选择。流跳转可选地可被配置成允许两个或更多的流跳转模式,例如:(i)检查所有的流,如果对应的距离值在流在跳转阈值内,则跳转到最近的流;(ii)随机地检查各流,并跳转到其对应的距离值在流跳转阈值内的第一个流;(iii)随机地跳转到另一个流。在后一个模式(iii)中,不进行相似性比较,并且进行完全随机的或伪随机的跳转。
此外,图7的流跳转可选地包括一个语义流跳转选项,其使用语义视频流选择处理器220,该处理器选择用于比较的特征视频流。语义视频流选择处理器220访问一个语义视频流表222,该表含有普遍遇到的电影类型(诸如动作电影、浪漫电影、体育节目、电视喜剧等等)的典型的带语义标签的视频流类。语义视频流选择处理器220优选地采用一个类似于图6的语义场景选择菜单124的视频流选择菜单。用户选择一个特征视频流类,其作为当前视频流202被输入到视频流跳转处理器204,以在硬盘12上搜索一个相似的视频流。一个适当的语义流类可包括若干个签名序列,它们代表由用户或外部服务提供的、匹配该类的典型视频流。所发现的最相似的流是与该类中的例子之一具有最小距离的流。
以上参照一个个人视频记录器说明了各实施例。然而,可以在不包括记录功能的视频或多媒体播放器中采用类似的基于内容的跳转。基于内容的跳转也能被用于硬盘以外的其它记录介质,诸如磁带、光盘或电子存储单元。此外,类似的基于内容的跳转能被用于其它类型的内容,诸如音频流、电子文档、计算机软件等等。内容跳转也能被用来监视一个所选定的内容类型的多个实时内容流。例如,能监视有线电视、广播或卫星电视系统的所播映的体育节目的得分事件。(这例如可通过参照在语义场景表122中存储的典型得分事件签名而实现。)类似地,可以监视一个广播或数字无线电系统的所选定的一首歌或一类音乐。当在被监视的其中一个流上检测到所选择的目标内容时,显示器跳转到具有所检测的目标内容的流。
以上参照各优选实施说明了本发明。显然,他人在阅读和理解前述的详细说明后将想到各种修改和改变。本法明旨在包括所有这种修改和改变,只要它们落在后附的权利要求书或其等效表述的范围之内。
Claims (22)
1.一种用于播放视频内容的设备,该设备包括:
一个视频内容装置(12),用于存储至少一个视频流(601、602),每个视频流包括多个场景(621、622、641、642、661、662、681、682),每个场景由一个对应的场景签名描述;
一个选择装置(44),用于选择一个描述用户想要观看的场景的视频内容的场景签名;
一个用于将所选择的场景签名与所存储的视频流(601、602)的各场景签名作比较、以识别一个或多个其场景签名与所选择的场景签名相似的场景的装置(104);以及
一个用于播放至少一个其场景签名被识别为与所选择的场景签名相似的场景的装置(100)。
2.如权利要求1中所述的设备,其中,每个场景(621、622、641、642、661、662、681、682)具有30秒至10分钟之间的长度,并且各场景(621、622、641、642、661、662、681、682)以1秒和2分钟之间的间隔区间重叠。
3.如权利要求1中所述的设备,其中,所述场景签名是用各主分量矢量构造的,所述主分量矢量是通过对场景内视频内容的所选择的低级别特征的主分量分析而计算的。
4.如权利要求3中所述的设备,其中,所述低级别特征是从包含以下参数的一组中选择的:绝对平均亮度参数、图像亮度差参数、帧复杂度参数、平均绝对差(MAD)运动估计参数、运动参数、图像纹理参数、颜色分布参数以及场景合成参数。
5.如权利要求1中所述的设备,其中,所述选择装置(44)选择当前播放的场景的场景签名作为所选择的场景签名。
6.如权利要求1中所述的设备,其中,所述比较装置(104)识别一个相似的场景,该场景具有一个相对于所选择的场景签名来说最小的签名比较优值。
7.如权利要求1中所述的设备,其中,所述比较装置(104)确定所存储的场景签名是否在一个预定的阈值内与所选择的场景签名相似,播放装置(100)播放一个其签名在该阈值之内的场景。
8.如权利要求7中所述的设备,进一步包括:
选择所述阈值的值的阈值选择装置(108)。
9.如权利要求1中所述的设备,其中,所述视频内容包括多个视频流(601、602),该设备进一步包括:
流跳转选择装置(46),用于选择播放装置(100)正在播放的一个当前流(202);以及
流跳转装置(204),用于将当前流(202)的各场景的场景签名与多个视频流的场景签名作比较,以识别一个相似的视频流(206),该流跳转装置(204)使播放装置(100)转到播放该相似的流(206)。
10.如权利要求1中所述的设备,进一步包括:
场景签名表(92),用于存储按相似性安排的场景签名,比较装置(104)访问该场景签名表(92)以识别相似的场景。
11.如权利要求10中所述的设备,进一步包括:
签名计算装置(54、80、82、84、90),用于计算场景签名并在场景签名表(92)中存储所述场景签名。
12.如权利要求11中所述的设备,其中,所述签名计算装置(54、80、82、84、90)包括:
用于计算一个或多个低级别视频内容特征的低级别特征处理器(80);
用于把所述低级别视频内容特征投射到一个主分量空间上以定义各主分量矢量的主分量投射器(82);以及
用于组合每个场景的主分量矢量以定义对应的场景签名的场景签名生成器(84)。
13.如权利要求11中所述的设备,进一步包括;
用于记录视频内容的记录装置(50),所述签名计算装置(54、80、82、84、90)在视频内容被记录时计算各场景签名。
14.如权利要求11中所述的设备,其中,所述签名计算装置(54、80、82、84、90)包括:
用于定义视频内容中的重叠的场景区间的场景定义处理器(54),其中每个场景区间定义一个场景;和
用于计算每个场景区间上的场景签名的签名处理器(80、82、84)。
15.如权利要求14中所述的设备,其中,所述场景定义处理器(54)根据视频内容的一个特征来选择重叠的场景区间的间隔。
16.如权利要求1中所述的设备,其中,所述选择装置(44)从一组按语义识别的场景签名值(122)中选择场景签名。
17.一种用于播放视频内容的方法,该方法包括:
选择一个描述一个视频场景的各帧的综合特征的场景签名;
将所选择的场景签名与描述至少一个所存储的视频流的各场景的多个所存储的场景签名作比较,以识别至少一个与所选择的场景签名相似的场景签名;以及
播放至少一个其场景签名被识别为与所选择的流签名相似的场景。
18.如权利要求17中所述的方法,其中,所述将所选择的场景签名与多个所存储的场景签名作比较包括:
计算一个用于对所选择的场景签名和每个被比较的场景签名进行比较的场景比较优值;
定量地将该场景比较优值与一个阈值作比较;和
根据该计算和定量的比较来选择相似的场景签名。
19.如权利要求17中所述的方法,进一步包括:
根据至少一个视频流的各低级别特征来计算所存储的场景签名。
20.如权利要求19中所述的方法,其中对所存储的场景签名的计算包括:
进行对所述低级别特征的主分量分析,以产生各主分量值;和
组合每个场景内的各主分量值,以定义对应的场景签名。
21.如权利要求19中所述的方法,进一步包括:
在所述选择之前记录所述至少一个所存储的视频流,在记录期间进行对所存储的场景签名的计算。
22.如权利要求19中所述的方法,其中所述对所存储的场景签名的计算包括:
定义在所述至少一个所存储的视频流中的各重叠的场景区间,其中每个场景区间定义一个场景;和
计算每个场景区间上的场景签名。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US43822003P | 2003-01-06 | 2003-01-06 | |
US60/438,220 | 2003-01-06 | ||
PCT/IB2003/006241 WO2004061711A1 (en) | 2003-01-06 | 2003-12-19 | Method and apparatus for similar video content hopping |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1735887A true CN1735887A (zh) | 2006-02-15 |
CN1735887B CN1735887B (zh) | 2010-04-28 |
Family
ID=32713298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2003801083266A Expired - Fee Related CN1735887B (zh) | 2003-01-06 | 2003-12-19 | 用于相似视频内容跳转的方法和设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7676820B2 (zh) |
EP (1) | EP1584048A1 (zh) |
JP (2) | JP4662779B2 (zh) |
KR (1) | KR101001172B1 (zh) |
CN (1) | CN1735887B (zh) |
AU (1) | AU2003288643A1 (zh) |
WO (1) | WO2004061711A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102932693A (zh) * | 2012-11-09 | 2013-02-13 | 北京邮电大学 | 一种预取视频段的方法和装置 |
CN101681664B (zh) * | 2007-03-31 | 2013-05-01 | 索尼德国有限责任公司 | 用于在音频信号内确定时间点的方法 |
CN103686040A (zh) * | 2012-09-14 | 2014-03-26 | 佳能欧洲股份有限公司 | 图像重复防止设备和图像重复防止方法 |
CN112866810A (zh) * | 2021-01-05 | 2021-05-28 | 三星电子(中国)研发中心 | 视频播放方法及视频播放装置 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6735253B1 (en) * | 1997-05-16 | 2004-05-11 | The Trustees Of Columbia University In The City Of New York | Methods and architecture for indexing and editing compressed video over the world wide web |
US7143434B1 (en) * | 1998-11-06 | 2006-11-28 | Seungyup Paek | Video description system and method |
US9038108B2 (en) | 2000-06-28 | 2015-05-19 | Verizon Patent And Licensing Inc. | Method and system for providing end user community functionality for publication and delivery of digital media content |
US7970260B2 (en) * | 2001-06-27 | 2011-06-28 | Verizon Business Global Llc | Digital media asset management system and method for supporting multiple users |
US8990214B2 (en) * | 2001-06-27 | 2015-03-24 | Verizon Patent And Licensing Inc. | Method and system for providing distributed editing and storage of digital media over a network |
US20060236221A1 (en) * | 2001-06-27 | 2006-10-19 | Mci, Llc. | Method and system for providing digital media management using templates and profiles |
US8972862B2 (en) | 2001-06-27 | 2015-03-03 | Verizon Patent And Licensing Inc. | Method and system for providing remote digital media ingest with centralized editorial control |
AU2002351310A1 (en) * | 2001-12-06 | 2003-06-23 | The Trustees Of Columbia University In The City Of New York | System and method for extracting text captions from video and generating video summaries |
AU2003231102A1 (en) * | 2002-04-26 | 2003-11-10 | Electronics And Telecommunications Research Institute | Method and system for optimal video transcoding based on utility function descriptors |
WO2006096612A2 (en) * | 2005-03-04 | 2006-09-14 | The Trustees Of Columbia University In The City Of New York | System and method for motion estimation and mode decision for low-complexity h.264 decoder |
US9401080B2 (en) | 2005-09-07 | 2016-07-26 | Verizon Patent And Licensing Inc. | Method and apparatus for synchronizing video frames |
US8631226B2 (en) * | 2005-09-07 | 2014-01-14 | Verizon Patent And Licensing Inc. | Method and system for video monitoring |
US9076311B2 (en) * | 2005-09-07 | 2015-07-07 | Verizon Patent And Licensing Inc. | Method and apparatus for providing remote workflow management |
US8594429B2 (en) | 2005-10-11 | 2013-11-26 | Hewlett-Packard Development Company, L.P. | Method and apparatus for processing a video stream |
US20070292023A1 (en) * | 2006-06-20 | 2007-12-20 | Baer Richard L | Data reduction for wireless communication |
GB0623961D0 (en) * | 2006-11-30 | 2007-01-10 | Univ St Andrews | Video fingerprinting |
DE602008004340D1 (de) * | 2007-05-17 | 2011-02-17 | Dolby Lab Licensing Corp | Ableitung von gegen bildbearbeitung und rahmenratenumwandlung unempfindlichen videosignaturen |
CN101540881B (zh) * | 2008-03-19 | 2011-04-13 | 华为技术有限公司 | 实现流媒体定位播放的方法、装置及系统 |
WO2009126785A2 (en) * | 2008-04-10 | 2009-10-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for image archaeology |
WO2009155281A1 (en) | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
US8671069B2 (en) | 2008-12-22 | 2014-03-11 | The Trustees Of Columbia University, In The City Of New York | Rapid image annotation via brain state decoding and visual pattern mining |
US20100195978A1 (en) * | 2009-02-03 | 2010-08-05 | Ekchian Gregory J | System to facilitate replay of multiple recordings of a live event |
JP5388631B2 (ja) | 2009-03-03 | 2014-01-15 | 株式会社東芝 | コンテンツ提示装置、及び方法 |
US8135221B2 (en) * | 2009-10-07 | 2012-03-13 | Eastman Kodak Company | Video concept classification using audio-visual atoms |
JP2011188342A (ja) * | 2010-03-10 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
US8971651B2 (en) | 2010-11-08 | 2015-03-03 | Sony Corporation | Videolens media engine |
US8938393B2 (en) | 2011-06-28 | 2015-01-20 | Sony Corporation | Extended videolens media engine for audio recognition |
WO2013003485A1 (en) * | 2011-06-28 | 2013-01-03 | Inview Technology Corporation | Image sequence reconstruction based on overlapping measurement subsets |
US8761502B1 (en) | 2011-09-30 | 2014-06-24 | Tribune Broadcasting Company, Llc | Systems and methods for identifying a colorbar/non-colorbar frame attribute |
US8842910B2 (en) * | 2012-08-17 | 2014-09-23 | Tandent Vision Science, Inc. | Spatially varying log-chromaticity normals for use in an image process |
WO2016098187A1 (ja) * | 2014-12-17 | 2016-06-23 | 株式会社日立製作所 | 画像検索装置および画像検索方法 |
US10535029B2 (en) | 2015-01-23 | 2020-01-14 | Sprinklr, Inc. | Multi-dimensional command center |
US20180302680A1 (en) * | 2016-12-16 | 2018-10-18 | Google Inc. | On-Demand Video Surfing |
US10942697B2 (en) * | 2017-03-07 | 2021-03-09 | Sprinklr, Inc. | System for discovering configuration of display wall |
US10176846B1 (en) * | 2017-07-20 | 2019-01-08 | Rovi Guides, Inc. | Systems and methods for determining playback points in media assets |
US10666954B2 (en) * | 2018-06-19 | 2020-05-26 | International Business Machines Corporation | Audio and video multimedia modification and presentation |
CN110830852B (zh) * | 2018-08-07 | 2022-08-12 | 阿里巴巴(中国)有限公司 | 一种视频内容的处理方法及装置 |
US11386178B2 (en) | 2019-06-20 | 2022-07-12 | Sprinklr, Inc. | Enhanced notification system for real time control center |
US11244363B1 (en) | 2018-10-25 | 2022-02-08 | Sprinklr, Inc. | Rating and review integration system |
CN112099725A (zh) * | 2019-06-17 | 2020-12-18 | 华为技术有限公司 | 一种数据处理方法、装置及计算机可读存储介质 |
US11397923B1 (en) | 2019-10-07 | 2022-07-26 | Sprinklr, Inc. | Dynamically adaptive organization mapping system |
CN114584840B (zh) * | 2022-02-28 | 2024-02-23 | 北京梧桐车联科技有限责任公司 | 音视频播放方法、装置及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5436653A (en) * | 1992-04-30 | 1995-07-25 | The Arbitron Company | Method and system for recognition of broadcast segments |
US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
WO1997010564A1 (en) * | 1995-09-15 | 1997-03-20 | Interval Research Corporation | A method of compressing a plurality of video images |
US20030093790A1 (en) * | 2000-03-28 | 2003-05-15 | Logan James D. | Audio and video program recording, editing and playback systems using metadata |
CA2196930C (en) * | 1997-02-06 | 2005-06-21 | Nael Hirzalla | Video sequence recognition |
CA2280163A1 (en) * | 1997-02-06 | 1998-08-13 | Telexis Corporation | Method and apparatus for recognising video sequences |
JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Kddi株式会社 | 動画像のカット点検出装置 |
US6366296B1 (en) * | 1998-09-11 | 2002-04-02 | Xerox Corporation | Media browser using multimodal analysis |
US6774917B1 (en) * | 1999-03-11 | 2004-08-10 | Fuji Xerox Co., Ltd. | Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video |
US7194752B1 (en) * | 1999-10-19 | 2007-03-20 | Iceberg Industries, Llc | Method and apparatus for automatically recognizing input audio and/or video streams |
JP2001177788A (ja) * | 1999-12-20 | 2001-06-29 | Sony Corp | 情報信号再生方法及び情報信号再生装置 |
US6542546B1 (en) * | 2000-02-02 | 2003-04-01 | Mitsubishi Electric Research Laboratories, Inc. | Adaptable compressed bitstream transcoder |
KR20040041082A (ko) * | 2000-07-24 | 2004-05-13 | 비브콤 인코포레이티드 | 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법 |
DE60140755D1 (de) * | 2000-09-08 | 2010-01-21 | Koninkl Philips Electronics Nv | Vorrichtung zur wiedergabe eines auf einem aufzeichnungsmedium gespeicherten informationssignals |
US6931595B2 (en) * | 2000-11-02 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method for automatic extraction of semantically significant events from video |
EP1421792B1 (en) * | 2001-06-08 | 2011-11-09 | Grotuit Media Inc. | Audio and video program recording, editing and playback systems using metadata |
US7064796B2 (en) * | 2001-12-21 | 2006-06-20 | Eloda Inc. | Method and system for re-identifying broadcast segments using statistical profiles |
US7103222B2 (en) * | 2002-11-01 | 2006-09-05 | Mitsubishi Electric Research Laboratories, Inc. | Pattern discovery in multi-dimensional time series using multi-resolution matching |
-
2003
- 2003-12-19 US US10/540,313 patent/US7676820B2/en not_active Expired - Fee Related
- 2003-12-19 EP EP03780486A patent/EP1584048A1/en not_active Ceased
- 2003-12-19 CN CN2003801083266A patent/CN1735887B/zh not_active Expired - Fee Related
- 2003-12-19 AU AU2003288643A patent/AU2003288643A1/en not_active Abandoned
- 2003-12-19 KR KR1020057012629A patent/KR101001172B1/ko not_active IP Right Cessation
- 2003-12-19 JP JP2004564378A patent/JP4662779B2/ja not_active Expired - Fee Related
- 2003-12-19 WO PCT/IB2003/006241 patent/WO2004061711A1/en active Application Filing
-
2010
- 2010-09-16 JP JP2010207426A patent/JP5227382B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101681664B (zh) * | 2007-03-31 | 2013-05-01 | 索尼德国有限责任公司 | 用于在音频信号内确定时间点的方法 |
CN103686040A (zh) * | 2012-09-14 | 2014-03-26 | 佳能欧洲股份有限公司 | 图像重复防止设备和图像重复防止方法 |
CN102932693A (zh) * | 2012-11-09 | 2013-02-13 | 北京邮电大学 | 一种预取视频段的方法和装置 |
CN102932693B (zh) * | 2012-11-09 | 2015-06-10 | 北京邮电大学 | 一种预取视频段的方法和装置 |
CN112866810A (zh) * | 2021-01-05 | 2021-05-28 | 三星电子(中国)研发中心 | 视频播放方法及视频播放装置 |
Also Published As
Publication number | Publication date |
---|---|
US7676820B2 (en) | 2010-03-09 |
KR101001172B1 (ko) | 2010-12-15 |
WO2004061711A1 (en) | 2004-07-22 |
KR20050088490A (ko) | 2005-09-06 |
AU2003288643A1 (en) | 2004-07-29 |
US20060184963A1 (en) | 2006-08-17 |
JP2011041299A (ja) | 2011-02-24 |
CN1735887B (zh) | 2010-04-28 |
EP1584048A1 (en) | 2005-10-12 |
JP2006514451A (ja) | 2006-04-27 |
JP5227382B2 (ja) | 2013-07-03 |
JP4662779B2 (ja) | 2011-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1735887B (zh) | 用于相似视频内容跳转的方法和设备 | |
US7058278B2 (en) | Information signal processing apparatus, information signal processing method, and information signal recording apparatus | |
US9098172B2 (en) | Apparatus, systems and methods for a thumbnail-sized scene index of media content | |
US20070140662A1 (en) | Information processing apparatus, imaging device, information processing method, and computer program | |
US8103149B2 (en) | Playback system, apparatus, and method, information processing apparatus and method, and program therefor | |
US20110320471A1 (en) | Movie Recommendation System and Movie Recommendation Method | |
US20060110128A1 (en) | Image-keyed index for video program stored in personal video recorder | |
US20060036783A1 (en) | Method and apparatus for content presentation | |
US20060222337A1 (en) | Digest reproducing apparatus and digest reproducing apparatus control method | |
JP2006525537A (ja) | コンテンツ解析を用いて音楽ビデオを要約する方法及び装置 | |
JP5079817B2 (ja) | サマリ及びレポートを既に含んでいるオーディオビジュアル文書について新たなサマリを作成する方法及び該方法を使用する受信機 | |
JP2007524321A (ja) | ビデオトレーラ | |
JP4735413B2 (ja) | コンテンツ再生装置およびコンテンツ再生方法 | |
JPWO2006016605A1 (ja) | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 | |
JP4925938B2 (ja) | ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置 | |
JP3801101B2 (ja) | 嗜好情報抽出方法及び装置及びプログラム | |
JP2009152683A (ja) | 信号処理装置、信号処理方法、プログラム及び媒体 | |
US20090030947A1 (en) | Information processing device, information processing method, and program therefor | |
JP4519074B2 (ja) | 映像蓄積再生装置 | |
US8170397B2 (en) | Device and method for recording multimedia data | |
JP2005328329A (ja) | 映像再生装置と映像録画再生装置と映像再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100428 Termination date: 20121219 |