CN1538351A - 视觉上代表性的视频缩略图的生成 - Google Patents

视觉上代表性的视频缩略图的生成 Download PDF

Info

Publication number
CN1538351A
CN1538351A CNA2004100323593A CN200410032359A CN1538351A CN 1538351 A CN1538351 A CN 1538351A CN A2004100323593 A CNA2004100323593 A CN A2004100323593A CN 200410032359 A CN200410032359 A CN 200410032359A CN 1538351 A CN1538351 A CN 1538351A
Authority
CN
China
Prior art keywords
frame
video
quality metrics
histogram
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100323593A
Other languages
English (en)
Other versions
CN1538351B (zh
Inventor
张栋
王益进
张宏江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1538351A publication Critical patent/CN1538351A/zh
Application granted granted Critical
Publication of CN1538351B publication Critical patent/CN1538351B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • E—FIXED CONSTRUCTIONS
    • E03—WATER SUPPLY; SEWERAGE
    • E03D—WATER-CLOSETS OR URINALS WITH FLUSHING DEVICES; FLUSHING VALVES THEREFOR
    • E03D9/00—Sanitary or other accessories for lavatories ; Devices for cleaning or disinfecting the toilet room or the toilet bowl; Devices for eliminating smells
    • E03D9/08—Devices in the bowl producing upwardly-directed sprays; Modifications of the bowl for use with such devices ; Bidets; Combinations of bowls with urinals or bidets; Hot-air or other devices mounted in or on the bowl, urinal or bidet for cleaning or disinfecting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Hydrology & Water Resources (AREA)
  • Water Supply & Treatment (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种算法，从视频序列中标识一个突出视频帧用作视频缩略图。视频缩略图的标识是基于帧品质度量。所述算法计算帧的色彩直方图，然后计算所述色彩直方图的熵和标准差。帧品质度量是熵和标准差的加权组合。把视频序列中具有最高值帧品质度量的帧确定为视频序列的视频缩略图。

Description

视觉上代表性的视频缩略图的生成
                            技术领域
当前公开的申请一般涉及视频显示技术，尤其涉及产生表示视频序列的静止内容的视频缩略图。
                            背景技术
多媒体计算技术和联网通信的快速发展大大增加了数字库中存储的数字多媒体(如视频、音频、静止图像)的数目。然而，存取这种多媒体数据、尤其是视频的方法尚未跟上这种多媒体数量增加的步伐。用于文本文档的传统检索系统允许浏览文档代用品(如关键字、摘要)来快速总览文档信息，这帮助滤出无关的文档并进一步检查所关心的文档。
然而，由于视频的独特特性，传统的代用品和面向文本的浏览机制对于存取视频数据比较没用。视频数据传递视频和音频信息，其空间和时间表示以及极薄的体积使其不能仅用语言来充分描述。因此，视频“摘要”(即从视频序列提取的代表性静止图片)的使用受到关注，其被作为便于基于内容的浏览以及存取视频数据的一种方式。
当前用于浏览/存取视频内容的方法包括：检测连续镜头边界并且从视频序列提取关键帧用作视频摘要或概述。视频连续镜头是从单个照相机记录的视频帧的连续序列。视频连续镜头形成视频序列的组成块。连续镜头边界检测的目的是把视频序列分段成多个视频连续镜头，从视频连续镜头中可以提取关键帧。关键帧是为连续镜头的静止内容提供缩略图表示的视频帧。关键帧的使用减少了视频索引中所需的数据量，并且提供了一种组织和浏览视频内容的方法。
关键帧提取继续成为重要主题，并为之作出了重大努力。关键帧提取所用的一种简单技术是把每个视频连续镜头的第一个帧选择作为该连续镜头的关键帧。该技术在计算上代价不高，但一般不能有效地捕获视频连续镜头的静止视觉内容。其他关键帧提取技术包括各种视觉标准的使用和分析，这些标准包括色彩特征和视频帧间的运动。这种技术可以改进静止视觉内容的捕获，但它们会是计算上昂贵的。因此，尽管改进了关键帧提取技术，但它们仍有缺点：包括它们静止的计算代价以及它们不能有效地从视频数据中捕获静止视觉内容。
此外，这些关键帧提取的现有技术没有确定用于表示整个视频序列的关键帧。而这些技术只是确定用于表示视频序列内特定视频连续镜头的关键帧。
因而，需要一种表示整个视频序列的方式，它能以便于各种视频数据的基于内容的浏览的方式准确地描绘视频序列的静止内容。
                            发明内容
公开了一种系统和方法，用于通过标识一个视觉上表示视频序列的静止图像的视频帧为该视频序列产生视频缩略图。视频缩略图算法用视频帧的直方图熵和直方图标准差的加权组合的函数来计算帧品质度量。根据视频序列内各个帧的帧品质度量比较，选择特定的帧作为视频缩略图。
在一个实施例中，为视频序列内的每个视频帧计算帧品质度量。计算帧品质度量包括计算帧的直方图。然后计算该直方图的熵和标准差。接着用熵和标准差的加权组合来计算帧品质度量。各个视频帧的帧品质度量彼此相比较，以确定哪个视频帧最突出。选择具有最高帧品质度量值的帧作为视频缩略图。
在另一个实施例中，视频序列在时间上被分段，并且为该视频序列的特定分段(如视频序列的开始、中间或结尾)内的帧计算帧品质度量。为该特定的视频分段确定局部最大帧品质度量。接着，选择与该局部最大帧品质度量相关的视频帧作为该视频序列的视频缩略图。
在另一个实施例中，视频序列被分段成多个视频连续镜头，并且为每个连续镜头内的帧计算帧品质度量。为每个视频连续镜头确定最大帧品质度量。选择该视频序列的视频缩略图作为与该最高值的局部最大帧品质度量相关的视频帧。
                           附图说明
附图中的相同数字是指相同的组件和特征。
图1和2说明了适用于标识视频文件的视频缩略图的示例性环境。
图3是可能在图1的环境中实现的计算机和视频输入源的框图表示。
图4是视频序列的高级表示。
图5说明了在应用帧品质度量前对视频序列进行时间上分段的视频缩略图算法的实施例。
图6说明了各包含来自视频序列的多个视频帧的代表性视频连续镜头。
图7说明了被分裂成多个分组的视频帧。
图8是可能在图2的环境中实现的单机记录设备的框图表示。
图9、10、11和12是说明用于标识突出的、内容丰富的缩略图的示例性方法的流程图，所述缩略图代表视频序列。
图13说明了可以用于实现计算机的适当计算环境的示例。
                            具体实施方式
概述
下面的讨论针对用于从视频文件或序列内的视频帧中标识突出的、内容丰富的视频缩略图的系统和方法。主题用特性来描述以符合法定要求。然而，描述自身不限制所公开主题的范围。而结合其他现有的或将来的技术，本说明书是考虑到也可以以其他方式包含所要求保护的主题而撰写的，从而包括了与该文档中描述的元件所不同的元件、或类似元件的组合。
这里描述的系统和方法实现了一种缩略图标识算法，用于从视频序列中标识突出视频帧用作视频缩略图。视频缩略图的标识基于帧品质度量。该算法计算了帧的色彩直方图，然后计算该色彩直方图的熵和标准差。帧品质度量是熵和标准差的加权组合。把视频序列的具有最高品质度量值的视频帧确定为视频序列的视频缩略图。所公开的系统和方法的好处包括：生成了能准确表示视频文件内容的视频缩略图。
示例性环境
图1和2说明了适用于标识视频文件的视频缩略图的示例性实施例。图1的示例性环境100包括计算机102以及一个或多个视频输入源104。
视频输入源104可以是能把视频内容传递至计算机102的任何类型的设备或通信网，包括如便携式存储媒质104(1)(如磁盘、媒质卡、光盘)、视频记录设备104(2)或者像因特网、企业网或本地网络这样的网络104(3)。
视频记录设备104(2)可以是各种数字记录设备的任一种，该种数字记录设备能够记录实况运动的视频和音频，用于稍后通过如VCR、TV以及像计算机102这样的个人计算机进行播放。视频记录设备104(2)一般能使用i.LINK(IEEE 1394)或FireWire数字接口而被直接连到计算机102，使得可以在计算机102上直接编辑视频内容。
计算机102可以用各种计算设备来实现，该种计算设备能够从各个源104接收视频内容，并且管理视频内容用于通过如媒体播放器进行回放。计算机102另外一般能执行常见的计算功能，比如电子邮件、日历、任务组织、字处理、Web浏览等等。在该实施例中，计算机102运行开放平台操作系统，比如微软公司(Microsoft)的视窗(Windows)操作系统。计算机102可以用如台式机、服务器计算机、便携式计算机或者其他个人计算机(PC)形式来实现。下面参照图13更详细地描述了计算机102的一种示例性实现。
如下面参照图3的实施例所详细讨论的，计算机102一般配置用于从视频内容源104接收视频序列或文件(即视频内容)，并且标识视频序列内的一个视频帧，该视频帧适合用作视频缩略图，其视觉内容基本表示了整个视频序列。
图2的示例性环境200包括单机视频记录设备202。视频记录设备202可以以与图1的视频记录设备104(2)基本相同的方式配置。因此，视频记录设备202一般能够使用i.Link(IEEE 1394)或FireWire数字接口被直接连到计算机。然而，图2的单机视频记录设备意图说明这种设备可以一般被配置(类似计算机102)成从捕获到的视频序列中标识一个视频帧，该视频帧适合用作视频缩略图，其视觉内容基本表示了整个视频序列。
示例性实施例
图3是可能在图1的环境中实现的计算机102和视频输入源104的框图表示。计算机102用PC(个人计算机)来实现，比如台式机或便携式PC。视频输入源104用光盘104(1)来实现。
PC 102包括处理器300、易失性存储器302(即RAM)和非易失性存储器304(如ROM、硬盘、软盘、CD-ROM等等)。非易失性存储器一般存储PC 102的计算机/处理器可读指令、数据结构、程序模块及其他数据。PC 102一般实现存储在存储器304中并且在处理器300上执行的各种应用程序306。这种应用程序306可以包括软件程序，它们实现例如：字处理器、扩展表、浏览器、多媒体播放器、说明程序、计算机辅助设计工具等等。下面参照图13更详细地描述了PC 102的一种示例性实现。
除了应用程序306以外，PC 102还实现视频缩略图算法308。尽管图3所述的视频缩略图算法是可在处理器300上执行的分开的、单机软件应用程序，然而视频缩略图算法308也可以用较高级应用程序306的函数来实现。这种应用程序306一般会包括、但不限于：浏览器、视频软件编辑产品、VCR控制系统、MPEG分裂应用程序等等。
在一个实施例中，视频缩略图算法308配置用于分析从视频输入源104(如光盘104(1))接收到的视频内容310，比如图4所示的视频序列400，并且从该视频序列400中标识(即提取)一个视频帧402作为突出的视频缩略图，该缩略图基本表示出整个视频序列400的内容。在执行计算来标识视频缩略图的过程中，视频缩略图算法308产生并使用缩略图算法信息312。注意到尽管视频内容310和缩略图算法信息312被说明为驻留在非易失性存储器304中，然而它们也可以全部或部分地驻留在易失性存储器302中。
图4是示出视频序列400的高级表示。视频序列400表示任何数量的帧402(N)(1到N)，这表示视频内容310的全部长度。下面示出视频帧序列400是一个特定的视频帧402(N-R)，它表示已经被视频缩略图算法308(图3)选择作为表示整个视频序列400的突出内容的视频缩略图。
再次参照图3的实施例，视频缩略图算法308通过为视频序列400内的每个帧计算帧品质度量而确定视频缩略图。帧品质度量表示给定的视频帧视觉上表示整个视频序列400的突出内容的程度度量。这样，帧品质度量表示出提取最具代表性且视觉上令人满意的帧402作为表示整个视频序列400的缩略图的方式。
为了计算视频帧402的帧品质度量，视频缩略图算法308首先对视频帧的色彩直方图作出两次计算(即熵和标准差)。色彩直方图是为图像像素提供统计表示的重要且公知的图像分析工具。统计表示示出哪些色彩像素在图像中，以及每个色彩有多少像素在该图像中。色彩直方图可以被表示为一个条图，其中横轴上的每一项都是像素可能具有的可能色彩之一。
在没有要求的顺序中，视频缩略图算法308对视频帧的色彩直方图执行的第一计算是熵计算。熵是对随机变量不确定性的度量。令X是一个离散的随机变量，而x是X的可能结果的集合。随机变量X的概率质量函数为p(x)。因此，X的熵由下列表达式所定义：
p ( x j ) = h ( x j ) Σ i ( x i ) - - - ( 1 )
当色彩数据点(像素)的概率不均匀分布时，结果是不确定的，且熵处在最大值。更具体地说，如果色彩图像(即色彩视频帧402)中有最大数量的色彩值并且那些色彩是不均匀分布的，那么该图像的熵最大。这种图像被视为最具色彩的图像。此外，这种图像通常比其他具有较少色彩的图像包含更好的视觉效果。
然而，当图像中的色彩数据点(像素)具有高度偏斜的概率质量函数时，结果可能落在结果的小集合内，因此结果更确定(即不确定性很低)，且熵为低。因此，如果图像(即视频帧402)中有最少数量的色彩值(例如仅有一个色彩)，则图像的熵最小。对于仅有一个色彩值的色彩图像而言，图像直方图的熵为零。这种图像通常比其他具有较多色彩的图像包含更差的视觉效果。因此，视频帧402的色彩直方图的熵有助于作为帧品质度量的第一部分。
同样，在无要求的顺序中，视频缩略图算法308对视频帧的直方图所执行的第二计算是标准差计算。色彩直方图的标准差是对图像直方图中色彩扩展的度量，定义如下：
SD = Σ i = 1 N ( h ( x j ) - M ) 2 N - - - - - - ( 3 )
M = Σ i = 1 N h ( x i ) N - - - - ( 4 )
图像直方图的标准差表示图像的色彩范围。图像中色彩值的范围越大，图像的对比度越大。具有较大对比度的图像会比具有较小对比度的图像在视觉上更吸引人类的视觉系统。因此，视频帧402的色彩直方图的标准差有助于作为帧品质度量的第二部分。
通常，较多色的视频帧(即色彩直方图的较大熵)以及较高对比度的视频帧(即色彩直方图的较高标准差)是视觉上优选的帧。因此，帧品质度量可以被定义为视频帧的色彩直方图的熵和标准差的组合，如下：
ω ′ 1 + ω ′ 2 = 1 - - - - - - - ( 6 )
此外，注意到在用公式(5)计算帧品质之前，用公式(6)把“熵”和“SD”两者都标准化到[0，1]范围内。因此，帧品质度量是色彩直方图的熵和标准差的加权组合，使得可以根据需要加重任一者。
G的值越大，视频帧的视觉品质越好。因此，再次参照图4，除了为视频序列400内的每个帧计算帧品质度量以外，视频缩略图算法308还把帧品质度量彼此相比较，并且确定哪个值最大。然后，视频缩略图算法308选择具有最大计算出的帧品质度量的视频帧(如402(N-R))作为显著视觉上表示视频序列400的内容的视频缩略图。
可以在各种方式中用上述帧品质度量来确定一个视频帧作为视频序列的代表性视频缩略图。如上参照图4所述，例如，视频缩略图算法308的一个实施例通过为视频序列400内的每个帧计算帧品质度量，然后比较所有的帧品质度量从而定位具有最高计算出的帧品质值的帧，从而确定视频缩略图。下面参照图5-7讨论了向视频序列应用帧品质度量的附加示例。
在另一实施例中，视频缩略图算法308在向单个视频帧应用帧品质度量之前把视频序列500(图5)分段。图5说明了视频缩略图算法308的一个实施例，它在向视频序列500的特定分段内的视频帧应用帧品质度量之前在时间上把视频序列分段。视频序列500已经在时间上被分成视频帧的开始分段502、视频帧的中间分段504以及视频帧的结尾分段506。每个分段一般有对应于分段时间长度的帧数目。例如，具有每秒30帧的视频序列的10秒分段在该分段内会有300个帧。注意到图5所示的时间分段只是示例，而不是限制。因此，视频序列的任何分段方式都是可能的，并且有助于便于向分段内的单个视频帧应用帧品质度量。
尽管可以向任何时间分段(如，开始分段502、中间分段504、结尾分段506)内的视频帧应用帧品质度量，然而图5说明了视频缩略图算法308向来自视频帧的开始集合502的视频帧应用帧品质度量。然后，视频缩略图算法308把来自开始视频帧502的帧品质度量彼此相比较，并且确定与开始分段502相关的局部最大帧品质度量。所述的视频帧508具有开始帧分段502内最高的帧品质度量(即局部最大)。因此，选择视频帧508作为最好地表示视频序列500的视频缩略图。在大多数情况下，通过计算和比较时间分段内视频帧的帧品质度量而把对一个视频缩略图的搜索限制到该特定的时间分段(如502、504、506)不会大大降低所产生的视频缩略图508的视觉质量，原来的视频缩略图的质量会通过在整个视频序列500上计算和比较所有帧而得到。
在还有一个实施例中，视频缩略图算法308在向单个视频帧应用帧品质度量之前把视频序列600(图6)分段成多个视频连续镜头。一个视频连续镜头是一个完整序列或是视频序列内的帧分段，它通常定义了一个视频的构成块。例如，图6说明了代表性视频连续镜头602、604、606和608，各包含来自视频序列600的多个视频帧。视频连续镜头602、604、606和608构成视频序列600。视频连续镜头可以表示任何特定的视频内容。大多数视频连续镜头定义了可由视频内容内的阈值偏差所分辨的边界。目前存在的各种有效的连续镜头边界检测技术可由视频缩略图算法308来实现。然而，这种检测技术对于本领域的技术人员来说一般是公知的，因此下面不再详细讨论。
在图6的实施例中，视频缩略图算法308一般确定每个视频连续镜头(如602、604、606、608)的局部最大帧品质度量，然后把来自各个视频连续镜头的局部最大品质度量相比较，以确定整个视频序列600的全局最大品质度量。全局最大品质度量表示视频序列600中的哪个视频帧最能在视觉上代表整个视频序列600，以及视频缩略图算法308选择(即提取)哪个视频帧作为整个序列600的视频缩略图。
图7说明了还有一个实施例，其中视频缩略图算法308把视频帧700分成多个块702并且计算视频帧700内每个块702的品质度量。视频帧700的总品质度量被确定为最小值的块品质度量。因此，如果块702(1)在帧700中具有最高的块品质度量，而块702(2)具有最低的块品质度量，则把帧700的品质度量确定为最低值的块702(2)计算的品质度量。这个技术确保了单个视频帧700的品质度量总是至少相当于视频帧700内任一块702的最小品质度量。这个技术可应用于上述各个实施例。也就是，每次在上述实施例中确定帧品质度量时，它可以根据从视频帧内的多个块中选择最小块品质度量而确定。
分组品质度量的计算一般与上述帧品质度量的计算相同。如上所述，为给定的帧计算帧品质度量如下：首先通过计算帧的色彩直方图的熵以及帧的色彩直方图的标准差，然后把所述熵和标准差组合。图7说明了视频缩略图算法308怎样把给定的帧700分成多个块702然后对帧的每个块702执行熵、标准差和品质度量计算。然后，视频缩略图算法308选择具有最小值的块品质度量作为帧700的总的帧品质度量。
图8是可以在图2的环境200中实现的单机视频记录设备202的框图表示。视频设备202可以以与图1的视频记录设备104(2)大致相同的方式被配置。图8的框图意图说明：图2的视频记录设备一般被配置成(像计算机102)从视频序列标识一个视频缩略图，使得该视频缩略图的视觉内容以上述关于计算机102所述的方式基本表示出整个视频序列。这样，视频设备202是其中可以实现所公开的系统和方法的还有一个示例性环境。
参照图8，视频设备202一般包括处理器800、易失性存储器802(即RAM)以及非易失性存储器804(如ROM)。视频设备202一般还包括便携式的存储媒质能力(未示出)以及/或者像i.LINK(IEEE 1394)或FireWire数字接口这样的数字接口(未示出)，以允许所记录视频内容的传输。操作系统软件806被存储在存储器804中，并且可以在处理器800上执行，以控制像视频捕获组件808这样的各种功能和视频组件。视频捕获组件808包括典型的视频组件，比如聚焦透镜、电荷耦合的设备(CCD)以及模数转换器。操作软件806一般对通过用户控制界面810输入的用户输入响应，以执行以下功能：比如接收视觉信息、把该信息转换成电信号并且把它作为视频内容310存储。取景器812一般允许用户像通过界面810控制的那样观察视频内容310及其他信息。视频记录设备202的一般操作和功能是公知的。
视频设备202上的视频缩略图算法308被配置成以类似于上面关于计算机102所讨论的方式起作用。因此，上面关于图4-7的描述可等价地应用于视频设备202。因而，当通过视频设备202的一般操作记录视频内容310时，视频缩略图算法308用于确定视觉上表示所记录的视频序列(即视频文件)的视频缩略图。计算及其他算法信息临时被存储作为缩略图算法信息312。由视频缩略图算法308所产生的视频缩略图可以通过取景器812被观察/浏览，并且通过用户控制界面810而被操纵。
示例性方法
现在将参照图9、10、11和12的流程图描述用于标识能代表视频序列的突出、内容丰富的视频缩略图的示例性方法。这些方法一般用于上面参照图3-8讨论的示例性实施例。上述方法的元件可以由任何适当的装置来执行，包括例如通过执行在处理器可读媒质上定义的处理器可读指令。
这里所使用的“处理器可读媒质”可以是包含、存储、传递、传播或传输由处理器使用或执行的指令的任何装置。不加限制，处理器可读媒质可以是电、磁、光、电磁、红外或半导体系统、装置、设备或传播媒质。处理器可读媒质的更具体示例包括：具有一根或多个电线的电连接、便携式计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤以及便携式的光盘只读存储器(CDROM)。
图9示出用于标识视频缩略图的示例性方法900，该视频缩略图表示整个视频序列的突出内容。在方框902处，对来自视频序列的视频帧计算色彩直方图。视频序列可以是由计算机从各个视频源(如便携式存储媒质、网络连接、摄像机)接收到的视频内容，或者它可以是由视频记录设备所记录的视频内容。因此，方法900中所讨论的计算可以在计算机、视频记录设备或任何类似设备上执行。在方框904处，按照上述公式(1)和(2)计算色彩直方图的熵。在方框906处，按照上述公式(3)和(4)计算色彩直方图的标准差。在方框908处，计算帧品质度量。帧的帧品质度量按照上述公式(5)和(6)被计算为熵和标准差的加权组合。
在方框910处，以对于视频序列内的附加视频帧的类似方式计算附加的帧品质度量。在方框912处，从所有计算出的帧品质度量中标识出最大帧品质度量。在方框914处，选择与最大值的帧品质度量相对应的视频帧作为视频缩略图，该视频缩略图在视觉上代表整个视频序列的突出内容。
图10示出为视频序列内的视频帧计算品质度量的另一种方法1000。在方框1002处，把视频帧细分成多个块。块数目可以是任何适当的数，包括例如：构成视频帧的块的一个16乘16组。在方框1004处，为多个块内的每个块计算品质度量。以上述关于帧品质度量类似的方式(即使用相同公式)计算块品质度量，除了仅对视频帧的一部分而不是对整个视频帧应用计算以外。一旦为每个块计算了品质度量，就确定了最小块品质度量，如方框1006所示。在方框1008处，选择最小的块品质度量作为视频帧的总品质度量。
图11示出用于标识视频缩略图的另一示例性方法1100，该视频缩略图视觉上代表了整个视频序列的突出内容。在方框1102处，视频序列被时间上分段。视频序列可以以任何基础被时间上分段，比如把序列分段成开始、中间和结尾分段。在方框1104处，为视频序列的特定分段内的帧计算帧品质度量。如上所述，根据帧直方图熵和直方图标准差来计算品质度量。在方框1106处，为该特定分段确定局部最大品质度量。在方框1108处，选择视频缩略图作为与该局部最大品质度量相关的帧。
图12示出用于标识视频缩略图的另一示例性方法1200，该视频缩略图视觉上代表了整个视频序列的突出内容。在方框1202处，把视频序列分段成多个视频连续镜头。在方框1204处，对第一视频连续镜头内的视频帧计算色彩直方图。在方框1206处，按照上述公式(1)和(2)计算色彩直方图的熵。在方框1208处，按照上述公式(3)和(4)计算色彩直方图的标准差。在方框1210处，计算帧品质度量。帧的帧品质度量按照上述公式(5)和(6)被计算为熵和标准差的加权组合。
在方法1200的方框1212处，为第一视频连续镜头内的附加视频帧计算附加的帧品质度量。然后在方框1214中为第一视频连续镜头确定局部最大的品质度量。在方框1216处，以对于第一视频连续镜头相似的方式为其他的视频连续镜头计算附加的局部最大帧品质度量。在方框1218处，选择具有最高值的局部最大帧品质度量的视频帧作为视觉上代表整个视频序列的突出内容的视频缩略图帧。
虽然已经用流程图以及与流程图方框相关的文本公开了一种或多种方法，然而应该理解，这些方框无须以给出的顺序来执行，其他的顺序可能得到相似的优点。而且，这些方法不是专门的，并且可以单独或者彼此结合而执行。
示例性计算机
图13说明了用于实现计算机102的适当计算环境1300的示例。从下面的讨论中显而易见，计算机102意图表示任何通用或专用计算平台类别，在赋予它们视频缩略图算法308时实现了按照上面参照图3介绍的第一示例性实施例所公开的原理。应该理解，尽管在图3的环境中把视频缩略图算法308描述为软件应用程序，然而计算机102也可以支持视频缩略图算法308的硬件实现。在这一点上，对于视频缩略图算法308的描述，计算机102的下面描述仅仅是说明性的，因此具有较多或较少能力的计算机也可以被代替。
例如，计算机102可以用能观察视频的任何视频观察设备来实现，比如计算机、个人计算机、服务器计算机、手提或便携式设备、便携式通信设备、多处理器系统、微处理器系统、基于微处理器的系统、用户电子设备、VCR、视频媒体播放器、视频即插即用设备及其他相关设备。
计算环境1300包括形式为计算机1302的通用计算系统。计算机1302的组件可以包括、但不限于：一个或多个处理器或处理单元1304、系统存储器1306以及把包括处理器1304在内的各种系统组件耦合到系统存储器1306的系统总线1308。
系统总线1308表示多种总线结构类型的一种或多种，包括存储器总线或存储器控制器、外围总线、加速图形端口以及使用多种总线结构的任一种的处理器或本地总线。例如，这种结构可以包括工业标准结构(ISA)总线、微通道结构(MCA)总线、高级ISA(EISA)总线、视频电子标准联盟(VESA)本地总线以及也称为Mezzanine总线的外围组件互连(PCI)总线。
计算机1302一般包括多种计算机可读媒质。这种媒质可以是可由计算机1302存取的任何可用数据媒质，包括易失性和非易失性的媒质、可移动和不可移动的媒质。系统存储器1306包括形式为易失性存储器的计算机可读媒质，比如随机存取存储器(RAM)1310，以及/或者包括非易失性存储器，比如只读存储器(ROM)1312。基本输入/输出系统(BIOS)1314包含帮助在计算机1302内的元件间传输信息的基本例程，比如在启动期间，BIOS被存储在ROM 1312中。RAM 1310一般包含可立即存取的以及/或者当前由处理单元1304操作的数据和/或程序模块。
计算机1302也可以包括其他可移动/不可移动的、易失性/非易失性的计算机存储媒质。例如，图13说明了用于向不可移动、非易失性磁性媒质读写的硬盘驱动器1316(未示出)、用于向可移动、非易失性磁性媒质1320(如“软盘”)读写的磁盘驱动器1318以及用于CD-ROM、DVD-ROM或其他光学媒质这样的可移动、非易失性光盘1324读写的光盘驱动器1322。硬盘驱动器1316、磁盘驱动器1318和光盘驱动器1322各通过一个或多个数据媒质接口1326连接到系统总线1308。或者，硬盘驱动器1316、磁盘驱动器1318和光盘驱动器1322可以通过SCSI接口(未示出)连接到系统总线1308。
磁盘驱动器和它们相关的计算机可读媒质为计算机1302的计算机可读指令、数据结构、程序模块及其他数据提供非易失性存储。尽管该例说明了硬盘1316、可移动磁盘1320和可移动光盘1324，应该理解，为了实现示例性的计算系统和环境也可以使用可由计算机存取的其它类型的计算机可读媒质，比如磁带或其他磁性存储设备、闪存卡、CD-ROM、数字化视频光盘(DVD)或其他光学存储器、随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)等等。
任何数量的程序模块可以被存储在硬盘1316、磁盘1320、光盘1324、ROM 1312和/或RAM 1310上，包括例如：操作系统1326、一个或多个应用程序1328、其他程序模块1330和程序数据1332。这些操作系统1326、一个或多个应用程序1328、其他程序模块1330和程序数据1332中的每一个(或者其中某些的组合)都可以包括用户网络存取信息的高速缓存方案的一个实施例。
计算机1302可以包括被标识为通信媒质的多种计算机/处理器可读媒质。通信媒质在像载波或其他传输机制这样的已调数据信号中一般包括计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递媒质。术语“已调数据信号”是指其中的一个或多个特征以对信号内信息编码的方式被设定或变化的信号。例如但不限于，通信媒质包括像有线网络或直线连接这样的有线媒质以及像声音、RF、红外及其他无线媒质这样的无线媒质。上述的任意组合还可被包括在计算机可读媒质的范围内。
用户可以通过像键盘1334和指示设备1336(如“鼠标”)这样的输入设备把命令和信息输入到计算机系统1302中。其他输入设备1338(未具体示出)可以包括麦克风、游戏杆、游戏板、圆盘式卫星天线、串行端口、扫描仪等等。这些及其他输入设备通过与系统总线108耦合的输入/输出接口1340连接到处理单元1304，但可以通过像并行端口、游戏端口或通用串行总线(USB)等其他接口和总线结构而连接。
监视器1342或其他类型的显示设备也通过像视频适配器1344这样的接口连到系统总线1308。除了监视器1342以外，其他输入外围设备可以包括像扬声器(未示出)和打印机1346这样的组件，它们通过输入/输出接口1340连到计算机1302。
计算机1302可以工作在使用到一个或多个远程计算机的逻辑连接的联网环境中，比如到远程计算设备1348。例如，远程计算设备1348可以是个人计算机、便携式计算机、服务器、路由器、网络计算机、对等设备或其他公共网络节点等等。所述的远程计算设备1348是可以包括上述相对计算机系统1302描述的许多或全部的元件和特征的便携式计算机。
计算机1302和远程计算机1348间的逻辑连接被描述为局域网(LAN)1350和通用广域网(WAN)1352。这种联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。当在局域网联网环境中实现时，计算机1302通过网络接口或适配器1354连到本地网络1350。当在广域网联网环境中实现时，计算机1302一般包括用于在广域网1352上建立通信的调制解调器1356或其他装置。内置或外置于计算机1302的调制解调器可以通过输入/输出接口1340或其他适当机制连到系统总线1308。应该理解，所述的网络连接是示例性的，可以采用其他在计算机1308和1348间建立通信连接的装置。
在联网环境中，比如用计算环境1300来说明，相对于计算机1302描述的程序模块或它们的部分可以被存储在远程存储设备中。例如，远程应用程序1358驻留在远程计算机1348的存储器设备上。为了说明目的，这里把像操作系统这样的应用程序和其他可执行程序组件说明为离散块，然而可以认识到，这种程序和组件在各个时刻驻留在计算机系统1302的不同存储组件中，并且可由计算机的数据处理器来执行。
结论
尽管已经用对于结构特征和/或方法行为特定的语言描述了本发明，然而可以理解，在所附权利要求中定义的发明不必要限于所述的特定特征或行为。而所公开的特定特征和行为是用于实现要求保护的发明的示例性形式。

Claims (40)

1.一种包括处理器可执行指令的处理器可读媒质，被配置成用于：
接收视频序列；以及
从直方图熵和直方图标准差中为视频序列内的帧计算帧品质度量。
2.如权利要求1所述的处理器可读媒质，还包括配置用于从帧品质度量中确定最大品质度量的处理器可执行指令。
3.如权利要求2所述的处理器可读媒质，还包括配置用于从与最大品质度量相对应的帧产生视频缩略图的处理器可执行指令。
4.如权利要求1所述的处理器可读媒质，其特征在于，每个帧品质度量都是直方图熵和标准差熵的加权组合。
5.如权利要求1所述的处理器可读媒质，还包括计算各个直方图熵。
6.如权利要求5所述的处理器可读媒质，其特征在于，计算各个直方图熵包括计算色彩直方图。
7.如权利要求1所述的处理器可读媒质，还包括计算各个直方图标准差。
8.如权利要求7所述的处理器可读媒质，其特征在于，计算各个直方图标准差包括计算色彩直方图。
9.如权利要求1所述的处理器可读媒质，其中计算帧品质度量包括：
把帧细分成多个块；
计算每个块的块品质度量；
确定最小的块品质度量；以及
选择所述最小的块品质度量作为所述帧的帧品质度量。
10.如权利要求1所述的处理器可读媒质，其中计算帧品质度量包括：
计算色彩直方图；
计算所述色彩直方图的熵；
计算所述色彩直方图的标准差；以及
用熵和标准差的加权组合计算品质度量。
11.一种包括处理器可执行指令的处理器可读媒质，被配置成用于：
时间上分段一个视频序列；
使用直方图熵和直方图标准差计算特定的时间分段内的帧品质度量；以及
从帧品质度量中确定所述特定时间分段的局部最大品质度量。
12.如权利要求11所述的处理器可读媒质，还包括配置用于从与所述局部最大品质度量相关的帧产生视频缩略图的处理器可执行指令。
13.如权利要求11所述的处理器可读媒质，其中为所述特定时间分段内每n个帧计算一个帧品质度量，n等于或大于1。
14.如权利要求11所述的处理器可读媒质，其特征在于，每个品质度量都是直方图熵和标准差熵的加权组合。
15.如权利要求11所述的处理器可读媒质，其中从包括以下的组中选择所述特定的时间分段：
视频序列的开始时间分段；
视频序列的中间时间分段；以及
视频序列的结尾时间分段。
16.如权利要求11所述的处理器可读媒质，其中计算帧品质度量包括：
把帧细分成多个块；
计算各个块的块品质度量；
确定最小的块品质度量；以及
选择所述最小的块品质度量作为所述帧的帧品质度量。
17.一种包括处理器可执行指令的处理器可读媒质，被配置成用于：
把视频序列分段成多个视频连续镜头；
计算第一视频连续镜头内的视频帧的色彩直方图；
计算所述色彩直方图的熵；
计算所述色彩直方图的标准差；以及
用所述熵和标准差的加权组合计算帧品质度量。
18.如权利要求17所述的处理器可读媒质，还包括处理器可执行指令，用于：
为第一视频连续镜头内的附加视频帧计算附加的帧品质度量；以及
通过比较这些帧品质度量而确定第一视频连续镜头的局部最大帧品质度量。
19.如权利要求18所述的处理器可读媒质，还包括处理器可执行指令，配置用于：
为视频序列内的附加视频照片计算附加的局部最大帧品质度量；以及
通过比较局部最大帧品质度量而确定视频序列的缩略图视频帧。
20.如权利要求19所述的处理器可读媒质，其中所述确定还包括：
标识出最高值的局部最大帧品质度量；以及
选择与最高值的局部最大帧品质度量相对应的视频帧作为所述缩略图视频帧。
21.一种包括处理器可执行指令的处理器可读媒质，被配置成用于：
把视频序列分段成多个连续镜头；
从多个连续镜头的每一个选择一个帧；
对于每个所选的帧而言，用直方图熵和直方图标准差的函数计算帧品质度量；以及
用帧品质度量的函数从所选的帧中确定一缩略图帧。
22.如权利要求21所述的处理器可读媒质，其中所述确定还包括：
从帧品质度量标识出最大帧品质度量；以及
确定缩略图帧作为与所述最大帧品质度量相关的帧。
23.如权利要求21所述的处理器可读媒质，其中所述计算品质度量还包括：
计算色彩直方图；
计算所述色彩直方图的熵；
计算所述色彩直方图的标准差；以及
用熵和标准差的加权组合计算品质度量。
24.如权利要求21所述的处理器可读媒质，其中所述分段还包括执行连续镜头边界检测。
25.一种方法，包括：
计算视频序列内视频帧的色彩直方图；
计算所述色彩直方图的熵；
计算所述色彩直方图的标准差；以及
用所述熵和标准差的加权组合计算帧品质度量。
26.如权利要求25所述的方法，还包括：
为视频序列内的附加视频帧计算附加的帧品质度量；以及
通过比较帧品质度量来确定视频序列的缩略图视频帧。
27.如权利要求26所述的方法，其中所述确定还包括：
标识一个最大帧品质度量；以及
选择与所述最大帧品质度量相对应的视频帧作为缩略图视频帧。
28.一种方法，包括：
在时间上分段视频序列；
使用直方图熵和直方图标准差计算特定时间分段内的帧品质度量；以及
从所述帧品质度量中确定所述特定时间分段的局部最大品质度量。
29.如权利要求28所述的方法，还包括：从与所述局部最大品质度量相关的帧中产生一个视频缩略图。
30.一种方法，包括：
把视频序列分段成多个连续镜头；
从所述多个连续镜头的每一个选择一个帧；
对于每个所选的帧而言，用直方图熵和直方图标准差的函数计算帧品质度量；以及
用帧品质度量的函数从所选的帧中确定缩略图帧。
31.如权利要求30所述的方法，其中所述确定还包括：
从所述帧品质度量中标识出最大帧品质度量；以及
确定所述缩略图帧作为与所述最大帧品质度量相关的帧。
32.一种计算机，包括：
视频内容；以及
视频缩略图算法，用于通过为所述视频内容内多个视频帧的每一个计算帧品质度量从而确定视觉上代表性的视频缩略图帧，每个帧品质度量都包括帧直方图熵和帧直方图标准差的加权组合。
33.一种视频设备，包括：
用于记录视频内容的视频捕获组件；以及
视频缩略图算法，用于通过为所述视频内容内多个视频帧的每一个计算帧品质度量从而确定视频缩略图，每个帧品质度量都包括帧直方图熵和帧直方图标准差的加权组合。
34.如权利要求33所述的视频设备，还包括配置用于实现所述视频缩略图算法的硬件电路块。
35.如权利要求33所述的视频设备，还包括：
处理器；
存储器；以及
存储在存储器内的并且可以在处理器上执行的软件指令，用于实现所述视频缩略图算法。
36.一种视频记录设备，包括：
用于计算视频序列内视频帧的色彩直方图的装置；
用于计算所述色彩直方图的熵的装置；
用于计算所述色彩直方图的标准差的装置；以及
用所述熵和标准差的加权组合计算帧品质度量的装置。
37.一种计算机，包括：
用于接收视频序列的装置；以及
用于从直方图熵和直方图标准差中为视频序列内的帧计算帧品质度量的装置。
38.一种计算机，包括：
用于计算视频序列内视频帧的色彩直方图的装置；
用于计算所述色彩直方图的熵的装置；
用于计算所述色彩直方图的标准差的装置；
用所述熵和标准差的加权组合计算帧品质度量的装置。
39.一种计算机，包括：
用于时间上分段视频序列的装置；
使用直方图熵和直方图标准差计算特定时间分段内的帧品质度量的装置；以及
用于从所述帧品质度量中确定所述特定时间分段的局部最大品质度量的装置。
40.一种计算机，包括：
用于把视频序列分段成多个连续镜头的装置；
用于从多个连续镜头中的每一个选择一个帧的装置；
用每个所选帧的直方图熵和直方图标准差的函数计算帧品质度量的装置；以及
用所述帧品质度量的函数从所选的帧中确定缩略图帧的装置。
CN2004100323593A 2003-04-01 2004-03-30 为视频序列生成视频缩略图的方法和计算机 Expired - Fee Related CN1538351B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/405,971 US7212666B2 (en) 2003-04-01 2003-04-01 Generating visually representative video thumbnails
US10/405,971 2003-04-01

Publications (2)

Publication Number Publication Date
CN1538351A true CN1538351A (zh) 2004-10-20
CN1538351B CN1538351B (zh) 2010-06-09

Family

ID=32850631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004100323593A Expired - Fee Related CN1538351B (zh) 2003-04-01 2004-03-30 为视频序列生成视频缩略图的方法和计算机

Country Status (5)

Country Link
US (1) US7212666B2 (zh)
EP (1) EP1465196B1 (zh)
JP (1) JP4580183B2 (zh)
KR (1) KR101015365B1 (zh)
CN (1) CN1538351B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100399333C (zh) * 2005-02-01 2008-07-02 乐金电子(中国)研究开发中心有限公司 利用压缩率的动画文件的缩略图生成方法
CN102332001A (zh) * 2011-07-26 2012-01-25 深圳市万兴软件有限公司 一种视频缩略图生成方法及装置
CN103003880A (zh) * 2010-07-26 2013-03-27 皇家飞利浦电子股份有限公司 为视频确定代表图像
CN103455544A (zh) * 2012-05-31 2013-12-18 三星电子株式会社 创建视频的缩略图像的方法以及显示该图像的电子装置
US8787967B2 (en) 2005-08-23 2014-07-22 Sony Corporation Communication terminals with pull-based digital information distribution capability and pull-based methods for digital information distribution
CN104142799A (zh) * 2013-05-10 2014-11-12 Lg电子株式会社 移动终端和移动终端的控制方法
CN105893631A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种视频缩略图的获取方法、装置及终端
CN106134216A (zh) * 2014-04-11 2016-11-16 三星电子株式会社 用于摘要内容服务的广播接收装置及方法
CN106576151A (zh) * 2014-10-16 2017-04-19 三星电子株式会社 视频处理装置和方法
CN110392306A (zh) * 2019-07-29 2019-10-29 腾讯科技（深圳）有限公司 一种数据处理方法以及设备
CN111553185A (zh) * 2019-01-16 2020-08-18 联发科技股份有限公司 突出显示处理方法及其关联系统
CN112954450A (zh) * 2021-02-02 2021-06-11 北京字跳网络技术有限公司 视频处理方法、装置、电子设备和存储介质

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058431A1 (en) * 2003-09-12 2005-03-17 Charles Jia Generating animated image file from video data file frames
JP4230402B2 (ja) * 2004-03-31 2009-02-25 パイオニア株式会社 サムネイル画像抽出方法、装置、プログラム
JP4438994B2 (ja) * 2004-09-30 2010-03-24 ソニー株式会社 動画像データの編集装置および動画像データの編集方法
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
GB2432064B (en) * 2005-10-31 2011-01-19 Hewlett Packard Development Co Method of triggering a detector to detect a moving feature within a video stream
US8032840B2 (en) 2006-01-10 2011-10-04 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
US20070245378A1 (en) * 2006-04-13 2007-10-18 Concert Technology Corporation User system providing previews to an associated portable media player
US8316081B2 (en) 2006-04-13 2012-11-20 Domingo Enterprises, Llc Portable media player enabled to obtain previews of a user's media collection
US7603434B2 (en) * 2006-04-13 2009-10-13 Domingo Enterprises, Llc Central system providing previews of a user's media collection to a portable media player
KR100706404B1 (ko) * 2006-05-12 2007-04-10 주식회사 팬택 이동 통신 단말기에서 동영상 파일 관리 방법
US8276098B2 (en) 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
US9142253B2 (en) * 2006-12-22 2015-09-22 Apple Inc. Associating keywords to media
US20080288869A1 (en) * 2006-12-22 2008-11-20 Apple Inc. Boolean Search User Interface
KR20080065044A (ko) * 2007-01-08 2008-07-11 삼성전자주식회사 썸네일 생성 장치 및 방법
US8671346B2 (en) * 2007-02-09 2014-03-11 Microsoft Corporation Smart video thumbnail
US20090158157A1 (en) * 2007-12-14 2009-06-18 Microsoft Corporation Previewing recorded programs using thumbnails
KR101071015B1 (ko) * 2007-12-27 2011-10-06 삼성메디슨 주식회사 초음파 진단 장치 및 영상 디스플레이 방법
KR100917926B1 (ko) * 2008-01-29 2009-09-16 주식회사 다음커뮤니케이션 썸네일 생성 시스템 및 생성 방법
KR100911059B1 (ko) * 2008-01-29 2009-08-06 주식회사 다음커뮤니케이션 썸네일 생성 시스템 및 생성 방법
KR100916854B1 (ko) * 2008-01-29 2009-09-14 주식회사 다음커뮤니케이션 썸네일 생성 시스템 및 생성 방법
US8422731B2 (en) * 2008-09-10 2013-04-16 Yahoo! Inc. System, method, and apparatus for video fingerprinting
JP2011130279A (ja) * 2009-12-18 2011-06-30 Sony Corp コンテンツ提供サーバ、コンテンツ再生装置、コンテンツ提供方法、コンテンツ再生方法、プログラムおよびコンテンツ提供システム
US8988458B2 (en) * 2010-04-13 2015-03-24 At&T Intellectual Property I, L.P. System and method for generating media thumbscapes
FR2959037A1 (fr) * 2010-04-14 2011-10-21 Orange Vallee Procede de creation d'une sequence media par groupes coherents de fichiers medias
US8605221B2 (en) * 2010-05-25 2013-12-10 Intellectual Ventures Fund 83 Llc Determining key video snippets using selection criteria to form a video summary
US8786597B2 (en) 2010-06-30 2014-07-22 International Business Machines Corporation Management of a history of a meeting
EP2416320B1 (en) * 2010-08-03 2014-03-12 BlackBerry Limited Representing video content
US9171578B2 (en) 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems
US8798400B2 (en) * 2010-10-21 2014-08-05 International Business Machines Corporation Using near-duplicate video frames to analyze, classify, track, and visualize evolution and fitness of videos
US8687941B2 (en) 2010-10-29 2014-04-01 International Business Machines Corporation Automatic static video summarization
US8971651B2 (en) 2010-11-08 2015-03-03 Sony Corporation Videolens media engine
US8938393B2 (en) 2011-06-28 2015-01-20 Sony Corporation Extended videolens media engine for audio recognition
US11314405B2 (en) * 2011-10-14 2022-04-26 Autodesk, Inc. Real-time scrubbing of online videos
US8914452B2 (en) 2012-05-31 2014-12-16 International Business Machines Corporation Automatically generating a personalized digest of meetings
KR101323369B1 (ko) * 2012-09-21 2013-10-30 한양대학교 에리카산학협력단 영상 프레임 군집화 장치 및 방법
US20140157096A1 (en) * 2012-12-05 2014-06-05 International Business Machines Corporation Selecting video thumbnail based on surrounding context
KR102185131B1 (ko) * 2014-03-27 2020-12-01 삼성전자주식회사 썸네일 생성 방법 및 그 전자 장치
US9398326B2 (en) 2014-06-11 2016-07-19 Arris Enterprises, Inc. Selection of thumbnails for video segments
US9466001B1 (en) * 2015-04-07 2016-10-11 Toshiba Tec Kabushiki Kaisha Image processing apparatus and computer-readable storage medium
US10140259B2 (en) * 2016-04-28 2018-11-27 Wipro Limited Method and system for dynamically generating multimedia content file
US10108861B2 (en) 2016-09-20 2018-10-23 Motorola Solutions, Inc. Systems and methods of providing content differentiation between thumbnails
US10068616B2 (en) 2017-01-11 2018-09-04 Disney Enterprises, Inc. Thumbnail generation for video
AU2018271424A1 (en) 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
KR102061104B1 (ko) * 2018-03-13 2019-12-31 한국도로공사 개별문자 신뢰도를 통한 차량번호판 인식 시스템 및 그 동작 방법
CN112445921A (zh) * 2019-08-28 2021-03-05 华为技术有限公司 摘要生成方法和装置
CN110856037B (zh) * 2019-11-22 2021-06-22 北京金山云网络技术有限公司 一种视频封面确定方法、装置、电子设备及可读存储介质
CN112437343B (zh) * 2020-05-15 2021-09-17 上海哔哩哔哩科技有限公司 基于浏览器的封面生成方法和系统
CN114915831A (zh) * 2022-04-19 2022-08-16 秦皇岛泰和安科技有限公司 预览图确定方法、装置、终端设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960012475B1 (ko) * 1994-01-18 1996-09-20 대우전자 주식회사 디지탈 오디오 부호화장치의 채널별 비트 할당 장치
US5635982A (en) 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
EP0770246A4 (en) * 1994-07-14 1998-01-14 Johnson Grace Company METHOD AND APPARATUS FOR COMPRESSING IMAGES
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
CN1108023C (zh) * 1995-01-27 2003-05-07 大宇电子株式会社 自适应数字音频编码装置及其一种位分配方法
US5835163A (en) * 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6970602B1 (en) * 1998-10-06 2005-11-29 International Business Machines Corporation Method and apparatus for transcoding multimedia using content analysis
JP2001197405A (ja) * 2000-01-14 2001-07-19 Sharp Corp インデックス画像作成装置および方法
JP2002027411A (ja) 2000-07-13 2002-01-25 Sony Corp 映像信号記録装置および方法、映像信号再生装置および方法、並びに記録媒体
JP4431923B2 (ja) * 2000-07-13 2010-03-17 ソニー株式会社 映像信号記録再生装置および方法、並びに記録媒体
US20020133486A1 (en) 2001-03-15 2002-09-19 Kddi Corporation Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100399333C (zh) * 2005-02-01 2008-07-02 乐金电子(中国)研究开发中心有限公司 利用压缩率的动画文件的缩略图生成方法
US8787967B2 (en) 2005-08-23 2014-07-22 Sony Corporation Communication terminals with pull-based digital information distribution capability and pull-based methods for digital information distribution
CN101243658B (zh) * 2005-08-23 2015-07-01 索尼爱立信移动通讯股份有限公司 具有基于拉的数字信息分发能力的通信终端和基于拉的数字信息分发方法
US8874166B2 (en) 2005-08-23 2014-10-28 Sony Corporation Communication terminals with pull-based digital information distribution capability and pull-based methods for digital information distribution
CN103003880B (zh) * 2010-07-26 2016-10-19 皇家飞利浦电子股份有限公司 为视频确定代表图像
CN103003880A (zh) * 2010-07-26 2013-03-27 皇家飞利浦电子股份有限公司 为视频确定代表图像
CN102332001B (zh) * 2011-07-26 2013-06-26 深圳万兴信息科技股份有限公司 一种视频缩略图生成方法及装置
CN102332001A (zh) * 2011-07-26 2012-01-25 深圳市万兴软件有限公司 一种视频缩略图生成方法及装置
CN103455544A (zh) * 2012-05-31 2013-12-18 三星电子株式会社 创建视频的缩略图像的方法以及显示该图像的电子装置
CN104142799A (zh) * 2013-05-10 2014-11-12 Lg电子株式会社 移动终端和移动终端的控制方法
CN104142799B (zh) * 2013-05-10 2017-06-30 Lg电子株式会社 移动终端和移动终端的控制方法
CN106134216B (zh) * 2014-04-11 2020-09-04 三星电子株式会社 用于摘要内容服务的广播接收装置及方法
CN106134216A (zh) * 2014-04-11 2016-11-16 三星电子株式会社 用于摘要内容服务的广播接收装置及方法
CN106576151A (zh) * 2014-10-16 2017-04-19 三星电子株式会社 视频处理装置和方法
CN105893631A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种视频缩略图的获取方法、装置及终端
CN105893631B (zh) * 2016-05-31 2020-10-16 努比亚技术有限公司 一种视频缩略图的获取方法、装置及终端
CN111553185A (zh) * 2019-01-16 2020-08-18 联发科技股份有限公司 突出显示处理方法及其关联系统
CN111553185B (zh) * 2019-01-16 2023-10-24 联发科技股份有限公司 突出显示处理方法及其关联系统
CN110392306A (zh) * 2019-07-29 2019-10-29 腾讯科技（深圳）有限公司 一种数据处理方法以及设备
CN110392306B (zh) * 2019-07-29 2021-11-05 腾讯科技（深圳）有限公司 一种数据处理方法以及设备
CN112954450A (zh) * 2021-02-02 2021-06-11 北京字跳网络技术有限公司 视频处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP1465196B1 (en) 2013-10-16
US20040197071A1 (en) 2004-10-07
CN1538351B (zh) 2010-06-09
KR20040088351A (ko) 2004-10-16
EP1465196A1 (en) 2004-10-06
KR101015365B1 (ko) 2011-02-16
JP4580183B2 (ja) 2010-11-10
JP2005328105A (ja) 2005-11-24
US7212666B2 (en) 2007-05-01

Similar Documents

Publication Publication Date Title
CN1538351A (zh) 视觉上代表性的视频缩略图的生成
US10372772B2 (en) Prioritizing media based on social data and user behavior
US20200322684A1 (en) Video recommendation method and apparatus
US7720851B2 (en) Active context-based concept fusion
CN1306438C (zh) 媒介分段系统和相关的方法
US10311913B1 (en) Summarizing video content based on memorability of the video content
US20070133947A1 (en) Systems and methods for image search
US20140223309A1 (en) Method and system for browsing, searching and sharing of personal video by a non-parametric approach
US20130142418A1 (en) Ranking and selecting representative video images
CN101051515A (zh) 图像处理设备及图像显示方法
JP2005535018A (ja) メディアオブジェクトのコレクションの提示
CN1520561A (zh) 流式视频书签
US9081822B2 (en) Discriminative distance weighting for content-based retrieval of digital pathology images
US10691879B2 (en) Smart multimedia processing
CN110347868B (zh) 用于图像搜索的方法和系统
US20220172476A1 (en) Video similarity detection method, apparatus, and device
JP6492849B2 (ja) ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
JP2004274768A (ja) 注釈付きビデオファイルを生成する方法
JP2009087113A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US10153003B2 (en) Method, system, and apparatus for generating video content
CN100347657C (zh) 多媒体打印驱动器对话界面
CN112949777B (zh) 相似图像确定方法及装置、电子设备和存储介质
CN1692373A (zh) 图像系统
US20140189769A1 (en) Information management device, server, and control method
Apostolidis et al. Video fragmentation and reverse search on the web

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150428

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150428

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100609

Termination date: 20160330