CN104813342B

CN104813342B - 内容感知的改变视频大小

Info

Publication number: CN104813342B
Application number: CN201280077368.7A
Authority: CN
Inventors: C.黃; Z.宋; Y.张
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2019-08-20
Anticipated expiration: 2032-12-28
Also published as: US9286655B2; US9055177B2; US20150206278A1; EP2939180A1; CN104813342A; US20140218609A1; WO2014101081A1; EP2939180A4

Abstract

依照一些实施例，能够通过分析将被描绘的内容以及基于正在被描绘的内容的性质来改变大小，来减少或甚至消除伴随改变视频大小的抖动。因此，可以以减少或消除视频抖动或滑动的方式来处理在一个帧中的主要对象。

Description

内容感知的改变视频大小

背景技术

本申请一般涉及改变视频大小。

在改变视频大小中，从所描绘的帧的原始格式来改变它的大小。例如，可以改变宽度与高度的纵横比。一种常见的改变大小将纵横比从4：3比例改变到16：9比例。

有时，改变视频大小导致视频抖动或滑动。在由改变大小而导致的视频抖动或滑动中，一个或多个帧可能没有与先前或随后的帧对齐，使得呈现出的是，所描绘的对象在移动。这可以造成对于对象的模糊运动的效果，而实际上该对象当前没有从一个帧移动到下一个帧。

附图说明

相对于以下附图来描述一些实施例：

图1是视频帧的描绘；

图2是对于图1中示出的帧的能量描绘；

图3是对于本发明的一个实施例的流程图；

图4是根据一个实施例的能量图；

图5是根据一个实施例的另一个能量图；

图6是根据一个实施例的帧处理序列的描绘；

图7是根据一个实施例的示出调整列能量的图；

图8是根据一个实施例的用于创建两个新列的图；

图9是对于一个实施例的流程图；以及

图10是对于一个实施例的示意图；以及

图11是一个实施例的前面正视图。

具体实施方式

当诸如显示器的给定设备接收视频时，它能够分析所接收的信息的纵横比，以及将它与接收设备的特点进行比较。例如，具有某一纵横比的某一显示器可以认识到的是，所接收的视频的纵横比与该显示器的纵横比不一致。于是，该接收设备可以确定的是，从原始视频增加或删除列或增加或删除行以符合目标屏幕的纵横比是有利的。例如，可以对于在854：480的16：9屏幕上的显示，增加254个列以对640：480像素的4：3视频进行转换。相同的技术可以应用于增加行和删除行和列。如果目标设备分辨率是1920：1080而不是854：480，则在发送源视频前，还可以按比例放大源视频。备选地，目标设备可以按比例放大该视频。

参照图1，视频帧示出了手握麦克风的人。图2是对于该帧的能量图，该能量图示出了跨越在水平轴上的帧对于视频的每个列的在垂直轴上的能量。对于前景描绘的对象A的能量（在B处指示）比该场景的其余对象的能量高的多。因此，图1中示出的对象A是主要的描绘对象。一般地，能量越高，则特定行或列的像素对于整体描绘而言越重要。能量测量相对于在图像中描绘的其它行（或列）沿着在该图像中任何给定的垂直行（或列）可以找到多少内容。因此，依照一些实施例，在改变大小期间，不频繁改变具有更多能量的行（或列）。

根据一些实施例，可以在软件、固件和/或硬件中来实现在图3中示出的序列。在软件和固件的实施例中，可以使用存储在一个或多个非短暂性的计算机可读介质（诸如磁、光或半导体存储设备）中的计算机可执行指令来实现它。例如，可以使用的一个典型的存储设备是系统存储器。然而，可以使用任何存储设备，该任何存储设备包含独立存储设备或与基于处理器的设备相关联的存储设备。

如在框12中指示的，在图3中示出的序列通过分析视频的纵横比开始。视频的纵横比是在宽度除以高度方面的当前描绘的帧的纵横比。可以以已知的方式将这个纵横比信息与视频一起编码，以便能够提取它。接着，如在框14中指示的，从现有视频捕获帧。

接着，如在框16中指示的，进行边缘检测和边缘比较。这使得能够相对于背景识别场景内的主要或更高能量的对象。

如果这是视频的第一帧，则不能从先前帧来获得边缘比较。可以跳过边缘比较，或可以捕获下一个帧，进行边缘检测和边缘比较。在这种情况下，对于前两个帧而言，边缘比较的结果将是相同的。

可以使用各种不同的边缘检测技术中的任何边缘检测技术。索贝尔（Sobel）内核边缘检测使用很少的处理资源并且能够快速地被执行。索贝尔内核还内在地消除了一些噪声。可以替代地使用各种各样的不同边缘检测技术中的任何边缘检测技术，各种各样的不同边缘检测技术包含普瑞维特（Prewitt）罗盘边缘检测器和罗伯特交叉算子。在一些情况下，视频压缩技术可以包含边缘检测信息，可以替代索贝尔内核或除了索贝尔内核外使用该边缘检测信息。

使用来自两个连续帧的检测边缘，可以比较边缘，例如如|E1-E2|，其中E1是当前帧的边检测结果，以及E2是上一个帧的边缘检测结果。边缘比较有效地跟踪了在帧之间在视频中的移动或变化。这些高移动区域倾向于是用户关注的区域。因此，在那些区域中的失真是最令人反感的。

尽管边缘比较对于连续场景的帧的序列是有效的，但是当存在场景变化时，边缘比较是无效的。在场景变化或相机视图变化中，边缘将大幅度地移动到帧的不同部分。

边缘比较结果可以用于计算每个列的能量（框18）。在简单示例中，可以使用边缘比较的绝对值，以便对于每个像素，，其中i和j指示各自像素的行和列。为了计算行的能量，可以简单地将对于列中的每个像素的E_i,j值相加。在数学上，这可以被表示为在从i=0到“高度（height）”的列（或行）j中的所有像素的和，如下：

方程式1

其中f(j)是列j的能量，f（i,j）是行i，列j的边缘比较结果中的像素值（如以上边缘比较结果E_i,_j所指示的），以及高度是在视频帧中的最大行或顶行。

能量计算的一个目的是减少视频抖动或滑动。为了减少抖动或滑动，不拉伸在相同场景内的有关帧的行/列。例如，在每个帧中，可以选择列i来拉伸。接着，在具有相同主要对象的另一个帧中，有利地是选择相同列i来拉伸。否则，存在观看者将看到抖动或滑动的可能性。

然而，如果场景变化，不管哪个列被拉伸观看者会注意到任何视频抖动或滑动都是不太可能。因此，在菱形20处的检查确定相对先前场景是否已经有了场景变化。可以使用任何常规的场景变化检测技术。

Energy_sum是在当前帧之前的视频帧的序列的能量和。它是零初始值。Energy_current是当前帧的能量。因此，对于图像的Energy_sum是能量的总和。它是场景M的能量和，以及场景M从帧J回来开始以及继续到帧K。如果没有场景变化（菱形20），则在框34，energy_sum被设置为等于energy_sum加上energy_current以及流程进行迭代。这确保的是，当删除具有最小能量的行时，相对于帧的整个序列它是最小的，而不仅是在一个帧中是最低。

如图4中示出的，每个能量图像与相同场景内的帧的序列有关。例如，能量图像1是具有基本上相同场景的帧的序列，以及它含有帧1到帧N，而能量图像2含有帧N+1到M。

如果没有场景变化，则在方程式1中确定的能量值可以直接用于选择列或行来拉伸或扩张（框22）。在框22处的调整减少了通过频繁地改变所选择的列而导致的视频抖动。为了防止视频抖动，能量调整操作减少了在每个帧中不同的列（或行）被选择的机会。它增加了对抗变化的一种记忆或动量项（momentum）。因此，对于下一个帧而言，在一个帧中所选择的列（或行）应当被选择。

接着，如在框24中指示的，行或列号被添加到处理列表。处理列表的目的是记录在先前帧中什么列被拉伸。如在图5中示出的，处理列表是存储对于需要被拉伸的列的列标识符的列表。处理列表是被选择用来拉伸的列（或行）的列表。处理列表可以简单地是先前所选择的列（或行）的列表。选择的和未选择的列或行可以被存储作为使用来自视频序列的帧号所标识的表中的行。

改变视频源大小可以找到一个列或（行），在框22处该一个列或（行）具有最低能量值以及因此对抖动具有最小的影响。这个列（或行）可以是受制于使用处理列表的调整，具有最小边缘移动量的列（行）。各种技术中的任何技术可以用于找到最低值。在一个示例中，堆排序用于获得能量图的最小值。在做出选择后，所选择的列或行被添加到处理列表（框24）。处理列表记录需要被修改的列号或行号。

只要需要更多的列或行（菱形26），则在框22处的选择过程可以重复以达到期望的数量的列或行。在一个示例中，可以将帧增加254个列以将它从640个列改变大小到854。为了增加254个列，选择该帧的254个列，以及使这些列加倍以形成增加的254个列。将有386个列没有被选择。

在框22处选择了每个列并且将它添加到处理列表（框24）后，在选择另一个列之前，可以在框36处进行进一步的能量调整。简言之，基于所选择的列来调整能量图以减少两次将相同列添加到处理列表的可能性，以及减少选择紧挨着所选择的列的列的可能性。因为每次拉伸破坏了帧内容，因此较好的是避免拉伸相邻或邻近的连续列。

在框36处的能量调整考虑了所选择的列，以及接着缩放在所选择的列的任何一侧上的列的能量。这减少了还会选择相邻列的机会。然而，如果其它列的能量仍然是高的，则可以仍然选择相邻列。可以通过比例因子来调整它们的选择的可能性。这个调整允许流找到下一个较高能量水平以识别将删除的下一个最小的最大能量行或列。

在图7中图示化了能量调整。值的顶行142表示对于当前帧的能量值。在这个示例中，已经对于处理列表选择了具有能量值f（i）的列i，能量值f（i）是在框22处的剩余列的最低能量值。因此，在所选择的列的左面的列i--1上的列以及在右面上的列i+1的能量被提高到较高值。这减少了它们也被选择用于拉伸的机会。可以简单地通过将现有值f（i-1），f（i+1）乘以比例因子或比例来确定该较高值。已经发现在1.5至2的范围中的因子适合作为比率。比例因子越大，帧选择将更多地遍及该帧而分布。在修改的能量表144中示出了较高的值。

可以在数学上如下来表示能量调整：

方程式2

其中i是将被拉伸的列，f（i）是该列的能量，f（i-1）和f（i+1）是邻近列i的列的能量，以及比率是用于增加相邻列的能量的加权因子。

在在框26处已经选择了足够列或行后，接着，在框28处，对于本示例而言，所选择的列或行被分成两个或更多列或行，或替代地，如果所改变大小的帧将是较小的，则可以删除列或行。以下更详细地描述这个方面。在一个示例中，列被转换成两列。在所选择的列和在任何一侧上的列之间对对于该列的每个像素的像素值取平均。如果需要，可以使用更复杂的取平均、插值法或像素估计技术。

可以如下进一步描述拉伸过程的一个示例。首先，从当前帧的处理列表挑选选择的列。该列用于创建两列。如果所选择的列是列M，则占据了它的位置的这两个新列可以被称为M’和M’’。

如果M’在M’’的左面，则对于M’的像素值可以被认为是对于使用列L或如图8中说明的直接在列M的右面的M-1的像素值所调整的原始M列的像素值。一种调整像素值的简单方式是使用相邻像素值的平均值作为调整。在数学上，这可以被示出为如下：

方程式3

其中f（M’，y）和f（M’’，y）是在新图像行y中的像素值，列M’和列M’’是从列M获得的两个新列，列M-1是列M左面的列，例如列L，以及列M+1是列M右面的列，例如列N。尽管方程式3示出了平均值，但是可以对该平均值加权，以便原始值是更重要的。例如，，使用60/40加权强调原始值超过邻近值。作为另一个替代方案，其它技术可以用于基于在相同帧或在先前或随后帧中的另外的附近像素来确定像素值。用于确定在新创建的列中的像素值的特定方法可以被适应于适合不同的复杂度实现方式和视频类型。

如在图8中示出的，处理列表120应用于当前视频帧，以便通过创建替代一列（在这个实例中为列M）的两个像素列来拉伸图像。如在对于当前帧的像素值的表126中看到的，在列M的特定部分中，列M具有值20、10和130。左面的列M-1具有值100、50、130，以及右面的列M+1具有值200和70。在所拉伸的视频帧像素表128中，由被标记为M’、M’’的两个列来替代列M。像素值是列M的值与在任何一侧上的值的平均值。因此，例如，对于M’而言，20和100的平均值是60。60替换100作为对于在图8的图表中示出的顶像素的像素值。类似地，对于M’’而言，20和200的平均值是110。110成为对于在图8的所拉伸的图像128的行M’’中的顶像素的像素值。

注意的是，考虑对于原始源帧126的三个列的像素值的顶行，在列M中与相邻列有大的变化。在表126中的原始行序列是100、20、200。在所拉伸的视频帧128中，序列是100、60、110、200。结果是由邻近像素值来削弱像素值20的列M的信息。这造成了对于增加的列的平滑转变，但是丢失了关于在值中的变化的信息。也就是说，在图像中的这个边缘将变得柔化。因为这个信息不是关于移动边缘，因此该信息的丢失将较少地引起观看者的注意。通过减少用于拉伸而将被取平均的相邻行的数量，在318处在每个列选择后执行能量调整减少了由像素值的取平均所导致的数据丢失。作为对于图8中图表化的和在方程式3中示出的过程的备选方案，可以简单地复制所选择的列。不是具有平均值的两个列，而是接着有两个列具有与原始选择的列相同的像素值20、10、130。

在本文中，如具有诸如100、20或200的单数字值一样来提及像素值。以这种方式来提及像素值，以便简化描述。在本文中提及的像素值是在由行和列所限定的图像中的特定位置处的亮度。尽管一些类型的视频序列可以具有对于每个像素的单值，但是典型地，将存在对应于RGB、YUV或一些其它类型的颜色系统的多个值。像素值可以与空间或时间中的邻近像素组合，以支持包含交错式的其它类型的视频压缩。因此，取决于源视频的性质，如本文中所使用的对于特定像素的值可以指在特定行或列处的单个成分，或它可以指具有2、3或4个颜色成分的值。

在框28，使用处理列表来处理在相同场景内的所有帧。如图5和图6中所指示的，来处理帧。场景1含有来自处理列表1的帧1到帧N，以及场景2含有来自处理列表2的帧N+1到帧M。每个处理列表与具有相同场景的帧的序列有关。以相同的方式来处理具有相同场景的帧，以确保减少抖动或滑动。因此，这是进行增加或删除以获得新的纵横比的步骤。

在框28处已经拉伸了在处理列表120中的所有所选择的列后，在框30，图3的过程将改变大小的视频帧发送给接收显示设备。如果在菱形32处这不是视频的结束，则清空处理列表（框38），以及energy-sum被初始化（框40）以及被存储以供在下一个视频帧中使用，以及捕获用于处理的新的视频帧（在框14）。如果它是视频的最后帧，则该过程结束。

参照图9，存在至少两种方式来使得原视频匹配目标纵横比。例如，如果原始视频具有小于目标比例的宽度与高度比例，则可以通过增加更多的列或通过删除行来改变原始视频的大小。例如，考虑（640：480）（纵横比4：3）的视频，它将被改变大小成16：9的纵横比。可以增加254列将它改变为（854：480）的大小，或删除120行将它改变为（640：360）的大小。在另一方面，为了将具有16：9的纵横比的视频转换为4：3，可以增加行或者可以删除列。通过首先分析哪种方式来改变大小，可以保护最重要的信息不丢失。

图9示出了在框12处的过程，该过程用于在发送给接收设备前确定如何改变视频的大小。在210，发送器接收目标分辨率和纵横比。在212，将源视频的分辨率和纵横比与对于目标设备的分辨率和纵横比进行比较。如果，它是较小的，则确定将被增加的列和行的数量以对于目标设备来改变源或原始视频的大小。

在214，将对于目标设备增加的列的数量Na与需要增加的行的数量Nd进行比较。在直接比较中，由因子r1来加权行的数量，然而，备选地，替代加权行的数量或除了加权行的数量之外，可以加权列的数量。权重因子使该比较偏向支持增加列而不是删除行。该因子基于被认为更令人感到舒服的人类感知的经验研究。如果在214，列的数量小于加权的行的数量，则在218处，确定将增加列。如果将被增加的列的数量大于将在214处被删除的行的数量，则将确定的是，应当删除行（框216）。该比较是确定如何通过做出最小的改变来对原始视频做出最小的改变。如果这两个数量是接近的，则加权因子将使决策偏向支持增加而不是删除。

类似地，如果在212处，原始视频大于目标视频，则把将必须被删除的行的数量Ma与将必须被增加的列的数量Md进行比较。如在214处，由因子r2来加权的行的数量以补偿人类感知。如果所加权的行的数量更大，则在222处在222处确定删除列。类似地，如果列的数量更大，则在224处确定增加行。

加权因子可以以各种不同的方式来确定，以及可以反映删除行的失真Dr1与增加列的失真Dc1的比较。可以通过观察和测量来确定失真值。加权因子r1于是可以被表示为比率Dr1/Dr2。该因子可以被缩放以获得期望的结果。类似地，用于增加行和删除列的加权因子r2可以被确定为相比于删除列的增加行的失真的比率Dr2/Dc2。

每当接收到视频请求时或每当以不同的格式来接收源视频时，可以执行图9的操作。备选地，类似图9中示出的过程的过程的结果可以被存储在查找表中。最常见的视频格式和显示设备格式可以被存储在查找表中，以便每当向发送器提供这些常见格式时，可以快速地确定将被增加或删除的列或行的数量。例如，从4：3 VGA分辨率到16：9 WVGA分辨率的转换表示常见的纵横比，以及增加254行的结果可以被存储在查找表中。这允许发送器更快速地执行动作。发送器可以排他地使用该查找表以及呈现最佳匹配，或它可以对于常见场景使用该查找表，并且对于特殊情况应用诸如图8的过程的过程。

图10说明了系统300的实施例。在实施例中，系统300可以是媒体系统，然而系统300不局限于这个情景。例如，系统300可以被并入个人计算机（PC）、膝上型计算机、超级膝上型计算机、平板计算机、触摸平板、便携式计算机、手持型计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合的蜂窝电话/PDA、电视、智能设备（例如，智能电话、智能平板计算机或智能电视）、移动互联网设备（MIS）、消息传送设备、数据通信设备等。

在实施例中，系统300包括耦合到显示器320的平台302。平台302可以接收来自内容设备（诸如（多个）内容服务设备330或（多个）内容传递设备340或其它类似的内容设备）的内容。包括一个或多个导航特征的导航控制器350可以用于与例如平台302和/或显示器320交互。以下更详细地描述这些组件中的每个组件。

在实施例中，平台302可以包含以下的任何组合：芯片组305、处理器310、存储器312、存储设备314、图形子系统315、应用316和/或无线电318。芯片组305可以在处理器310、存储器312、存储设备314、图形子系统315、应用316和/或无线电318之间提供相互通信。例如，芯片组305可以包含：能够提供与存储设备314相互通信的存储设备适配器（未示出）。

可以将处理器310实现成复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器、x86指令集兼容处理器、多核心，或任何其它的微处理器或中央处理单元（CPU）。在实施例中，处理器310可以包括（多个）双核处理器，（多个）双核移动处理器以及诸如此类。该处理器可以结合存储器312来实现图3的序列。

可以将存储器312实现成易失性存储设备，诸如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或静态RAM（SRAM）。

可以将存储设备314实现成非易失性存储设备，诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接存储设备、闪速存储器、电池供电SDRAM（同步DRAM）和/或网络可以访问的存储设备。在实施例中，存储设备314可以包括：例如当包含多个硬盘时用于增加对于有价值的数字媒体的存储设备性能增强保护的技术。

图形子系统315可以执行图像处理，诸如用于显示的静止图像或视频。例如，图形子系统315可以是例如图形处理单元（GPU）或视觉处理单元（VPU）。模拟或数字接口可以用于通信地耦合图形子系统315和显示器320。例如，该接口可以是高清晰度多媒体接口、显示端口、无线HDMI和/或无线HD适用的技术中的任何。图形子系统315可以被集成到处理器310或芯片组305中。图形子系统315可以是通信地耦合到芯片组305的独立卡。

可以在各种硬件架构中，来实现本文中描述的图形和/或视频处理技术。例如，可以在芯片组内集成图形和/或视频功能。备选地，可以使用离散的图形和视频处理器。作为又一个实现方式，可以通过通用处理器（包含多核处理器）来提供图形和/或视频功能。在另一个实施例中，可以在消费电子设备中实现该功能。

无线电318可以包含：能够使用各种合适的无线通信技术来传送和接收信号的一个或多个无线电。此类技术可以涉及跨越一个或多个无线网的通信。示例无线网络包含（但不限于）无线局域网（WLAN）、无线个域网（WPAN）、无线城域网（WMAN）、蜂窝网和卫星网。在跨越此类网络的通信中，无线电318可以依照任何版本中的一个或多个可应用的标准进行操作。

在实施例中，显示器320可以包括：任何电视类型的监视器或显示器。显示器320可以包含：例如，计算机显示屏、触摸屏显示器、视频监视器、如电视的设备和/或电视。显示器320可以是数字的和/或模拟的。在实施例中，显示器320可以是全息显示器。此外，显示器320可以是透明表面，该透明表面可以接收视觉投影。此类投影可以传递各种形式的信息、图像和/或对象。例如，此类投影可以是用于移动增强现实（MAR）应用的视觉叠加。在一个或多个软件应用316的控制下，平台302可以在显示器320上显示用户界面322。

在实施例中，（多个）内容服务设备330可以由任何国家的、国际的和/或独立的服务来托管，以及因此平台302可以经由例如互联网来访问（多个）内容服务设备330。（多个）内容服务设备330可以耦合到平台302和/或显示器320。平台302和/或（多个）内容服务设备330可以耦合到网络360以传递（例如，发送和/或接收）往返于网络360的媒体信息。（多个）内容交付设备340也可以耦合到平台302和/或显示器320。

在实施例中，（多个）内容服务设备330可以包括：有线电视盒，个人计算机，网络，电话，启用互联网的设备或能够递送数字信息和/或内容的装置，以及能够经由网络360或直接地在内容提供商和平台302和/或显示器320之间单向或双向地传递内容的任何其它类似的设备。将了解的是，可以经由网络360往返于系统300中的组件中的任何一个组件和内容提供商单向地和/或双向地传递内容。内容的示例可以包含任何媒体信息，媒体信息包含：例如，视频、音乐、医用和游戏信息等。

（多个）内容服务设备330可以接收诸如包含媒体信息、数字信息的有线电视节目的内容和/或其它内容。内容提供商的示例可以包含任何有线电视或卫星电视或无线电或互联网内容提供商。所提供的示例不是旨在限制依照本发明的实施例。

在实施例中，平台302可以接收来自具有一个或多个导航特征的导航控制器350的控制信号。例如，控制器350的导航特征可以用于与用户界面322进行交互。在实施例中，导航控制器350可以是指点设备，该指点设备可以是允许用户将空间数据（例如，连续的和多维的）输入到计算机的计算机硬件组件（特别是人机接口设备）。许多系统（诸如，图形用户界面（GUI）和电视以及监视器）允许用户使用物理手势控制计算机或电视机，以及向计算机或电视机提供数据。

可以通过移动显示在显示器（例如，显示器320）上的指针、光标、聚焦环或其它可视的指示符，来仿效控制器350的导航特征的移动。例如，在软件应用316的控制下，可以将位于导航控制器350上的导航特征映射到例如显示在用户界面322上的虚拟导航特征。在实施例中，控制器350可以不是单独的组件而是被集成到平台302和/或显示器320中。然而，实施例不局限于这些元素或本文中示出或描述的情景。

在实施例中，驱动器（未示出）可以包括：例如，使得用户能够在初始启动后使用按钮的触摸，立即开启或关闭如电视的平台302的技术（当启用该技术时）。当“关闭”平台302时，程序逻辑可以允许平台302向媒体适配器或其它（多个）内容服务设备330或（多个）内容交付设备340流式传输内容。另外，芯片组305可以包括例如用于5.1环绕立体声和/或高清晰度7.1环绕立体声的硬件和/或软件支持。驱动器可以包含用于集成图形平台的图形驱动器。在各种实现方式中，图形驱动器可以包括外部设备互连（PCI）高速图形卡。

在各种实施例中，可以集成在系统300中示出的组件中的任何一个或多个组件。例如，可以集成平台302和（多个）内容服务设备330，或可以集成平台302和（多个）内容交付设备340，或例如，可以集成平台302、（多个）内容服务设备330和（多个）内容交付设备340。在各种实施例中，平台302和显示器320可以是集成单元。例如，可以集成显示器320和（多个）内容服务设备330，或可以集成显示器320和（多个）内容交付设备340。这些示例不意在限制本发明。

在各种实施例中，可以将系统300实现成无线系统、有线系统或这两者的组合。当被实现成无线系统时，系统300可以包含：适用于通过无线共享介质进行通信的组件和接口，诸如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包含：无线频谱的部分，诸如RF频谱等。当被实现成有线系统时，系统300可以包含：适用于通过有线通信介质进行通信的组件和接口，诸如输入/输出（I/O）适配器、使用对应的有线通信介质连接到I/O适配器的物理连接器、网络接口卡（NIC）、磁盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包含：电线、电缆、金属引线、印刷电路板（PCB）、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。

平台302可以建立一个或多个逻辑或物理通道以传播信息。信息可以包含：媒体信息和控制信息。媒体信息可以指表示用于用户的内容的任何数据。内容的示例可以包含：例如，来自语音会话的数据、视频会议、流式传输的视频、电子邮件（“电邮”）消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等。来自语音会话的数据可以是例如话音信息、静默周期、背景噪声、舒适噪声、声调等。控制信息可以指表示用于自动系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统路由媒体信息，或指令节点以预定的方式来处理媒体信息。然而，实施例不限制于在该元素或图10中示出或描述的情景。

如上所述，可以在各种物理样式或形状因子中来具体化系统300。图11说明了可以具体化系统300的小形状因子设备400的实现方式。在实施例中，例如，可以将设备400实现成具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理系统和移动电源或电力供应（诸如，一个或多个电池）的任何设备。

如上所述，移动计算设备的示例可以包含：个人计算机（PC）、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携性计算机、手持型计算机、掌上计算机、个人数字助理（PDA）、蜂窝电话、组合的蜂窝电话/PDA、电视、智能设备（例如，智能电话、智能平板计算机、智能手表或智能电视）、移动互联网设备（MID）、消息传送设备、数据通信设备等。

移动计算设备的示例还可以包含：被布置为由人穿戴的计算机，诸如手腕计算机、指纹计算机、振铃计算机、眼镜计算机、腰带计算机、手臂计算机、鞋计算机、服饰计算机以及其它可穿戴计算机。在各种实施例中，例如，可以将移动计算设备实现成能够执行计算机应用以及话音通信和/或数据通信的智能电话。尽管可以使用被实现成例如智能电话的移动计算设备来描述一些实施例，但是可以了解的是，也可以使用其它无线移动计算设备来实现其它实施例。在此情景中，实施例没有限制。

在一些实施例中，处理器310可以与相机322和全球定位系统传感器320通信。在软件和/或固件的实施例中，耦合到处理器310的存储器312可以存储用于实现图2中示出的序列的计算机可读指令。

如在图11中示出的，设备400可以包含：壳体402、显示器404、输入/输出（I/O）设备406和天线408。设备400还可以包括导航特征412。显示器404可以包括：适于移动计算设备的用于显示信息的任何合适的显示单元。I/O设备406可以包括：用于将信息输入到移动计算设备的任何合适的I/O设备。I/O设备406的示例可以包含：字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等。还可以通过麦克风将信息输入到设备400。可以由语音设备将此类信息数字化。在此情景中，实施例没有限制。

可以使用硬件元件、软件元素或它们的组合来实现各种实施例。硬件元件的示例可以包含：处理器、微处理器、电路、电路元件（例如，晶体管、电阻器、电容器、电感器以及诸如此类）、集成电路、专用集成电路（ASIC）、可编程逻辑设备（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组以及诸如此类。软件的示例可以包含：软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或它们的任何组合。确定实施例是否使用硬件元件和/或软件元素来实现，可以根据任何数量的因素而变化，诸如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。

可以在各种硬件架构中来实现本文中描述的图形处理技术。例如，图形功能可以被集成在芯片组内。备选地，可以使用离散图形处理器。作为又一个实施例，可以由通用处理器（包含多核处理器）来实现图形功能。

在本说明书中提及的“一个实施例”或“实施例”意味的是，结合该实施例描述的特征、结构或特点被包含在本发明内所涵盖的至少一个实现方式中。因此，术语“一个实施例”或“在实施例中”的出现不是必须指相同的实施例。此外，可以以不同于所说明的特定实施例的其它合适形式来指定特定特征、结构或特点，并且所有此类形式可以被涵盖在本申请的权利要求书内。

尽管已经相对于有限数量的实施例描述了本发明，但是本领域的技术人员将了解来自该实施例的许多修改和变型。旨在的是，当落入本发明的真实精神和范围内时，所附权利要求书覆盖所有此类修改和变型。

Claims

1.一种改变视频大小的方法，包括：

将第一帧的边缘与第二帧的边缘进行比较；

基于所述比较，确定所述第二帧的像素的行或列的能量；

确定是否存在场景变化；

如果存在场景变化，则基于所述能量来选择列或行；以及

使用所选择的行或列来改变所述第二帧的大小，

其中改变大小包括使用所选择的列来创建增加的列，

其中创建增加的列包括创建两个列以替换每个所选择的列，对于所创建的两个列的像素值是所述第二帧的所选择的列的像素值与相邻列的像素值的平均值。

2.根据权利要求1所述的方法，还包括：对于视频序列的每个另外的帧来重复进行捕获、检测、比较、确定和改变大小。

3.根据权利要求1所述的方法，还包括：将改变大小的帧发送给视频显示设备。

4.根据权利要求1所述的方法，其中改变大小包括删除列。

5.根据权利要求1所述的方法，其中确定能量包括：确定对于列中的每个像素的在所述第一帧和所述第二帧的边缘之间的能量差的绝对值，以及对于在单个列中的具有像素的每个边缘增加所确定的绝对值。

6.根据权利要求1所述的方法，其中选择包含选择具有较低能量的行或列。

7.根据权利要求1所述的方法，包含：如果没有场景变化，则对于另一个迭代来提高能量。

8.根据权利要求1所述的方法，包含：连续选择较高的能量行或列直到已经选择了所需数量的行或列。

9.一个或多个存储指令的非短暂性的计算机可读介质，所述指令使得处理器执行包括以下的序列：

将第一帧的边缘与第二帧的边缘进行比较；

基于所述比较，确定所述第二帧的像素的行或列的能量；

确定是否存在场景变化；

如果存在场景变化，则基于所述能量来选择列或行；以及

使用所选择的行或列来改变所述第二帧的大小，

其中改变大小包括使用所选择的列来创建增加的列，

10.根据权利要求9所述的介质，所述序列还包括：对于视频序列的每个另外的帧来重复进行捕获、检测、比较、确定和改变大小。

11.根据权利要求9所述的介质，所述序列还包括：将改变大小的帧发送给视频显示设备。

12.根据权利要求9所述的介质，其中改变大小包括删除列。

13.根据权利要求9所述的介质，其中确定能量包括：确定对于列中的每个像素的在所述第一帧和所述第二帧的边缘之间的能量差的绝对值，以及对于在单个列中的具有像素的每个边缘增加所确定的绝对值。

14.根据权利要求9所述的介质，其中选择包含选择具有较低能量的行或列。

15.根据权利要求9所述的介质，所述序列包含：如果没有场景变化，则对于另一个迭代来提高能量。

16.根据权利要求9所述的介质，所述序列包含：连续选择较高的能量行或列直到已经选择了所需数量的行或列。

17.一种改变视频大小的装置包括：

处理器，其用于将第一帧的边缘与第二帧的边缘进行比较；基于该比较确定所述第二帧的像素的行或列的能量；确定是否存在场景变化；如果存在场景变化则基于它们的能量来选择列或行；使用所选择的行或列来改变所述第二帧的大小；以及

耦合到所述处理器的存储器，

其中改变大小包括使用所选择的列来创建增加的列，

18.根据权利要求17所述的装置，包含操作系统。

19.根据权利要求17所述的装置，包含电池。

20.根据权利要求17所述的装置，包含固件和用于更新所述固件的模块。

21.根据权利要求17所述的装置，所述处理器选择具有较低能量的行或列。

22.根据权利要求17所述的装置，如果没有场景变化，则所述处理器对于另一个迭代来提高能量。

23.根据权利要求17所述的装置，所述处理器连续选择较高的能量行或列直到已经选择了所需数量的行或列。

24.根据权利要求17所述的装置，所述处理器确定对于列中的每个像素的在所述第一帧和所述第二帧的边缘之间的能量差的绝对值，以及对于在单个列中的具有像素的每个边缘增加所确定的绝对值。

25.一种改变视频大小的装置，包括：

用于将第一帧的边缘与第二帧的边缘进行比较的部件；

用于基于所述比较确定所述第二帧的像素的行或列的能量的部件；

用于确定是否存在场景变化的部件；

用于如果存在场景变化则基于所述能量来选择列或行的部件；以及

用于使用所选择的行或列来改变所述第二帧的大小的部件，

其中用于改变大小的部件包括用于使用所选择的列来创建增加的列的部件，

其中用于创建增加的列的部件包括用于创建两个列以替换每个所选择的列的部件，对于所创建的两个列的像素值是所述第二帧的所选择的列的像素值与相邻列的像素值的平均值。

26.根据权利要求25所述的装置，还包括用于对于视频序列的每个另外的帧来重复进行捕获、检测、比较、确定和改变大小的部件。

27.根据权利要求25所述的装置，还包括用于将改变大小的帧发送给视频显示设备的部件。

28.根据权利要求25所述的装置，其中用于改变大小的部件包括用于删除列的部件。

29.根据权利要求25所述的装置，其中用于确定能量的部件包括用于确定对于列中的每个像素的在所述第一帧和所述第二帧的边缘之间的能量差的绝对值，以及对于在单个列中的具有像素的每个边缘增加所确定的绝对值的部件。

30.根据权利要求25所述的装置，其中用于选择的部件包含用于选择具有较低能量的行或列的部件。

31.根据权利要求25所述的装置，包含如果没有场景变化则对于另一个迭代来提高能量的部件。

32.根据权利要求25所述的装置，包含用于连续选择较高的能量行或列直到已经选择了所需数量的行或列的部件。