CN104813361B - 感知内容的视频尺寸调整 - Google Patents

Abstract

描述了感知内容的视频尺寸调整。在一个示例中，在视频帧的像素值上完成边缘检测。比较边缘，并基于该比较帧针对第二帧的像素的线确定能量。选择低能量线，并且使用选定的线来调整帧的尺寸。所述线与行或列相对应，并且调整尺寸可以通过添加或移除列或通过添加或移除行来完成。

Description

感知内容的视频尺寸调整

技术领域

本描述涉及调整视频的尺寸以适应不同的高宽比，并且特别是涉及使用对视频的内容的感知来调整尺寸。

背景技术

视频的产生和公布继续增加，这是因为视频摄像机变得较不昂贵并且视频托管和分发服务继续扩展。同时，存在消费视频的很多不同的设备。屏幕分辨率和高宽比在不同的设备当中广泛地变化，并且常常不与视频分辨率和屏幕尺寸相关。

为了在具有不同分辨率和高宽比的屏幕上显示视频，常常使用简单的算法来拉伸或压缩视频以适合屏幕。然而，由这些变化引起的失真可能使视频变得观看起来令人不满意。更频繁地，使用柱或条，使得视频可以以其原始格式显示在屏幕上。这也可能观看起来令人不满意，给出屏幕没有被充分使用的印象。具有480条线的视频如果在1080线显示器的480条线上显示将显得非常小。即使线(和列)加倍，视频也将只填充960条线，在围绕视频的屏幕上产生明显的边界。

附图说明

在附图的图中作为示例而不是作为限制示出了本发明的实施例，其中相似的附图标记表示相似的元件。

图1是根据本发明的实施例的无线计算连续统一体的使用模型的框图。

图2是根据本发明的实施例的计算连续统一体的基于云的使用模型的框图。

图3-1是原始源视频帧的图。

图3-2是使用线性插值的原始源视频帧的拉伸版本的图。

图4-1是图3-1的原始源视频帧的图。

图4-2是根据本发明的实施例的原始源视频帧的拉伸版本的图。

图5是根据本发明的实施例的具有从便携式计算机到其它设备的视频分布的无线计算连续统一体的使用模型的框图。

图6是根据本发明的实施例的具有从服务器到其它设备的视频分布的计算连续统一体的基于云的使用模型的框图。

图7是根据本发明的实施例的感知内容的调整视频尺寸的过程流程图。

图8是根据本发明的实施例的确定视频高宽比调节的框图。

图9是在边缘检测中使用的Sobel内核的表。

图10-1是第二原始源视频帧的图。

图10-2是根据本发明的实施例的图10-1的视频帧的检测边缘的图。

图10-3是根据本发明的实施例的之前的视频帧与图10-2的视频帧的检测的边缘比较的图。

图11-1是图10-1的第二原始源视频帧的图。

图11-2是根据本发明的实施例的图10-2的视频帧的边缘的计算的能量的图。

图12-1是根据本发明的实施例的选定列的过程列表。

图12-2是根据本发明的实施例的基于之前的过程列表来调节列能量的图。

图13-1是第三原始源视频帧的图。

图13-2是使用线性插值的原始源视频帧的拉伸版本的图。

图13-3是根据本发明的实施例的原始源视频帧的拉伸版本的图。

图13-4是根据本发明的实施例的使用基于先前过程列表调节的列能量的原始源视频帧的拉伸版本的图。

图14是根据本发明的实施例的基于选定列来调节列能量的图。

图15是根据本发明的实施例的使用选定列来创建两个新列的图。

图16-1是第四原始源视频帧的图。

图16-2是使用线性插值的图16-1的原始源视频帧的拉伸版本的图。

图16-3是根据本发明的实施例的使用经调节的列能量值的图16-1的原始源视频帧的拉伸版本的图。

图17是适合于与本发明的实施例一起使用的计算机系统的框图。

具体实施方式

计算机连续统一体使用模型广泛用于在不同的设备之间共享信息(例如，图像和视频)。所述模型适用于例如，用于无线显示的本地共享，以及适用于基于云的远程共享。图1示出了计算连续统一体的本地场景。便携式计算机10通过无线连接11连接到不同的设备。目前公共无线连接包括蓝牙和WiFi。然而，可以存在包括WiDi的很多其它专用和标准化显示连接。如所示出的，便携式计算机可以连接到智能电话12、平板计算机、电子阅读器、或媒体播放器16、电视机14和可以是便携式的或固定的其它计算机18、桌面计算机、工作站或终端设备。

使用模型和视频分布不限于所示设备，并可以包括摄像机、媒体服务器、有线或无线接收器、媒体播放器和其它设备。这些连接中的任一个或多个可以利用有线连接(例如，以太网、HDMI(高清多媒体接口)、USB(通用串行总线)或Thunderbolt)来代替。便携式计算机将视频传送到任一个或多个设备，其中每个设备可以具有不同的屏幕分辨率和高宽比。目前，智能电话和便携式手持媒体播放器以很多不同的屏幕分辨率和高宽比出现。平板计算机类似地以很多不同的屏幕分辨率和高宽比出现。电视机看起来集中在16:9高宽比上，但被考虑提供720p、1080p和4K与8K电视机。计算机看起来目前集中在三个不同的高宽比上，但在那三个高宽比内存在从1024x768到2560x1440的很多不同的分辨率。然而，在2880x1800下引入较高的像素密度监视器，其可以改变计算机屏幕在未来如何被配置。虽然便携式计算机被示为将视频发送到其它设备，但是其它设备中的任一个可以将视频传送到其它设备中的任一个或多个。

图2示出了类似的场景，其中在设备之间的连接通过云。服务器20将视频发送到智能电话22、平板计算机、电子阅读器、或媒体播放器26、桌面计算机24和便携式计算机28。如在图1中的，可以使用更多或更少的设备，并且可以使用更多或不同类型的设备，包括电视机和互联网媒体接收器或流式传送器。然而，在这个云连接使用模型中，虽然箭头21表示视频的分发，但是数据不是直接地而是通过云23被发送。服务器20表示远程服务器，例如，托管内容的网站、在公司内联网内的服务器、或设备可以连接到其以获得内容的任何其它类型的远程服务器。

目前，较少考虑调整计算机连续统一体使用模型的尺寸。虽然调整尺寸可以提供更好的用户体验，但是在大部分情况下，源图片和帧被传输到远程设备，而不考虑目标设备的分辨率和屏幕高宽比。目标设备可以调整视频的尺寸或简单地在柱框或字母框内显示视频以补偿差异。

当发送设备不适应目标设备中的屏幕高宽比差异时，线性插值一般用于执行实时图像或视频尺寸调整。线性插值是常用的，因为它容易实现。在其它实现中，使用seam曲线方法，然而这需要相当多的处理资源并产生其它伪像。如果在目标设备上的显示器的宽度与高度的比率与内容的原始高宽比不同(例如，从4:3到16:9)，则在每个视频帧中的内容被拉伸，使得用户可以使用全屏模式来播放内容。类似地，对于在标准宽度设备上的宽屏视频，视频的宽度可以通过线性插值来缩短。然而，通过使用线性插值算法来拉伸在每个帧中的所有内容，内容将失真。这可以引起终端用户的差的用户体验。

在图3-1和3-2中示出了线性插值的失真的示例。在图3-1中，原始源视频具有4:3高宽比。在图3-2中，使用线性插值将视频拉伸到16:9高宽比。在这个示例中，这个视频帧的最重要的内容是歌手31。终端用户可以容易地检测通过简单地使用线性插值拉伸视频而引起的图像失真。作为调整尺寸后的帧的结果，歌手的脸32明显比它应该有的更宽。这消极地影响用户体验。类似地，如果视频被压缩用于更窄的显示，则歌手的脸将太窄。

在本发明的实施例中，拉伸的图像更好，因为在图像中的最重要的内容的高宽比被维持为接近自然高宽比。这减小了在图像的重要部分中的失真，并提供了更好的用户体验。

图4-1示出了如在图3-1中的原始视频，而图4-2示出了使用更好的方法拉伸的视频的拉伸版本。如可以看到的，歌手的头44在拉伸的视频中不比在原始视频42中更宽，但背景图像被拉伸。例如，在原始视频中的左边被圈住的星星46在拉伸视频中不再是圆的48，并且在右边的文本“Talent”38在拉伸视频中也更宽40。虽然歌手的右肩膀49在图4-2中被拉伸，但是这一般不令人分心，只要歌手的头和脸出现为正常的。

在本发明的实施例中，可以实时地调整视频内容的尺寸。调整尺寸可以在计算连续统一体和云连续统一体中以及在其它使用模型中实现。作为结果，当共享内容、针对计算机连续统一体创建新使用模型时，提高了用户体验。

如图1所示的，当前的计算机连续统一体使用模型将原始原封不动的源帧直接发送11到接收器12、14、16、18，而没有对目标设备的分辨率和屏幕比进行适应。这可以在目标设备处导致失真、字母加框、柱加框和其它负面效应。

图5的增强使用模型允许内容发送器首先从接收设备接收57屏幕分辨率、屏幕高宽比信息和其它相关信息。其次，发送器根据目标设备的配置例如通过实时感知内容调整尺寸来相应地使视频适应55。第三，调整尺寸后的帧使用更适当的视频帧被发送51到目标设备，以减小失真并提高观看体验。

图5示出了具有到一个或多个接收器(例如，智能电话52、平板计算机56、电视机54和计算机58)的有线或无线连接的视频发送器50。接收器能够将配置信息57发送到发送器，并且发送器然后可以在将视频发送51到每个设备之前调整55视频的尺寸。每个设备可以接收不同的视频流，这取决于其配置。如在图1的示例中的，可以存在一个或很多接收器，并且仅出于说明目的来提供所示出的接收器的类型。

类似地在图6中，服务器60通过云63耦合到设备。设备(例如，智能电话或便携式媒体播放器62、计算机64、平板计算机66和便携式计算机68)发送包括显示信息(例如，分辨率和高宽比)的对视频67的请求。服务器针对每个设备调整65视频帧的尺寸，并将视频发送61到每个设备用于通过云在它的屏幕上显示。

在图5和图6中，分辨率和高宽比信息被显示为基于显示器而从请求视频的设备被接收到，所述设备与显示器一起如所示出的进行配置或连接。可选地，所述信息可以存储在用于由发送器取回的另一位置或它可以存储在发送器处。在一个示例中，特定的用户ID可以与特定的设备相关联，使得发送器使用用户ID来确定显示器的特性。在另一示例中，账户号码或类型可以与特定的设备相关联。类似地，不是接收设备发送其显示器的规格，它本身可以按照模型号或模型组或行来进行识别。发送设备可以接着将识别信息应用于表以确定优选的视频分辨率和高宽比。分辨率和高宽比可以被发送作为像素的比、作为特定的数据，或在特定的类型内被编码。例如，位码01可以表示QVGA，位码10可以表示WQVGA，位码11可以表示HVGA，等等。

虽然在调整源视频的尺寸和然后将它发送到接收设备的上下文中描述了上述技术，但类似的技术可以应用于首先接收源视频并然后在显示设备或耦合到显示设备的接收器处调整源视频的尺寸。在这种情况下，不是将分辨率或高宽比信息发送到视频源，而是它从视频源被接收。图7和图8的操作然后在接收设备处而不是在发送设备处被执行。发送设备可以被配置为根据所接收的视频来确定所接收的视频的分辨率和高宽比，而不存在来自包含这个信息的发送设备的单独通信。在图7和图8中描述的相同过程可以接着在接收设备处被执行。作为另一可选方案，在视频源和显示设备之间的中间设备可以用于调整视频的尺寸。分辨率和高宽比的传递可以直接与中间设备进行，或它可以如在图5和6中所示的进行，并且然后发送设备可以将编译信息发送到中间设备。

当视频的高宽比(宽度/高度)在源视频和目标设备之间不同时，在本文中描述的调整尺寸减小了由线性插值引起的失真。如下面描述的，当在不同的设备之间改变高宽比时，对重要内容做出了较少的改变。图7是根据本发明的实施例的用于调整视频的尺寸的过程流程图。

当从另一设备接收到对视频的请求时，过程开始700并接着在702分析源视频和目标屏幕的高宽比。这在图8中被更详细地描述。基于这个分析，发送器将从原始视频添加或删除列或添加或删除行或这两者，以符合目标屏幕的高宽比。行和列二者在本文都可以被称为线。在所述示例中，254个列将被添加以转换在640:480像素下的4:3视频用于在854:480下的16:9屏幕上显示。相同的技术可以应用于添加行和删除行和列。如果目标设备分辨率是1920:1080而不是854:480，则源视频也可以在它被发送之前被放大缩放。可替代地，目标设备可以使视频放大。

在704，在确定如何调节视频之后，捕获来自视频的帧。边缘检测被应用于在704捕获的帧，并且然后所捕获的边缘与前面的帧的边缘检测相比较。如果这是第一帧，则没有边缘比较从前面的帧可以得到。可以跳过边缘比较或可以捕获下一帧，检测边缘并且做出边缘比较。在这种情况下，边缘比较结果对于前两个帧将是相同的。

可以使用各种不同的边缘检测技术中的任一种。Sobel内核边缘检测使用几个处理资源并且可以被快速执行。Soble内核也内在地消除一些噪声。可以替代地使用各种不同的边缘检测技术中的任一种，包括Prewitt罗盘边缘检测器和Roberts交叉算子。在一些情况下，视频压缩技术可以包括可以代替或除了Sobel内核以外被使用的边缘检测信息。

图9示出了可以应用于视频帧的一对3x3Sobel卷积内核91、92的示例。第二内核92与第一内核91相同，但逆时针旋转90°。内核的每个都被应用于输入图像的像素以确定在垂直方向上的梯度分量。梯度分量被组合以找到与边缘相对应的梯度的绝对幅值。

使用来自两个相关帧的所检测的边缘，可以将边缘比较例如为|E1-E2|，其中E1是当前帧的边缘检测结果，以及E2是上一个帧的边缘检测结果。边缘比较有效地跟踪在帧之间的视频中的运动或变化。高运动的这些区域往往是用户聚焦的区域。因此，存在视频的重要区域，其中失真是最令人不快的。

图10-1示出了示例4:3视频帧，歌手94将麦克风保持在背景的前方。图10-2示出了同一视频帧的边缘检测结果。图10-3示出了在图10-2和同一场景的前面的视频帧的边缘检测之间的边缘比较结果。绘图被呈现为结果的近似，并且像所有的本文的视频帧和视频计算的图一样不是完整的也没有被充分详述。呈现它们的绘图以便帮助理解，并且与实际视频帧和实际结果相比所述绘图被极大地简化了。去除了细节，以便按比例缩小附图，并允许它们是可读的和可复制的。

图10-2示出了所检测的边缘与绘制在图10-1中的视频图像的表示的线的可见细节相对应。对于与图10-1相对应的实际的视频帧，将存在未在绘图中示出的颜色变化、遮蔽、亮度对比度和其它细节以便简化附图。图10-3示出了在视频帧的每个像素处绘制的边缘比较结果。像素示出了图10-2的每一个所检测的边缘与类似的前面的帧(未示出)的每个所检测的边缘的边缘比较的结果。图10-3的特征指示图10-1的歌手94从一个帧移动到下一帧，而背景95和识别96没有移动。

虽然边缘比较对连续场景的帧的序列是有效的，但是当存在场景的变化时，边缘比较不是有效的。在场景的变化或摄像机视野的变化中，边缘将急剧地移动到帧的不同部分。然而，在同一场景或同一摄像机视野的第二帧中，边缘将再次排齐。因此，边缘比较只对每个场景的第一帧失败。给出每秒24、30、60或更多个帧的一般视频帧速率，当改变视频时失真的单个帧将不容易被注意到。如果不存在所检测的边缘或如果所检测的边缘相隔非常远，则该过程可以默认为简单的线性插值。

在708可以使用边缘比较的结果来针对每个像素计算能量。图11-1示出了与图10-1中相同的视频帧，并且图11-2示出了与视频帧的每列相关联的能量。图11-2是以柱状图的形式的曲线图，其示出了在水平轴上的每列的垂直轴上的能量幅值。柱状图的水平轴在与图11-1的视频帧相同的标度上。这示出了最高能量在歌手94周围。背景95和标题96具有非常低的能量。这再次被预期，因为在所示出的视频帧的简单场景中，歌手比背景移动得更多。

边缘比较结果可以用于计算每列的能量。在简单的示例中，可以使用边缘比较的绝对值，使得对于每个像素Ei,j＝|E1_i,j-E2_i,j|，其中i和j指示相应像素的行和列。为了计算行的能量，可以简单地加上在列中的每个像素的E_i,j值。这可以在数学上被表示为如下在列j中从i＝0到“高度”的所有像素的和：

f(j)＝∑_i＝0 ^高度f(i,j) 方程1

其中f(j)是列j的能量，f(i,j)是行i、列j的像素值(被指示为上面的E_i,j)，并且高度是在视频帧中的最大行或顶行。

在712可以在选择要拉伸或扩展的列的操作中直接使用在方程1中确定的能量值。可选地，在710，可以基于先前的能量值确定来可选地调节所计算的能量值。在712调节减小可能通过频繁地改变所选择的列而引起的可能的视频抖动。为了防止视频抖动，能量调节操作减小了不同的列在每个帧中被选择的机会。它添加阻止变化的一类存储器或动量。作为结果，在一个帧中的选定列往往被选择用于下一帧。

作为示例，如果在帧1中列S被选择并在调整尺寸期间被拉伸，则在帧2中列S将也可能被选择。否则，存在用户看到一些视频抖动的高可能性。为了增加选择同一列的机会，使用上一帧的过程列表来调节在块708针对列确定的能量。

过程列表是被选择用于拉伸的列的列表。如在图12-1中所示的，过程列表120可以简单地是以前选择的列的列表。图12-1是过程列表的一部分的图，其示出了列M、N和S被选择以及至少列O、P、Q和R在前面的帧中未被选择被拉伸。这可以被存储为利用来自视频序列的帧号来进行识别的表中的行。

图12-2是用于示出前面的帧的过程列表可以如何用于调节当前帧的列的能量的图。过程列表120用于识别在能量列表122中的列。能量列表是在块708中每列的所计算的能量值的列表。如所示，所述过程列表被应用于能量列表，并且对于在能量列表中出现的每列，能量被向下调节。作为列N的示例，3400的能量值被向下调节到1700。对于列S，能量值从6000被向下调节到3000。0.5的调节因子被应用于每个值。其它列未受影响，因为它们不出现在前面的帧的过程列表上。

操作可以在数学上被表示如下：

如果列i在前面的过程列表中，则En(i)＝速率x E0(i)，

否则E0(i) 方程2

其中En(i)是在能量被调节之后当前帧的列i的新能量，E0(i)是在能量被调节之前当前帧的列i的原始能量，以及速率是用于将能量调节到较低值的值。速率的值可以凭经验来确定并对不同类型的编程不同。速率可以在一个范围内，例如在很多类型的视频节目中在0.3和0.7之间。该值越低，系统就越容易选择不同的列。

在710使用经调节的能量值，在712调整尺寸的发送器可以找到具有最低能量值的一列。这个列可以是具有边缘移动的最小量的列，使用前面的帧过程列表来经受调节。各种不同的技术中的任一种可以用于找到最低值。在一个示例中，堆分类用于得到能量地图的最小值。在做出选择之后，选定的列被加到过程列表。

在712选择过程将重复，只要在716更多的列或行需要达到预期数量的列。在当前的示例中，254列将被加到帧，以将它从640列调整尺寸到854。为了添加254列，帧的254列被选择，并且它们被加倍以形成额外的254列。将存在未被选择的386列。

在718作为另一可选的操作，在每列在712被选择并添加到列表之后，在712选择另一列之前，在718进行进一步的能量调节。简言之，基于选定的列来调节能量图以减小将同一列添加到过程列表两次的可能性并减小选择紧靠选定列的列的可能性。因为每个拉伸破坏帧内容，所以最好避免拉伸相邻的或邻近的连续列。这可以在图13-1、图13-2、图13-3和图13-4中被看到。

图13-1表示视频序列的原始的、未修改的4:3帧。图13-2示出了使用简单的线性插值的同一帧。如在之前示例中的，讲话者的头130-1对于使用线性插值明显太宽130-2，并且外观是令人不愉快和不自然的。在图13-3中，图13-1的帧被拉伸，而不存在对能量的任何调节，如在块718中，但具有基于如在块710中的前面的帧的过程列表的能量调节。在图13-3中，讲话者的头130-3看起来自然，然而，因为左臂132-1不移动，所以它越过连续列被拉伸132-3。讲话者的左肩膀和臂比图13-1的源帧宽得多。这对观看者而言也是令人不愉快的。在图13-4中，调节能量列表。调节紧接每个选定列的列的能量值。这意味着一些调节被应用于讲话者的头130-4和右臂及肩膀132-4。虽然讲话者的头比在原始帧中更宽，但是影响比线性插值更小并且看起来更自然，同时仍然填充较宽的高宽比。

在718能量调节考虑选定列，并然后按比例缩放在选定列的任一侧上的列的能量。这减小了相邻列也将被选择的机会。然而，如果其它列的能量仍然高，则相邻列仍可以被选择。它们的选择的可能性可以由缩放因子调节。

在图14中图示出了能量调节。值的顶行142表示当前帧的能量值列表。在这个示例中，在块712针对具有能量值f(i)的过程列表选择列i，f(i)的能量值是其余列的最低能量值。因此，在左列i-1上的列的能量和在选定列的右边的列i+1的能量升高到较高的值。这减小了它们也被选择用于拉伸的机会。可以简单地通过使现有的值f(i-1)、f(i+1)乘以缩放因子或比率来确定较高的值。在1.5到2.0的范围内的因子被发现适合于作为速率。缩放因子越大，分布在整个帧中的列选择就越多。在修改的能量表144中示出了更高的值。

能量调节可以在数学上表示如下：

f(i-1)＝f(i-1)+速率x f(i)

f(i+1)＝f(i+1)+速率x f(i) 方程4

其中i是待拉伸的列，f(i)是列的能量，f(i-1)和f(i+1)是与列i相邻的列的能量，并且速率是用于增加相邻列的能量的加权因子。

在716选择足够的列之后，然后在720，选定的列针对当前的示例被分成两列或更多列，或如果替代地，调整尺寸的帧更小，则可以删除该列。这在下面被更详细地描述。在一个示例中，将列转换成两列。列的每个像素的像素值是在选定列和任一侧上的列之间进行平均的。如果需要，可以使用更复杂的平均、内插、或像素估计技术。

可以如下进一步描述拉伸过程的一个示例。首先，从当前帧的过程列表选择选定的列。该列用于产生两列。如果选定的列是列M，则占据它的位置的两个新列可以被称为M’和M”。

如果M’在M”的左边，则M’的像素值可以被取为使用列L的像素值调节的原始M列的像素值，或如图15所示紧接着在列M右边的M-1的像素值。调节像素值的简单方式是使用相邻像素值的平均作为调节。这可以在数学上显示如下：

f(M′，y)＝0.5(f(M-1,y)+f(M,y))

f(M",y)＝0.5(f[M+1,y)+f(M,y)) 方程3

其中f(M′，y)和f(M″，y)是在新图片行y中的像素值，列M’和列M”是从列M得到的两个新列，列M-1是在列M左边的列，例如，列L，而列M+1是在列M右边的列，例如，列N。虽然方程3示出了平均值，但是平均值可以被加权，使得原始值更重要。例如f(M′y)＝0.4f(M-1，y)+0.6Ff(M，y)使用60/40加权，强调在相邻值之上的原始值。作为另一可选方案，可以使用其它技术，从而基于在同一帧中或在之前和后面的帧中的额外附近的像素来确定像素值。确定在最新创建的列中的像素值的特定方法可以配合于适应复杂性和视频类型的不同实现。

如在图15中所示的，过程列表120被应用于当前视频帧，以便通过创建两列像素来代替一列来拉伸图片，在这种情况下是列M。如在当前帧的像素值的表126中看到的，列M在列的特定部分中具有值20、10和130。左边的列M-1具有100、50、130的值，而右边的列M+1具有值200和70。在拉伸的视频帧像素表128中，列M由被标为M’、M”的两列代替。像素值是列M值与在任一侧上的值的平均值。所以，例如对于M’，20和100的平均值是60。60代替100作为显示在图15的图中示出的顶部像素的像素值。类似地，对于M”，20和100的平均值是110。110成为图15的拉伸图像128的列M”中的顶部像素的像素值。

可以注意到，考虑到原始源帧126的三列的像素值的顶行，列M与相邻列有大变化。在表126中原始行序列是100、20、200。在拉伸的视频帧128中，序列是100、60、110、200。作为结果，像素值20的列M的信息由相邻像素值削弱。这产生额外的列的平滑过渡，但关于值的变化的信息被丢失。换句话说，在图像中的这个边缘将变得柔和。因为这个信息不是关于移动的边缘的，所以信息的损失将对观看者而言较不明显。在718在每个列选择之后执行的能量调节通过减小将被平均用于拉伸的相邻行的数量来减少由像素值的平均引起的数据的损失。作为在图14中图示出的和在方程3中示出的过程的可选方案，选定的列可以简单地被复制。不是具有平均值的两列，然后存在与原始选定列20、10、130相同的像素值的两列。

在本公开中，像素值被称为具有单个数值，例如，100、20或200。像素值以这种方式被提到，以便简化描述。在本文提到的像素值是在由行和列定义的图像中的特定位置处的亮度。虽然一些类型的视频序列可以具有每个像素的单个值，但是一般可以存在与RGB、YUV或某个其它类型的颜色系统相对应的多个值。像素值可以在空间或时间中与相邻像素值组合以支持某个类型的视频压缩，包括交织。因此，如在本文使用的特定像素的值可以指在特定的行或列处的单个分量，或它可以指具有2、3或4个颜色分量的值，这取决于源视频的本质。

在720在过程列表120中的所有选定列被拉伸之后，在722图7的过程将调整尺寸的视频帧发送到接收显示设备58、68。在724如果这不是视频的末尾，则在726过程列表被清除并被存储用于在下一视频帧中使用，并且在704新视频帧被捕获用于处理。如果它是视频的最后一个帧，则在730过程结束。

参考图8，存在使源视频与目标高宽比匹配的至少两种方式。例如，如果原始视频具有小于目标比率的宽高比，则原始视频可以通过添加更多的列或通过删除行来被调整尺寸。附图示出了如何确定线是否被添加或删除以及那些线是行还是列。例如，考虑(640:480)(高宽比4:3)的视频，其将被调整尺寸到16:9的高宽比。它可以被改变为添加有254列的(854:480)的尺寸，或被改变为删除了120行的尺寸(640:360)。另一方面，为了将具有16:9的高宽比的视频转换成4:3，任一行可以被添加或列可以被删除。通过首先分析要调整尺寸的方式，最重要的信息可以被保护免受损失。

图8示出了在702用于确定在发送到接收设备之前如何调整视频的尺寸的过程。在810，发送器接收目标分辨率和高宽比。在812，源视频的分辨率和高宽比与目标设备的分辨率和高宽比进行比较。如果它较小，则确定被添加以调整目标设备的源或原始视频的尺寸的列和行的数量。

在814，需要针对目标设备添加的列的数量Na与需要被添加的行的数量Nd比较。行的数量由因子r1加权，然而在直接比较中，可选地，代替或除了对行的数量加权以外，可以对列的数量加权。加权因子使比较偏向于添加列而不是删除行。因子是基于被考虑为更令人愉快的人类感知的实验研究的。如果在814，列的数量小于行的加权数量，则在818，确定列将被添加。如果在814待添加的列的数量大于待删除的行的数量，则将确定行应被删除。该比较是确定如何通过做出最小的变化来对原始视频做出最小的变化。如果这两个数字接近，则加权因子将使决定偏向于添加而不是删除。

类似地，如果在812原始视频大于目标视频，则必须被删除的行的数量Ma在820与必须被添加的列的数量Md比较。如在814，行的数量由因子r2加权，以补偿人类感知。如果行的加权数量较大，则在822确定在822删除列。类似地，列的数量较大，则在824确定添加行。

加权因子可以用多种不同的方式确定，并可以反映删除行的失真Dr1与添加列的失真Dc1的比较。可以通过观察和测量来确定失真值。加权因子r1可以接着被表示为比率Dr1/Dr2。该因子可以被缩放以实现期望的结果。类似地，用于添加行和删除列的加权因子r2可以被确定为添加行与删除列比较的失真的比率Dr2/Dc2。

每当视频请求被接收到时或每当源视频以不同的格式被接收到时，可以执行图8的操作。可选地，像图8中所示出的过程的结果可以存储在查找表中。最普通的视频格式和显示设备格式可以存储在查找表中，使得每当发送器利用这些普通格式进行呈现时，待添加或删除的列或行的数量可以被快速确定。例如，从4:3VGA分辨率到16:9WVGA分辨率的转换表示普通高宽比，并且添加254行的结果可以存储在查找表中。这允许发送器更快地行动。发送器可以排他地使用查找表并呈现最好的匹配，或它可以针对共同场景使用查找表并然后针对特殊情况应用过程，例如图8的过程。

如所描述的，通过在内容被共享之前将尺寸调整为目标设备配置来增强计算连续统一体使用模型。上面描述的技术允许实时感知内容的视频调整尺寸，同时减小如出现在基于seam曲线的方法中的视频抖动的可能性，并减小由基于seam曲线的方法引起的伪像。

上述技术使用内容分析以用于调整视频尺寸。这允许更重要的内容比背景内容调整得更少。这以较低时间复杂性完成，这允许实时调整尺寸处理在消费者级设备上实现。内容还通过根据上一个帧的过程列表调节能量确定来进行分析。这在调整尺寸之后有效地减少视频抖动，这在seam曲线方法中是常用的。此外，能量可以基于被添加到当前帧中的处理列表的行或列来进行调节。这可以有效地消除伪像。在图像的仅仅一个不同部分上的太大的拉伸能够容易地产生伪像。

图16-1示出了具有讲话者162-1和背景163-1的以原始4:3格式的另一视频帧161。当视频帧在图16-2中使用线性插值被拉伸以再现较宽的帧164时，讲话者162-2也与看起来不自然的背景163-2一起拉伸。使用如在图16-3中的上面描述的技术，讲话者162-3看起来更自然得多。通过拉伸非移动或静态背景元素163-3来填充帧。

图17是适合于充当如上所述的发送器、接收器、或中间设备的计算系统(例如，个人计算机、游戏控制台、智能电话或便携式游戏设备)的框图。计算机系统900可以指电子设备的很多示例，并可以没有限制地包括移动设备、个人数字助理、移动计算设备、智能电话、蜂窝电话、手持装置、单向寻呼机、双向寻呼机、消息发送设备、计算机、个人计算机(PC)、桌面计算机、膝上型计算机、笔记本计算机、手持计算机、平板计算机、服务器、服务器阵列或服务器农场、环球网服务器、网络服务器、互联网服务器、工作站、小型计算机、大型计算机、超级计算机、网络电器、环球网电器、分布式计算机系统、多处理器系统、基于处理器的系统、消费电子设备、可编程消费电子设备、电视机、数字电视机、机顶盒、无线接入点、基站、用户站、移动用户中心、无线网络控制器、路由器、集线器、网关、桥、交换机、机器、或其组合。

计算机系统900包括总线或用于传递信息的其它通信装置901以及处理装置，例如与总线901耦合用于处理信息的微处理器902。在所示示例中，处理设备在虚线内示出，而通信接口被示出为在虚线外部，然而部件的特定配置可以适合于适应不同的应用。计算机系统可以被增加有特别用于通过并行管线来再现图形的图形处理器903，和用于计算如上所述的物理交互的物理处理器905。这些处理器可以合并到中央处理器902中或被提供作为一个或多个单独的处理器。计算机系统900还包括主存储器904，例如，随机存取存储器(RAM)或耦合到总线901用于存储由处理器902执行的信息和指令的其它动态数据存储设备。主存储器也可以用于在由处理器执行指令期间存储临时变量或其它中间信息。计算机系统也可以包括非易失性存储器906，例如，只读存储器(ROM)或耦合到总线用于存储处理器的静态信息和指令的其它静态数据存储设备。

大容量存储器907(例如，磁盘、光盘、或固态阵列及其相对应的驱动器)还可以耦合到计算机系统的总线，以用于存储信息和指令。计算机系统也可以经由总线耦合到显示设备或监视器921，例如，液晶显示器(LCD)或有机发光二极管(OLED)阵列，以用于向用户显示信息。例如，除了上面讨论的各种视图和用户交互以外，安装状态、操作状态和其它信息的图形和文本指示也可以在显示设备上呈现给用户。

通常，用户输入设备922(例如，具有字母数字、功能和其它键的键盘)可以耦合到总线用于将信息和命令选择传递到处理器。额外的用户输入设备可以包括可以耦合到总线用于将方向信息和命令选择传递到处理器并控制在显示器921上的光标运动的光标控制输入设备，例如，鼠标、轨迹球、轨迹板、或光标方向键。

摄像机和麦克风阵列923耦合到总线以观察手势、记录音频和视频，并接收如上所述的视觉和音频命令。

通信接口925也耦合到总线901。通信接口可以包括调制解调器、网络接口卡、或其它公知的接口设备，例如，出于提供通信链路以支持例如局域网或广域网(LAN或WAN)的目的，用于耦合到以太网、令牌环、或其它类型的物理有线或无线附件的接口设备。以这种方式，计算机系统也可以经由包括例如内联网或互联网的常规网络基础设施耦合到多个外围设备、其它客户端、控制表面或控制台、或服务器。

比上面描述的示例配备更少或更多的系统可能对某些实现而言是优选的。因此，示例性系统900的配置将从一个实现到另一实现不同，这取决于很多因素，例如，价格约束、性能要求、技术改进、或其它情况。

实施例可以被实现为下列项中的任一个或组合：使用母板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并由微处理器执行的软件、固件、专用集成电路(ASIC)、和/或现场可编程门阵列(FPGA)。术语“逻辑”作为示例可以包括软件或硬件、和/或软件和硬件的组合。

可以例如提供实施例作为计算机程序产品，所述计算机程序产品可以包括具有其上存储的机器可执行指令的一个或多个机器可读介质，当所述指令由一个或多个机器(例如，计算机、计算机的网络或其它电子设备)执行时，可以导致一个或多个机器根据本发明的实施例来执行操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(光盘只读存储器)、以及磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪速存储器、或适合于存储机器可执行指令的其它类型的介质/机器可读介质。

而且，实施例可以被下载作为计算机程序产品，其中所述程序可以通过体现在载波或其它传播介质中和/或由载波或其它传播介质调制的一个或多个数据信号经由通信链路(例如，调制解调器和/或网络连接)从远程计算机(例如，服务器)传输到请求计算机(例如，客户端)。因此，如在本文使用的，机器可读介质可以但不必须包括这样的载波。

对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的提及指示这样描述的本发明的实施例可以包括特定的特征、结构或特性，但不是每个实施例都必须包括所述特定的特征、结构或特性。此外，一些实施例可以具有针对其它实施例描述的一些、所有特征或不具有针对其它实施例描述的特征。

在下面的描述和权利要求中，可以使用术语“耦合”连同其派生词。“耦合”用于指示两个或更多个元件彼此协作或交互，但它们可以具有或可以不具有在它们之间的中间物理或电部件。

如在权利要求中使用的，除非另有规定，描述共同的元件的顺序的形容词“第一”、“第二”、“第三”等的使用仅仅指示相似元件的不同实例被指代为并且并不是要暗示这样描述的元件必须在时间上、空间上、等级上或以任何其它方式按照给定的顺序。

下面的示例涉及另外的实施例。不同实施例的各种特征可以与被包括的一些特征和不包括的其它特征一起不同地组合以适应各种不同的应用。一些实施例涉及一种方法，其包括：捕获视频序列的第一和第二帧，该帧在行和列中具有像素值；检测第一和第二帧的像素值的边缘；比较第一帧的边缘与第二帧的边缘；基于该比较来确定第二帧的像素线的能量，所述线与行或列相对应；选择具有最低能量的线；以及使用具有低的确定能量的选定的线来调整第二帧的尺寸。

另外的实施例包括对视频序列的每个额外的帧重复捕获、检测、比较、确定、和调整尺寸。另外的实施例包括将调整尺寸的帧发送到视频显示设备。在另外的实施例中，调整尺寸包括删除线或使用所选择的线来创建额外的线。在另外的实施例中，创建额外的线包括创建两条线来代替每个选定的线，所创建的两条线的像素值是所选择的线的像素值与第二帧的相邻线的像素值的平均。在另外的实施例中，确定能量包括确定在一条线中的每个像素的第一和第二帧的边缘之间的能量中的差异的绝对值以及使在单个线中具有像素的每个边缘的所确定的绝对值相加。

另外的实施例包括将在第一帧中选择的每条线的能量减小加权因子的倍数来调节所确定的能量，或通过选择具有最低能量的第一线并将与第一线相邻的线的所确定的能量增加第二加权因子的倍数来选择线。

在一些实施例中，机器可读介质具有在其上存储的指令，所述指令在由机器操作时使机器执行操作，例如，捕获视频序列的第一和第二帧，该帧在行和列中具有像素值；检测第一和第二帧的像素值的边缘；比较第一帧的边缘与第二帧的边缘；基于该比较来确定第二帧的像素线的能量，所述线与行或列相对应；选择具有最低能量的线；以及使用具有低确定的能量的所选择的线来调整第二帧的尺寸。

操作还可以包括针对视频序列的每个额外的帧来重复捕获、检测、比较、确定和调整尺寸，或将调整尺寸的帧发送到视频显示设备，或通过将在第一帧中选择的每条线的能量减小加权因子的倍数来调节确定的能量。

在一些实施例中，一种装置包括：用于捕获视频序列的第一和第二帧的模块，该帧在行和列中具有像素值；用于检测第一和第二帧的像素值的边缘的模块；用于比较第一帧的边缘与第二帧的边缘的模块；用于基于该比较来确定第二帧的像素线的能量的模块，所述线与行或列相对应；用于选择具有最低能量的线的模块；以及用于使用具有低的确定能量的所选择的线来调整第二帧的尺寸的模块。在另外的实施例中，通过删除线或通过使用所选择的线来创建额外的线的用于调整尺寸的模块。

在一些实施例中，装置包括：存储视频序列的第一和第二帧的大容量存储设备，该帧在行和列中具有像素值；处理单元，用于检测第一和第二帧的像素值的边缘；用于比较第一帧的边缘与第二帧的边缘；用于基于该比较来确定第二帧的像素线的能量，所述线与行或列相对应；用于选择具有最低能量的线；以及用于使用具有低的确定能量的所选择的线来调整第二帧的尺寸；以及外部设备，其用于接收对调整尺寸的视频的请求并响应于该请求将调整尺寸的帧发送到视频显示设备。

在另外的实施例中，处理单元还针对视频序列的每个额外的帧重复捕获、检测、比较、确定和调整尺寸，或处理单元通过创建两条线以代替每个选定的线来调整第二帧的尺寸，所创建的两条线的像素值是所选择的线的像素值与第二帧的相邻线的像素值的平均。在另外的实施例中，确定能量包括确定在一条线中的每个像素的第一和第二帧的边缘之间的能量中的差异的绝对值，以及使在单个线中具有像素的每个边缘的所确定的绝对值相加。

另外的实施例包括通过将在第一帧中选择的每条线的能量减小加权因子的倍数来调节所确定的能量。在另外的实施例中，选择线包括选择具有最低能量的第一线以及将与第一线相邻的线的所确定的能量增加第二加权因子的倍数。

Claims (18)

1.一种用于感知内容的视频尺寸调整的方法，包括：

捕获视频序列的第一帧和第二帧，所述第一帧和所述第二帧在行和列中具有像素值；

检测所述第一帧和所述第二帧的像素值的边缘；

比较所述第一帧的所述边缘与所述第二帧的所述边缘；

基于所述比较来确定所述第二帧的像素的线的能量，所述线与行或列相对应；

通过将在所述第一帧中被选择的每条线的所述能量减小加权因子的倍数来调节所确定的能量；

选择具有最低能量的线；以及

使用所选择的具有低的确定能量的线来调整所述第二帧的尺寸。

2.如权利要求1所述的方法，还包括针对所述视频序列的每个额外的帧重复捕获、检测、比较、确定、以及调整尺寸。

3.如权利要求1或2所述的方法，还包括将被调整尺寸的帧发送到视频显示设备。

4.如权利要求1-2中的任一项所述的方法，其中，调整尺寸包括删除线。

5.如权利要求1-2中的任一项所述的方法，其中，调整尺寸包括使用所选择的线来创建额外的线。

6.如权利要求5所述的方法，其中，创建额外的线包括创建两条线来代替每个所选择的线，所创建的两条线的像素值是所选择的线的像素值与所述第二帧的相邻线的像素值的平均。

7.如权利要求1-2的中任一项所述的方法，其中，确定能量包括确定在一条线中的每个像素的所述第一帧和所述第二帧的边缘之间的能量的差异的绝对值，以及使针对每个边缘的所确定的绝对值相加，所述每个边缘是在单个线中具有像素的。

8.如权利要求1-2中的任一项所述的方法，其中，选择线包括选择具有最低能量的第一线，以及将所确定的与所述第一线相邻的线的能量增加第二加权因子的倍数。

9.一种非暂时性计算机可读介质，其包括在其上存储的指令，所述指令当由机器操作时使所述机器执行操作，所述操作包括：

捕获视频序列的第一帧和第二帧，所述第一帧和所述第二帧在行和列中具有像素值；

检测所述第一帧和所述第二帧的像素值的边缘；

比较所述第一帧的所述边缘与所述第二帧的所述边缘；

基于所述比较来确定所述第二帧的像素的线的能量，所述线与行或列相对应；

通过将在所述第一帧中被选择的每条线的所述能量减小加权因子的倍数来调节所确定的能量；

选择具有最低能量的线；以及

使用所选择的具有低的确定能量的线来调整所述第二帧的尺寸。

10.如权利要求9所述的非暂时性计算机可读介质，所述操作还包括针对所述视频序列的每个额外的帧重复捕获、检测、比较、确定、以及调整尺寸。

11.一种用于感知内容的视频尺寸调整的装置，包括：

用于捕获视频序列的第一帧和第二帧的模块，所述第一帧和所述第二帧在行和列中具有像素值；

用于检测所述第一帧和所述第二帧的像素值的边缘的模块；

用于比较所述第一帧的所述边缘与所述第二帧的所述边缘的模块；

用于基于所述比较来确定所述第二帧的像素的线的能量的模块，所述线与行或列相对应；

用于通过将在所述第一帧中被选择的每条线的所述能量减小加权因子的倍数来调节所确定的能量的模块；

用于选择具有最低能量的线的模块；以及

用于使用所选择的具有低的确定能量的线来调整所述第二帧的尺寸的模块。

12.如权利要求11所述的装置，其中，所述用于调整尺寸的模块通过删除线来调整尺寸。

13.如权利要求11或12所述的装置，其中，所述用于调整尺寸的模块通过使用所选择的线来创建额外的线来调整尺寸。

14.一种用于感知内容的视频尺寸调整的装置，包括：

大容量存储设备，其用于存储视频序列的第一帧和第二帧，所述第一帧和所述第二帧在行和列中具有像素值；

处理单元，其用于检测所述第一帧和所述第二帧的像素值的边缘；用于比较所述第一帧的所述边缘与所述第二帧的所述边缘；用于基于所述比较来确定所述第二帧的像素的线的能量，所述线与行或列相对应；用于选择具有最低能量的线；用于通过将在所述第一帧中被选择的每条线的所述能量减小加权因子的倍数来调节所确定的能量；以及用于使用所选择的具有低的确定能量的线来调整所述第二帧的尺寸；以及

外部接口，其用于接收对被调整尺寸的视频的请求并响应于所述请求将被调整尺寸的帧发送到视频显示设备。

15.如权利要求14所述的装置，其中，所述处理单元还针对所述视频序列的每个额外的帧重复捕获、检测、比较、确定、以及调整尺寸。

16.如权利要求14或15所述的装置，其中，所述处理单元通过创建两条线以代替每个所选择的线来调整所述第二帧的尺寸，所创建的两条线的像素值是所选择的线的像素值与所述第二帧的相邻线的像素值的平均。

17.如权利要求14-15中的任一项所述的装置，其中，确定能量包括确定在一条线中的每个像素的所述第一帧和所述第二帧的边缘之间的能量的差异的绝对值以及使针对每个边缘的所确定的绝对值相加，所述每个边缘是在单个线中具有像素的。

18.如权利要求14到15中的任一项所述的装置，其中，选择线包括选择具有最低能量的第一线以及将所确定的与所述第一线相邻的线的能量增加第二加权因子的倍数。