CN104937943A

CN104937943A - 视频数据

Info

Publication number: CN104937943A
Application number: CN201380069476.4A
Authority: CN
Inventors: L.比沃拉斯基
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2012-11-01
Filing date: 2013-11-01
Publication date: 2015-09-23
Also published as: US9185437B2; WO2014071097A1; EP2901704A1; US20140118562A1

Abstract

计算机程序产品和一种用于发送和接收视频数据的移动终端。由相机所捕获的视频信号的第一帧和第二帧的图像数据被用来确定所述第一帧在较低空间分辨率下的编码的第一空间单元和所述第二帧在较低空间分辨率下的编码的第二空间单元，其被发送到接收器终端。所述第二空间单元由于所述相机在所述第一帧与所述第二帧之间的旋转而与所述第一空间单元不对齐，使得所述第二空间单元中的每一个与至少一个第一空间单元部分地重叠。所述相机在所述第一帧与所述第二帧之间的旋转角度的指示使用旋转运动传感器来检测并且被发送到所述接收器终端。所述接收器终端使用所述指示来组合所述第一空间单元和所述第二空间单元以重建更高空间分辨率的图像。

Description

视频数据

背景技术

在视频信号的传输中，在发送器终端处的视频编码器接收包括要编码的“原始”视频帧的序列的输入视频数据，每个视频帧表示在相应时刻处的图像。编码器将每个输入帧编码成编码帧（例如，作为帧内帧或作为帧间帧）。编码的目的在于对视频数据进行压缩以便当通过传输介质发送或存储在存储介质上时引发较少的比特。

视频数据的每个帧可以针对该帧的相应图像区被编码成一个或多个空间单元。当视频数据已被编码并且发送到接收器终端时，接收器终端针对帧的图像区中的每一个对空间单元进行解码以从而恢复表示图像区的数据值（例如，根据YUV颜色空间方案的亮度值和色度值）。以这种方式，接收器终端能够恢复视频信号的帧。经恢复的帧可以被存储在接收器终端处，发送到另一终端或者使用接收器终端的显示器从接收器终端输出例如给接收器终端的用户。

在视频信号的传输中，在能够在接收器终端处被恢复的视频信号的质量（例如，视频信号的分辨率、帧速率以及误码率）与需要被发送的数据的量之间存在权衡。

发明内容

本发明内容被提供来以简化的形式引入在下面在具体实施方式中被进一步描述的构思的选择。本发明内容不旨在识别所要求保护的主题的关键特征或必要特征，它也不旨在被用来限制所要求保护的主题的范围。

可以在第一帧被捕获到所在的时间与第二帧被捕获到所在的时间之间（有意地或非有意地）使捕获图像数据以得到视频信号的帧的相机旋转。可以针对帧的相应图像区将视频信号的帧编码成一个或多个空间单元，所述帧的相应图像区各自由一组一个或多个数据值（例如，根据YUV颜色空间方案的亮度值和色度值）表示。相机的旋转可以使第一帧的第一空间单元与第二帧的第二空间单元至少部分地不对齐。这意味着第二空间单元中的每一个可以在空间上与至少一个第一空间单元部分地重叠。这使得接收器终端能够组合第一空间单元和第二空间单元以针对由部分重叠的第一空间单元和第二空间单元的每个不同组合所给出的每个不同图像区确定数据值。以这种方式，接收器能够重建比第一空间单元的分辨率和第二空间单元的分辨率更高的空间分辨率的图像。组合来自两个帧的图像数据以创建更高分辨率的图像的这个过程允许在接收器终端处恢复的视频数据的分辨率在无需显著增加被发送的数据的量的情况下增加，并且可以在本文中被称为“超分辨率”的过程。这通过利用相机在第一帧与第二帧之间的旋转来实现。

附图说明

为了更好地理解所描述的实施例，并且为了示出所描述的实施例如何可以被付诸实施，现将通过示例对以下附图进行参考，附图中：

图1示出了包括两个用户终端的通信系统；

图2示出了用户终端的示意图；

图3示出了发送器终端的功能框图；

图4示出了接收器终端的功能框图；

图5a是针对从发送器终端向接收器终端发送视频数据的过程的流程图；

图5b是针对在接收器终端处从发送器终端接收视频数据的过程的流程图；

图6a是示出了在第一情形下捕获第一帧的相机的图；

图6b是示出了在第一情形下捕获第二帧的相机的图；

图6c是在第一情形下第一帧和第二帧的空间单元的表示；

图7a是表示在第二情形下由相机捕获的第一帧和第二帧的图；以及

图7b是在第二情形下第一帧和第二帧的空间单元的表示。

具体实施方式

现在将仅通过示例描述各种实施例。

图1示出了包括与第一用户终端102相关联的第一用户104和与第二用户终端108相关联的第二用户110的通信系统100。在其它实施例中，通信系统100可以包括任何数目的用户和相关联的用户终端。用户终端102和用户终端108能够在通信系统100中通过网络106通信，从而允许用户104和用户110通过网络106与彼此进行通信。在一个实施例中，通信系统100是基于分组的P2P通信系统，但是还能够使用其它类型的通信系统，诸如非P2P、VoIP或IM系统。网络106例如可以是因特网或另一类型的网络，诸如电话网（诸如PSTN或移动电话网）。用户终端102和用户终端108中的每一个例如可以是移动电话、平板、膝上型电脑、个人计算机（“PC”）（包括，例如，Windows^TM、Mac OS^TM以及Linux^TM PC）、游戏装置、电视、个人数字助理（“PDA”）或能够连接到网络106的其它嵌入式装置。用户终端102被布置成从用户终端102的用户104接收信息并且将信息输出给用户终端102的用户104。用户终端102包括用于捕获视频信号的图像的相机。用户终端102还包括诸如屏幕这样的显示器和诸如小键盘、触摸屏和/或麦克风这样的输入装置。用户终端102被连接到网络106。

用户终端102执行由与通信系统100相关联的软件提供商所提供的通信客户端。通信客户端是在用户终端102中的本地处理器上执行的、存储在有形计算机可读存储介质上的软件程序。客户端执行在用户终端102处需要的处理，以便让用户终端102通过通信系统100发送和接收数据。可以对在用户终端102处执行的客户端进行认证以经由数字证书的呈现通过通信系统通信（例如，以证明用户104是通信系统的真正订户）。

用户终端108可以对应于用户终端102。用户终端108在本地处理器上执行对应于在用户终端102处执行的通信客户端的通信客户端。在用户终端108处的客户端以在用户终端102处的客户端执行允许用户104通过网络106通信所需的处理的相同方式执行允许用户110通过网络106通信所需要的处理。用户终端102和用户终端108在通信系统中是端点。为了清楚图1示出了仅两个用户（104和110）以及两个用户终端（102和108），但是更多的用户和用户终端可以被包括在通信系统100中，并且可以使用在相应的用户终端上执行的相应的通信客户端通过通信系统100通信。

图2图示了在其上执行了用于通过通信系统100通信的通信客户端的用户终端102的具体视图。用户终端102包括中央处理单元（“CPU”）202，诸如屏幕这样的显示器204、诸如小键盘206和相机208这样的输入装置以及用于检测旋转运动的陀螺传感器210被连接到所述CPU 202。可以如图2中所示出的那样将显示器204、小键盘206、相机208以及陀螺传感器210集成到用户终端102中。在替代用户终端中，显示器204、小键盘206、相机208以及陀螺传感器210中的一个或多个可能未被集成到用户终端102中并且可以经由相应的接口被连接到CPU 202。这样的接口的一个示例是USB接口。CPU 202被连接到网络接口224，诸如用于与网络106通信的调制解调器。可以如图2中所示出的那样将网络接口224集成到用户终端102中。在替代用户终端中网络接口224未被集成到用户终端102中。用户终端102还包括用于存储数据的存储器212。

图2还图示了在CPU 202上执行的操作系统（“OS”）214。在OS 214之上运行的是用于通信系统100的客户端软件的软件堆栈216。软件堆栈示出了客户端协议层218、客户端引擎层220以及客户端用户接口层（“UI”）222。每个层负责特定功能。因为每个层通常与两个其它层进行通信，所以它们被认为如图2中所示出的那样被以堆栈方式布置。操作系统214管理计算机的硬件资源并且处理经由网络接口224向和从网络106发送的数据。客户端软件的客户端协议层218与操作系统214进行通信并且通过通信系统管理连接。需要更高级处理的过程被传递给客户端引擎层220。客户端引擎220还与客户端用户接口层222进行通信。客户端引擎220可以被布置成控制客户端用户接口层222经由客户端的用户接口将信息呈现给用户104并且经由用户接口从用户104接收信息。

用户终端108按照与如上面所描述的用户终端102相同的方式加以实现，其中用户终端108可以具有与在本文中关于用户终端102所描述的那些相对应的元件。

图3示出了在通过通信系统100与用户终端108的视频传输会话中作为发送器终端实现的用户终端102的功能框图。用户终端102包括相机208、陀螺传感器210、编码器模块302以及发送器模块304。相机208的输出端被耦接到编码器模块302的输入端。编码器模块302的输出端被耦接到发送器模块304的第一输入端。陀螺传感器的输出端被耦接到发送器模块304的第二输入端。发送器模块304被配置成在视频传输会话中通过网络106向用户终端108发送来自用户终端102的输出。

图4示出了在通过通信系统100与用户终端102的视频传输会话中作为接收器终端实现的用户终端108的功能框图。用户终端108包括解码器模块402和显示器404。解码器模块402被配置成在视频传输会话中通过网络106从用户终端102接收视频数据。解码器模块402的输出端被耦接到显示器404的输入端。显示器被配置成向用户110输出在视频传输会话中从用户终端102接收到的视频数据。

参考图5a和图5b，现在描述从用户终端102向用户终端108发送视频数据的方法以及在用户终端108处接收视频数据的方法。

在步骤S502中，视频信号的第一帧（例如帧1）的图像数据由在用户终端102处的相机208捕获。视频信号由多个帧的序列组成。由相机208所捕获的第一帧的图像数据可以包括第一帧的多个图像区或“捕获的像素”中的每一个的数据值（例如，根据YUV颜色空间方案的亮度值和色度值）。由相机208针对每个帧所捕获的图像数据中的图像区（或“捕获的像素”）的数目可以根据相机208的规格而变化。例如，相机208可以是10兆像素相机，使得它将针对视频信号的每个帧的一千万单独的图像区捕获图像数据。由相机208所捕获的第一帧的图像数据被从相机208传递给编码器模块302。

在步骤S504中，编码器模块302使用由相机208在步骤S502中捕获的第一帧的图像数据来确定第一帧的一个或多个编码的第一空间单元（或“编码像素”）。编码空间单元（或“编码像素”）的数目可以与或者可能不与由相机208针对第一帧所捕获的图像区（或“捕获的像素”）的数目相同。例如，在各种实施例中，与存在的针对第一帧的捕获的像素相比存在更少的编码像素，使得编码过程减少表示视频信号的第一帧所需要的数据的量。例如，可以将由相机208所捕获的第一帧中的图像区的数据值一起分组成多个组，其中第一帧的编码空间单元中的每一个基于数据值的相应组中的数据值的组合而被确定。

在步骤S504中，由编码器模块302所确定的第一帧的编码空间单元被输出给发送器模块304。

在步骤S506中，视频信号的第二帧（帧2）的图像数据由在用户终端102处的相机208捕获。类似于同第一帧，由相机208所捕获的第二帧的图像数据可以包括第二帧的多个图像区或“捕获的像素”中的每一个的数据值（例如，根据YUV颜色空间方案的亮度值和色度值）。第一帧和第二帧（帧1和帧2）能够在视频信号中的任何点处发生。例如，在视频信号中的第一帧和第二帧之前和/或之后可能存在其它帧。此外，第一帧和第二帧可以是或者可能不是视频信号中的连续帧。

由相机208所捕获的第二帧的图像数据被从相机208传递给编码器模块302。相机208继捕获第一帧的图像数据之后在某个时间捕获第二帧的图像数据。例如，如果第一帧的图像数据被捕获所在的时间是t ₁，帧1和帧2是视频信号中的连续帧并且视频信号的帧速率由FR（按每秒帧给出，使得视频信号的第一帧与第二帧之间的时间间隔由Δt ₁₂给出，其中）给出，则第二帧的图像数据被捕获所在的时间t ₂由下式给出：

t ₂ = t ₁ + Δt ₁₂。

这时值得注意的是，相机208可能已经有意地或非有意地在时间间隔Δt ₁₂期间移动了。稍后在本说明书中对此进行更详细的讨论。

在步骤S508中，编码器模块302使用由相机208在步骤S506中捕获的第二帧的图像数据来确定第二帧的一个或多个编码的第二空间单元（或“编码像素”）。如关于第一帧上面所描述的，编码空间单元（或“编码像素”）的数目可以与或者可能不与由相机208针对第二帧所捕获的图像区（或“捕获的像素”）的数目相同。例如，在各种实施例中，与存在的针对第二帧的捕获的像素相比存在更少的编码像素，从而减少表示视频信号的第二帧所需要的数据的量。例如，可以将由相机208所捕获的第二帧中的图像区的数据值一起分组成多个组，其中第二帧的编码空间单元的每一个基于数据值的相应组中的数据值的组合而被确定。

由编码器模块302在步骤S508中确定的第二帧的编码空间单元被输出给发送器模块304。

编码器模块302可以依照已知技术将从相机208接收到的视频数据（例如，第一帧和第二帧的图像数据）例如编码成MPEG或H.263格式。例如，编码器模块302可以包括用于将图像数据变换成频域的离散余弦变换块、用于量化经变换的图像数据的量化器块以及用于对经变换和量化的图像数据进行编码的编码器块。可以根据诸如图像数据帧内编码或帧间编码这样的已知技术对图像数据进行编码。此外，图像数据可以采取任何适合的形式，诸如遵照YUV或RGB颜色空间方案。

在步骤S510中，陀螺传感器210检测用户终端102在时间t₁与t₂之间（即在相机208在步骤S502中捕获第一帧的图像数据所在的时间与相机208在步骤S506中捕获第二帧的图像数据所在的时间之间）的旋转角度。因此，在图中所示出的各种实施例中，相机208和陀螺传感器210两者被集成到用户终端102中，由陀螺传感器210所检测到的旋转角度是相机208的旋转角度。使用陀螺传感器在本领域内已知为确定在两个时间点之间的旋转角度。陀螺传感器被用在本文中所描述的各种实施例中，但是在其它实施例中任何适合的旋转运动传感器能够被用来检测相机208在第一帧与第二帧之间的旋转角度。所检测到的相机208在第一帧与第二帧之间的旋转角度的指示被输出给发送器模块304。指示可以包括所检测到的角度它本身或能够被用来指示所检测到的角度的某个其它数据。例如，指示可以包括指定相对于相机208在视频信号的两个先前帧之间的先前旋转角度或相对于为视频传输会话中的发送器终端102和接收器终端108两者所知的参考值的相机208的旋转角度差的差值。因此可以了解，指示不必显式地包括所检测到的相机208在第一帧与第二帧之间的旋转角度，但是它应该指示所检测到的角度，使得接收器终端108能够使用该指示来确定所检测到的角度。

在步骤S512中，发送器块304通过网络106向接收器终端108发送第一帧的编码空间单元、第二帧的编码空间单元以及相机208在第一帧与第二帧之间的旋转角度的指示。可以将第一帧的编码空间单元、第二帧的编码空间单元以及相机208在第一帧与第二帧之间的旋转角度的指示一起或单独地从用户终端102发送到用户终端108。例如，第一帧的编码空间单元可以在它们已由编码器模块302确定时被发送，这很可能将是在第二帧的编码空间单元被发送之前。可以在第一空间单元的发送之前、之后或者与第一空间单元的发送基本上同时地发送相机208的旋转角度的指示。可以在第二空间单元的发送之前、之后或者与第二空间单元的发送基本上同时地发送相机208的旋转角度的指示。

应该注意，可以将图5a中所示出的步骤的顺序变化为上面所描述的顺序。

参考图5b现在描述在接收器终端108处执行的步骤。在步骤S514中，在步骤S512中被发送了的第一帧的编码空间单元、第二帧的编码空间单元以及相机208在第一帧与第二帧之间的旋转角度的指示在接收器终端108处被接收，并且被传递给解码器模块402。

在步骤S516中，解码器模块402基于相机208在第一帧与第二帧之间的旋转角度的指示来组合第一帧和第二帧的空间单元。例如，解码器模块402可以包括用于根据与由发送器终端102的编码器模块302所使用的编码方案相对应的解码方案（例如，通过使用MPEG或H.263协议的帧内解码或帧间解码）对第一帧和第二帧的编码空间单元进行解码的解码器块。解码器模块402还可以包括用于去量化经解码的图像数据的去量化器块以及用于将图像数据变换成空间域的离散余弦逆变换块。解码器还可以包括超分辨率块，在所述超分辨率块中第一帧和第二帧的空间单元基于相机208在第一帧与第二帧之间的旋转角度的指示被组合，以重建比第一帧的空间单元的空间分辨率和第二帧的空间单元的分辨率更高的空间分辨率的图像。在下面参考图6a至图7b对此进行更详细的描述。

由解码器模块402所重建的高分辨率图像被传递给显示器404。在步骤S518中，高分辨率图像在用户终端108的显示器404上被输出给用户110。这允许用户110在高分辨率下查看图像。值得注意的是，显示器404有它自己的分辨率约束。特别地，显示器将具有它能够采用其显示图像的有限数目的“显示像素”。例如，在用户终端108是具有1兆像素显示器404的移动电话情况下，显示器404有它能够采用其显示图像的一百万像素。显示器404中的像素的数目很可能将不同于（并且可能大于）第一帧中的编码空间单元的数目和第二帧中的编码空间单元的数目。因此显示器也许能以比第一帧和第二帧的编码空间单元的分辨率更高的分辨率并且同样以比重建图像的分辨率更高的分辨率显示图像。显示器404包括用于根据显示器404的像素的数目来转换重建图像以用于显示在显示器404上的处理装置。

附加地，或可替换地，为了在显示器404处显示高分辨率图像，高分辨率图像可以被存储在用户终端108处的存储装置（例如存储器）中或者可以由用户终端108以其它方式使用，例如，可以例如通过网络106将高分辨率图像从用户终端108发送到另一终端。

图6a至图6c示出了相机208在第一帧与第二帧之间的旋转能够被用来在接收器终端108处重建高分辨率图像的方式。图6a示出了相机208从对象602捕获视频信号的第一帧的图像数据。图6b示出了相机208从对象602捕获视频信号的第二帧的图像数据。在第一帧与第二帧之间的时间间隔Δt ₁₂中相机208已在与第一帧的图像数据由相机208从对象602捕获到所在的方向垂直的平面中旋转了角度φ。

接收器终端108基于所接收到的相机208在第一帧与第二帧之间的旋转角的指示来确定与第一帧和第二帧的部分重叠的空间单元的多个组合相对应的多个图像区。图6c示出了如图6a中所示出的那样捕获的第一帧（用非虚线示出）的空间单元中的九个的表示以及如图6b中所示出的那样捕获的第二帧（用虚线示出）的空间单元中的对应九个的表示。第一帧和第二帧的空间单元被示出为重叠，因为它们将用于在步骤S516中执行的第一帧和第二帧的空间单元的组合。可以在图6c中看到，相机208按角度φ的角度旋转引起第二帧的空间单元相对于第一帧的空间单元的旋转移位。换句话说，相机208按角度φ的角度旋转导致第二帧（用虚线示出）的空间单元与第一帧（用非虚线示出）的空间单元不对齐，使得第二帧的空间单元中的每一个在空间上与第一帧的空间单元中的至少一个部分地重叠。

当在步骤S516中组合第一帧和第二帧的空间单元时，图像数据值是针对由部分重叠的第一空间单元和第二空间单元的每个不同组合所给出的每个不同图像区来确定的。例如，图6c中所示出的第一帧的九个空间单元的左上部与图6c中标记为A至D的图像区中的第二帧的四个不同的空间单元部分地重叠。因此，这些图像区（A至D）中的每一个能够由部分重叠的第一空间单元和第二空间单元的不同组合来表示。因此，通过组合第一帧和第二帧的空间单元，因为它们由于相机208在第一帧与第二帧之间的旋转而不对齐，所以能够构建比第一空间单元和第二空间单元的分辨率更高的分辨率的图像，所述图像对于由第一帧和第二帧的部分重叠的空间单元的不同组合所给出的不同图像区有不同的数据值。

图7a和图7b示出了相机208在第一帧与第二帧之间的旋转能够被用来在接收器终端108处重建高分辨率图像的另一方式。图7a示出了由相机208所捕获的第一帧和第二帧（包括对象702的图像）。在第一帧与第二帧之间的时间间隔Δt ₁₂中相机208已在与第一帧的图像数据由相机208从对象702捕获到所在的方向垂直的平面外旋转了角度θ。

图7b示出了如图7a中所示出的那样捕获的第一帧（用非虚线示出）的空间单元中的九个的表示以及如图7a中所示出的那样捕获的第二帧（用虚线示出）的空间单元中的对应九个的表示。第一帧和第二帧的空间单元被示出为重叠，因为它们将用于在步骤S516中执行的第一帧和第二帧的空间单元的组合。为了让第一帧和第二帧的空间单元被组合，步骤S516包括基于相机208的旋转角度来确定第一帧和第二帧二者之一或两者的空间单元到公共平面中的投影。然后能够在公共平面中组合第一帧和第二帧的空间单元。公共平面例如可以是第一帧的平面或第二帧的平面，或某个其它平面。

如图7a中所示出的实施例中所指示的，第二帧的空间单元被投射到第一帧的平面中。第二帧的空间单元的这个投射引起第二帧的空间单元在第一帧的公共平面中相对于第一帧的空间单元的调整大小（例如是以前的cos θ倍）。因此，如图7b中所示，第二帧的空间单元较小（例如由于图7a中所示出的旋转而在如图7b中所示出的垂直维度上）。第二帧的空间单元（由于到第一帧的平面中的投影而导致）的这个调整大小使第二帧的空间单元与第一帧的空间单元不对齐（至少在垂直方向上，如图7b中所示），使得第二帧的空间单元中的每一个在空间上与第一帧的空间单元中的至少一个部分地重叠。

当在步骤S516中组合第一帧和第二帧的空间单元时，图像数据值是针对由部分重叠的第一空间单元和第二空间单元的每个不同组合所给出的每个不同图像区来确定的。例如，图7b中所示出的第一帧的九个空间单元的左上部与图7b中标记为E和F的图像区中的第二帧的两个不同的空间单元部分地重叠。因此，这些图像区（E和F）中的每一个能够由部分重叠的第一空间单元和第二空间单元的不同组合来表示。因此，通过组合第一帧和第二帧的空间单元，因为它们由于相机208在第一帧与第二帧之间的旋转而不对齐，所以能够构建比第一空间单元和第二空间单元的分辨率更高的分辨率的图像，所述图像对于由第一帧和第二帧的部分重叠的空间单元的不同组合所给出的不同图像区（例如，图像区E和图像区F）有不同的数据值。组合第一帧和第二帧的部分重叠的空间单元的步骤可以包括针对相应的图像区确定部分重叠的空间单元的平均值（例如，空间单元的YUV值）。

除如图7a和图7b中所示出的在垂直方向上的旋转之外或作为如图7a和图7b中所示出的在垂直方向上的旋转的替代方案，相机208的旋转可能在与第一帧的图像数据由相机208从对象702捕获到所在的方向垂直的平面外在水平方向上发生。因此，除如图7b中所示出的第二帧的空间单元在垂直方向上的调整大小之外或作为如图7b中所示出的第二的空间单元在垂直方向上的调整大小的替代方案，还可以在投影到第一帧的公共平面中的水平方向上调整第二帧的空间单元的大小以便在步骤S516中与第一帧的空间单元组合。

相机208的旋转能够具有以下两者：（i）在与第一帧的图像数据由相机208捕获到所在的方向垂直的平面中的旋转分量（如关于图6a至图6c所示出和描述的），以及（ii）在与第一帧的图像数据由相机208捕获到所在的方向垂直的平面外的旋转分量（如关于图7a和图7b所示出和描述的）。因此，可以一起实现关于这两种类型的旋转分量的上面所描述的两个过程。

在本文中所描述的方法中，特别当用户终端102是在相机208正在捕获视频信号的第一帧和第二帧的图像数据时正被用户104所持的移动终端时可能不是故意的相机208的旋转能够被用来增加在视频传输会话中的接收器终端108处被重建的图像的分辨率。第一帧的一个空间单元可能与第二帧的多个（例如四个或两个）空间单元部分地重叠，从而给出附加信息以使得能实现具有增加分辨率的图像的重建。

如上面所描述的“超分辨率”方案可以被用来故意地使在视频流中发送的分辨率降级以便减少比特率，并且然后在接收器处再次重建更高分辨率图像。当然不能够得到“免费数据”——但是构思是以比特率换取重建时间，因为方案将需要多个帧以便在接收器处重建更高分辨率图像，从而与如果数据在每个帧中被以更高分辨率简单地发送相比花费更长时间获得更高分辨率。

由于这个原因，与对较慢但更具体的运动进行编码相比本文中所描述的方法可能不太可用于对非常快的运动进行编码。在一个实施例中，因为帧的图像被分解成块并且在逐块基础上编码，所以能够不同地对同一视频的不同区进行编码。例如，基于视频图像的运动估计分析，可以使用较低分辨率单元对慢运动背景进行编码，然而可以使用更高分辨率对同一图像中的更快运动背景进行编码；或者甚至反之亦然。在这种情况下，可以在每个块包括多个较低分辨率单元情况下在逐块基础上（或者在逐宏块基础上等）用信号通知相机208的旋转角度的指示。例如，可以使用与用来对第一空间单元和第二空间单元进行编码的编码方案不同的编码方案来对视频信号的另外的图像数据进行编码，并且可以将经编码的另外的图像数据发送到接收器终端108。

当用户终端102是其中相机208的位置由于人手无法使相机208保持在固定位置中而经常地移动的手持装置时本文中所描述的方法是特别有用的。如上面所描述的，在捕获视频流的预定方向周围的这些随机振荡能够被用来提取超分辨率视频数据。分辨率增加将取决于视频流的捕获分辨率和内容。

上面所描述的方法涉及对第一帧和第二帧的空间单元进行编码和组合。可以将该方法扩展成包括视频信号的另外的帧的空间单元的对应编码和组合。以这种方式，可以在步骤S516中组合来自视频信号的超过两个帧的更多空间单元，这可以进一步增加重建图像的分辨率。为了实现这个，陀螺传感器210以如上面关于第一帧和第二帧所描述的相同方式检测相机208在视频信号的帧（例如连续帧）之间的旋转角度。例如，该方法可以包括使用由相机208所捕获的视频信号的至少一个另外的帧的图像数据来确定该至少一个另外的帧中的每一个在较低空间分辨率下的一个或多个编码的另外的空间单元。至少一个另外的帧的一个或多个编码的另外的空间单元被发送到接收器终端108。作为相机208的至少一个另外的旋转角度的结果，另外的空间单元与第一帧或第二帧的空间单元至少部分地不对齐，使得另外的空间单元中的每一个在空间上与第一帧的至少一个空间单元部分地重叠。由陀螺传感器210针对至少一个另外的帧所检测到的相机208的至少一个另外的旋转角度的至少一个指示被发送到接收器终端108。在接收器终端108处，该方法可以包括接收视频信号的至少一个另外的帧的一个或多个编码的空间单元以及对于至少一个另外的帧接收相机的至少一个另外的旋转角度的至少一个指示。接收器终端108的解码器模块402然后能够基于相机208的旋转角度的指示来组合第一空间单元、第二空间单元以及另外的空间单元，以便重建比第一空间单元、第二空间单元以及另外的空间单元的空间分辨率至少更高的空间分辨率的图像。

在上面所描述的实施例中，相机208被集成到用户终端102中。然而，相机208能够按照它未被集成到用户终端102中的方式加以实现，并且例如可以通过诸如USB链路这样的链路或无线连接（例如，Wi-Fi、蓝牙或红外线连接）被连接到用户终端102。当相机108未被集成在用户终端102中时，陀螺传感器210按照它检测相机208的旋转运动的方式加以实现，所述相机208的旋转运动未必与用户终端102的旋转运动相同。用来做这个的一个方式将是将陀螺传感器210集成在相机208中，使得相机208的任何旋转运动被陀螺传感器210检测到。

此外，在上面所描述的实施例中，编码器模块302被示出并且描述为与相机208分开。然而，在一些实施例中能够在相机208中实现编码器模块302。

在上面所描述的实施例中，用户终端102被描述为视频传输会话的发送器终端并且用户终端108被描述为视频传输会话的接收器终端。然而，用户终端102和用户终端108两者也许能在视频传输会话中既作为发送器终端又作为接收器终端，使得视频传输会话可以是双向视频传输会话。因此，用户终端102还可以包括与上面所描述的用户终端108的解码器模块402和显示器404相对应的解码器模块和显示器。类似地，用户终端108还可以包括与上面所描述的用户终端102的相机208、编码器模块302、陀螺传感器210以及发送器模块304相对应的相机、编码器模块、陀螺传感器以及发送器模块。

图5a和图5b中所示出的方法操作可以用分别在用户终端102和用户终端108的CPU上执行的软件加以实现或者用用户终端102和用户终端108中的硬件加以实现。当方法操作用软件加以实现时，它们可以通过具体化在有形计算机可读存储介质上的计算机程序产品（例如作为在用户终端102和用户终端108上执行的通信客户端的一部分）来提供，所述计算机程序产品被配置以便当在用户终端102和用户终端108的CPU上执行时执行如上面所描述的操作的功能。

已经在本文中描述了从发送器终端向接收器终端发送视频数据的方法，其中所述方法可以由计算机程序产品来实现，所述计算机程序产品被具体化在有形计算机可读存储介质上并且配置以便当在发送器终端的处理器上执行时执行以下步骤的方法的操作：使用由相机所捕获的视频信号的第一帧的图像数据来确定第一帧在较低空间分辨率下的一个或多个编码的第一空间单元；将第一帧的一个或多个编码的第一空间单元发送到接收器终端；使用由相机所捕获的视频信号的第二帧的图像数据来确定第二帧在较低空间分辨率下的一个或多个编码的第二空间单元；将使用旋转运动传感器检测到的相机在第一帧与第二帧之间的旋转角度的指示发送到接收器终端；以及将第二帧的一个或多个编码的第二空间单元发送到接收器终端，其中作为相机在第一帧与第二帧之间的旋转角度的结果，第二空间单元与第一空间单元至少部分地不对齐，并且其中第二空间单元中的每一个在空间上与至少一个第一空间单元部分地重叠，从而使得接收器终端能够基于所述指示来组合第一空间单元和第二空间单元，以便重建比第一空间单元的较低空间分辨率和第二空间单元的较低空间分辨率至少更高的空间分辨率的图像。

同样已经描述了被配置成将视频数据发送到接收器终端的移动终端，所述移动终端包括：相机，其被配置成：（i）捕获视频信号的第一帧的图像数据，并且（ii）捕获视频信号的第二帧的图像数据；旋转运动传感器，其被配置成检测相机在第一帧与第二帧之间的旋转角度；编码器，其被配置成：（i）使用所捕获的第一帧的图像数据来确定第一帧在较低空间分辨率下的一个或多个编码的第一空间单元，并且（ii）使用所捕获的第二帧的图像数据来确定第二帧在较低空间分辨率下的一个或多个编码的第二空间单元，使得作为相机在第一帧与第二帧之间的旋转角度的结果，第二空间单元与第一空间单元至少部分地不对齐，并且其中第二空间单元中的每一个在空间上与至少一个第一空间单元部分地重叠；以及发送器，其被配置成向接收器终端发送：（i）第一帧的一个或多个编码的第一空间单元，（ii）第二帧的一个或多个编码的第二空间单元，以及（iii）所检测到的旋转角度的指示，使得移动终端被配置成使得接收器终端能够基于所述指示来组合第一空间单元和第二空间单元，以便重建比第一空间单元的较低空间分辨率和第二空间单元的较低空间分辨率至少更高的空间分辨率的图像。

同样已经描述了在接收器终端处从发送器终端接收视频数据的方法，其中所述方法可以由计算机程序产品来实现，所述计算机程序产品被具体化在有形计算机可读存储介质上并且配置以便当在接收器终端的处理器上执行时执行以下步骤的方法的操作：接收视频信号的第一帧在较低空间分辨率下的一个或多个编码的第一空间单元，所述一个或多个编码的第一空间单元由相机捕获并且从发送器终端发送；接收视频信号的第二帧在较低空间分辨率下的一个或多个编码的第二空间单元，所述一个或多个编码的第二空间单元由相机捕获并且从发送器终端发送；接收使用旋转运动传感器检测到的相机在第一帧与第二帧之间的旋转角度的指示，其中作为相机在第一帧与第二帧之间的旋转角度的结果，第二空间单元与第一空间单元至少部分地不对齐，并且其中第二空间单元中的每一个在空间上与至少一个第一空间单元部分地重叠；基于所述指示来组合第一空间单元和第二空间单元，以便重建比第一空间单元的较低空间分辨率和第二空间单元的较低空间分辨率至少更高的空间分辨率的图像。

尽管已经用特定于结构特征和/或方法学行为的语言描述了本主题，但是应当理解，所附权利要求中定义的主题未必限于上面所描述的特定特征或行为。相反，上面所描述的特定特征和行为作为实现权利要求的示例形式被公开。

Claims

1. 一种从发送器终端向接收器终端发送视频数据的方法，所述方法包括：

使用由相机所捕获的视频信号的第一帧的图像数据来确定所述第一帧在较低空间分辨率下的一个或多个编码的第一空间单元；

将所述第一帧的所述一个或多个编码的第一空间单元发送到所述接收器终端；

使用由所述相机所捕获的所述视频信号的第二帧的图像数据来确定所述第二帧在较低空间分辨率下的一个或多个编码的第二空间单元；

将使用旋转运动传感器检测到的所述相机在所述第一帧与所述第二帧之间的旋转角度的指示发送到所述接收器终端；以及

将所述第二帧的所述一个或多个编码的第二空间单元发送到所述接收器终端，其中作为所述相机在所述第一帧与所述第二帧之间的所述旋转角度的结果，所述第二空间单元与所述第一空间单元至少部分地不对齐，并且其中所述第二空间单元中的每一个在空间上与至少一个第一空间单元部分地重叠，

从而使得所述接收器终端能够基于所述指示来组合所述第一空间单元和所述第二空间单元，以便重建比所述第一空间单元的所述较低空间分辨率和所述第二空间单元的所述较低空间分辨率至少更高的空间分辨率的图像。

2. 根据权利要求1所述的方法，其中所述相机的旋转包括在与所述第一帧的所述图像数据由所述相机捕获到所在的方向垂直的平面中的旋转，所述平面中的所述旋转引起所述第二空间单元相对于所述第一空间单元的旋转移位以便在所述接收器终端处组合所述第一空间单元和所述第二空间单元。

3. 根据权利要求1或权利要求2所述的方法，其中所述相机的旋转包括在与所述第一帧的所述图像数据由所述相机捕获到所在的所述方向垂直的所述平面外的旋转，在所述平面外的所述旋转引起所述第二空间单元相对于所述第一空间单元的调整大小以便在所述接收器终端处组合所述第一空间单元和所述第二空间单元。

4. 根据任何前述权利要求所述的方法，其进一步包括：

使用由所述相机所捕获的所述视频信号的至少一个另外的帧的图像数据来确定所述至少一个另外的帧中的每一个在较低空间分辨率下的一个或多个编码的另外的空间单元；

将由所述旋转运动传感器针对所述至少一个另外的帧所检测到的所述相机的至少一个另外的旋转角度的至少一个指示发送到所述接收器终端；以及

将所述至少一个另外的帧的所述一个或多个编码的另外的空间单元发送到所述接收器终端，其中作为所述相机的所述至少一个另外的旋转角度的结果，所述另外的空间单元与所述第一空间单元或所述第二空间单元至少部分地不对齐，并且其中所述另外的空间单元中的每一个在空间上与至少一个第一空间单元部分地重叠，

从而使得所述接收器终端能够基于所述指示来组合所述第一空间单元、所述第二空间单元以及另外的空间单元，以便重建比所述第一空间单元的所述较低空间分辨率、所述第二空间单元的所述较低空间分辨率以及所述另外的空间单元的所述较低空间分辨率至少更高的空间分辨率的图像。

5. 一种被配置成将视频数据发送到接收器终端的移动终端，所述移动终端包括：

相机，其被配置成：（i）捕获视频信号的第一帧的图像数据，并且（ii）捕获所述视频信号的第二帧的图像数据；

旋转运动传感器，其被配置成检测所述相机在所述第一帧与所述第二帧之间的旋转角度；

编码器，其被配置成：（i）使用所捕获的所述第一帧的图像数据来确定所述第一帧在较低空间分辨率下的一个或多个编码的第一空间单元，并且（ii）使用所捕获的所述第二帧的图像数据来确定所述第二帧在较低空间分辨率下的一个或多个编码的第二空间单元，使得作为所述相机在所述第一帧与所述第二帧之间的所述旋转角度的结果，所述第二空间单元与所述第一空间单元至少部分地不对齐，并且其中所述第二空间单元中的每一个在空间上与至少一个第一空间单元部分地重叠；以及

发送器，其被配置成向所述接收器终端发送：（i）所述第一帧的所述一个或多个编码的第一空间单元，（ii）所述第二帧的所述一个或多个编码的第二空间单元，以及（iii）所检测到的旋转角度的指示，

使得所述移动终端被配置成使得所述接收器终端能够基于所述指示来组合所述第一空间单元和所述第二空间单元，以便重建比所述第一空间单元的所述较低分辨率和所述第二空间单元的所述较低空间分辨率至少更高的空间分辨率的图像。

6. 一种在接收器终端处从发送器终端接收视频数据的方法，所述方法包括：

接收视频信号的第一帧在较低空间分辨率下的一个或多个编码的第一空间单元，所述一个或多个编码的第一空间单元由相机捕获并且从所述发送器终端发送；

接收所述视频信号的第二帧在较低空间分辨率下的一个或多个编码的第二空间单元，所述一个或多个编码的第二空间单元由所述相机捕获并且从所述发送器终端发送；

接收使用旋转运动传感器检测到的所述相机在所述第一帧与所述第二帧之间的旋转角度的指示，其中作为所述相机在所述第一帧与所述第二帧之间的所述旋转角度的结果，所述第二空间单元与所述第一空间单元至少部分地不对齐，并且其中所述第二空间单元中的每一个在空间上与至少一个第一空间单元部分地重叠；

基于所述指示来组合所述第一空间单元和所述第二空间单元，以便重建比所述第一空间单元的所述较低空间分辨率和所述第二空间单元的所述较低空间分辨率至少更高的空间分辨率的图像。

7. 根据权利要求6所述的方法，其中所述组合所述第一空间单元和所述第二空间单元包括基于所述相机的所述旋转角度来确定所述第一空间单元和所述第二空间单元中的至少一个的到公共平面中的投影，其中所述第一空间单元和所述第二空间单元在所述公共平面中被组合。

8. 根据权利要求6或权利要求7所述的方法，其中所述组合所述第一空间单元和所述第二空间单元包括针对与部分重叠的第一空间单元和第二空间单元的多个组合相对应的多个图像区中的每一个确定重建图像的相应的图像值。

9. 根据权利要求6至8中的任一项所述的方法，其进一步包括在所述接收器终端的显示器处输出所述重建图像。

10. 一种计算机程序产品，其被具体化在非暂时性计算机可读介质上并且配置以便当在处理器上执行时执行根据权利要求1至4或6至9中的任一项所述的方法。