CN103168468A - 使用压缩抽样度量的任意分辨率视频编码的方法和设备 - Google Patents

Abstract

本发明涉及使用压缩度量的用于任意分辨率视频的方法和设备。所述方法包括，接收在编码器（202）处生成的一组度量中的至少一个度量。所述一组度量代表已编码的视频数据。所述方法进一步包括确定显示器分辨率，其中，所述显示器分辨率与原始显示器分辨率相同或不同。所述方法进一步包括：基于确定的显示器分辨率的至少一些像素确定扩展矩阵；以及，使用确定的扩展矩阵重构视频数据，使得，如果所述确定的显示器分辨率不同于所述原始显示器分辨率，则将所述原始显示器分辨率的大小调整为所述确定的显示器分辨率。所述扩展矩阵包括值的模式。

Description

使用压缩抽样度量的任意分辨率视频编码的方法和设备

背景技术

在视频网络中，视频源可以被发送到多个具有不同特征的客户端设备。视频网络中的客户端设备可以具有不同的信道容量、不同的显示器分辨率以及不同的计算资源。例如，视频源可以通过视频网络被发送到居民家中具有高分辨率监视器的高性能计算机，以及同时被发送到具有低分辨率屏幕和具有电池供电的CPU的移动设备。因此，期望以这样的方式对视频源进行编码，使得同一已编码视频流可以被发送到和可用于网络中具有不同特征的全部客户端。换句话说，期望对视频源进行一次编码，但以不同信道速率发送同一已编码视频，并且以不同分辨率和不同复杂度对其进行解码。

例如MPEG2的传统视频编码不提供如上面所描述的、现今的视频网络所需的可伸缩性。可伸缩性的缺乏以至少两种方式展示其自身。首先，MPEG2编码的视频不随传输信道容量可伸缩。由于其固定比特率，已编码的MPEG2流在支持较低比特率的信道中不能用，并且同时在具有较高比特率的信道中欠优化。这是在视频广播或组播中遇到的陡壁效应的原因。第二，MPEG2视频不随解码器分辨率或解码复杂度可伸缩。MPEG2视频可以仅以一个分辨率、使用固定的复杂度（不考虑解码之后的例如调整大小或增强的后处理）被解码。这产生了对去往具有不同分辨率的目标解码器的、同一视频内容的多个已编码流的需求。

已努力向视频编码引入可伸缩性。然而，这些常规努力将视频数据编码为已排序的层、级的流，并且已解码视频的分辨率或质量随着更高的层、级被添加到解码器而逐步提高。分层调制可以结合这些可伸缩视频代码而被使用，以便达到更高的带宽效率。例如，可以将分层调制的高优先级用于传送视频流的较低层，以及，可以将分层调制的低优先级用于传送视频流的较高层。这些努力已提供了对例如使用传统视频编码的视频传输中的陡壁效应问题的某种缓解，但移动视频广播的挑战仍然不变。

发明内容

本发明涉及用于使用压缩度量的任意分辨率视频编码的方法和设备。

所述方法包括，接收在编码器处生成的一组度量中的至少一个度量。所述一组度量代表已编码的视频数据。所述方法进一步包括确定显示器分辨率，其中，所述显示器分辨率与原始显示器分辨率相同或不同。所述方法进一步包括：基于确定的显示器分辨率的至少一些像素确定扩展矩阵；以及，使用确定的扩展矩阵重构所述视频数据，使得，如果所述确定的显示器分辨率不同于原始显示器分辨率，则原始显示器分辨率的大小被调整为所述确定的显示器分辨率。所述扩展矩阵包括值的模式。

所述显示器分辨率可以根据视频显示器屏幕的需求来确定。同样，所述显示器分辨率可以根据一些所述接收的度量来确定。

所述方法可以进一步包括：获取在编码器处被应用于所述视频数据的度量矩阵，所述度量矩阵包括像素值的指派的模式；以及，根据候选视频数据的离散余弦变换（DCT）系数的总偏差（TV）计算用于确定的显示器分辨率的像素值。所述候选视频数据是基于所述度量矩阵、所述扩展矩阵和接收的度量。所述扩展矩阵的值的模式可以代表低通滤波器。同样，所述扩展矩阵的值的模式可以使用所述视频数据的DCT变换来计算。此外，所述扩展矩阵的值的模式可以使用所述视频数据的小波变换来计算。所述TV是各向异性TV和各向同性TV中的一个。

所述计算步骤可以进一步包括：确定所述候选数据的时间方向上的DCT系数；以及，逐帧地确定所述DCT系数的TV，其中，所述计算步骤根据所述DCT系数的TV的最小化计算一组值。所述度量矩阵的像素值的所述指派的模式可以基于所述解码器可以从所述接收的度量中重构的最低显示器分辨率来构造。

所述设备包括解码器，所述解码器被配置为，接收在编码器处生成的一组度量中的至少一个度量，以及，确定显示器分辨率，其中，所述显示器分辨率与原始显示器分辨率相同或不同。同样，所述解码器被配置为，基于所述确定的显示器分辨率的至少一些像素确定扩展矩阵，以及，使用确定的扩展矩阵重构所述视频数据，使得，如果所述确定的显示器分辨率与所述原始显示器分辨率不同，则将原始显示器分辨率的大小调整为所述确定的显示器分辨率。

同样，所述解码器可以，根据视频显示器屏幕的需求确定所述显示器分辨率，和/或根据一些所述接收的度量确定所述显示器分辨率。

所述解码器可以被配置为：获取在编码器处被应用于所述视频数据的度量矩阵，以及，根据候选视频数据的离散余弦变换（DCT）系数的总偏差（TV）计算用于所述确定的显示器分辨率的像素值。所述候选视频数据是基于所述度量矩阵、所述扩展矩阵和接收的度量。

所述扩展矩阵的值的模式可以代表低通滤波器。同样，所述扩展矩阵的值的模式可以使用所述视频数据的DCT变换来计算。此外，所述扩展矩阵的值的模式可以使用所述视频数据的小波变换来计算。所述TV是各向异性TV和各向同性TV中的一个。

同样，所述解码器可以被配置为，确定所述候选视频数据的时间方向上的DCT系数，以及，逐帧地确定所述DCT系数的TV，其中，所述解码器根据所述DCT系数的TV的最小化计算一组值。

附图说明

从本文下面给出的详细描述和附图中，将更充分地理解示例性实施例，其中，类似单元由类似标号代表，其仅作为示例被给出，并且由此不是对本发明的限制，以及其中：

图1示出了根据本发明的一个实施例的通信网络；

图2示出了根据本发明的一个实施例的源设备和目的设备的部件；

图3示出了根据本发明的一个实施例的、将一组度量基应用于原始视频数据的编码过程；

图4示出了由根据本发明的一个实施例的视频解码器205进行的重构过程；

图5示出了由根据本发明的一个实施例的视频解码器进行的、用于对所接收的度量进行解码的方法；

图6示出了这样的图解，其示出根据本发明的一个实施例的、根据不同类型分辨率的被重构视频；

图7示出了根据本发明的一个实施例的、时间方向上的像素级离散余弦变换（DCT）；以及

图8示出了根据本发明的一个实施例的各向异性总偏差和各向同性总偏差。

具体实施方式

现在将参考附图更充分地描述本发明的各种实施例。附图中的类似单元用类似标号标记。

当用在此处时，除非上下文明确指出，否则单数形式“一个（a）”、“一个”和“那个”旨在也包括复数形式。应当进一步理解，术语“包含和/或“包括”，当用在此处时，指定所陈述特征、整数、步骤、操作、单元和/或部件的出现，但并不排除一个或更多其它特征、整数、步骤、操作、单元、部件或其组合的出现或添加。

现在将结合附图描述本发明。为了仅说明目的，并且为了不因本领域的技术人员已熟知的细节而使本发明晦涩难懂，各种结构、系统和设备在附图中被示意地示出。然而，包括了附图以描述和说明本发明的说明性示例。此处使用的术语和短语应当被理解和解释为具有与相关领域的技术人员对那些术语和短语的理解一致的意义。就术语或短语旨在具有特殊意义即除本领域的技术人员理解的之外的意义来说，所述特殊定义将在说明书中明确阐述，所述说明书直接并明确地提供对该术语或短语的该特殊定义。

本发明的实施例提供一种基于压缩抽样的任意分辨率视频编码方法。例如，使用压缩度量对视频数据进行编码。所述压缩度量是对例如高清电视（HDTV）的高分辨率视频数据进行。在有线或无线的网络中发送来自高分辨率视频数据的度量。当被目的设备接收时，度量可以用于以与原始视频数据相同的分辨率重构视频数据，以及，度量的任意子集可以用于以伴随较低复杂度的较低分辨率重构视频数据。例如，良好信道中的目的设备可以正确接收用于重构原始分辨率的视频数据的足够数量的度量。然而，恶劣信道中的目的设备可以仅正确接收比以高分辨率重构可接受视频所需的少的度量的子集，但目的设备可以仍然使用已正确接收的度量来重构具有较低分辨率的可接受视频。例如，所接收度量的数量可以对以可接受的质量重构原始分辨率的视频数据来说太少。同样，任意分辨率重构的能力使本发明的实施例适于全部信道中的传输。此外，尽管本公开将显示器分辨率作为降低的显示器分辨率来讨论，但本发明的实施例还覆盖这样的情形，其中，被重构的显示器分辨率高于原始显示器分辨率。

此外，任意分辨率重构的能力使本发明的实施例适于以不同复杂度和不同显示器分辨率进行解码。使用本发明的视频编码随信道容量、解码复杂度和显示器分辨率可伸缩。由本发明提供的可伸缩性不像当前技术的其它方法那样需要比特率或带宽上的任何开销。

本公开的第一部分描述使用压缩度量对视频数据进行编码，以及然后发送代表原始视频数据的一组度量。本公开的第二部分描述对已编码的视频数据进行解码，其经由根据降低的显示器分辨率重构视频数据，所述降低的显示器分辨率已根据目标设备的视频显示器的需求和/或一些已正确接收的度量而被确定。

图1示出了根据本发明的一个实施例的通信网络。该通信网络包括：至少一个用于获取、对视频数据进行编码和/或发送的源设备101，支持视频传输应用的网络102，以及至少一个用于接收、对接收的视频数据进行解码和/或显示的目的设备103。网络102可以是任意已知的传输，无线或有线网络。例如，网络102可以是无线网络，其包括无线电网络控制器（RNC）、基站（BS）或任何其它对于视频数据在网络102上从一个设备向另一设备的传输必要的部件。网络102的视频传输应用部分可以包括例如数字视频广播——手持（DVB-H）、数字视频广播——卫星服务到手持（DVB-SH）、长期演进（LTE）或演进的多媒体广播和组播服务（eMBMS）。一个设备可以经由专用或共享通信信道向另一设备发送视频信息。

源设备101可以是任意类型的能够获取视频数据并对视频数据进行编码以便经由网络102进行传输的设备，例如个人计算机系统、相机系统、移动视频电话、智能电话或任意类型的可以连接到网络102的计算设备。每个源设备101包括至少一个处理器、存储器和将被处理器实现的应用存储指令。源设备101的获取、编码、发送或任何其它功能可以由至少一个处理器控制。然而，可以提供一些单独的处理器来控制源设备101的特定类型的功能或一些功能。用于实施下面所描述功能的控制器的实现是在本领域的技术人员的技能范围内的。

目的设备103可以是任意类型的能够接收、解码和显示视频数据的设备，例如个人计算机系统、移动视频电话、智能电话或任意类型的可以从网络102接收视频信息的计算设备。目的设备103的接收、解码和显示或任何其它功能可以由至少一个处理器控制。然而，可以提供一些单独的处理器来控制目的设备103的特定类型的功能或一些功能。用于实施下面所描述功能的控制器的实现是在本领域的技术人员的技能范围内的。

图2示出了根据本发明的一个实施例的源设备101和目的设备103的部件。例如，源设备101包括获取部分201、视频编码器202和信道编码器203。另外，源设备101可以包括本领域的技术人员熟知的其它部件。参考图2，获取部分201从包括在源设备101中或连接到源设备101的视频相机部件获取视频数据。同样，源设备101可以从诸如光盘和/或任意类型的存储器存储单元的任意类型计算机可读介质中获取视频数据。视频数据的获取可以根据任何众所周知的方法来完成。

根据本发明的实施例，视频编码器202使用压缩度量对获取的视频数据进行编码以生成一组度量，该组度量代表已编码的视频数据。例如，视频编码器202可以以其原始形式或诸如视频立方体、管或任意类型视频结构的已修改临时结构对原始视频数据应用一组度量基，以便生成将被存储到诸如光盘或存储单元的计算机可读介质中或将被发送到目的设备103的一组度量。参考本发明的图3进一步阐述了视频编码器202。

通过使用该组度量，信道编码器203对度量进行编码以便在通信信道上进行发送。例如，度量被量化为整数。已量化的度量被打包进传输分组。额外的奇偶位被添加到分组以便于错误检测和/或错误纠正。本领域中众所周知，由此进行了编码的度量可以在网络102中被发送。接下来，源设备101可以经由网络102的通信信道将已编码的视频数据发送到目的设备。

目的设备103包括信道解码器204、视频解码器205和视频显示器206。目的设备103可以包括本领域的技术人员熟知的其它部件。

信道解码器204对接收自通信信道的数据进行解码。例如，通过使用数据的奇偶位对来自通信信道的数据进行处理以便检测和/或纠正来自传输的错误。已正确接收的分组被去分组化，以便产生在视频编码器202中产生的已量化度量。本领域中众所周知，可以以这样的方式对数据进行分组和编码，使得在信道解码器204处接收的分组可以被解码，并且在解码之后，可以对分组进行纠错使没有传输错误，或者可以发现分组包含不能被纠正的传输错误，在此情况下，认为分组被丢失。换句话说，信道解码器204能够对接收的分组进行处理以尝试纠正分组中的错误，以及确定所处理分组中是否有错误，并且仅将来自无错误分组的正确度量转发给视频解码器205。

视频解码器205根据目的设备103的显示器需求和/或一些已正确接收的度量确定显示器分辨率。例如，目的设备103可以具有小型显示器屏幕，并且因此，其仅需要视频以降低的显示器分辨率被重构，即使足以以可接受质量以较高分辨率重构视频的度量已被接收。另外，视频解码器205可以位于恶劣的接收区域中。因此，视频解码器205可以接收到所发送度量的仅一个子集，该子集不足以以其原始显示器分辨率重构视频数据。同样，视频解码器205确定根据一些已正确接收的度量确定降低的显示器分辨率。参考图4-8进一步阐述了解码过程。

视频显示器206可以是具有特定尺寸的视频显示器屏幕。视频显示器206可以被包括在目的设备103中，或者可以连接到（无线、有线地）目的设备103。目的设备103根据已确定的显示器分辨率尺寸将已解码的视频数据显示在目的设备103的视频显示器206上。

图3示出了由根据本发明的一个实施例的视频编码器202进行的、使用压缩度量对已获取的视频数据进行编码的方法。

原始视频数据包括一些连续的帧301-1到301-r，其中，r可以是任意整数。视频数据的每个帧301具有尺寸PxQ，其中P和Q是每个帧中水平和竖直像素的数量。同样，视频编码器202可以将原始视频帧301转换为与视频帧301的结构不同的结构。例如，视频编码器202可以将原始视频帧301形成为不同的时间结构。例如，该时间结构可以包括从一些连续帧中的每个帧提取的视频数据的子块。该时间结构可以是如下面进一步阐述的视频立方体或视频管中的一个。

在视频立方体的情况下，视频编码器202从一些连续帧301-1到301-r中的每个视频帧301的视频数据提取2D非重叠块。2D非重叠块代表每个视频帧的子区域。用于每个帧301的每个块可以具有相同数量的像素，该块可以从连续帧301的每个中的相同位置处提取。视频编码器202通过将每个已提取的块入栈以形成三维（3-D）视频结构来形成视频立方体。逐立方体地对包括已接收视频数据的全部视频立方体实施编码。

在视频管的情况下，视频编码器202从图片组（GOP）中的至少一个视频帧301提取非重叠的2D块。例如，视频管包括从视频帧301提取的非重叠2D块，其可以遵循GOP中特定物体的运动轨迹。该物体可以是视频图像中的有意义物体，例如当人移动通过GOP的视频帧301时的图像。每个视频管可以包括具有不同形状和尺寸的已提取块，并且可以在其各自的帧中具有不同的位置。同样，不同视频管可以包括不同数量的帧。视频编码器202经由将每个已提取块入站已形成3D视频结构来形成视频管。逐管地对包括已接收视频数据的全部视频管实施编码。

视频编码器202对视频数据的时间结构应用一组度量基。例如，视频编码器202对视频帧301（例如其原始结构中的帧）应用一组度量基501-1到501-N，以便获得一组度量y₁到y_N。变量N可以是任意大于或等于1的整数。y的每个值代表压缩度量。被应用于视频帧301的一定数量的度量基N对应于一定数量的度量N。现在阐述对压缩度量如何被计算的描述。

首先，视频编码器202扫描视频帧301的像素以获得向量

，该向量是包括视频数据的视频帧301的1-D表示，其中，m＝p×q×r是向量x的长度。向量x包括视频帧301的像素值，被排列为[x₁x₂…x_m]。如图3中所示，1-D表示向量x可以被度量矩阵A乘，以便获得该组度量y₁到y_N。度量矩阵A包括像素值的已指派模式。度量矩阵A的每一列代表单独的度量基。例如，度量矩阵A由一组度量基501-1到501-N图形化地表示。度量矩阵A可以与一组度量501-1到501-N互换使用。向量x的长度为m，其也是视频帧301中像素的数量。

度量矩阵A的值可以使用随机排列的沃尔什阿达玛德矩阵来构造。然而，本发明的实施例包含任意类型的矩阵用作度量矩阵A。同样，向量x的N个压缩度量是由y=Ax定义的向量

。度量矩阵A具有维度Nxm，其中，N是度量的数量，以及m是向量x的长度，即，m是视频帧301中像素的数量。此外，度量矩阵A可以使用克罗内克积来构造，如下面进一步阐述的。

视频编码器202将一组度量y₁到y_N输出到信道编码器203。信道编码器203以之前描述的方式对该组度量y₁到y_N进行编码以便传输到目的设备103。接下来，源设备101经由网络102的通信信道将该组度量y₁到y_N发送到目的设备103。

目的设备101的信道解码器204以上面描述的方式对传输进行解码，并将已正确接收的度量转发到视频解码器205。

视频解码器205根据目的设备的显示器区域的类型和/或已正确接收的度量的数量来确定视频显示器分辨率。视频解码器205以所确定的显示器分辨率重构视频数据。

图4示出了由根据本发明的一个实施例的视频解码器进行的重构过程。视频解码器205接收一组度量y₁到y_N中的至少一个已正确接收的度量。视频解码器205确定用于重构视频数据的显示器分辨率。下面进一步描述该特征。视频解码器205根据解码过程501计算用于所确定显示器分辨率中被重构视频数据的像素值[u₁,u₂…u_p]，其中，解码过程501使用扩展矩阵E。扩展矩阵包括值的模式。例如，扩展矩阵被构造为MxP，其中，M是原始视频数据中像素的数量，并且P是被重构视频数据中像素的数量。P可以小于或等于M。如下面进一步描述的，视频解码器205然后基于至少扩展矩阵E重构视频帧401，使得，如果已确定的显示器分辨率与原始显示器分辨率不同，则将原始显示器分辨率的大小调整为已确定的显示器分辨率。

图5示出了由根据本发明的一个实施例的视频解码器进行的、用于对所接收的度量进行解码的方法。

在S601中，视频解码器205根据视频显示器206的类型和/或已正确接收的度量的数量来确定用于重构已编码视频数据的视频显示器分辨率。例如，视频解码器205可以确定视频显示器206的尺寸，并且然后降低原始视频显示器分辨率以适合视频显示器206的尺寸。

另外，视频解码器205可以根据已正确接收的度量的数量来确定显示器分辨率。例如，降低的显示器分辨率中的至少一个可以根据N≥c·k·log(M)来确定，其中，N是可用度量的数量，c是固定常数，k是稀疏变量，以及M是原始视频数据中的像素数量。例如，固定常数c和稀疏变量k可以是由设计者选取的任意类型的值。本发明的实施例可以使用上面标识的方程来确定降低的显示器分辨率。然而，本发明的实施例还包含任何类型的用于确定降低的显示器分辨率的方法。

图6示出了这样的图，其示出根据本发明的一个实施例的、根据不同类型分辨率的已重构视频。例如，视频解码器205可以根据已确定的显示器分辨率401-1或402-2（例如第一或第二显示器分辨率）重构视频数据，其中，已确定的显示器分辨率401-1或402-2不同于原始显示器分辨率401-3。例如，图4中所示的N个压缩度量包括在视频编码器202处生成的总数量的度量。然而，取决于信道的质量，视频解码器205可以接收N个压缩度量的基本全部或N个压缩度量的仅子集（例如子集1和子集2）。如果视频解码器205接收到N个压缩度量的子集，则目的设备103不可以能够根据其原始分辨率显示视频数据。同样，如果已正确接收的度量的数量少于度量N的集合，则视频解码器205可以根据第一降低的显示器分辨率401-1或第二降低的显示器分辨率401-2重构视频数据。还有，本发明的实施例包含任意数量和类型的显示器分辨率。

回头参考图5，在S602中，视频解码器205确定将在步骤S603的优化过程中使用的扩展矩阵E。扩展矩阵E是基于用于已确定的显示器分辨率的至少一些像素。例如，如上面指出的，扩展矩阵E是MxM_L，其中，M是原始视频数据中的像素数量，以及M_L是具有已确定的显示器分辨率的所重构视频数据中的像素数量。

扩展矩阵包括值的模式，其可以通过使用任何已知的调整大小的方法来确定。例如，在一个示例中，扩展矩阵E的值的模式从代表低通滤波器的降低矩阵R中计算出。R可以矩阵MxM_L，代表低通滤波和向下抽样的过程，例如经由取像素平均或使用多相滤波。降低矩阵R可以还经由使用仅低频部件从原始视频帧的二维（2D）空间离散余弦变换（DCT）或小波变换来构造。降低矩阵R可以具有满秩，并且因此，扩展矩阵E可以从降低矩阵R的一侧逆中获得，如

E＝R^T(RR^T)^-1

扩展矩阵E可以还经由使用DCT变换来明确构造。使T_m是代表尺寸N的DCT变换的MxM矩阵，以及，

是经由插入M-M_L行零从M_LxM_L单位矩阵获得的矩阵MxM_L。然后，扩展矩阵由以下给出

$E=T_M^T{I}_{M\×M_L}{T}_{M_L}$

还有，扩展矩阵E可以从类似于上面讨论的扩展矩阵的小波变换来构造。

在S603中，如下面进一步阐述的，视频解码器205根据最小化方程计算用于降低的显示器分辨率的像素值[u₁,u₂…u_ML]，所述最小化方程使用已确定的扩展矩阵和已接收的度量。

例如，视频解码器205解出以下最小化方程中的一个，其经由时域中一维（1D）DCT系数的二维（2D）总偏差（例如TV函数）的最小化来实施。

方程1：

受约束于y＝AEu，或

方程2： $\underset{x}{\min }{\mathrm{TV}}_2\left({\mathrm{DCT}}_t\left(u\right)\right)+\frac{\mathrm{\μ}}{2}{\left|\right|\mathrm{AEu}-y\left|\right|}_2^2$

在所述两个方程中，y是用于度量集合y1到yN的可用度量，以及，A是度量矩阵，即，501-1，501-N，u是向量[u₁u₂…u_mL]，其是用于所重构的视频帧的像素值，E是如前面所描述的扩展矩阵E。解码器205获取在编码器202处被应用于视频数据的度量矩阵A。例如，度量矩阵A可以基于从源设备101发送的信息来获取，或者可能从存储度量矩阵A的存储单元来获取。变量μ是惩罚参数。惩罚参数的值是设计选择。DCT_t(x)是时域中的1-D DCT变换，以及，TV₂(z)是2D总偏差函数，其中，z代表1-D DCT函数的结果。解码器205使用方程1或方程2解出x的值。

方程2是方程1的可替换方式。然而，视频解码器205可以根据众所周知的方式实现方程1或方程2。例如，例如可替换方向增强拉格朗日方法的合适求解器可以被用于实现上面标识的最小化方程。拉格朗日方法提供用于找到受约束的函数的最大值和最小值的策略。

因此，视频解码器205根据上面描述的最小化方程中的一个计算用于降低的显示器分辨率的像素值，其使用已确定的扩展矩阵E、已接收的度量和度量矩阵A。例如，视频解码器205根据候选视频数据的离散余弦变换（DCT）系数的总偏差（TV）重构视频数据。候选视频数据是基于度量矩阵A、扩展矩阵E和已接收度量。例如，在y=AEx中，已接收度量y和度量矩阵A已知。扩展矩阵E之前已被确定。

方程1和方程2的创建在下面进一步描述。

例如，最小化问题的特征可以还被描述为：方程1：

受约束于y＝AEu，或方程2： $\underset{x}{\min }\mathrm{\Φ}\left(u\right)+\frac{\mathrm{\μ}}{2}{\left|\right|\mathrm{AEx}-y\left|\right|}_2^2$

Φ(x)代表范式项的选择，以及，μ是惩罚参数或衰减因子。如果向量u是稀疏的，则Φ(x)可以被选为向量u的l₁-范数。然而，当向量u包括视频帧的像素值时，可能以下不显而易见：在哪个基中u是稀疏的，以及进一步地，在哪个基中u最稀疏。

本发明的实施例使用原始视频帧的时域DCT系数的最小空间总偏差作为范式项，其在以下方程中提供：Φ(u)＝TV_s(DCT_t(u))。DCT_t(u)代表时间方向上的像素级DCT，并且每个帧组成特定频率的DCT系数。

图7示出了根据本发明的一个实施例的、时间方向上的像素级DCT。例如，图7示出了帧401-1到401-4，其中，候选像素从一个帧（401-1）中选出，并且来自同一位置的对应像素在其它帧中选出，这由连接这些像素的箭头410指示。视频解码器205以由箭头410指示的方式对这些像素中的每个实施DCT函数。由于实施DCT函数，视频解码器205获得特定频率的时域DCT系数。

接下来，视频解码器205在逐帧基础上在像素级DCT的结果之上实施总偏差。例如，如下面所示，TV_s(z)是矩阵z的2D总偏差，被定义为：

图8示出了根据本发明的一个实施例的、针对各向异性总偏差或各向同性总偏差的TV函数。各向异性和各向同性是不同类型的总偏差，其中，本发明的实施例包含各向异性总偏差或各向同性总偏差。

图8包括具有三个像素(i,j,k)、(i,j+1,k)和(i+1,j,k)的帧。下面讨论对被应用于任意像素i,j,k的TV₂函数的描述。然而，应当指出，图8中所示的三个像素仅是为了说明。实际上，帧包括一些像素，并且TV₂函数在逐帧基础上被应用于该帧以及其它帧中的每个像素。例如，对于各向异性总偏差，视频解码器205计算像素i,j,k与下一个竖直像素i,j+1,k之间的差的绝对值、以及像素i,j,k与下一个竖直像素i+1,j,k之间的差的绝对值，并将这两者绝对值加到一起。然后对帧中的每个像素实施该计算，其中，对帧之外的值给予诸如零的任意值。该过程对于每个帧重复其自身。在上面，i是帧的水平像素的下标，j是竖直像素的下标，以及k是视频立方体中帧的下标。对于各向同性总偏差，视频解码器205求像素i,j,k与下一竖直像素i,j+1,k之间的差的平方，以及像素i,j,k与下一竖直像素i+1,j,k之间的差的平方。该计算的结果然后被相加，其中，对所述相加的结果实施平方根。然后对帧中的每个像素实施该计算，其中，对帧之外的值给予诸如零的任意值。该过程对于每个帧重复其自身。

视频解码器205可以包括用于求解方程1或方程2的TV最小化求解器（TVAL3）。例如，TVAL3是基于增强的拉格朗日方法和交互最小化。

根据一个可替换实施例，视频解码器205从克罗内克积构造度量矩阵A。克罗内克积可以是小型感知矩阵和结构化排列矩阵，以便简化用于在视频解码器205中进行解码的最小化问题。同样，下面提供了用于降低视频解码器205处的复杂度的不同最小化方程，其是基于克罗内克的度量矩阵。特别地，度量矩阵A可以根据下面描述的过程来构造。

首先，编码级别k被指定，其确定视频解码器205可以从度量中重构的最低分辨率：(p/2^k)×(q/2^k)。为方便描述，尺度是整数，并且输入相互兼容。

第二，称为块级向量化排列的一系列排列矩阵P₁ ⁿ,P₂ ⁿ,...,P_k ⁿ被构造如下：对于1＜i≤k,，其中P_i ^s∈R^s×s和I₄代表4x4单位矩阵。初始，

是基于2x2块的向量化排列。例如，P₁ ¹⁶如下面表1中所示那样运算。

表1

为简单起见，省略了对P_i ^s的上标的描述。单位矩阵的尺寸经由恰当地形成矩阵积来确定。

第三，一系列小型感知矩阵

和

对于1≤i≤k,被选择，其满足以下方程：

和4≥m₁≥...≥m_k≥1.。通常，m₀,m₁,...,m_k的选择不唯一，但m₀等于n/4^k或尽可能大，以保证在较低分辨率下的可恢复性。

第四，方程Q_k＝P_kP_k-1...P₁和被阐明，其给出用于统一的编码/多尺度解码方案的度量矩阵。

该结构化度量矩阵可以导致解码复杂度的降低。例如，级别l(l≤k)解码是指被恢复的视频帧的分辨率为(p/2^l)×(q/2^l)，以及

代表帧U的级别l低分辨率近似。向量x和x_l分别代表U和U_l的向量化。此外，1_s×t代表s×t矩阵，其项到处为1。如果t=1，则上标t的第二维可以省略。B°^j代表卡罗内卡积的j次幂；即，

一种近似U的方法是

其等价于因此，扩展矩阵E可以被确定如下：该方程产生从这些方程导出以下。

使

和a_j＝A_j1₄对于j≤k。则，之前描述的最小化问题（例如方程1和方程2）等价于下面级别l的解码模型：

方程3： $\underset{x}{\min }\mathrm{\Φ}\left(x_l\right)+\frac{\mathrm{\μ}}{2}{\left|\right|\left(L_k^l{x}_l\right){\⊗a}_{k-l+1}\⊗...\⊗a_k-y\left|\right|}_2^2.$

例如可替换方向增强的拉格朗日方法的合适求解器可以被实现为用于2D最小化问题的求解器，并且可以被扩展为处理更高维度的问题。该算法的复杂度受每个迭代处的2矩阵-向量相乘控制，其与

的尺寸成比例。事实上，对应于所需的分辨率(p/2^l)×(q/2^l)，仅代替原始分辨率p×q。因此，统一的编码/多尺度解码方案能够提供低复杂度和可伸缩耗时。

视频解码器205可以实现用于计算被重构视频数据的像素值的、针对方程1、2和3中任一个或这些方程的任意变型的合适求解器。

回头参考图5，视频解码器205根据基于所计算的像素值的降低的显示器分辨率重构视频数据。u的成员是被重构的视频立方体的像素值。例如，可以经由逐列然后逐帧地取u的成员来形成视频帧的像素而从u来形成视频帧。然而，本发明的实施例包含任意类型的从一组值来重构视频帧（或特定结构的视频帧，例如视频立方体或管）的方法。该过程必须是当进行所述度量时从视频帧形成向量x所遵循过程的精确逆过程。

目的设备103在视频显示器206上显示视频数据。

上面描述的重构过程可以提供高质量的重构和具有较高PSNR的精确被重构视频数据。同样，本发明的实施例可以具有比本公开背景中描述的传统方法更高的错误恢复力、提高的压缩比率、更快的重构和更低的复杂度。

不应当认为本发明的示例性实施例的变型脱离本发明的示例性实施例的精神和范围，并且，如将对本领域的技术人员显而易见的全部所述变型旨在被包括在本发明的范围内。

Claims (10)

1.一种由视频解码器（205）用于对视频数据进行解码的方法，所述方法包括：

由所述视频解码器（205）接收在编码器（202）处生成的一组度量中的至少一个度量，所述一组度量代表已编码的视频数据；

由所述视频解码器（205）确定显示器分辨率（S601），所述显示器分辨率与原始显示器分辨率相同或不同；

由所述视频解码器（205）基于已确定的显示器分辨率的至少一些像素确定扩展矩阵（S602），所述扩展矩阵包括值的模式；以及

由所述视频解码器（205）使用确定的扩展矩阵重构所述视频数据，使得，如果确定的显示器分辨率不同于原始显示器分辨率，则将原始显示器分辨率的大小调整为确定的显示器分辨率（S603）。

2.根据权利要求1的方法，其中，所述确定显示器分辨率步骤根据视频显示器屏幕的需求确定所述显示器分辨率。

3.根据权利要求1的方法，其中，所述确定显示器分辨率步骤根据一些确定的度量来确定所述显示器分辨率。

4.根据权利要求1的方法，进一步包括：

由所述解码器（205）获取在编码器处被应用于所述视频数据的度量矩阵，所述度量矩阵包括像素值的已指派模式；

由所述视频解码器（205）根据候选视频数据的离散余弦变换（DCT）系数的总偏差（TV）计算所述确定的显示器分辨率的像素值，所述候选视频数据基于所述度量矩阵、所述扩展矩阵和接收的度量。

5.根据权利要求4的方法，其中，所述计算步骤进一步包括：

由所述解码器（205）确定所述候选视频数据的时间方向上的DCT系数；

由所述解码器（205）逐帧地确定所述DCT系数的TV，其中，所述计算步骤根据所述DCT系数的TV的最小化计算一组值。

6.一种用于对视频数据进行解码的设备，所述设备包括：

解码器（205），被配置为，接收在编码器（202）处生成的一组度量中的至少一个度量，所述一组度量代表已编码的视频数据，

所述解码器（205）被配置为确定显示器分辨率（S601），所述显示器分辨率与原始显示器分辨率相同或不同，

所述解码器（205）被配置为，基于确定的显示器分辨率的至少一些像素确定扩展矩阵（S602），所述扩展矩阵包括值的模式，

所述解码器（205）被配置为，使用确定的扩展矩阵重构所述视频数据，使得，如果所述确定的显示器分辨率不同于原始显示器分辨率，则将原始显示器分辨率的大小调整为确定的显示器分辨率（S603）。

7.根据权利要求6的设备，其中，所述解码器（205）根据视频显示器屏幕的需求确定所述显示器分辨率。

8.根据权利要求6的设备，其中，所述解码器（205）根据一些接收的度量确定所述显示器分辨率。

9.根据权利要求6的设备，进一步包括：

所述解码器（205）被配置为，获取在编码器处被应用于所述视频数据的度量矩阵，所述度量矩阵包括像素值的已指派模式，

所述解码器（205）被配置为，根据候选视频数据的离散余弦变换（DCT）系数的总偏差（TV）计算所述确定的显示器分辨率的像素值，所述候选视频数据基于所述度量矩阵、所述扩展矩阵和接收的度量。

10.根据权利要求9的设备，进一步包括：

所述解码器（205）被配置为，确定所述候选视频数据的时间方向上的DCT系数，

所述解码器（205）被配置为，逐帧地确定所述DCT系数的TV，其中，所述解码器根据所述DCT系数的TV的最小化计算一组值。

Images