CN106657961A - 立体视频的混合数字-模拟编码 - Google Patents

Abstract

在此所描述的主题公开了一种混合数字-模拟视频编码方案。对包含至少两个彼此关联序列的帧的视频如立体视频，将某些帧进行数字编码，而另一些帧则参考数字帧以模拟方式编码。对模拟帧，相同序列/视图中的先前帧和另一个序列/视图中的具有时间一致性的帧被编码为数字帧。这两个数字帧被用于在编码模拟帧时提供边信息。在解码侧执行相反的操作。这种“锯齿形”混合编码极大地提高了编码效率，并提供了系统稳健性及良好的视觉质量。

Description

立体视频的混合数字-模拟编码

背景技术

立体或称三维(3D)视频近年来得到越来越多关注。一种趋势是：大部分立体视频将在便携式多功能设备如移动设备中捕获和使用。例如，数个虚拟现实(VR)头盔式显示器(HMD)与成熟的民用无人机和机器人一起，无论是为个人享受还是为难以抵达的地形特征的目测，都能够提供身临其境的第一人称视角(FPV)体验。在这些令人兴奋的应用中，立体视频在变化的无线信道上的低延迟传输成为了一个巨大的挑战。

已知的是，立体图像/视频由来自两个视图的帧构成。相比于传统二维(2D)图像/视频，其数据量几乎翻倍。因此，在有限带宽的约束下，编码效率对立体视频传输至关重要。同时，无线信道是时变的，变化速率取决于捕获立体视频的设备的速度。例如，当捕获设备处于高移动性时，为了保证可靠的视频传送，优选稳健的调制方式和更强的信道码。这降低了有效带宽并恶化了资源和传输率间的矛盾。因此，损害了视频质量，用户体验也大幅度降低。

发明内容

根据在此所描述主题的实现，提出一种混合数字-模拟视频编码方案。对至少包括两个彼此关联的视图或序列的帧的视频，如立体视频，将某些帧进行数字编码，而其余帧则参考数字帧以模拟方式被编码。对于模拟帧，相同序列/视图中的先前帧和另一序列/视图中的时间一致的帧均被编码为数字帧。这两个数字帧用于在模拟编码中提供边信息(side information)。在解码侧，执行相反的操作。所提出的混合“锯齿形”编码提升了编码效率，并且提供高了鲁棒性和视觉质量。

本部分发明内容用于以简化形式引入对某些概念的选择，其将在下面具体实现中进一步描述。本部分发明内容并不意于确认在此所描述主题保护主题的关键特征或重要特征，也不意于用来限定在此所描述主题保护主题的保护范围。

附图说明

图1是能够实施在此所描述主题的多个实现的环境的方框图；

图2是能够应用在此所描述主题的一个实现于包含多个序列/视图的帧的视频的示意图；

图3是根据在此所描述主题的一个实现的立体视频编码方法的流程图；

图4是根据在此所描述主题的一个实现的锯齿形编码原理图的示意图；

图5是根据在此所描述主题的一个实现的发送编码的立体视频方法的流程图；

图6是根据在此所描述主题的一个实现的立体视频解码方法的流程图；

图7是根据在此所描述主题的一个实现的平滑解码的数字帧的示意图；

图8A-图8C是示出在不同带宽设置下在此所描述主题的示例实现和立体视频编码的两个传统方案之间的性能比较图；

图9A-图9B是示出在稳定信道条件环境中在此所描述主题的示例实现和不同带宽比率的数个数字编码方案之间的性能比较图；以及

图10A-图10B是示出在动态信道条件环境中在此所描述主题的示例实现和两个传统编码方案之间的性能比较图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实现

现将根据数个示例实现对在此所描述主题进行讨论。应理解的是，讨论这些实现仅为了使得本领域技术人员更好地理解并实施在此所描述主题，并不暗示对在此所描述主题的保护范围的任何限制。

本文使用的术语“包括”及其变形应理解为开放式术语，指“包括但不限于”。术语“或”应理解为“和/或”，除非上下文清楚地表明并非如此。术语“基于”应理解为“至少部分基于”。术语“一个实现”和“一实现”应理解为“至少一个实现”。术语“另一实现”应理解为“至少一个其他实现”。“第一”、“第二”、“第三”等类似术语可指不同或相同的对象。下文包括其他直接或隐含的定义。

图1示出能够实施在此所描述主题的多个实现的环境的方框图。如图所示，该环境包括发送设备100和接收设备110。发送设备100包括一个或多个用于捕获场景的视频/图像的像机102。特别地，像机102能够捕获包括与不同视图对应的多个序列的帧的立体视频。

图2示出像机102捕获的示例立体视频。在该示例中，视频200包含彼此关联的序列210和220。例如，序列210和220可对应于场景的右眼和左眼视图。为了便于说明，术语“序列”和“视图”可交换使用。序列210包括多个帧212-1…212-N，序列220包括多个帧222-1…222-M，这里N和M是自然数且通常N＝M。不同序列中的对应帧可彼此时间一致。例如，帧212-1和222-1在同一时刻捕获并且因此具有时间一致性。应理解的是，在其他实现中，立体视频可包含多于两个序列。

再参考图1，将像机102捕获的立体视频输入一个或多个编码或压缩立体视频的编码器104。通过将某些帧编码为数字帧及其他帧编码为模拟帧，编码器104执行混合数字-模拟编码。通过以“锯齿形”形式选择数字和模拟帧，每个模拟帧可将分别来自相同和不同序列的两个数字帧作为参考帧。编码器104的示例实现将在下面描述。

编码的立体视频可由一个或多个发送器106经由无线和/或有线通信信道120向接收设备110发送。设备110包括一个或多个接收器112，其接收信号并向一个或多个解码器114提供所接收的信号。通常，解码器114执行与编码器104相反的操作，解构立体视频的数字和模拟帧。解码器114的示例实现也将在下面描述。

现在将描述视频编码的一些示例实现。图3示出根据在此所描述主题实现的立体视频编码方法300的流程图。方法300可由如图1中所示的编码器104实现。如上所述，立体视频包括多个彼此关联序列的帧。

在步骤310，编码器104编码或压缩视频的帧的第一组为数字帧。在步骤320，将视频的帧的第二组编码为模拟帧。在某些实现中，该第二组帧可包括数字编码的帧之外的所有剩余帧。根据在此所描述主题的实现，对一个模拟帧的编码将会参考至少两个数字帧，即，来自相同序列/视图的数字帧和来自不同序列/视图的数字帧。通过数字和模拟帧的锯齿形选择(将在下文详细描述)，可以实现较高的编码效率和良好的感知质量。

图4示出根据在此所描述主题的一个实现的锯齿形编码原理图的示意图。在该示例中，标有字母“A”的帧是选为将以模拟方法编码或压缩的模拟帧；标有字母“I”和“P”的帧是选为将被数字编码或压缩的数字帧。更具体地，标有字母“I”的帧是自身包含所有必要信息的内帧(“I-frame”)，而标有字母“P”的帧是仅包含来自参考帧的差异信息的预测帧(“P-frame”)。

如图4所示，在一段立体视频400的序列410和420中，数字帧和模拟帧被交替地选择。特别地，对序列410，帧412和416编码为数字帧，帧414和418编码为模拟帧。对序列420，帧424和428编码为数字帧，帧422和426编码为模拟帧。由此，以锯齿形形式跨越序列410和420选择了数字帧412、424、416和428，如实线箭头所示。同样地，模拟帧422、414、426和418也以锯齿方式选择。通过以此方式选择数字和模拟帧，对每个模拟帧，有两个数字帧可在模拟编码中用作参考帧。一个参考帧是来自相同序列的先前数字帧，另一个参考帧是来自不同序列且与该模拟帧时间一致的数字帧。

例如，在编码序列410中的模拟帧414时，来自相同序列410的数字帧412和来自不同序列420的数字帧424将被用作参考帧，如图4中的虚线箭头所示。参考数字帧412在模拟帧414之前，参考数字帧424与模拟帧414具有时间一致性。例如，在序列410和420分别对应左眼和右眼视角的那些实现方式中，数字帧424和模拟帧414可由像机102在基本上相同的时刻捕获。

换言之，根据在此所描述主题的实现方式，每个数字帧为来自相同序列的后续模拟帧和来自不同序列的时间一致的模拟帧充当参考帧。例如，在图4中，数字I帧412在编码相同序列410中的模拟帧414和不同序列420中的模拟帧422时，可被用作参考帧，如虚线箭头所示。作为另一个例子，序列420中的数字P帧424是相同序列420中的模拟帧426和不同序列410中的模拟帧414的参考帧。

应理解的是，尽管示出的模拟帧在相同序列中紧随其各自的参考数字帧，这仅仅是示例，无意于限制在此所描述主题的保护范围。在其他实现中，模拟帧的编码可将任意先前的数字帧作为参考。例如，在一个实现中，除数字帧414之外或者作为替代，可参考先前数字帧412将模拟帧418进行编码。也就是说，模拟帧可具有多于两个的参考数字帧。

特别地，对于序列中作为头帧的模拟帧，只有来自不同序列的一个数字帧可用于模拟编码。举例而言，在图4的示例中，序列420中的模拟帧422具有序列410中的单个参考帧412。在本文的上下文中，对于头模拟帧，可认为其来自相同序列的数字参考帧为空(NULL)帧。

所提出的锯齿形编码方案无论对编码的鲁棒性还是效率均有好处。特别地，根据双眼抑制理论，只要另一个视图保持在某个阈值之上，感知到的立体视频质量就接近于较高保真度的视图。根据在此所描述主题的实现，对于来自不同视图的每对帧，其中之一被数字编码，而另一个是被模拟编码。如下面将要描述的，可以相对低的基本质量编码该数字帧，模拟帧的质量可适应于信道条件。当信道比较好时，模拟帧将以高质量接收并将主导视觉质量。视觉质量将根据信道条件而适应性地改变，这不同于将帧以给定的质量进行编码从而承受在不良信道中接收损坏的比特流这一风险的传统数字方法。

现在描述步骤310和320中数字和模拟编码的一些示例实现。在步骤310，尽管数字帧是交替地从不同序列的帧得到，但是它们可被作为单个视频序列处理。当前已知或未来待开发的任何数字编码/压缩方式均可用于编码数字帧。例如，在某些实现中，可采用符合H.264标准的具有低延迟属性的编码方法来编码数字帧。

此外，如上所述，双眼抑制理论认为：以不低于某阈值的基本质量压缩立体帧对的一个帧不会降低立体视觉质量。因此，在某些实现中，编码器104将数字帧压缩为基本质量，该基本质量与相对较低的峰信噪比(PSNR)关联。当然，为了避免视觉质量的感知下降，PSNR不能太低。实验表明：根据显示类型，下限PSNR阈值可设置为31dB或33dB。因此，一个实现中，数字帧的PSNR例如可接近于34dB。

在步骤320，数字帧之外的那些帧以模拟方法编码，如上所述，每个模拟帧具有至少两个数字帧作为参考帧。在本文的上下文中，参考数字帧所提供的用于模拟编码的信息被称为“边信息”(SI)。在编码模拟帧过程中，相同序列中的先前数字帧提供“序列/视图内”边信息，另一个序列中的时间一致的数字帧提供“序列/视图间”边信息。根据编码器104的需求或配置，边信息可以不同方式使用。例如，在某些实现中，为简单起见，边信息可从模拟帧中被直接减掉。

在某些实现中，在编码模拟帧过程中，序列间和序列内边信息均被纳入考虑。例如，在一个实现中，可首先对每个模拟帧在空间上解相关，这可通过对模拟帧进行变换来实现。变换的示例包括但不限于离散余弦变换(DCT)。解相关产生一组变换系数，表示为X_a。继而，将作为编码模拟帧而被传输的模拟信号可如下获得：

其中和分别表示序列间和序列内边信息。边信息可通过对相应的数字帧应用变换而得到。

在以上的实现中，直接在帧的级别执行模拟编码。备选地，在其他实现中，可以降低编码粒度以获得更为精确的编码。例如，在某些实现中，可将变换系数分为组块，例如相同大小的矩形组块。组块表示为X_a，i，i＝1，2，...N，这里N表示组块的数目。在一个实现中，每个组块的模拟信号可如下确定：

其中表示来自不同序列的参考数字帧中的对应组块所提供的序列间边信息，表示来自相同序列的参考数字帧中的对应组块提供的序列内边信息，和可统称为“组块边信息”。

可以看到，在上面的示例实现中，来自两个参考数字帧的边信息均被使用。然而，这可能并不总能得到最佳编码结果。考虑两个相关零均值随机变量A和B，已知

var{A-B}＝var{A}+var{B}-2cov{A，B} (3)

其中var{*}表示变量的方差，cov{*}表示变量的卷积。当2cov{A，B}＜{B}，如果将变量B作为参考，得到的var{A-B}将甚至比var{A}还大。为了应对这种情况，在某些实现中，在模拟编码中适应性地选择边信息。也就是说，在这些实现中，可以仅利用来自一个参考数字帧的边信息或甚至不使用边信息来实现模拟编码。

考虑组块级别的模拟编码作为示例，组块的编码模拟信号可如下表示：

其中I(i)和J(i)分别表示序列间和序列内边信息的掩码。模拟信号X_i例如可以被建模为零均值高斯源。不失一般性，假设其方差(以λ_i表示)满足

掩码I(i)和J(i)可通过多种方式获得。例如，在一种实现中，对每个组块X_a，i，该组块自身的方差可如下确定：

λ_a，i＝var{X_a，i} (5)

此外，组块X_a，i与来自不同序列的参考数字帧中的对应组块之间的差异的第一方差可如下确定：

组块X_a，i与来自相同序列的参考数字帧中的对应组块之间的差异的第二方差可如下确定：

继而，基于组块的方差，即第一方差和第二方差，可如下确定掩码I(i)和J(i)：

也即，在这种实现中，如果组块自身的方差小于第一方差和第二方差二者，则在该组块的模拟编码中不使用边信息。如果第一方差是最小的，则只使用序列间组块边信息。否则，如果第二方差是最小的，则只使用序列内组块边信息。

应理解的是，上述实现仅仅是为了示意，并不暗示任何在此所描述主题的保护范围的限定。例如，除了组块边信息，上述选择机制可用来以整个帧为基础来选择边信息。

通过应用方法300，立体视频的帧以混合数字-模拟方式被编码。然后，编码的数字和模拟帧可由发送器106经由信道120发送。图5示出根据在此所描述主题的实现的用于发送编码的立体视频的方法500。方法500可由如图1中所示发送器106实施，并在方法300之后执行。

在步骤510，发送已编码的数字帧。例如，在某些实现中，为了符合现有传输机制，可根据定义的数字通信框架如IEEE 802.11a标准来发送数字信号。

特别地，如上所述，数字帧以基本质量被编码，并且在接收方一侧的模拟解码中提供边信息。为了保证高解码性能，可为代表编码数字帧的数字比特流提供强保护。为此，在某些实现中，向数字比特流添加鲁棒的前向纠错(FEC)编码以保护数字比特流。例如，可将数字比特流进行扰码，并采用如1/2比率的卷积码进行卷积。然后可应用比特交织以对抗突发脉冲比特错误。

发送器106可应用基带正交幅度调制(QAM)并以正交频分复用(OFDM)符号发送调制的数字信号。在某些实现中，可采用相移键控(PSK)调制技术。例如，可以使用二进制相移键控(BPSK)，BPSK被认为是最鲁棒的调制方案之一。然而，已知的是BPSK不使用星座平面的Q轴，这降低了带宽效率。作为备选，在其他实现中，发送器106可利用具有两倍符号能量的正交相移键控(QPSK)。实践证明，当每符号能量翻倍时，QPSK能够达到与BPSK完全相同的误码率(BER)。

在步骤520，发送已编码的模拟帧。以基于组块的模拟编码为例，在信道120中发送模拟信号X_i。在某些实现中，可在功率调节后直接发送模拟系数。在一个实现中，可以跳过信道编码和调制而将每对系数组合为一个符号，例如复数(I,Q)符号，并通过如原始OFDM信道发送。

应理解的是，尽管编码数字帧被示为在模拟帧之前发送，但这仅是为了示意，并不暗示对在此所描述主题的保护范围的任何限制。根据例如发送器106和/或接收器112的配置，可以任何合适的顺序或并行方式发送数字和模拟帧。

当在步骤510和520发送编码的数字信号和模拟信号时，发送器106可以控制传输功率和带宽在数字传输和模拟传输之间的分配。假设，总带宽能提供与M个组块对应的时隙。数字编码完成后，发送器106可以确定数字传输将使用的时隙数目，将设其等效于传输N_d个组块所需要的带宽相当。在这种情况下，只能传输N_a＝M-N_d个组块的模拟帧系数。

为了实现较好的传输性能，发送器106可基于带宽分配来分配总发送功率。例如，发送器106可以首先确定用于发送编码数字帧的平均符号功率，记为p_d。例如，对于QPSK符号，平均符号功率p_d可被设置为满足如下条件：

其中γ表示信噪比(SNR)阈值，σ²表示星座噪声符号的平均功率。通过利用以这种方式确定的平均符号功率p_d发送数字信号，无差错传输的概率将会非常高。

在实践中，可按如下方式确定数字传输的平均符号功率p_d。首先，可以基于总传输功率P_t和总带宽M来确定平均星座符号功率，记为p_t。例如，在每个(I,Q)符号传送两个模拟系数的那些实现中，平均星座符号功率p_t可如下计算：

p_t＝2P_t/M (10)

然后，基于所确定的平均星座符号功率p_t和发送器106处的目标SNR(记为γ_t)，平均信道噪声功率(记为)可以使用如下公式确定：

接下来，基于平均信道噪声功率和目标SNR阈值γ，用于数字传输的平均符号功率p_d可以使用如下公式确定：

目标SNR阈值γ可基于具体的实现来确定。例如，对QPSK 1/2FEC 802.11a PHY，已经证实γ＝8dB足以支持可靠的接收。为了不依赖于来自接收装置110的信道状态信息反馈，在某些实现中，发送器106可以实现相对较低的目标SNR，例如γ_t＝4dB。通过这种方式，可以支持较大的SNR范围，并且能够容易地用于多播。

给定用于数字传输的平均符号功率p_d，分配给数字传输的功率P_d可由下式计算得到：

继而，用于模拟传输的功率P_a为：

以这种方式，传输功率被有效地分配给数字传输和模拟传输。

当使用N_a个组块的带宽和总功率P_a在加性高斯白噪声(AWGN)信道上传输N个组块X_i时，应丢弃具有最小方差的组块，并由因子g_i进行功率调节后，传输第一N_a个组块。

相应地，接收信号可表示为：

Y＝GX+V (16)

其中 并表示具有σ²/2功率的加性高斯白噪声。在接收器112，丢弃的组块由其均值也就是零替代。表示重构版本的X_i,其变形D可由下式确定：

从式(17)可知，较小的λ_i可得到较小的变形。这就是关于图4讨论的锯齿形选择数字和模拟帧的理论依据。

仍然参考图5，在步骤530，向接收设备110发送模拟编码的元数据。元数据至少指示了用于编码每个模拟帧的边信息的使用。例如，在一个实现中，与每个模拟帧或其组块关联的掩码I(i)和J(i)可作为元数据的一部分被发送。解码器114可使用元数据来重构模拟帧，这将在下文讨论。附加地或备选地，在基于组块进行模拟编码的那些实现中，元数据可包括每个组块的位置和方差λ_i。

此外，将会理解，上文假定的前N_a个组块是具有最大方差的组块这一假设在某些情况下并不成立。因此，某些实现中，具有最大方差的N_a个组块的指示也作为元数据的一部分被传递给接收设备110。在一个实现中，例如，可对元数据进行熵编码以便传输。

图6示出根据在此所描述主题的实现用于对编码的立体视频解码的方法600。例如，方法600可由设备110的接收器112和解码器114实施。一般而言，解码流程包括与编码流程所涉及的那些操作相反的操作。也就是说，数字帧可被解码并且被用作边信息以解码模拟帧。

如图所示，在步骤610，设备110的接收器112接收代表立体视频的信号，该立体视频由如方法300被编码。如上所述，立体视频的某些帧被编码为数字帧，其他帧被编码为模拟帧，其中每个模拟帧的编码参考相同序列中的数字帧和不同序列中的数字帧。在步骤610接收的信号包括数字符号中携带的数字信号和模拟符号中携带的模拟信号(例如，模拟系数)。

在步骤620，接收器112进一步接收用于模拟编码的元数据。如上讨论，元数据至少指示由数字帧提供并且在编码模拟帧或其组块中使用的边信息。例如，元数据可包括上面讨论的序列间和序列内边信息的掩码I(i)和J(i)。

在步骤630，从接收的数字信号解码出数字帧。数字解码技术是已知的，故在此不再详述。在步骤640，基于解码的数字帧，从接收的模拟信号解码模拟帧。例如，可从模拟符号构建发送的模拟信号，接着，基于步骤620中接收的元数据，解码器114从解码的数字帧获取相应的边信息。边信息用于获取变换系数，例如DCT系数，该系数可用于重构模拟帧。

通过上面的描述，将会理解，解码视频的每个序列/视图包括交替的低质量数字帧和高质量模拟帧。如果呈现单视图，用户会感受到闪烁效应。然而，如果呈现两个视图，高质量视图(例如，当在左视图和右视图间切换时)将主导视觉体验，闪烁效应会得到缓和。为了进一步提升渲染效果，在某些实现中，在步骤650，解码器可以通过平滑解码的数字帧来执行质量增强。

对于每个基本质量的数字帧，其在相同序列中对先前帧和随后的帧以及在同一时刻显示的另一个序列中的帧都是更高质量的模拟帧。这种序列内和/或序列间相关性可被用于提升数字帧的质量。在一个实现中，可以通过使用序列内相关性向每个数字帧应用简便的时间滤波器。图7示出这种实现的示意图。

如图所示，对序列700中任意解码的数字帧720(以“P”标记)，先前模拟帧710和后续模拟帧730(以“A”标记)可被用于平滑。在这个例子中使用了两个模拟帧。在其他实现中，可以使用更多的先前帧和/或后续模拟帧。特别地，数字帧720的平滑像素值可由下式表示：

P(u，v)＝median{A_f-1(u，v)，P(u，v)，A_f+1(u，v)} (18)

其中P(u，v)、A_f-1(u，v)和A_f+1(u，v)分别表示数字帧720、先前模拟帧710和后续模拟帧730中的像素坐标，median{*}表示返回中间值的函数。

实验表明，相对于传统编码方案，在此所描述主题的实现获得了更好的客观和主观性能。低延迟属性和信道自适应能力使得在此所描述主题的实现适于实时移动3D应用，例如远程沉浸式体验和交互式控制。

例如，在一个示例实现中，采用H.264的变形进行数字编码。编码预测结构为IPPP，图像组(GOP)大小设置为8，采用用于数字传输的比特交织编码调制(BICM)以及用于FEC和QPSK调制的1/2比率卷积码。在模拟编解码器中，每个帧的组块数目为256(16×16)。将信道分为64个子载波，其中48个子载波用于数据传输。在这种实现中，每个物理层会聚协议(PLCP)帧包含40个OFDM符号，其转换为1920个复数符号。

图8A-图8C示出在不同带宽设置下该示例实现和立体视频编码的两个传统解决方案之间的比较结果。两个传统编码方案分别使用视图间SI和视图内SI。能够看出，对边信息的选择性参考是利用相关性的更有效方式。对每个带宽设定，其提供大约1:5dB的PSNR增益。此外，锯齿形编码结构提供甚至更大的增益。

图9A-图9B示出在稳定信道条件环境中在此所描述主题主题示例实现和不同带宽比率的数个数字编码方案之间的接收立体视频的平均主导PSNR比较结果。由于独立的源信道编码，传统数字方案显示了明显的悬崖效应。如果发送器高估了信道条件并选择高阶调制，接收器将解码失败从而什么也得不到，因而视频质量急剧下降。因此，传统数字传输方案并不适于无线信道变化。相反，在此所描述主题的示例实现能够实现在信道变化情形下平稳的质量可伸缩性，并支持较大的动态SNR范围，因此，能容易地用于立体视频的多播应用。此外，当带宽比率为0.5和1时，PSNR曲线优于数字方案的包络。

对某些应用，带宽可能并不特别紧要，但能量相当有限。例如，采用微型航空器和实时控制系统的立体空中摄影/捕获，电源是由电池供给。在一个实验中，在此所描述主题的示例实现的能量效率与低延迟H.264数字传输方案的能量效率进行比较。该实验中，每星座符号的平均功率分别下降了75％和50％，之后评估了测试立体视频序列的主导PSNR。结果显示，采用示例实现传输立体视频，一半的功率分配能达到与全知数字低延迟方案可比的性能。

示例实现还在动态无线信道上具有良好的质量可伸缩性。图10A-10B示出在动态信道条件环境中在此所描述主题的示例实现和两个传统编码方案之间的主导PSNR和信道SNR比较结果。由图可见，示例实现几乎在所有时刻都胜于H.264+1/2BPSK方案，平均增益为2.17dB。H.264+1/2BPSK方案获得一些相对恒定的主导PSNR，无法适于信道变化，因而当信道条件比1/2BPSK所要求的要好时，浪费了信道容量。还可以发现，当信道条件良好时，相对于1/2BPSK，1/2QPSK编码和调制能得到更高的主导PSNR，但是，如果信道条件变差，主导PSNR会急剧下降，这种情况下，数字比特无法被正确接收，导致接收器对立体视频GOP中随后的帧的解码失败。总而言之，示例实现相对于数字方案在动态无线信道上质量缩放更好并提供更优的主导PSNR。

在此所描述主题功能性的描述可以至少部分地由一个或多个硬件逻辑组件执行。例如，可使用的示意而非限定的硬件逻辑组件包括场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。

用于实施在此所描述主题的实现的程序代码可采用一种或多种编程语言的任意组合编写。可提供这些程序代码给通用计算机、专用计算机或其他程序数据处理装置的处理器或控制器，当处理器或控制器执行程序代码时，使在图表和/或方框图中定义的功能/操作得到实施。程序代码可作为独立软件包完全在机器上或部分在机器上执行，或部分在机器上、部分在远程机器上或全部在远程机器或服务器上执行。

在此所描述主题上下文中，机器可读媒体可以是任何有形的媒体，其可包含或存储指令执行系统、装置或设备使用的程序或与指令执行系统、装置或设备连接使用的程序。机器可读媒体可以是机器可读信号媒体或机器可读存储媒体。机器可读媒体可包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体的系统、装置、设备或任何适宜的前述组合。更具体的机器可读存储媒体的例子可包括具有一条或多条电线的电子连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或任何适宜的的前述组合。

进一步的，当以特定顺序描述操作时，应理解为要求这样的操作以展示的特定顺序或相继次序执行，或执行所有示出的操作，以达到想要的结果。在某些情况下，多任务和并行处理是有益的。同样地，当数个特定实现细节包含于上述讨论中时，它们应被理解为在此所描述主题的保护范围的限定。在分开的实现的上下文中描述的某些特征也可在单独实现中组合实施。相反地，在单个实现上下文中描述的不同特征可在多个实现中独立地或以任何合适的子组合实施。

下面列出在此所描述主题的一些示例实现。

一方面，在此所描述主题公开一种设备。该设备包括编码器，被配置为将视频的帧的第一组帧编码为数字帧，所述视频的所述帧被包括在彼此关联的多个序列中；以及将所述帧的第二组帧编码为模拟帧，模拟帧的编码参考：不同序列中与所述模拟帧具有时间一致性的第一数字帧，以及相同序列中在所述模拟帧之前的第二数字帧。

在某些实现中，所述第一数字帧和所述模拟帧在同一时刻被捕获，所述第二数字帧紧直接在所述模拟帧之前。

在某些实现中，所述编码器被配置为通过以下方式编码模拟帧：利用变换将所述模拟帧在空间上解相关，得到一组变换系数；基于所述变换系数，选择由所述第一和第二数字帧提供的边信息；以及使用选择的边信息对所述模拟帧进行编码。

在某些实现中，所述编码器被配置为通过以下方式选择所述边信息：将变换系数分为多个组块；对每个组块，确定该组块和对应于在所述第一数字帧中的该组块的第一组块之间的第一差异；确定该组块和对应于在所述第二数字帧中的该组块的第二组块之间的第二差异；以及基于所述第一和第二差异，为该组块选择边信息。

在某些实现中，所述编码器被配置为通过以下方式为所述组块选择所述边信息：确定所述组块的方差；确定所述第一差异的第一方差；确定所述第二差异的第二方差；以及基于所述组块的所述方差、所述第一方差和所述第二方差，为所述组块选择所述边信息。

在某些实现中，所述编码器被配置为采用各组块的所述边信息，通过编码所述组块来编码所述模拟帧。

在某些实现中，所述编码器被配置为以与低峰信噪比(PSNR)关联的基本质量，编码所述数字帧。

在某些实现中，所述设备进一步包括发送器，被配置为发送所述编码的数字和模拟帧。

在某些实现中，所述发送器被配置为以下列方式保护所述编码的数字帧：向代表所述编码的数字帧的数字比特流添加前向纠错(FEC)码；以正交移相键控(QPSK)调制方式调制所述数字比特流为QPSK符号；以及以双倍的符号能量发送所述QPSK符号。

在某些实现中，所述发送器被配置为基于总发送功率和总带宽确定平均星座符号功率；基于所述确定的平均星座符号功率和目标信噪比(SNR)，确定平均信道噪声功率；基于所述平均信道噪声功率和SNR阈值，确定发送所述编码的数字帧的平均信号功率；以及基于所述确定的平均符号功率，分配所述总发送功率。

在某些实现中，所述发送器被配置为发送指示由用于编码模拟帧的所述数字帧所提供的边信息的元数据。

在某些实现中，所述视频是立体视频，所述多个序列包括对应于场景右眼视图的第一序列和对应于场景左眼视图的第二序列。

另一方面，在此所描述主题公开了一种设备。该设备包括接收器和解码器，所述接收器被配置为接收代表编码视频的信号，所述视频包括来自彼此关联的多个序列的帧，所述信号包括代表被编码为数字帧的第一组帧的数字信号以及代表被编码为模拟帧的第二组帧的模拟信号，模拟帧的编码参考在不同序列中具有与模拟帧时间一致性的第一数字帧以及相同序列中在模拟帧之前的第二数字帧；所述解码器被配置为从所述数字信号解码所所述数字帧，以及至少部分地基于解码的数字帧，从所述模拟信号解码所述模拟帧。

在某些实现中，所述接收器被配置为接收指示由用于编码所述模拟帧的所述数字帧提供的边信息的元数据，以及所述解码器被配置为基于解码的数字帧和所述元数据，从所述模拟信号解码所述模拟帧。

在某些实现中，所述接收器被配置为基于所述解码的模拟帧，平滑所述解码的数字帧，平滑解码的数字帧采用所述解码的数字帧之前的解码的模拟帧和解码的数字帧之后的解码的模拟帧。

另一方面，在此所描述主题公开了一种方法。所述方法包括将视频的帧的第一组编码为数字帧，所述视频的所述帧被包括在彼此关联的多个序列中；以及将所述帧的第二组编码为模拟帧，模拟帧的编码参考：不同序列中与所述模拟帧具有时间一致性的第一数字帧，以及相同序列中在所述模拟帧之前的第二数字帧。

在某些实现中，所述第一数字帧和所述模拟帧在同一时刻被捕获，所述第二数字帧直接在所述模拟帧之前。

在某些实现中，编码模拟帧包括：利用变换将所述模拟帧空间上解相关，得到一组变换系数；基于所述变换系数，选择由所述第一和第二数字帧提供的边信息；以及使用选择的边信息对所述模拟帧进行编码。

在某些实现中，选择所述边信息包括：将变换系数分为多个组块；对每个组块，确定该组块和对应于在所述第一数字帧中的该组块的第一组块之间的第一差异；确定该组块和对应于在所述第二数字帧中的该组块的第二组块之间的第二差异；以及基于所述第一和第二差异，为该组块选择边信息。

在某些实现中，为所述组块选择所述边信息：确定所述组块的方差；确定所述第一差异的第一方差；确定所述第二差异的第二方差；以及基于所述组块的所述方差、所述第一方差和所述第二方差，为所述组块选择所述边信息。

在某些实现中，编码所述模拟帧包括采用各组块的所述边信息，编码所述组块。

在某些实现中，编码所述数字帧包括以与低峰信噪比(PSNR)关联的基本质量，编码所述数字帧。

在某些实现中，所述方法进一步发送编码的数字和模拟帧。

在某些实现中，发送编码的数字帧包括保护编码的数字帧，包括：向代表所述编码的数字帧的数字比特流添加前向纠错(FEC)码；以正交移相键控(QPSK)调制方式调制所述数字比特流为QPSK符号；以及以双倍的符号能量发送所述QPSK符号。

在某些实现中，进一步包括：基于总发送功率和总带宽确定平均星座符号功率；基于所述确定的平均星座符号功率和目标信噪比(SNR)，确定平均信道噪声功率；基于所述平均信道噪声功率和SNR阈值，确定发送所述编码的数字帧的平均信号功率；以及基于所述确定的平均符号功率，分配所述总发送功率。

在某些实现中，进一步包括发送指示由用于编码模拟帧的所述数字帧所提供的边信息的元数据。

在某些实现中，所述视频是立体视频，所述多个序列包括对应于场景右眼视图的第一序列和对应于场景左眼视图的第二序列。

尽管已经采用针对结构特征和/或方法操作的语言描述了在此所描述的主题，应理解的是，所附权利要求限定的主题并不一定限于上述特定特征或操作，应该说，公开的上述特定特征或操作仅是实施权利要求的示例形式。

Claims (20)

1.一种设备，包括：

编码器，被配置为：

将视频的帧中的第一组帧编码为数字帧，所述视频的所述帧被包括在彼此关联的多个序列中；以及

将所述帧中的第二组帧编码为模拟帧，对一个模拟帧的编码参考：

不同序列中与所述模拟帧具有时间一致性的第一数字帧，以及

相同序列中在所述模拟帧之前的第二数字帧。

2.根据权利要求1所述的设备，其中所述第一数字帧和所述模拟帧在同一时刻被捕获，并且其中所述第二数字帧紧邻所述模拟帧之前。

3.根据权利要求1所述的设备，其中所述编码器被配置为通过以下方式来编码一个模拟帧：

利用变换将所述模拟帧在空间上解相关，以得到一组变换系数；

基于所述变换系数，选择由所述第一数字帧和所述第二数字帧提供的边信息；以及

使用选择的所述边信息来编码所述模拟帧。

4.根据权利要求3所述的设备，其中所述编码器被配置为通过以下方式选择所述边信息：

将所述变换系数分为多个组块；以及

对所述组块中的每一个组块，

确定所述组块与所述第一数字帧中对应于所述组块的第一组块之间的第一差异；

确定所述组块与所述第二数字帧中对应于所述组块的第二组块之间的第二差异；以及

基于所述第一差异和所述第二差异来选择用于所述组块的边信息。

5.根据权利要求4所述的设备，其中所述编码器被配置为通过以下方式选择用于一个组块的所述边信息：

确定所述组块的方差；

确定所述第一差异的第一方差；

确定所述第二差异的第二方差；以及

基于所述组块的所述方差、所述第一方差和所述第二方差来选择用于所述组块的所述边信息。

6.根据权利要求4所述的设备，其中所述编码器被配置为通过使用用于各组块的所述边信息对所述组块进行编码，来编码所述模拟帧。

7.根据权利要求1所述的设备，其中所述编码器被配置为以基本质量编码所述数字帧，所述基本质量与低峰信噪比(PSNR)关联。

8.根据权利要求1所述的设备，所述设备进一步包括发送器，被配置为发送已编码数字帧和已编码模拟帧。

9.根据权利要求8所述的设备，其中所述发送器被配置为以下列方式保护所述已编码数字帧：

向代表所述已编码数字帧的数字比特流添加前向纠错(FEC)码；

以正交移相键控(QPSK)调制将所述数字比特流调制到QPSK符号中；以及

以双倍符号能量发送所述QPSK符号。

10.根据权利要求8所述的设备，其中所述发送器被配置为：

基于总发送功率和总带宽来确定平均星座符号功率；

基于确定的所述平均星座符号功率和目标信噪比(SNR)，确定平均信道噪声功率；

基于所述平均信道噪声功率和一个SNR阈值，确定用于发送所述已编码数字帧的平均信号功率；以及

基于确定的所述平均符号功率，分配所述总发送功率。

11.根据权利要求8所述的设备，其中所述发送器被配置为发送元数据，所述元数据指示在编码所述模拟帧中使用的由所述数字帧提供的边信息。

12.根据权利要求1所述的设备，其中所述视频是立体视频，所述多个序列包括对应于场景的右眼视图的第一序列和对应于场景的左眼视图的第二序列。

13.一种设备，包括：

接收器，被配置为接收代表已编码视频的信号，所述视频包括来自彼此关联的多个序列的帧，所述信号包括：

代表第一组帧的数字信号，所述第一组帧被编码为数字帧，

代表第二组帧的模拟信号，所述第二组帧被编码为模拟帧，一个模拟帧的编码参考在不同序列中与所述模拟帧具有时间一致性的第一数字帧以及相同序列中在所述模拟帧之前的第二数字帧；以及

解码器，被配置为：

从所述数字信号解码所述数字帧，以及

至少部分地基于解码的所述数字帧，从所述模拟信号解码所述模拟帧。

14.根据权利要求13所述的设备，其中所述接收器被配置为接收元数据，所述元数据指示在编码所述模拟帧中使用的由所述数字帧提供的边信息，并且其中所述解码器被配置为基于解码的所述数字帧和所述元数据从所述模拟信号解码所述模拟帧。

15.根据权利要求13所述的设备，其中所述接收器被配置为基于解码的所述模拟帧来平滑解码的所述数字帧，一个解码的数字帧使用所述解码的数字帧之前的解码的模拟帧和所述解码的数字帧之后的解码的模拟帧来平滑。

16.一种方法，包括：

将视频的帧中的第一组帧编码为数字帧，所述视频的所述帧被包括在彼此关联的多个序列中；以及

将所述帧的第二组帧编码为模拟帧，对一个模拟帧的编码参考：

不同序列中与所述模拟帧具有时间一致性的第一数字帧，以及

相同序列中在所述模拟帧之前的第二数字帧。

17.根据权利要求16所述的方法，其中编码一个模拟帧包括：

利用变换将所述模拟帧在空间上解相关，以得到一组变换系数；

基于所述变换系数，选择由所述第一数字帧和所述第二数字帧提供的边信息；以及

使用选择的所述边信息来编码所述模拟帧。

18.根据权利要求17所述的方法，其中选择所述边信息包括：

将所述变换系数分为多个组块；以及

对所述组块中的每一个组块，

确定所述组块与所述第一数字帧中对应于所述组块的第一组块之间的第一差异；

确定所述组块与所述第二数字帧中对应于所述组块的第二组块之间的第二差异；以及

基于所述第一差异和所述第二差异来选择用于所述组块的边信息。

19.根据权利要求18所述的方法，其中选择用于一个组块的所述边信息包括：

确定所述组块的方差；

确定所述第一差异的第一方差；

确定所述第二差异的第二方差；以及

基于所述组块的所述方差、所述第一方差和所述第二方差来选择用于所述组块的所述边信息。

20.根据权利要求13所述的方法，其中编码所述数字帧包括：以基本质量编码所述数字帧，所述基本质量与低峰信噪比(PSNR)关联。