CN108141230A - 用于优化在无线网络中传输视频数据流的方法 - Google Patents

Abstract

本发明涉及一种用于提高在由Wi‑Fi通信协议控制的无线网络上接收视频数据流的可靠性和质量的方法，所述视频数据流以各自包括K个第一数据块和用于前向纠错(FEC)的H个冗余块的包Q的形式被编码，所述流包括各自包括由至少一个传输设备传输的K+N个块的一系列包G，所述至少一个传输设备将所述流多播至如智能电话等客户端观看设备。所述方法包括由所述客户端设备针对从所述一个或多个传输设备接收到的所述数据包G中的每一个而实施的以下步骤：a/监测对所述K个第一数据块的正确接收，如果结果是肯定的，则解码并观看所述视频流；b/如果未接收到所有所述K个第一数据块，则如果可能的话借助于前向纠错(FEC)算法进行解码；c/如果所接收到的K+N个块的总数X小于K，或者如果未从前一解码步骤中获得肯定结果，则发送关于一个或多个丢失块的消息；d/如果所述传输设备的统计算法组织重新发送缺失数据，则根据a/和b/检查对数据的接收，并且如果结果是肯定的，则解码并观看所述视频流。

Description

用于优化在无线网络中传输视频数据流的方法

技术领域

本发明涉及一种用于增强在由例如Wi-Fi型通信协议管理的无线数字网络等上接收视频数据流的可靠性和质量的方法。所涉及的流是多播的或者多路广播的，也就是说，所述流源自将其广播至订阅了所述广播的一组接收器的至少一个发射器。形成接收者组的接收设备或客户端能够观看所发送的流，并且为此设置有使得能够处理并观看所接收信息的至少一个应用。

更具体地，本发明涉及对视频流的接收执行的处理，所述处理使得能够在存在丢失数据块时增强解码信号的质量。

背景技术

本发明的可能应用之一是在运动会或演出类型的事件发生的围墙的周界内几乎实时地广播所述事件。一方面，客户端应用软件允许流畅地观看由与事件的组织方联系的服务提供商提供的视频图像等，并且另一方面，允许通过可能对所接收视频流赋予附加值的处理操作来丰富观看，所述处理操作例如重复以及因此如果需要的话以慢动作回顾某些序列。

这种处理操作要求以足够的数量接收常规地以基本上包含多组图像的信息的包的形式传输的视频流，以首先使对所述视频流的观看能够简单舒适，然后还使任何随后的信号处理操作能够基于足以执行所述操作的信息库。

现在，在无线局域网上，无论使用什么通信协议和广播模式——那因此还适用于将在文本中用作优先示例的多播Wi-Fi网络，传输错误率处于0％到15％之间、有时更多。此错误率实际上由网络传输的信息的块的丢失组成。如果假设了视频流传输，则这些丢失的结果是所获得的视频的质量较差，当所述块不是纯粹丢失时，图像能够展现出外生宏块，所述外生宏块使所述图像变差并且因此降低流的质量。根据情况，这些丢失可能影响视频流，远到防止对某些序列的广播。

实际上，视频数据流以包G的形式被编码，所述包事实上基本上由不同类别的多组图像组成，这些包然后被分为数据块。根据同样由丢失数据恢复状况的提前实施产生的常规方案，这些包G各自包括基本上对视频流的图像进行编码的K个第一数据块以及如果需要的话用于前向纠错(通过FEC型算法)的N个所谓的冗余块。

因此，流包括连续的多组图像或包G，所述包各自包括由传输设备传输的K+N个块，所述传输设备将所述流多播至客户端观看设备，例如智能手机或平板计算机。

发明内容

为了确保可靠且高质量地接收视频流，尽管存在总是可能的丢失，根据本发明且主要地，所述方法包括由每个客户端设备针对从所述一个或多个传输设备接收到的数据包G中的每一个而实施的以下步骤：

-a/检查对所述K个第一数据块的正确接收，在肯定结果的情况下，解码并观看所述视频流；

-b/在未接收到所有所述K个第一数据块的情况下，并且如果所接收到的K+N个块的总数X至少等于K，则借助于前向纠错(FEC)算法进行解码以便取回所述块K的缺失数据，在肯定结果的情况下，解码并观看所述视频流；

-c/如果所接收到的K+N个块的总数X小于K，或者在经由所述前向纠错算法(FEC)进行的所述解码的肯定结果不存在的情况下，通过所述客户端设备发送单播消息，所述单播消息向发射器给予至少关于最后一个或多个丢失块的信息；

-d/如果所述传输设备的统计算法组织返回所述缺失数据，则根据a/和b/检查对由所述传输设备返回的所述数据的正确接收，在肯定结果的情况下，解码并观看所述视频流。

本发明所基于的理念是尝试通过连续的步骤来纠正错误，对所述步骤中的每一个的实施取决于在前一个步骤中执行的至少一个测试。对步骤的实施尤其取决于数据包中检测到的错误的比率和分布。在有利的假设下，仅实施第一步骤，也就是说，第一测试。如果全部K个第一块已经到达客户端设备，则那意味着不存在错误、不存在信息丢失，并且可以执行视频解码以便进行观看。

在更加不利的假设下，FEC算法必须用于取回丢失数据：实际上，当错误率不太大时(所述错误率于是被定性为低到中等)，此步骤使得能够纠正在时间上分布的块的丢失。实施此步骤的条件是所接收到的块的总数至少等于K。

根据错误的类型，此步骤可能完全失败或由于缺乏数据而不可行，并且因此使得不能够纠正错误：例如，例如通过整个包发生错误(也就是说，表示被定性为中到高等的分组错误)的情况就是如此。然后，将根据本发明实施另一个例程，所述例程假设与传输设备进行交换。这种情况下的客户端向发射器发送单播消息，所述发射器可能在统计算法之后返回缺失数据。那明显地假设客户端设备已经识别了所述缺失数据。

当由客户端设备进行接收时，根据步骤a/和b/检查所返回数据的完整性或易读性，然后，所述客户端设备可以继续对流进行解码以便使其被观看。

然而，本发明的方法进一步深入并且还考虑了这样一种假设：由传输设备返回的数据在允许视频流被正确显示的状况下不总是或不被充分快速地接收。

在这种情况下，根据本发明实施以下步骤：

-e/在未正确接收所返回的所述数据的情况下，检查对在所接收到的所述包G中具有内部编码的参考图像的接收，然后

-f/如果这种参考图像被完整接收，则实施应用于压缩数据的错误隐藏算法，并且

-g/解码并观看所述视频流。

所提到的参考图像是这样的图像：包G通常以其开始、其基本上由一组图像组形成、被周期性地重复直到编码结束的连续图像简言之构成编码数据流。这是具有内部编码的参考图像，对所述参考图像的解码是自主的并且不取决于之前或随后的图像。此类别与例如具有预测编码的其他类别的图像以限定了特定组的顺序关联使用。然后，根据包含在此预定义组中的编码图像生成(或解码)可见图像。

独立于形成所述组的其他类型的图像的这种类型的图像被认为是参考图像，并且因此，旨在确定对错误隐藏算法的实施的相关性的测试优选地根据本发明而基于这种参考图像的完整存在。

当客户端设备还不能正确地重构由传输设备返回的视频流时，其实施错误隐藏步骤。然而，只有在已经在数据包G过程中接收到参考图像的条件下才执行错误隐藏步骤。基于隐藏的此新步骤使得能够隐藏错误并且在解码时提供经编码且经计算的样本，所述样本替代来自参考图像和在包G中接收到的任何其他图像的数据的信号的缺失样本。对编码数据上的图像的缺失部分的估计使得能够在视觉上减轻压缩视频流中的数据接收错误，并且通过使用同一图像内(空间关联性)或者过去或将来图像中(时间关联性)的图像之间的空间和时间相关性来执行。这些例程所基于的理念是：在图像的空间相邻像素之间很少存在突变，并且视频序列的连续图像中存在时间连续性。

然后，本发明的方法考虑了未接收到当前正在被处理的流的数据包中具有内部编码的这种参考图像的可能性。在这种情况下，根据特定于本发明的可能性，实施以下步骤：

-h/在未接收到所接收到的所述数据包G中具有内部编码的参考图像的情况下，检查对之前的G-1个包以及接下来的G+1个包的至少一个参考图像的接收，

-i/对未压缩或线性数据实施内插法以便重构图像，然后

-j/解码并观看所述视频流。

在略有不同的背景下，本发明的方法的此新步骤这次使用算法重构可能性而不是以上使用的错误隐藏技术。其涉及同样在时间上或空间上考虑的内插法，并且这次使用未压缩视频流进行操作。在时间内插中，未压缩视频流使得能够通过使用之前和随后的图像来生成流中的缺失图像。

如果碰巧之前描述的步骤都未得出结论，特别是在所实施的最后一个步骤的背景下，则因为未接收到之前的G-1个包以及接下来的G+1个包的至少一个参考图像，所以不显示包G。

事实上，本发明的方法是旨在使系统的响应适应于性质和严重性被逐渐检测的视频信号传输缺陷的一连串连续解决方案。

附图说明

现在将参照附图更详细地描述本发明，所述附图表示本发明的实施方式的一种可能性，并且对于附图：

-图1表示流程图，示意性地表示了本发明的方法的总体实施方式；并且

-图2示出了构成一组图像的可能编码并且通过重复构成视频流的同一数据包，在这些数据包上表示了不同类型的可能数据丢失。

具体实施方式

参照图1，在所述方法的背景下执行的第一测试包括检查是否已经接收到K个第一块。在每个步骤中，在每次测试之后，在有利的假设下，也就是说，如果不存在数据丢失问题，或者如果已经解决了任何这种问题，由视频解码器处理形成视频流的数据包以便广播所传输的流。

如果第一测试的结果是肯定的，则那尤其意味着包数据对应于图2的第1情况，借此，已经接收到数据包的这K个第一块。在图2中，视觉代码限定了不同块，所述块按照在所述图底部处给出的图例出现并且包括前K个块、块K到N、参考图像I、以及丢失块。

在否定假设下，下一个测试涉及所传输的全部块K+N中的所接收到数量X个块，也就是说，包括放置在图2的表示中的块K之后的冗余块N。如果所接收到的块的总数至少等于K(甚至在错误、丢失块的情况下)，也就是说，如果X≥K，这对应于图2的第2情况，则实施前向纠错(FEC)算法，然后实施新的检查测试。因为其涉及适合于在整个数据包上(也就是说，在所有块N+K上)、在时间上分布的丢失的纠正类型，所以这种纠错策略不一定起作用。

如果此测试为否定，这可能意味着数据丢失相当集中并且不分散，或者如果这N+K个块中的所接收到的块的数量X小于K，这对应于图2的第3情况，则启动用于恢复未接收到数据的程序(被称为NAK)。此例程涉及接收客户端设备之一与传输设备之间、在反方向上进行的单播通信，并且需要识别缺失数据。

传输设备通过单播或多播返回由客户端根据统计算法识别为未接收到的数据，并且在客户端设备中执行新的正确接收测试。下一个测试涉及对每个包或每组图像i的具有内部编码的参考图像I的正确接收。在图2中，参考图像I被放置在包的起点处，非常一般地，所述位置是参考图像在这种编码中占据的位置。如果此图像I被完全或部分接收(也就是说，在图2中展示的第4和第5情况下)，则借助于隐藏算法处理所观察到的并且在之前的步骤中未解决的传输错误。在这种情况下，错误隐藏在视频解码器级别下，但是未被纠正。作用于压缩数据流的这种类型的例程的目的是在视觉上减轻视频流中的接收错误。

在相反的假设下，也就是说，如果未接收到所述一组图像或包G中具有内部编码的参考图像I，本发明的方法对在多个包或多组图像G-1和G+1中接收这种参考图像I进行测试。这对应于图2的第6情况。如果情况是这样，则仍然可以在作用于未压缩视频流的并且分别从时间的角度通过使用连续图像中的紧接着之前或随后的图像或者从空间的角度通过使用同一图像的与缺失部分紧紧相邻的部分来生成缺失图像或缺失图像的部分的内插算法的基础上重构受损图像。

当这些连续处理操作都未令人满意地成功时，不显示包或所述一组图像。

当然，本发明不限于参照附图所描述和解释的示例，而是本发明涵盖落入权利要求书的范围内的变体和版本。

Claims (4)

1.一种用于增强在由WiFi型通信协议管理的无线网络上接收视频数据流的可靠性和质量的方法，所述视频数据流以各自包括K个第一数据块和用于前向纠错(FEC)的N个冗余块的包G的形式被编码，所述流包括各自包括由至少一个传输设备传输的K+N个块的连续包G，所述至少一个传输设备将所述流多播至智能电话类型的客户端观看设备，所述方法的特征在于由所述客户端设备针对从所述一个或多个传输设备接收的所述数据包G中的每一个而实施的以下步骤：

-a/检查对所述K个第一数据块的正确接收，在肯定结果的情况下，解码并观看所述视频流；

-b/在未接收到所有所述K个第一数据块的情况下，并且如果所接收到的K+N个块的总数X至少等于K，则借助于前向纠错算法(FEC)进行解码以便取回所述块K的缺失数据，在肯定结果的情况下，解码并观看所述视频流；

-c/如果所接收到的K+N个块的总数X小于K，或者在经由所述前向纠错算法(FEC)进行的所述解码的肯定结果不存在的情况下，通过所述客户端设备发送单播消息，所述单播消息向发射器给予至少关于一个或多个丢失块的信息；

-d/如果所述传输设备的统计算法组织返回所述缺失数据，则根据a/和b/检查对由所述传输设备返回的所述数据的正确接收，在肯定结果的情况下，解码并观看所述视频流。

2.如前一权利要求所述的用于增强在无线局域网上接收视频数据流的可靠性和质量的方法，其特征在于以下步骤：

-e/在未正确接收根据d/返回的所述数据的情况下或者在不存在返回数据的情况下，检查对在所接收到的所述数据包G中具有内部编码的参考图像的接收，然后

-f/如果这种参考图像被完整接收，则实施应用于压缩数据的错误隐藏算法，并且

-g/解码并观看所述视频流。

3.如前一权利要求所述的用于增强在无线局域网上接收视频数据流的可靠性和质量的方法，其特征在于以下步骤：

-h/在未接收到所接收到的所述数据包G中具有内部编码的参考图像的情况下，检查对之前的G-1个包以及接下来的G+1个包的至少一个参考图像的接收，

-i/对未压缩或线性数据实施内插法以便重构图像，然后

-j/解码并观看所述视频流。

4.如前一权利要求所述的用于增强在无线局域网上接收视频数据流的可靠性和质量的方法，其特征在于，在未完整接收之前的G-1个包以及接下来的G+1个包的至少一个参考图像的情况下，不显示所述包G。