CN103733615B - 用于端到端编码的视频传输系统的按需内部更新 - Google Patents

Abstract

视频传输系统包括编码器和译码器。在视频编码和传输期间数据可能丢失，这在由译码器重构视频图像时导致误差。返回信道耦合该编码器和译码器，以使得由该译码器所检测到的误差对该编码器是可用的。根据没有接受到的图像的百分比，更新操作被执行。在需要被更新的图像的百分比低于指定的级别时，按需内部更新操作被执行。在需要被更新的图像的百分比超过该级别时，随机内部更新操作被执行。

Description

用于端到端编码的视频传输系统的按需内部更新

技术领域

本发明通常涉及在网络上传输视频信号。更特别地，本发明涉及在传输误差出现以及一些信息被丢失或被损坏时，通过将帧内预测引入到图像的部分中来降低对图像质量的影响。

背景技术

在网络上传输视频内容之前，使用对数据进行编码的算法，来压缩视频帧。为了降低要编码的数据量，已知的视频传输系统可以使用预测过程。通常视频压缩标准可以考虑两种主要类型的预测。一种类型是帧内预测，针对视频帧的每个部分，其使用当前被编码的帧的信息直到那个当前位置。换句话说，帧内预测使用来自当前帧的信息。

另一种类型是帧间预测。针对当前帧的每个部分，帧间预测使用来自之前或未来被编码的图像帧的信息，并且利用帧之间的时间冗余来实现更高的压缩率。如果场景从一个形式到下一个没有大幅变化，那么帧间预测通过预测宏块保持相同来降低编码的工作量。

每种类型都有缺点。对于每种类型，压缩效率对于大范围的应用和场景有所不同。根据系统要求，诸如带宽和时延，帧内预测的帧的使用对于可接受的质量或性能级别可能是不合需要的。例如，帧内编码可能要求对每个宏块的原始像素进行编码。结果，视频传输系统中的带宽可能增加。由于压缩比更低，具有时延限制的系统可能被面对丢失块，并且帧内编码往往比帧间编码消耗更多的比特。因此，帧间预测可能是更好的替代形式。

另一方面，帧内预测可能被需要用于误差恢复目的。视频传输系统引入了出现在被译码的图像中的误差。在译码后，由于可能的数据丢失或数据的损坏，误差出现。一些系统可能常常引入帧内来阻止显 著误差的出现，但是，这个过程在低时延系统可能是不可行的，因为比特率向上很大地飙升，或者质量级别下降到可接受的级别之下。

如图1A和图1B所示出的，帧内的使用对视频传输产生负面影响。在误差出现在视频传输内时，图1A或图1B所示出的场景可能出现。图1A描绘图100，其示出针对完全的帧内更新，在具有随着时间不变的比特速率的系统内被译码的视频的质量。在图1A中，比特速率在整个过程中保持不变，而视频的质量波动。虚线102表示在传输中没有任何误差的视频内容的质量级别。虚线102随着时间保持稳定或近似地在小范围之内，没有对视频质量有任何显著的降低。

线104表示在误差112出现时的视频质量，并且帧内更新图像被引入。线104也保持稳定，直到误差112出现或被检测到的时间。然后，质量级别很大地下降，并且给用户导致显著的问题。由于质量的下降，图像可能变形或有阴影。由于需要不变的比特速率（可能被系统限制所要求），这种下降出现。线106表示网络比特速率容量。只要比特速率保持在线106以下，那么在视频传输系统内不会出现时延问题。

虚线108表示在视频传输系统内没有误差时的比特速率。虚线108随着时间保持稳定，并且在不会导致网络内任何问题的合理的范围之内。线110表示在误差112出现时的比特速率。不像上面的线104，尽管有误差112，线110不会在数值上变化。因此，在网络上不会发生时延问题，但是作为引入帧内更新图像的结果，显著的质量下降出现。

图1B描绘图120，其示出针对完全的帧内更新，具有随着时间不变的质量级别的比特速率的波动。对于误差不会出现并且不需要帧内更新的那些场景，虚线102和108保持稳定。因为图1B中质量保持不变，线104随着时间也保持稳定。但是，由于处理帧内更新图像所需要的增加的编码，对于比特速率，线110剧烈地增加。由于新图像，被接收数据的复杂度增加，并且如误差112处如线106所示，比特速率超过了网络容量以处理这种增加。时延将被引入到视频传输系 统中。对于低时延系统，缓存问题也会出现。

因此，帧内更新图像的使用对于没有超过网络比特速率容量、期望不变的质量级别的系统可能是不可行的。对于低时延视频传输系统，一旦误差出现，帧内预测可能恢复被损坏的图像。帧内预测的使用可以清除被损坏的数据所导致的人工痕迹，并且恢复被译码的视频内容所期望的质量级别。帧可以通过编码器被分解成碎片或分段，并且分别地被译码。但是，这个过程可能导致经过整个帧的变形，并且降低视频内容的质量。内部预测的碎片显然是显著的。此外，如果质量被保持，比特速率可能连同时延增加，但是不会如帧内更新图像那样显著。

图2A和2B示出对图像分段进行帧内预测而导致的负面影响。图2A描绘图200，其针对部分帧内预测更新，示出在具有随着时间不变的比特速率的视频传输系统内被译码视频的质量。虚线202表示在传输内没有任何误差时随着时间的视频内容的质量。线204表示在误差112出现时视频的质量。误差112可能导致帧内分段更新，以使得只是包括误差的分段使用帧内预测被译码。

线204在质量上下降，但是不如图1A中线104那么明显。但是，线204在多于一段的时间内降低质量。对于在那些时间内传输的分段，质量将受影响，以使得图像的部分变形或有阴影。这个行为导致差的质量图像，因为分段使用帧内预测被恢复。线206表示网络比特速率容量，而虚线208表示在视频传输系统内没有出现误差时的比特速率。线210表示在误差212出现时的比特速率。像图1A中的线110，由于误差212线210不会波动很大，并且保持在线106以下。

图2B描绘图220，其示出针对部分帧内预测更新，视频传输系统中随着时间具有不变的质量的比特速率的波动。如图2A所示，由于在视频传输系统中没有误差出现，虚线202和208随时间保持稳定。由于需要视频图像中接近不变的质量，线204也保持稳定。线210示出由于误差212比特速率增加。虽然不如图1B中线110所示的那么明显，但是，线210超过了网络比特速率容量，如线206所示。因此， 在误差212出现时，由于比特速率波动，时延问题将出现。

发明内容

本发明的实施例公开一种用于端到端编码的视频传输系统的按需内部更新。系统寻求提供在误差恢复和质量性能之间的折中，同时降低或消除帧内更新帧或图像的使用。被公开的系统将帧内预测引入到视频图像的部分中。整个帧作为随机宏块被映射到表中，以使得在误差出现时映射的每个部分可以被独立地请求以被更新。

所公开的系统包括来自译码器的返回信道，以使得译码器侧可以通知编码器图像的哪部分必须被更新。在随机更新和被请求的更新发生时，编码器和译码器可以使用协议来建立。协议还可以控制每个帧中被更新的图像的百分比。这种控制机制寻求避免下面的情况，在该情况中图像的被更新的部分导致与通过使用整个帧内更新帧所发现的相类似的质量失效或者比特速率波动。

根据优选的实施例，公开一种视频传输系统。该视频传输系统包括在译码器内的误差检测器以检测在被译码图像的宏块内的误差。视频传输系统还包括在编码器内的误差分辨模块，其用返回连接耦合至误差检测器。误差分辨模块确定具有误差的宏块的百分比。视频传输系统还包括在编码器内的更新工具，以基于宏块的百分比来更新被译码的图像。

进一步根据优选的实施例，一种用于对视频传输系统内的图像进行更新的方法。该方法包括在译码器处检测图像内的宏块内的误差。该方法还包括在具有返回连接至译码器的编码器处，接收的宏块内的误差。该方法还包括确定宏块内的误差是否超过百分比。该方法还包括如果宏块内的误差等于或没有超过百分比，则执行按需内部更新。该方法还包括如果宏块内的误差超过了百分比，则执行随机内部更新。

进一步根据优选的实施例，公开了一种用于在视频传输系统内内 部更新图像的方法。该方法包括接收图像内的宏块内的被识别的误差。该方法还包括响应于被识别的误差来执行内部更新过程。该方法还包括更新图像的宏块集。

附图说明

附图被包括以提供对本发明的进一步理解，并且构成说明书的一部分。下面列出来的图图示了本发明的实施例，并且和描述一起用来解释本发明的原理，如权利要求书和他们的等价形式所公开的。

图1A图示示出了针对完全的帧内更新，在具有随着时间不变的比特速率的系统内被译码的视频的质量的图；

图1B图示示出了针对完全的帧内更新，具有随着时间不变的质量级别的比特速率的波动的图。

图2A图示使出了针对部分帧内预测更新，在具有随着时间不变的比特速率的视频传输系统内被译码的视频的质量的图。

图2B图示示出了针对部分帧内预测更新，在具有随着时间不变的质量的视频传输系统内的比特速率的波动的图。

图3图示了根据所公开的实施例用于发送和接收视频信号数据的系统。

图4图示了根据所公开的实施例的编码器和译码器的方框图。

图5图示了根据所公开的实施例用于更新视频传输系统内的图像的流程图。

图6图示了根据所公开的实施例受到随机内部更新的图像。

图7图示了根据所公开的实施例受到按需内部更新的图像和宏块表。

具体实施方式

本发明的方面在所附的描述中被公开。在不背离本发明的精神或范围的情况下，本发明的备选实施例和他们的等价形式被发明。将注意，下面所公开的相同的元件由图中相同的附图标记来指示。

根据所公开的实施例，图3描绘用于发送和接收视频信号数据的系统300。系统300可以是任何系统或在网络上连接以共享信息的设备集合。视频内容可以被实时地发出，以使得在发送视频信号时经历非常少的或没有时延。视频信号包括发给观看者的图像帧。例如，低时延视频传输系统可能适合用于安全监控。

数字媒体服务器302生成待发送的视频内容。数字媒体服务器302可以是捕捉视频数据的任何设备、控制台、照相机等。例如，数字媒体服务器302是播放存储在磁盘或其他介质上的视频游戏的游戏控制台。从玩游戏所生成的内容被显示给用户以观看和实时交互。备选地，数字媒体服务器302是捕捉视频数据作为待编码的图像的计算机、视频录音机、数字照相机、扫描仪等。

未压缩数据信号304被从数字媒体服务器302输出到编码器306。编码器306可以编码或压缩信号304以在系统300内传输。编码器306在下面被更详细地公开。编码器306可以使用已知的量化和编码技术以将在未压缩数据信号304内的图像转换成在网络318上可传输的数据。但是，在这种转换中，一些数据可能被丢失或损坏。

编码器306输出编码信号308给缓冲器310。缓冲器310存储来自信号308的数据直到它能够通过系统300被发送。如果网络比特速率不允许信号308的发送，那么缓冲器310保留数据直到它能够被收发器314传输的这个时间。缓冲器310输出信号312给收发器314。

收发器314在网络318上传输信号316。网络318可以是发送和接收数据的任何设备集合，诸如将视频数据发至网络318上的观看者的无线或有线网络。备选地，网络318可以是从示出实时视频的远程照相机上接收信号316的计算机网络。

收发器320接收信号316并且输出信号322给缓冲器324。信号326从缓冲器324流至译码器328。译码器328译码或不压缩信号326以生成未压缩信号330。译码器328在下面更详细地被公开。译码器328还可以检测在未压缩信号330内表明他们自己的信号326内的误差。译码器328可以通过返回信道329被耦合至编码器306。

优选地，未压缩信号330是未压缩数据信号304的高质量备份，其由于编码过程而具有轻微的波动。数字媒体渲染器332接收未压缩信号330，并且显示视频数据内容给用户。数字媒体渲染器332可以是高保真电视，具有显示分辨率1,280x720像素（720p）或1,920x1,080像素（1080i/1080p）。

系统300受到各种限制和参数的影响。系统300可以在网络318上以不变的比特速率传输。但是，这个比特速率随着时间保持一致，但是可能在某些条件下变化。在缓冲器310填满时，延迟或积分时间可能出现，这导致在数据在网络318上被发送时系统300内产生时延。

图4描绘了根据所公开的实施例的编码器306和译码器328的方框图。如所示出的，编码器306接收未压缩数据信号304，并且生成编码信号308。译码器328接收编码信号326，并且生成未压缩数据信号330。优选地，未压缩数据信号330是未压缩数据信号304的高质量表示。编码器306和译码器328包括除了那些被示出之外的其他特征，并且可以包括已知的编码器和译码器的那些部分。

译码器328接收编码信号326内的数据，并且针对未压缩数据信号330重构帧内的图像。某个数量的帧应该在一段时间内被接收，诸如每秒60帧。在数据的反向转换中，误差可能出现或数据可能丢失。这个数据可以通过编码器306来更新，以使得所得图像的部分不是缺少的或不被理解的。

译码器328包括识别和检测图像内误差的误差检测器402。如在下面更详细地被公开，视频图像被分解成由编码器306所编码的宏块。译码器328针对每个宏块对数据进行译码。在这个过程中，一些宏块可能丢失或被变形以致他们需要被更新。此外，宏块组可能丢失，或有误差，并且视频图像的分段也丢失。误差检测器402在译码器328重构每幅图像时会注意到这些有问题的宏块，。

译码器328通过返回信道329被耦合至编码器306。误差检测器402使用返回信道329内的返回连接和编码器306进行通信。返回连接404可能是自组的，因为它在误差检测器402需要给编码器306识 别误差时被创建。如果译码器328没有在用，那么返回连接404可以被禁用。

编码器306包括被耦合至误差检测器402的误差分辨模块406。误差分辨模块406接收在译码器328内重构图像帧时已经出现误差或一连串误差的指示。然后，误差分辨模块406根据被误差所影响的图像中宏块的百分比来采取行动方针。这种过程在下面更详细地被公开。

如果宏块的百分比大于指定的数量，那么编码器306使用随机内部更新工具408来更新在译码器328处的帧内的图像。对于大的误差，被更新的部分可能导致与使用整个内部更新帧相关联的问题。质量将受到显著的影响，或比特速率波动可能导致时延问题。在这种场景下，随机宏块被选择在图像内被更新。使用随机宏块阻止视频质量上显著的变化，而同时避免大的比特速率波动。这种过程在图5中更详细地被公开。

如果误差分辨模块406确定图像内误差的百分比低于某个数量，那么编码器306可能使用按需内部更新工具410来更新被误差检测器402所识别的那些宏块。不像随机内部更新工具408，按需内部更新工具410只更新具有与他们相关联的传输误差的那些宏块。因此，编码器306的更新操作不会导致视频质量的显著下降或大的比特速率波动，因为只是那些被译码器328作为目标的宏块被重新编码并且在系统300内传输。

按需内部更新工具410访问宏块表412，同时更新具有误差的图像来确定哪些宏块要更新。编码器306将图像的每个宏块映射成宏块表412以在更新图像的部分时针对按需内部更新工具410提供参考。译码器328指示图像中有误差的或无法使用的区域或部分，并且按需内部更新工具410从宏块表412确定在该部分内的最佳吻合图像的丢失的部分的那些宏块。

因此，使用按需内部更新工具410，译码器328确定图像的哪些部分被更新。译码器328可以根据更新请求填充它自己的表格，并且 发送给编码器306。如果表超过了按需内部更新所允许的数量或百分比，那么误差分辨模块406启用随机内部更新工具408。相反地，随机内部更新工具408而不是译码器328来确定哪些宏块被更新。实际上，在返回信道329无法使用时，随机内部更新工具408可以执行它的功能，以使得在系统300内某个更新工具始终可用。

图5描绘了根据所公开的实施例用于更新视频传输系统300内图像的流程图500。流程图500所公开的过程可以结合图3和图4所示出的本发明的设备和元件来使用。

步骤502通过误差检测器402来检测由译码器328所重构的图像内的误差来执行。误差可能包括图像内的一个或多个宏块。步骤504通过译码器328填充表的请求来执行。该表的请求应该识别被图像内误差状况所危及的那些宏块。进一步，该表的请求应该能够示出图像内具有误差状况的块的百分比。

步骤506通过在编码器306接收表的请求来执行。具体地，误差分辨模块406从误差检测器402接收请求。步骤508通过确定任何误差是否通过请求来识别而执行。如果不是，步骤510通过不执行任何内部更新操作来执行。实质上，译码器328在没有来自编码器306的任何更新的宏块的情况下重构图像。

如果步骤508确定图像内有误差，那么步骤512通过确定由译码器328所识别的误差是否超过指定的百分比来执行。例如，百分比可以是40%。因此，如果图像需要它的超过40%的宏块被更新成如在表请求中所识别的那样，那么视频质量将显著地受到影响，或者时延问题将由于比特速率波动而出现。继续进行按需内部更新将会像是发送整个图像的帧内更新。

因此，如果步骤512为是，那么步骤514通过执行随机内部更新操作来执行。步骤516通过生成图像内的随机宏块以由编码器306进行更新。步骤518通过给译码器328更新随机地选择的宏块来执行。

步骤514至518可以通过图6被更详细地公开。图6描绘了根据所公开的实施例受到随机内部更新的图像。随机内部更新工具408随 机地选择宏块用于在图像600内更新。

图像600可以被分解成宏块650。宏块650包括一定数量的像素，诸如8x8或16x16。每个宏块被编码器306编码，以使得图像600内的每个像素被编码用于传输。针对宏块的参数将不同，由于每个表示了图像600的不同的部分。例如，图像600可以包括人602、结构604和光源606。每个宏块将包括由译码器328所重构的照明、颜色和移动向量的数值。

如在步骤512中所确定的，图像600内的误差非常大，以至于按需更新是不可行的。因此，随机内部更新工具408选择随机宏块650用于更新，以使得不会危及通图像质量或招致大的比特速率波动。在第一实例中，随机选择的宏块610被选择用于由编码器306来更新。宏块610被更新或再次编码，并且被发送给译码器328以减少图像600内所检测的误差。如果需要另一个随机内部更新，那么随机内部更新工具408可以随机地选择图像600内的宏块620。使用随机内部更新，图像600的足够的部分被更新以克服所检测的误差。

如果步骤512是否，那么步骤520通过使用按需内部更新工具410和宏块表412在图像上执行按需内部更新操作来执行。步骤522通过识别由译码器328所指示的宏块为具有宏块表412内的误差来执行。表请求应该匹配宏块表412内的宏块。步骤524通过使用来自宏块表412内的宏块更新图像来执行。

步骤520至524可以通过图7被更详细地公开。图7描绘了根据所公开的实施例受到按需内部更新的图像600和宏块表412。如上面所公开的，图像600包括如上所公开的宏块650。宏块表412还包括从图像600映射的对应于宏块650的宏块710。

图7内的图像600包括误差部分702。误差部分702内的宏块650在被译码器328接收时丢失或无法使用。误差检测器402给误差分辨模块406识别误差部分702内的宏块。因为误差部分702不包含大的百分比的图像600，编码器306可以内部更新它的宏块。

因此，随机内部更新工具408识别宏块表412内的更新部分704 作为对应于误差部分702。然后编码器306通过更新部分704内的宏块710来纠正误差部分702。优选地，宏块710的数目少于和随机内部更新相关联的数目，并且因此从质量的角度更不显著，并且不显示大的比特速率波动。

宏块650可以是内部宏块或之间宏块。

因此，所公开的实施例使用随机内部更新工具和操作，连同按需内部更新工具和操作，以识别被重构图像内的误差。所公开的实施例减少误差状况，而并不降低视频图像的质量或招致大的比特速率波动或时延。帧内图像的使用是不需要的。

对本领域的技术人员将是显而易见的，在不背离本发明的精神或范围的情况下，各种修改形式或变化可以在隐私卡封面（privacy cardcover）的被公开的实施例中进行。因此，本发明旨在于涵盖上面所公开的实施例的修改形式或变化，假设该修改形式或变化落在任何权利要求书和他们的等价形式的范围内。

Claims (11)

1.一种视频传输系统，包括：

在译码器内的误差检测器，以检测在被译码图像的宏块内的误差；

在编码器内的误差分辨模块，其用返回连接耦合至所述误差检测器，其中所述误差分辨模块：

确定具有误差的宏块的百分比；

将所述百分比与阈值相比较，所述阈值指示与整个被译码图像的帧内更新可比拟的按需内部更新量；以及

指定更新策略，其中所述更新策略是：

如果所述百分比大于所述阈值，则为随机内部更新策略，其中所述随机内部更新策略更新与误差部分相对应的更新部分的宏块；以及

如果所述百分比小于所述阈值，则为按需内部更新策略，其中所述按需内部更新策略仅更新具有传输误差的那些宏块，使得所述随机内部更新策略和按需内部更新策略之间的比特率波动并不大；以及

在编码器内的更新工具，以基于所述更新策略来更新所述被译码图像。

2.根据权利要求1所述的视频传输系统，进一步包括宏块表，以存储对应于所述被译码的图像的宏块。

3.根据权利要求1所述的视频传输系统，进一步包括被连接至所述编码器的缓冲器，其中所述缓冲器的尺寸对应于所述被译码的图像。

4.一种用于在视频传输系统内更新图像的方法，所述方法包括：

在译码器处检测图像内的宏块内的误差；

在编码器处接收所述宏块内的所述误差，所述编码器具有返回连接至所述译码器；

确定所述宏块内的所述误差是否超过百分比，所述百分比指示与整个被译码图像的帧内更新可比拟的按需内部更新量；

如果所述宏块内的所述误差等于或没有超过所述百分比，则执行按需内部更新，其中所述按需内部更新策略仅更新具有传输误差的那些宏块；以及

如果所述宏块内的所述误差超过了所述百分比，则执行随机内部更新，其中所述随机内部更新策略更新与误差部分相对应的更新部分的宏块，使得所述随机内部更新策略和按需内部更新策略之间的比特率波动并不大。

5.根据权利要求4所述的方法，进一步包括：如果在所述宏块中没有检测到误差，则不执行内部更新。

6.根据权利要求4所述的方法，进一步包括用具有误差的所述宏块来填充表请求。

7.根据权利要求6所述的方法，进一步包括将所述表请求和包括所述图像内的所述宏块的被映射的表相比较。

8.根据权利要求4所述的方法，其中执行所述按需内部更新的步骤包括识别与所述图像内的所述宏块的所述误差相对应的表内的宏块。

9.根据权利要求8所述的方法，进一步包括使用所述被识别的宏块来更新所述图像。

10.根据权利要求4所述的方法，其中执行所述随机内部更新的步骤包括生成所述图像的宏块的随机集。

11.根据权利要求10所述的方法，进一步包括更新宏块的所述随机集。