CN103124348A - 一种在无线视频/音频数据传输中使用的预测丢帧方法 - Google Patents

Abstract

一种在无线视频/音频数据传输中使用的预测丢帧方法，其使用具有压缩域而非原始域的视频译码器或视频编码器。该预测丢帧方法依序丢弃每一图像群组中至少一直接连续排列在每一I帧前的P帧，从而减少用于帧缓冲的快取内存所需的总容量，并避免在接收端的视频译码器解压缩数据前或发射端的视频编码器压缩数据后发生内存满载的现象。另外，还提供一控制器，此控制器是用于控制欲丢弃的P帧量。此外，视频译码器不需要任何外接的DDR内存，设置在视频译码器或视频编码器中的一SRAM内存可执行该预测丢帧方法。

Description

一种在无线视频/音频数据传输中使用的预测丢帧方法

技术领域

本发明是关于一种视频压缩技术，其在视频/音频数据传输中使用具有一SRAM内存的一视频译码器。本发明特别是关于在无线视频/音频数据传输中所使用的一预测丢帧方法，且此预测丢帧方法使用一具有一SRAM内存的视频译码器。

背景技术

在MPEG视频压缩中，一图像群组(group of pictures)包含至少两种类型的帧，分别为I帧(节点编码图像)与P帧(预测编码图像)。I帧代表一固定影像且独立于序列中其他的帧，每个图像群组由一I帧做为开始，而P帧包括运动补偿差异(motion-compensated difference)的信息，此讯息是从前面的I帧或P帧而来，这意味着每一P帧是依附着之前的I帧或P帧。一图像群组总是以一I帧做为开始，之后再跟着数个P帧，且具有帧差(framesdistance)。一些视频编译码器允许在一图像群组内有多个I帧。I帧包括完整的影像，且不需要任何额外的信息来进行重建。因此，图像群组结构内的任何错误皆可被下一个I帧所纠正。当视频流有更多的I帧，视频流将变得更可编辑。然而，具有更多的I帧将相应的增加视频流(video stream)的大小。因此，为了节约带宽和磁盘空间，一般来说在针对互联网播放设计的视频流，每一图像群组通常只具有一I帧。两个相邻且完整的影像(即二个相邻的I帧)之间的距离被称为图像群组的长度。I帧也称为参考帧或关键帧(key frame)，其包括所有必要的帧数据(frame data)以重新建立一完整的影像。在MPEG帧中，I帧是最大的类型，但相较于其他类型的MPEG帧，I帧可更快地被解压缩。此外，P帧通常比I帧小。

在公知的视频译码器中，例如像H.264/AVC这样的视频译码器，帧缓冲用的快取内存例如通常是以外接DDR内存的形式存在。因此，DDR内存会增加成本和集成电路的占位面积(footprint)。通常情况下，只有充分处理或译码的像素数据(pixel data)存储在DDR内存中，而非将帧数据存储在压缩域(compressed domain)中。视频播放通常以每秒30帧且分辨率为720p或1080p进行播放。由于做为帧缓冲用的DDR内存的容量有限，故只有少数的视频帧可存储在DDR内存内，通常DDR内存最多可存储3帧且分辨率为720p的影像。

在视频译码器将原始数据译码后，在原始域(raw domain)的RGB文件可继续执行将原始数据丢帧的程序。因此，公知的视频译码所面临的问题是帧的大小过大，从而增加整体的视频压缩成本和开销。

在公知的视频/音频传输系统中，视频编码器和视频译码器的参考频率是被设定为27兆赫，各自的系统时钟例如在+/-30ppm以上的允许误差间振荡，故经由视频译码器并在显示终端输出的影像会有缺陷或质量不佳等问题，因此仍具有改善的空间。同时，在公知中，是使用一外接DDR内存与视频译码器进行视频译码的工作，因此没有必要在DDR内存的压缩域中进行任何丢帧的程序。

发明内容

本发明的目的是提供一种在无线视频/音频数据传输中使用的预测丢帧方法，且其使用具有一SRAM内存的一视频译码器，此SRAM内存是将数据存储在压缩域中而非原始域中。

本发明的另一目的是提供一种在有线视频/音频数据传输中使用的预测丢帧方法，且其使用具有一SRAM内存的一视频译码器，此SRAM内存是将数据存储在压缩域中而非原始域中。

本发明的另一目的是，提供一种预测丢帧方法，其在接收端的视频译码器进行解压缩前，将压缩的数据流中直接排列在每一I帧前的至少一P帧丢弃。

本发明的另一目的是，提供一种预测丢帧方法，其在发送端的视频编码器进行压缩后，将压缩的数据流中直接排列在每一I帧前的至少一P帧丢弃。

本发明的另一目的是，提供一个预测丢帧方法，其将每一图像群组中直接排列在每一I帧前的至少一P帧丢弃，以避免视频译码器的SRAM满载(overflowing)。

根据上述目的与其他目的，本发明提供一控制器，以用于在视频译码器解碼之前预先控制欲丢弃的P帧的数量。

具体而言，本发明提供了一种在无线视频/音频数据传输中使用的预测丢帧方法，该方法包括以下步骤：

在一接收端提供一视频译码器，并在一发送端提供一视频编码器；

判定该视频编码器的一第一参考频率是否实质上相同于该视频译码器的一第二参考频率；

在视频译码器进行数据解压缩前，提供了一视频/音频数据传输设备以处理压缩域中的帧图像；

配置一图像群组，该图像群组包括位于压缩域的一I帧和至少一P帧；

计算该图像群组的长度；

依据该第一参考频率及该第二参考频率来决定直接连续排列在每一I帧前且欲丢弃的P帧的预定量；

选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

优选的是，所述的方法，进一步包括以下的步骤：

传送压缩域中所有剩下的帧快取数据，以在该视频译码器中进行译码。

优选的是，所述的方法，连续排列的P帧的预定量为1。

优选的是，所述的方法，该视频译码器不具DDR内存。

一种在无线视频/音频数据传输中使用的预测丢帧方法，该方法包括以下步骤：

提供一视频编码器与一视频译码器；

判定在频编码器的参考频率是否实质上相同于视频译码器的第二参考频率；

在视频编码器进行数据压缩前，提供了一视频/音频数据传输设备以处理压缩域的帧图像；

配置一图像群组，该图像群组包括位于压缩域的一I帧和至少一P帧；

计算该图像群组的长度；

决定直接连续排列在每一I帧前且欲丢弃的P帧的预定最；

生成和从该视频译码器传输一丢帧信号到该视频编码器；

选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

优选的是，所述的方法，进一步包括以下步骤：

从视频编码器将压缩域中所有剩下的帧快取数据无线传送到视频译码器。

优选的是，所述的方法，连续排列的P帧的预定量为1。

一种在无线视频/音频数据传输中使用的预测丢帧方法，该方法包括以下步骤：

在一接收端提供一视频译码器，并在一发送端提供一视频编码器；

配置一图像群组以及计算该图像群组的长度，其中该图像群组包括位于压缩域的一I帧和至少一P帧；以及

依据该视频编码器的一第一参考频率以及该视频译码器的一第二参考频率来决定直接连续排列在每一I帧前且欲丢弃的P帧的预定量。

优选的是，所述的方法，进一步包括以下步骤：

在该接收端选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

优选的是，所述的方法，进一步包括以下步骤：

传输一丢帧信号到该视频编码器；以及

在该发送端依据该丢帧信号来选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

本发明的优点在于在该视频译码器的输入大于该视频译码器的输出时，提供一种丢弃每一图像群组中至少一直接连续排列在每一I帧前的P帧来减少用于帧缓冲的快取内存所需的总容量，该丢帧方法可以可在该发送端中实施或在传送端中实施。

为让本发明的上述目的、特征和优点更能明显易懂，下文将以实施例并配合所附图示，作详细说明如下。

附图说明

为了图解简化及清楚，图式中所说明的组件并不一定以比例进行绘制。例如，一些组件的尺寸相对于其它组件可能会较为放大以使其清楚。此外，如有需要，图式中组件符号会重复以表示对应或类似的组件。

图1是一流程图，其绘示出本发明的第一实施例中在无线视频/音频数据传输中使用的一预测丢帧方法，及一视频/音频数据传输设备处理视频译码器中位于压缩域的帧图像的流程。

图2是一流程图，其绘示出本发明的第一实施例中在无线视频/音频数据传输中使用的一预测丢帧方法，及一视频/音频数据传输设备处理视频编码器中位于压缩域的帧图像的流程。

图3是一流程图，其绘示出本发明的第一实施例的预测丢帧方法的更详细的例子。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求书当中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或通过其它装置或连接手段间接地电气连接至该第二装置。

请参考图1，图1所绘示为本发明的无线视频/音频数据传输中使用的一预测丢帧方法的实施例。在步骤S100中，在接收端提供例如具有一SRAM内存的视频译码器，及在发送端提供一视频编码器。在步骤S105中，判断视频编码器的第一参考频率和视频译码器的第二参考频率这两个参考频率是否是在指定的误差范围内。在步骤S110中，提供一视频/音频数据传输设备，以处理在视频译码器中的像素数据或帧图像，此视频译码器使用具有压缩域的片上SRAM内存。比起公知储存在DDR内存原始域中的视频缓冲数据，储存在SRAM内存的压缩域中的数据是小100倍左右。在步骤S120中，配置一图像群组，该图像群组包括位于压缩域的I帧和P帧。在步骤S130中，计算该图像群组的长度。在步骤S140中，当该视频编码器的该第一参考频率大于该视频译码器的该第二参考频率时，也就是说，此时该视频译码器的输入大于该视频译码器的输出，因此，在该接收端中的控制器便依据该第一参考频率及该第二参考频率来决定直接连续排列于每一I帧前、且预定被丢弃的P帧的一预定量。在步骤S150中，控制器选择直接连续排列于每一I帧前、且预定被丢弃的P帧，并在数据被视频译码器解压缩之前，丢弃预定量的直接连续排列于每一I帧前的P帧。在步骤S160中，控制器将所有剩余且缓存在SRAM内存中压缩域的帧数据传输到位于接收端的视频译码器进行译码。

请参考图2，图2所绘示为本发明在无线视频/音频数据传输中使用的一预测丢帧方法的第二实施例。在步骤S200中，提供具有一SRAM内存的视频编码器，此视频编码器是位于发送端。在步骤S205中，判定视频编码器的一第一参考频率和视频译码器的一第二参考频率是否实质上为相同的频率。在步骤S210，提供一视频/音频数据传输设备，以用于处理视频编码器中的像素数据或帧图像，该视频编码器使用片上SRAM内存，且此帧图像是位于SRAM内存的压缩域中。在SRAM内存的压缩域中的数据，比公知存储在DDR内存的原始域中且用于视频缓冲与快取的数据小100倍左右。在步骤S220中，设置一图像群组，此图像群组包括位于压缩域的I帧和P帧。在步骤S230中，计算该图像群组的长度。在步骤S240中，当该视频编码器的该第一参考频率大于该视频译码器的第二参考频率时，也就是说，此时该视频译码器的输入大于该视频译码器的输出，由该接收端中的控制器决定直接连续排列在每一I帧前且欲丢弃的P帧数。在步骤S250中，控制器产生一丢帧信号，此丢帧信号从接收端的视频译码器无线传输到发送端的视频编码器，值得注意的是，该丢帧信号包含有直接连续排列在每一I帧前且欲丢弃的P帧数的信息。在步骤S260中，由于控制器选择在视频编码器压缩数据后欲丢弃、且直接连续排列于每一I帧前的P帧，因此在视频编码器压缩数据后，会将一预定量、位于SRAM内存中、且直接连续排列在每一I帧前的P帧丢弃。在步骤S270中，控制器将SRAM内存的压缩域中所剩下的帧快取数据从发送端的视频编码器无线传输到接收端的视频译码器。

请参照图3，本发明的第三实施例类似于本发明的第一实施例所述，其是在无线视频/音频数据传输中使用的预测丢帧方法的另一个实施例。其中，步骤S300，S305和S310分别是与步骤S100，S105及S110相同。在步骤S320中，配置一位于压缩域的图像群组，其结构为IPPPPPP。在步骤S330中，IPPPPPP的群组长度(group lenght)等于7。在步骤S340中，该接收端中的控制器判定有连续6个P帧直接位于每一I帧前，该控制器并决定欲丢弃且连续排列的P帧的预定量为3。在步骤S350中，控制器选择直接连续排列于每一I帧前的3个P帧为欲丢弃的P帧。也因此，藉由将位于下一图像群组的第一个I帧前的3个P帧丢弃，可使图像群组的结构变成为IPPP，从而使群组长度变为4。上述的下一图像群组的第一个I帧是指连接于上一图像群组的第一个I帧(如IPPPPPPIPPPPPPIPPPPPP所示，其显示出三个图像群组)。在步骤S360中，控制器传输位于SRAM内存的压缩域中所剩下的帧快取数据，以在视频译码器进行译码或解压缩。在其他实施例中，欲丢弃的连续P帧的总数预定量例如为1，2，4，5等，而群组的长度例如为4，10，20，30等。

请注意，本发明不限于使用在无线的视频/音频数据传输系统中，例如在本发明其他实施例中，预测丢帧方法可使用在有线视频/音频数据传输系统中，其中由控制器产生的丢帧信号可以有线的方式从视频译码器传输到视频编码器，且所有的视频/音频的数据流也是以有线的方式从视频编码器传输到视频译码器。在上述实施例中，视频译码器例如可以每秒30帧或60帧且720p或1080p的显示分辨率进行视频播放。

本发明的优点在于在该视频译码器的输入大于该视频译码器的输出时，提供一种丢弃每一图像群组中至少一直接连续排列在每一I帧前的P帧来减少用于帧缓冲的快取内存所需的总容量，该丢帧方法可以可在该发送端中实施或在传送端中实施。

本领域的技术人员应可进一步理解，附图中所绘示的预测丢帧方法较佳是以软件的方式实施，流程图中各方块间的连接方式可能因为编程的方式不同而有所改变。鉴于上述的教示，本领域的技术人员也可使用与此相似的实施方式。

上述实施例仅是为了方便说明而举例，虽遭所属技术领域的技术人员任意进行修改，均不会脱离如权利要求书中所欲保护的范围。

Claims (10)

1.一种在无线视频/音频数据传输中使用的预测丢帧方法，其特征在于，该方法包括以下步骤：

在一接收端提供一视频译码器，并在一发送端提供一视频编码器；

判定该视频编码器的一第一参考频率是否实质上相同于该视频译码器的一第二参考频率；

在视频译码器进行数据解压缩前，提供了一视频/音频数据传输设备以处理压缩域中的帧图像；

配置一图像群组，该图像群组包括位于压缩域的一I帧和至少一P帧；

计算该图像群组的长度；

依据该第一参考频率及该第二参考频率来决定直接连续排列在每一I帧前且欲丢弃的P帧的预定量；

选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

2.如权利要求1所述的方法，其特征在于，进一步包括以下的步骤：

传送压缩域中所有剩下的帧快取数据，以在该视频译码器中进行译码。

3.如权利要求1所述的方法，其特征在于，连续排列的P帧的预定量为1。

4.如权利要求1所述的方法，其特征在于，该视频译码器不具DDR内存。

5.一种在无线视频/音频数据传输中使用的预测丢帧方法，其特征在于，该方法包括以下步骤：

提供一视频编码器与一视频译码器；

判定在频编码器的参考频率是否实质上相同于视频译码器的第二参考频率；

在视频编码器进行数据压缩前，提供了一视频/音频数据传输设备以处理压缩域的帧图像；

配置一图像群组，该图像群组包括位于压缩域的一I帧和至少一P帧；

计算该图像群组的长度；

决定直接连续排列在每一I帧前且欲丢弃的P帧的预定量；

生成和从该视频译码器传输一丢帧信号到该视频编码器；

选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

6.如权利要求5所述的方法，其特征在于，进一步包括以下步骤：

从视频编码器将压缩域中所有剩下的帧快取数据无线传送到视频译码器。

7.如权利要求5所述的方法，其特征在于，连续排列的P帧的预定量为1。

8.一种在无线视频/音频数据传输中使用的预测丢帧方法，其特征在于，该方法包括以下步骤：

在一接收端提供一视频译码器，并在一发送端提供一视频编码器；

配置一图像群组以及计算该图像群组的长度，其中该图像群组包括位于压缩域的一I帧和至少一P帧；以及

依据该视频编码器的一第一参考频率以及该视频译码器的一第二参考频率来决定直接连续排列在每一I帧前且欲丢弃的P帧的预定量。

9.如权利要求8所述的方法，其特征在于，进一步包括以下步骤：

在该接收端选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

10.如权利要求8所述的方法，其特征在于，进一步包括以下步骤：

传输一丢帧信号到该视频编码器；以及

在该发送端依据该丢帧信号来选择并丢弃直接连续排列在每一I帧前且符合该预定量的P帧。

Images