CN101990091B - 视频图像传送方法、系统、视频编码装置及视频解码装置 - Google Patents

Abstract

本发明公开一种视频图像传送方法、系统、视频编码装置及视频解码装置。该方法在传送端对视频图像进行编码以产生对应的视频编码数据后，再对此视频编码数据进行解码以产生图像数据并存储，而接收端暂存解码后的图像数据。当传送端因为网络带宽明显改变而必须改变编码格式时，传送端和接收端可利用最新暂存的图像数据来产生新的编码格式的起始独立帧(Intra frame，I-frame)，然后利用该起始独立帧开始编码和解码。这样，接收端不需等待传送端传送起始独立帧便可在编码格式改变后继续进行解码，以达到节省带宽的效果。

Description

视频图像传送方法、系统、视频编码装置及视频解码装置

技术领域

本发明涉及一种视频图像传送方法、系统、视频编码装置及视频解码装置，特别是，涉及传送端和接收端均配置了可产生起始独立帧的机制，当编码格式改变时，不需等待传送端传送，接收端可自行产生新编码格式的起始独立帧，并利用该起始独立帧进行解码。

背景技术

在现有的图像压缩传输架构下，如果用户需要在图像传输的过程中改变编码格式，例如因为网络带宽逐渐降低，为了维持实时视频图像，用户通常会选择切换其图像的大小以压缩出更小的视频比特流(video bitstream)，例如从高清晰度(High Definition，HD)编码格式降成VGA编码格式，或是从VGA编码格式降成QVGA编码格式。但是，这样的切换行为需要传送端的编码器(encoder)和接收端的解码器(decoder)同时配合，才能做出相对应的图像解码，否则解码器上一张接收到的是VGA尺寸的编码图像，下一张却接收到QVGA尺寸的编码图像，其解码将会发生错误而无法产生可观看的视频图像。

参照图1和图2，图1和图2示出现有技术的传送视频图像的示意图和当编码格式改变时的示意图。在图1中，由多张图像数据131组成视频图像13，通过传送端11编码后形成连续的独立帧141(Intra Frame，I-frame)、双向帧142(Bi-directional frame，B-frame)和预测帧143(Predictive frame，P-frame)。为了有效降低视频图像的数据量以有利于数据传输，大多数的图像编码机制以独立帧141为基础使用预测方法以及双向内插方法，来产生数据量更少的双向帧142和预测帧143。上述的图像编码技术是本领域技术人员公知常识，在此不再赘述。

接收端12根据预设的解码格式对接收到的独立帧141、双向帧142和预测帧143进行解码，以产生可观看的视频图像15。其中，接收端12必须根据独立帧141才能将双向帧142和预测帧143解码成可观看的图像。由于有些图像编码机制为破坏性，因此解码后不一定会恢复成原先的视频图像13，但是视觉上视频图像15仍会与视频图像13相似，仍可以使用户具有不错的观看感受。

当传送端11改变编码格式，例如因为网络带宽降低而改成尺寸较小的编码格式时，传送端11的编码器会重新开始编码，先产生符合新编码格式的第一张独立帧161，然后产生双向帧162和预测帧163，如图2所示。接收端12必须先接收到独立帧161，其解码器才能根据独立帧161以及新的解码格式对接收到的双向帧162和预测帧163进行解码以产生视频图像17。由上述内容得知，在接收端12未完全接收到独立帧161的期间，接收端12无法输出视频图像17。然而，与预测帧163或双向帧162相比，独立帧161的数据量相当庞大从而需要较多的传送时间，如果，用户是因为带宽降低而切换成尺寸较小的编码格式，但是在切换后，反而为了传送第一张独立帧161而造成视频中止，造成用户的不便。

发明内容

由于上述现有技术中存在的问题，本发明的一个目的是提供一种视频图像传送方法、系统、视频编码装置及视频解码装置。

根据本发明的另一目的，提出一种视频图像传送方法，包括下列步骤。首先，在传送端根据第一编码格式对视频图像进行编码以产生对应的第一视频编码数据，并将第一视频编码数据传送至接收端，并在传送端对第一视频编码数据进行解码以产生对应的第一图像数据并存储。在接收端对第一视频编码数据进行解码，并产生对应的第二图像数据并存储。当传送端改为使用第二编码格式时，在传送端和接收端分别根据第二编码格式对第一图像数据和第二图像数据进行编码，以产生对应的第一编码帧和第二编码帧，再由传送端根据第二编码格式和第一编码帧开始对视频图像进行编码，而接收端根据第二编码帧进行解码。

其中，所述方法还包括在传送端将第一编码帧作为第二编码格式的起始独立帧，再根据第二编码格式对视频图像进行编码以产生对应的第二视频编码图像，并将第二视频编码图像传送至接收端。

其中，所述方法还包括在接收端以第二编码帧作为第二编码格式的起始独立帧对接收的第二视频编码图像进行解码。

其中，传送端以最新的第一图像数据来产生第一编码帧。

其中，接收端以最新的第二图像数据来产生第二编码帧。

根据本发明的另一目的，提出一种视频图像传送系统，其包括数据编码传送装置和数据接收解码装置。数据编码传送装置包括第一编码器、第一解码器、第一存储器和传送器。数据接收解码装置包括接收器、第二解码器、第二存储器和第二编码器。第一编码器根据第一编码格式对视频图像进行编码以产生对应的第一视频编码数据，传送器将第一视频编码数据传送至数据接收解码装置。第一解码器对第一视频编码数据进行解码以产生对应的第一图像数据，其存储在第一存储器中。当第一编码器改为使用第二编码格式时，第一编码器根据第二编码格式对第一图像数据进行编码，产生对应的第一编码帧，再根据第二编码格式和第一编码帧开始对视频图像进行编码。数据接收解码装置的第二解码器对接收器接收的第一视频编码数据进行解码，并产生对应的第二图像数据，并存储在第二存储器中。当数据编码传送装置改为使用第二编码格式时，第二编码器根据第二编码格式对第二图像数据进行编码，以产生对应的第二编码帧，第二解码器再根据第二编码帧进行解码。

其中，第一编码器将第一编码帧作为第二编码格式的起始独立帧，再根据第二编码格式对视频图像进行编码以产生对应的第二视频编码图像，并传送第二视频编码图像至数据接收装置。

其中，第二解码器以第二编码帧作为第二编码格式的起始独立帧对第二视频编码图像进行解码。

根据本发明的另一目的，提出一种视频编码装置，包括编码器、解码器和存储器。编码器根据第一编码格式对视频图像进行编码以产生对应的视频编码数据。解码器对该视频编码数据进行解码并产生对应的图像数据，并存储在存储器。当编码器改为使用第二编码格式时，编码器根据第二编码格式对图像数据进行编码，产生对应的编码帧，再根据第二编码格式和编码帧开始对视频图像进行编码。

根据本发明的另一目的，提出一种视频解码装置，包括解码器、存储器和编码器。解码器用于对第一编码格式的视频编码数据进行解码，并产生对应的图像数据，图像数据存储在存储器中。当视频编码数据的编码格式改为第二编码格式时，编码器根据第二编码格式对图像数据进行编码，以产生对应的编码帧，而解码器再以该编码帧作为第二编码格式的起始独立帧对视频编码数据进行解码。

附图说明

图1是本发明的现有技术的传送视频图像的示意图；

图2是本发明的现有技术的当传送视频图像时改变编码格式的示意图；

图3是本发明的视频图像传送系统的实施例框图；

图4是本发明的视频图像传送的示图；

图5是本发明的当传送视频图像时改变编码格式的示意图；

图6是本发明的当传送视频图像时改变编码格式的另一示图；以及

图7是本发明的视频图像传送方法的实施流程图。

主要组件符号说明：11为传送端，12为接收端，13、15、17、26、36为视频图像，131、231、331为图像数据，141、161、251为独立帧，142、162、252、254为双向帧，143、163、253、255为预测帧，2为数据编码传送装置，21、32为编码器，211、212为编码格式，213、313为编码帧，22、31为解码器，23、33为存储器，24为传送器，25为视频编码数据，3为数据接收解码装置，311、312为解码格式，34为接收器，4为视频图像传送系统，S1～S7为步骤流程。

具体实施方式

参照图3和图4至图6，其分别示出本发明的视频图像传送系统的实施例框图、传送视频图像的示意图、本发明的当传送视频图像时改变编码格式的示图以及本发明的当传送视频图像时改变编码格式的另一示图。在图3中，视频图像传送系统4包括数据编码传送装置2和数据接收解码装置3。数据编码传送装置2包括第一编码器21、第一解码器22、第一存储器23和传送器24。数据接收解码装置3包括接收器34、第二解码器31、第二存储器33和第二编码器32。在该实施例中，第一编码器21具有第一编码格式211和第二编码格式212的编码功能，第二编码器32具有第二编码格式212的编码功能；第一解码器22具有第一解码格式311的解码功能，第二解码器31具有第一解码格式311和第二解码格式312的解码功能。第一编码格式211与第一解码格式311为相对应的编解码格式，第二编码格式212与第二解码格式312为相对应的编解码格式。其中，第一编码格式211和第二编码格式212优选为不同编码算法产生的格式、或是不同图像分辨率的编码格式、或是不同编码率的编码格式。

第一编码器21根据第一编码格式211(例如VGA编码格式)对视频图像26进行编码以产生对应的第一视频编码数据25，传送器24将第一视频编码数据25传送至数据接收解码装置3。第一视频编码数据25由独立帧251、双向帧252及预测帧253组成。第一解码器22还对第一视频编码数据25的最新帧(frame)进行解码以产生对应的第一图像数据231，其存储在第一存储器23中。数据接收解码装置3的第二解码器31对接收器34接收的第一视频编码数据25进行解码以产生视频图像36，并将视频图像36的最新帧作为第二图像数据331存储在第二存储器33中。通过上述的机制，视频图像26被编码成数据量较少的第一视频编码数据25，仅需较低的网络带宽便可传送至数据接收解码装置3，并在数据接收解码装置3解码成视频图像36供用户观看，如图4所示。由于有些编码格式为破坏性，因此解码后不一定会恢复成原先的视频图像26，但是视觉上视频图像36仍会与视频图像26相似，使用户仍可有不错的观看感受。

与现有技术相比较，数据编码传送装置2和数据接收解码装置3分别另外存储第一图像数据231和第二图像数据331，即，每当第一编码器21编码出帧(可能为独立帧、双向帧或预测帧)让传送器24传送时，第一解码器22便将该帧解码成具有列数据(row data)的第一图像数据231并暂存在第一存储器23，随着第一编码器21不断输出新的帧，也随之更新在第一存储器23内的第一图像数据231。同样地，第二解码器31输出的视频图像36除了通过屏幕显示之外，视频图像36中最新的第二图像数据331还暂存在第二存储器33。

当数据编码传送装置2为了反应网络带宽而控制第一编码器21改为使用编码后数据量更少的第二编码格式212(例如，QVGA编码格式)时，第一编码器21根据第二编码格式212对第一图像数据231进行编码，产生对应的第一编码帧213。数据编码传送装置2还通知数据接收解码装置3编码方式已改为第二编码格式212，使第二解码器31改为使用第二解码格式312进行之后的解码操作。而第二编码器32会根据第二编码格式212对第二图像数据331进行编码，以产生对应的第二编码帧313，如图5所示，第一编码帧213和第二编码帧313可视为对应第二编码格式212的独立帧(I-frame)。

在现有技术中，当编码格式改变后，接收端必须先接收对应新编码格式的独立帧，才能进行之后的解码操作。与现有技术相比较，本发明的数据编码传送装置2和数据接收解码装置3可分别产生具有独立帧(I-frame)效果的第一编码帧213和第二编码帧313，因此第一编码器21可以以第一编码帧213为基础，继续对视频图像26进行第二编码格式212的编码，产生双向帧254(B-frame)或预测帧255(P-frame)，并且在不需要先传送第一张独立帧的情况下便直接传送双向帧254或预测帧255。如图6所示，当被通知编码方式改变后，数据接收解码装置3直接接收双向帧254和预测帧255，第二解码器31便将第二编码帧313视为独立帧，以该第二编码帧313为基础对双向帧254和预测帧255进行第二解码格式的解码操作。

通过上述说明可知，编码方式改变后数据编码传送装置2便开始输出数据量少的双向帧254或预测帧255，因此数据接收解码装置3可较快地接收并进行解码以产生视频图像36，藉此可缩短因编码方式改变而造成的视频图像中止时间。

请注意，上述编码方式改变后的编解码流程仅省略第一张独立帧的传送，之后数据编码传送装置2还会持续周期地输出经编码的独立帧，而数据接收解码装置3还持续需要的独立帧来维持解码后的图像质量。此外，编码方式改变后，前述暂存第一图像数据和第二图像数据的动作仍会持续进行，以便于之后再次改变编码方式时使用。

参照图7，其示出本发明的视频图像传送方法的实施流程图。图中，本发明包括下列步骤。在步骤S1，在传送端根据第一编码格式对视频图像进行编码以产生对应的第一视频编码数据，并将第一视频编码数据传送到接收端。在步骤S2，在传送端对第一视频编码数据进行解码以产生对应的第一图像数据并存储。

在步骤S3，在接收端对第一视频编码数据进行解码，并产生对应的第二图像数据并存储。在步骤S4，当传送端改为使用第二编码格式时，在传送端根据第二编码格式对第一图像数据进行编码，以产生对应的第一编码帧。其中，传送端优选为以最新的第一图像数据来产生第一编码帧。第一编码格式和第二编码格式优选为不同编码算法产生的格式、或是不同图像分辨率的编码格式、或是不同编码率的编码格式。在步骤S5，在传送端以第一编码帧作为第二编码格式的起始独立帧，再根据第二编码格式对视频图像进行编码以产生对应的第二视频编码图像，并将第二视频编码图像传送至接收端。其中，接收端优选为以最新的第二图像数据来产生第二编码帧。

在步骤S6，在接收端根据第二编码格式对第二图像数据进行编码，以产生对应的第二编码帧。在步骤S7，在接收端以该第二编码帧作为第二编码格式的起始独立帧，再根据第二解码格式对第二视频编码图像进行解码。

以示例性的目的，而不是限制性的目的进行上述描述。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含在所附权利要求范围中。

Claims (10)

1.一种视频图像传送方法，其特征在于，包括：

在传送端根据第一编码格式对视频图像进行编码以产生对应的第一视频编码数据，并将所述第一视频编码数据传送至接收端；

在所述传送端对所述第一视频编码数据进行解码以产生对应的第一图像数据，并在所述传送端存储所述第一图像数据；

在所述接收端对所述第一视频编码数据进行解码，并产生对应的第二图像数据；

在所述接收端存储所述第二图像数据；

当所述传送端改为使用第二编码格式时，在所述传送端和所述接收端分别根据所述第二编码格式对所述第一图像数据和所述第二图像数据进行编码，以产生对应的第一编码帧和第二编码帧；

在所述传送端将所述第一编码帧作为所述第二编码格式的起始独立帧，再根据所述第二编码格式对所述视频图像进行编码以产生对应的第二视频编码图像，并将所述第二视频编码图像传送至所述接收端；以及

在所述接收端将所述第二编码帧作为所述第二编码格式的所述起始独立帧对所述第二视频编码图像进行解码。

2.根据权利要求1所述的视频图像传送方法，其特征在于，所述传送端以最新的所述第一图像数据来产生所述第一编码帧。

3.根据权利要求1所述的视频图像传送方法，其特征在于，所述接收端以最新的所述第二图像数据来产生所述第二编码帧。

4.根据权利要求1所述的视频图像传送方法，其特征在于，所述第一编码格式和所述第二编码格式是不同编码算法产生的格式。

5.根据权利要求1所述的视频图像传送方法，其特征在于，所述第一编码格式和所述第二编码格式是不同的图像分辨率的编码格式、或是不同编码率的编码格式。

6.一种视频图像传送系统，其特征在于，包括数据编码传送装置和数据接收解码装置，

其中，所述数据编码传送装置包括：

第一编码器，根据第一编码格式对视频图像进行编码以产生对应的第一视频编码数据；

第一解码器，对所述第一视频编码数据进行解码以产生对应的第一图像数据；

第一存储器，存储所述第一图像数据；以及

传送器，传送所述第一视频编码数据；

其中，当所述第一编码器改为使用第二编码格式时，所述第一编码器根据所述第二编码格式对所述第一图像数据进行编码，产生对应的第一编码帧，所述第一编码器以所述第一编码帧作为所述第二编码格式的起始独立帧，再根据所述第二编码格式对所述视频图像进行编码以产生对应的第二视频编码图像，并将所述第二视频编码图像传送至所述数据接收解码装置；

其中，所述数据接收解码装置包括：

接收器，接收所述第一视频编码数据；

第二解码器，对所述第一视频编码数据进行解码，并产生对应的第二图像数据；

第二存储器，存储所述第二图像数据；以及

第二编码器；

其中，当所述数据编码传送装置改为使用第二编码格式时，所述第二编码器根据所述第二编码格式对所述第二图像数据进行编码，以产生对应的第二编码帧，所述第二解码器以所述第二编码帧作为所述第二编码格式的所述起始独立帧对所述第二视频编码图像进行解码。

7.根据权利要求6所述的视频图像传送系统，其特征在于，所述第一编码器从所述第一存储器读取最新的所述第一图像数据来产生所述第一编码帧。

8.根据权利要求6所述的视频图像传送系统，其特征在于，所述第二编码器从所述第二存储器读取最新的所述第二图像数据来产生所述第二编码帧。

9.根据权利要求6所述的视频图像传送系统，其特征在于，所述第一编码格式和所述第二编码格式是不同编码算法产生的格式。

10.根据权利要求6所述的视频图像传送系统，其特征在于，所述第一编码格式和所述第二编码格式是不同图像分辨率的编码格式、或是不同编码率的编码格式。

Images