CN101404769A - 视频编解码方法、装置和系统 - Google Patents

Abstract

本发明公开了一种视频编解码方法、装置和系统，涉及图像处理领域，为解决现有技术参考帧和当前帧之间的变化较大时，数据传输量大幅增加的问题而发明。本发明实施例提供的视频编码方法，包括：获取图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵；将所述关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号；对所述关键帧和残差信号进行编码。本发明适用于图像传输系统。

Description

视频编解码方法、装置和系统

技术领域

本发明涉及图像处理领域，尤其涉及一种视频编解码方法、装置和系统。

背景技术

现有技术中，视频编码技术主要是通过去除视频信号的空间冗余和时间冗余来达到压缩数据的效果。其中主要是时间冗余。由于视频相邻帧间的时间相关性很高，通过运动估计能很好的根据上帧的内容预测下帧的内容。通过将视频帧分块，然后计算每块的运动矢量，从而用运动矢量信息代替保存视频本身。

现代编码器中普遍采用的运动补偿方法便是通过上述方法实现的：将当前帧分成许多长方形的块，对每个块进行运动补偿。例如在常见的视频编码标准中，比如MPEG-2，MPEG-4，H.263，H.264等标准，宏块(图象帧中16×16的象素区域)是运动补偿预测的基本运算单位。

宏块的运动估计过程是在参考帧中寻找与当前宏块匹配的16×16象素区域。参考帧来自序列中已编码的图象帧，在播放顺序上可以在当前帧之前或之后。搜索区以当前宏块位置为中心，使匹配准则达到最小值的16×16象素区域即为最佳匹配。

当前宏块减去其最佳匹配宏块得到残差宏块，描述匹配块位置的运动矢量和残差宏块一起被编码和传输。编码器如果发现参考帧和当前帧之间的变化较大，将对当前宏块直接编码，而不再使用运动补偿。

在实现上述图像处理的过程中，发明人发现现有技术中至少存在如下问题：在摄像装置处于运动状态时，所述摄像装置拍摄的画面会做整体移动，参考帧和当前帧之间的变化较大，现有技术在此时将对当前宏块直接编码，而不再使用运动补偿，这将导致数据传输量大幅增加。

发明内容

本发明的实施例提供一种视频编解码方法、装置和系统，在摄像装置处于运动状态时，能够降低数据传输量。

为达到上述目的，本发明的实施例采用如下技术方案：

一种视频编码方法，包括：

获取图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵；

将所述关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号；

对所述关键帧和残差信号进行编码。

一种视频解码方法，包括：

接收关键帧、变换矩阵和残差信号；

将所述关键帧经变换矩阵变换后，与所述残差信号叠加，得到非关键帧。

一种视频编码装置，包括：

变换矩阵计算单元：用于获取图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵；

残差信号获得单元：用于将所述关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号；

编码单元：用于对所述关键帧和残差信号进行编码。

一种视频解码装置，包括：

接收单元：用于接收关键帧、变换矩阵和残差信号；

信号解码单元：用于将所述关键帧经变换矩阵变换后，与所述残差信号叠加，得到非关键帧。

一种视频编解码系统，包括：

视频编码装置：用于将非关键帧整体按摄像装置的运动轨迹平移后，取非关键帧与关键帧之间的残差信号，并发送关键帧、残差信号和表示摄像装置运动轨迹的变换矩阵；

视频解码装置：用于接收所述关键帧、残差信号和表示摄像装置运动轨迹的变换矩阵，还原出非关键帧。

本发明实施例提供的视频编解码方法、装置和系统，在摄像装置处于运动状态时，将关键帧整体按摄像装置的运动轨迹平移后，取关键帧与非关键帧之间的残差信号，这样，在关键帧和非关键帧之间的变化较大时，仍可以找到非关键帧与关键帧画面近似的部位，对非关键帧使用运动补偿，降低了数据传输量。

附图说明

图1为本发明视频编解码方法实施例一中视频编码方法流程图；

图2为本发明视频编解码方法实施例一中视频解码方法流程图；

图3为本发明视频编解码方法实施例二中视频编码方法流程图；

图4为本发明视频编解码方法实施例二中视频解码方法流程图；

图5为本发明视频编解码方法实施例三中视频编码方法流程图；

图6为本发明视频编解码方法实施例三中视频解码方法流程图；

图7为本发明视频编解码系统实施例结构图；

图8为本发明视频编解码系统实施例中视频编码装置的一种结构示意图；

图9为本发明视频编解码系统实施例中视频编码装置的另一种结构示意图；

图10为本发明视频编解码系统实施例中视频解码装置结构图。

具体实施方式

为了克服现有技术在拍摄的画面做整体移动时，无法使用运动补偿，导致数据传输量大幅增加的问题，本发明实施例提供的视频编解码方法、装置和系统，在摄像装置处于运动状态时，将关键帧整体按摄像装置的运动轨迹平移后，取关键帧与非关键帧之间的残差信号，这样，在关键帧和非关键帧之间的变化较大时，仍可以找到非关键帧与关键帧画面近似的部位，对非关键帧使用运动补偿，降低了数据传输量。

下面结合附图对本发明实施例视频编解码方法、装置和系统进行详细描述。

本发明视频编解码方法实施例一，包括：视频编码方法和视频解码方法。

本实施例的视频编码方法，如图1所示，包括：

S101、获取摄像机所拍摄图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵。

所述关键帧是用来作为参照系的帧，在图像传输的过程中，其它非关键帧通过关键帧，及该非关键帧与关键帧的残差信号来表示。

计算变换矩阵H的方法如下：将摄像机运动前后拍摄的两帧图像(假设前一幅画面被系统选定为关键帧，后一幅画面为非关键帧)进行边缘检测，得到图像主体的轮廓线，通过模式匹配找到两幅图像中大部分顶点的匹配关系，从而得到关键帧中大量点在非关键帧中的对应点坐标。

然后根据最小二乘法计算这些顶点从关键帧到非关键帧的运动轨迹的最短路径，所述最短路径即为矩阵H的值。

S102、将摄像机所拍摄图像的关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号。

将关键帧整体经矩阵H转换，得到关键帧图像在非关键帧中的对应点坐标，由于两帧图像所表现的画面并不完全一致，所以非关键帧只有部分图像与关键帧重合，这部分的残差信号较小。

S103、对所述关键帧和残差信号进行编码。

本实施例的视频解码方法，如图2所示，包括：

S201、接收关键帧、变换矩阵和残差信号。

S202、将所述关键帧经变换矩阵变换后，与所述残差信号叠加，得到非关键帧。

本步骤将所述关键帧经变换矩阵变换后，与所述残差信号相加，这样就得到了非关键帧的图像信息。

一方面，本实施例在摄像装置处于运动状态时，将关键帧整体按摄像装置的运动轨迹平移后，取关键帧与非关键帧之间的残差信号，这样，在关键帧和非关键帧之间的变化较大时，仍可以找到非关键帧与关键帧画面近似的部位，对非关键帧使用运动补偿，降低了数据传输量。

另一方面，本实施例以整帧图像为单位编解码传输，相对于现有技术以宏块为单位的编解码传输方式，处理难度和操作复杂度更低。

再一方面，本实施例两帧画面间的主要变化是由于摄像机运动产生的，这种情况下画面间才存在这种变换。所以本实施例特别适用于拍摄相对静止物体，如地面、建筑物、景观等目标。

本发明视频编解码方法实施例二，包括：视频编码方法和视频解码方法。

本实施例的视频编码方法，如图3所示，包括：

S301、获取摄像机所拍摄图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵。

S302、对所述关键帧进行矩阵转换，得到对非关键帧的预测帧。

S303、将所述预测帧与非关键帧进行比对，得到残差信号。

S304、对所述关键帧和残差信号进行编码。

S305、将经过编码的关键帧和残差信号，以及未经过编码的变换矩阵发送出去。

本实施例的视频解码方法，如图4所示，包括：

S401、接收经过编码的关键帧和残差信号，以及未经过编码的变换矩阵。

S402、对所述经过编码的关键帧和残差信号进行解码。

S403、对所述解码后的关键帧经变换矩阵进行变换，得到对非关键帧的预测帧。

S404、将所述预测帧与所述残差信号叠加，得到非关键帧。

一方面，本实施例在摄像装置处于运动状态时，将关键帧整体按摄像装置的运动轨迹平移后，取关键帧与非关键帧之间的残差信号，这样，在关键帧和非关键帧之间的变化较大时，仍可以找到非关键帧与关键帧画面近似的部位，对非关键帧使用运动补偿，降低了数据传输量。

另一方面，本实施例以整帧图像为单位编解码传输，相对于现有技术以宏块为单位的编解码传输方式，处理难度和操作复杂度更低。

再一方面，本实施例两帧画面间的主要变化是由于摄像机运动产生的，这种情况下画面间才存在这种变换。所以本实施例特别适用于拍摄相对静止物体，如地面、建筑物、景观等目标。

又一方面，本实施例发送端将欲发送的关键帧和残差信号进行编码，进一步降低了数据传输量。

本发明视频编解码方法实施例三，包括：视频编码方法和视频解码方法。

本实施例的视频编码方法，如图5所示，包括：

S501、获取摄像机所拍摄图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵。

S502、对所述关键帧进行矩阵转换，得到对非关键帧的预测帧。

S503、将所述预测帧与非关键帧进行比对，得到残差信号。

S504、对所述关键帧、残差信号和变换矩阵进行编码。

S505、将经过编码的关键帧、残差信号和变换矩阵发送出去。

本实施例的视频解码方法，如图6所示，包括：

S601、接收经过编码的关键帧和残差信号，以及变换矩阵。

S602、对所述经过编码的关键帧、残差信号和变换矩阵进行解码。

S603、对所述解码后的关键帧经变换矩阵进行变换，得到对非关键帧的预测帧。

S604、将所述预测帧与所述残差信号叠加，得到非关键帧。

一方面，本实施例在摄像装置处于运动状态时，将关键帧整体按摄像装置的运动轨迹平移后，取关键帧与非关键帧之间的残差信号，这样，在关键帧和非关键帧之间的变化较大时，仍可以找到非关键帧与关键帧画面近似的部位，对非关键帧使用运动补偿，降低了数据传输量。

另一方面，本实施例以整帧图像为单位编解码传输，相对于现有技术以宏块为单位的编解码传输方式，处理难度和操作复杂度更低。

再一方面，本实施例两帧画面间的主要变化是由于摄像机运动产生的，这种情况下画面间才存在这种变换。所以本实施例特别适用于拍摄相对静止物体，如地面、建筑物、景观等目标。

又一方面，本实施例发送端将欲发送的关键帧、残差信号和变换矩阵进行编码，进一步降低了数据传输量。

本发明视频编解码系统实施例，如图7所示，包括：

视频编码装置1：用于将非关键帧整体按摄像装置的运动轨迹平移后，取非关键帧与关键帧之间的残差信号，并发送关键帧、残差信号和表示摄像装置运动轨迹的变换矩阵；

视频解码装置2：用于接收所述关键帧、残差信号和表示摄像装置运动轨迹的变换矩阵，还原出非关键帧。

本实施例的视频编码装置1，包括：

变换矩阵计算单元11：用于获取摄像机所拍摄图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵；

残差信号获得单元12：用于将所述关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号；

编码单元13：用于对所述关键帧和残差信号进行编码。

其中，所述残差信号获得单元12包括：

关键帧转换子单元121：接收来自变换矩阵计算单元11的关键帧和变换矩阵，对所述关键帧进行矩阵转换，得到对非关键帧的预测帧。

残差信号生成子单元122：接收来自变换矩阵计算单元11的非关键帧和来自关键帧转换子单元121的对非关键帧的预测帧，将所述预测帧与非关键帧进行比对，得到残差信号。

另外，如图8所示，所述视频编码装置1还包括：

发射单元14：接收来自变换矩阵计算单元11的变换矩阵，以及来自编码单元13的经过编码的关键帧和残差信号，将经过编码的关键帧和残差信号，以及未经过编码的变换矩阵发送出去。

或者，如图9所示，所述视频编码装置1还包括：

变换矩阵编码单元15：接收来自变换矩阵计算单元11的变换矩阵，对所述变换矩阵进行编码；

传输单元16：接收来自编码单元13的经过编码的关键帧、残差信号和来自变换矩阵编码单元15的经过编码的变换矩阵，将经过编码的关键帧、残差信号和变换矩阵发送出去。

本实施例的视频解码装置2，如图10所示，包括：

接收单元21：用于接收关键帧、变换矩阵和残差信号；

信号解码单元22：用于将所述关键帧经变换矩阵变换后，与所述残差信号相加，得到非关键帧。

其中，所述接收单元21具体为：

如果接收到的是经过编码的关键帧和残差信号，以及未经过编码的变换矩阵，对所述经过编码的关键帧和残差信号进行解码；

如果接收到的是经过编码的关键帧、残差信号和变换矩阵，对所述经过编码的关键帧、变换矩阵和残差信号进行解码。

另外，所述信号解码单元22包括：

预测帧获取子单元221：接收来自接收单元21的经过解码的关键帧和变换矩阵，对所述解码后的关键帧经变换矩阵进行变换，得到对非关键帧的预测帧。

非关键帧获取子单元222：接收来自接收单元21的残差信号和来自预测帧获取子单元221的对非关键帧的预测帧，将所述预测帧与所述残差信号叠加，得到非关键帧。

本实施例在摄像装置处于运动状态时，通过信号编码单元12将关键帧整体按摄像装置的运动轨迹平移后，取关键帧与非关键帧之间的残差信号，这样，在关键帧和非关键帧之间的变化较大时，仍可以找到非关键帧与关键帧画面近似的部位，对非关键帧使用运动补偿，降低了数据传输量。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1、一种视频编码方法，其特征在于，包括：

获取图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵；

将所述关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号；

对所述关键帧和残差信号进行编码。

2、根据权利要求1所述的视频编码方法，其特征在于，所述将所述关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号的步骤包括：

对所述关键帧进行矩阵转换，得到对非关键帧的预测帧；

将所述预测帧与非关键帧进行比对，得到残差信号。

3、根据权利要求1所述的视频编码方法，其特征在于，对所述关键帧和残差信号进行编码的步骤之后还包括：

将经过编码的关键帧和残差信号，以及未经过编码的变换矩阵发送出去。

4、根据权利要求1所述的视频编码方法，其特征在于，对所述关键帧和残差信号进行编码的步骤之后还包括：

对变换矩阵进行编码；

将经过编码的关键帧、残差信号和变换矩阵发送出去。

5、一种视频解码方法，其特征在于，包括：

接收关键帧、变换矩阵和残差信号；

将所述关键帧经变换矩阵变换后，与所述残差信号叠加，得到非关键帧。

6、根据权利要求5所述的视频解码方法，其特征在于，所述接收关键帧、变换矩阵和残差信号的步骤具体为：

如果接收到的是经过编码的关键帧和残差信号，以及未经过编码的变换矩阵，对所述经过编码的关键帧和残差信号进行解码；

如果接收到的是经过编码的关键帧、残差信号和变换矩阵，对所述经过编码的关键帧、变换矩阵和残差信号进行解码。

7、根据权利要求5所述的视频解码方法，其特征在于，所述将所述关键帧经变换矩阵变换后，与所述残差信号叠加，得到非关键帧的步骤包括：

将所述关键帧经变换矩阵进行变换，得到对非关键帧的预测帧；

将所述预测帧与所述残差信号叠加，得到非关键帧。

8、一种视频编码装置，其特征在于，包括：

变换矩阵计算单元：用于获取图像的非关键帧和关键帧，并通过所述非关键帧和关键帧之间的运动轨迹计算出变换矩阵；

残差信号获得单元：用于将所述关键帧经过所述变换矩阵转换后与非关键帧比对，得到残差信号；

编码单元：用于对所述关键帧和残差信号进行编码。

9、根据权利要求8所述的视频编码装置，其特征在于，所述残差信号获得单元包括：

关键帧转换子单元：用于对所述关键帧进行矩阵转换，得到对非关键帧的预测帧；

残差信号生成子单元：用于将所述预测帧与非关键帧进行比对，得到残差信号。

10、根据权利要求8所述的视频编码装置，其特征在于，还包括：

发射单元：用于将经过编码的关键帧和残差信号，以及未经过编码的变换矩阵发送出去。

11、根据权利要求8所述的视频编码装置，其特征在于，还包括：

变换矩阵编码单元：用于对变换矩阵进行编码；

传输单元：用于将经过编码的关键帧、残差信号和变换矩阵发送出去。

12、一种视频解码装置，其特征在于，包括：

接收单元：用于接收关键帧、变换矩阵和残差信号；

信号解码单元：用于将所述关键帧经变换矩阵变换后，与所述残差信号叠加，得到非关键帧。

13、根据权利要求12所述的视频解码装置，其特征在于，所述接收单元具体为：

如果接收到的是经过编码的关键帧和残差信号，以及未经过编码的变换矩阵，对所述经过编码的关键帧和残差信号进行解码；

如果接收到的是经过编码的关键帧、残差信号和变换矩阵，对所述经过编码的关键帧、变换矩阵和残差信号进行解码。

14、根据权利要求12所述的视频解码装置，其特征在于，所述信号解码单元包括：

预测帧获取子单元：用于将所述关键帧经变换矩阵进行变换，得到对非关键帧的预测帧；

非关键帧获取子单元：用于将所述预测帧与所述残差信号叠加，得到非关键帧。

15、一种视频编解码系统，其特征在于，包括：

视频编码装置：用于将非关键帧整体按摄像装置的运动轨迹平移后，取非关键帧与关键帧之间的残差信号，并发送关键帧、残差信号和表示摄像装置运动轨迹的变换矩阵；

视频解码装置：用于接收所述关键帧、残差信号和表示摄像装置运动轨迹的变换矩阵，还原出非关键帧。

Images