CN102006479B

CN102006479B - 面向场景切换的多描述视频编码方法

Info

Publication number: CN102006479B
Application number: CN 201010564736
Authority: CN
Inventors: 张萌萌; 白慧慧
Original assignee: North China University of Technology
Current assignee: North China University of Technology
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2012-07-04
Anticipated expiration: 2030-11-30
Also published as: CN102006479A

Abstract

提出了一种面向场景切换的多描述视频编码方法。在确定场景切换位置后，插入多个冗余帧，从而使得有至少2个不同信道能够同时发送同一视频帧，从而消除在解码时在场景变换位置处的失真。

Description

面向场景切换的多描述视频编码方法

联合研究

本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：北京市属高等学校人才强教深化计划项目(PHR201008187)；国家自然科学基金(No.60903066，No.60972085)；北京市自然科学基金(No.4102049)，教育部新教师基金(No.20090009120006)。

技术领域

本发明涉及视频编码，更具体地，涉及面向场景切换的多描述视频编码方法。

背景技术

随着INTERNET和个人无线通信设备的普及和推广，在分组交换网络和窄带网络中实时可靠的传输视频已成为必然需求，广泛应用于视频电话、电话会议、远程教学、远程医疗、广告、娱乐、资料检索等领域。但是，现实中互联网和无线通信网等的网络信道并不十分可靠。互联网中存在信道干扰、网络拥塞和路由选择延迟等问题，将导致数据错误及分组丢失等现象；而无线通信网络信道的随机比特错误和连续的突发性差错等问题进一步恶化了信道状况，导致所传输的视频数据的大量字段失效或彻底丢失。这些问题对于压缩数据是致命的，因为压缩后的数据一般是由不等长码字构成的码流，如果出现错误或数据分组丢失，都会引起错误扩散等一系列问题，不但严重影响视频业务的服务质量，甚至会导致整个视频通信系统完全失效，成为限制网络实时视频技术发展的瓶颈。

多描述视频编码就是针对不可靠网络实时视频传输问题而产生的。多描述编码MDC(Multiple description coding)假设在信源和信宿之间有多个信道，各个信道同时出错的概率非常低，通过生成多个同等重要、可独立解码的关于编码的描述，从而保证在其中一些描述丢失的时候，仍可以得到可接受的图像质量，而随着描述的增加，图像质量也随之提高。由于使用部分的信息就可以重建出一个质量可接受的图像，因此多描述编码在基于包的网络、无优先保护机制的INTERNET、分集通信系统(多天线的无线信道)、语音编码、图像编码、视频编码、多分布的存储系统以及低延时的系统中将有着非常重要的应用。与分级编码相比，它特别适合于不提供优先权的网络视频传送。

在本发明的一个发明人的题为“一种基于自适应时域亚采样的多描述视频编解码方法”的已授权专利号200710119031.9中，提供了一种基于对视频流中的运动的分析的自适应视频亚采样的多描述视频编码方法。

在本发明的一个发明人的题为“一种基于相关性优化准则的多描述视频编解码方法及装置”的专利申请200910090803.X中，提供了一种基于相关性优化准则的多描述视频编码方法。

但是上述两种方法皆未考虑对视频帧序列中的场景切换的处理。

在视频帧序列中，场景切换常常导致帧间编码的无效，并且可能导致开始一个新的GOP组。在此情况下，场景切换的起始帧和结束帧就变得至关重要，场景切换的起始帧和结束帧的失真会造成整个GOP组的严重失真甚至不可用。

因此，需要一种多描述视频编码方法，其能够充分利用帧间相关性来解决多描述视频编码中的单路失真问题，尤其是在场景切换中的单路失真问题。

发明内容

一种面向场景切换的多描述视频编码方法，包括以下步骤：对待传输的视频帧序列进行预处理；依据可使用的信道数量n(其中，n≥2)，将经过预处理的视频帧序列中的各个帧进行模n时间采样，从而分解得到n个视频帧子序列；将所述n个视频帧子序列分别输入至n个标准视频编码器以进行视频编码；将所述n个标准视频编码器的输出在n个可使用的信道上发送。其中，所述预处理包括以下步骤：判断相邻帧之间的运动是否大于第一阈值，若是，则在所述相邻帧之间插入以内插方法得到的插入帧；判断相邻的多个帧之间的运动是否小于第二阈值，若是，则移除所述多个帧中的一个或多个帧。其中，所述预处理进一步包括以下步骤：判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧；将m(其中m＜n)个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一帧的前面或后面；以及将m个所述第二帧的副本作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面。

一种面向场景切换的多描述视频编码系统，包括：预处理器，其被配置为对待传输的视频帧序列进行预处理；模n时间采样器，其被配置为依据可使用的信道数量n(其中，n≥2)，将经过预处理的视频帧序列中的各个帧进行模n时间采样，从而分解得到n个视频帧子序列，n个标准视频编码器，其被配置为接收所述n个视频帧子序列，以进行视频编码，所述n个标准视频编码器的输出分别在n个可使用的信道上进行发送，其中，所述预处理器被配置为：判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或多个插入帧；判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个或多个帧，并且其中，所述预处理器被进一步配置为：判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧；将m(其中m＜n)个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一帧的前面或后面，并将m个所述最后一帧的副本作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧。

一种面向场景切换的多描述视频编码器，包括：预处理单元，其被配置为对待传输的视频帧序列进行预处理；模n时间采样单元，其被配置为依据可使用的信道数量n(其中，n≥2)，将经过预处理的视频帧序列中的各个帧进行模n时间采样，从而分解得到n个视频帧子序列，n个标准视频编码器，其被配置为接收所述n个视频帧子序列，以进行视频编码，所述n个标准视频编码器的输出分别在n个可使用的信道上进行发送，其中，所述预处理单元被配置为：判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或多个插入帧；判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个或多个帧，并且其中，所述预处理单元被进一步配置为：判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧；将m(其中m＜n)个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一帧的前面或后面，并将m个所述最后一帧的副本作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧。

在另一个方案中，一种计算机程序产品，其包含指令，所述指令在由处理器执行时，实现如上所述的方法中的各个步骤。

附图说明

图1是根据本发明的一个编码系统的实施例；

图2是根据本发明的实施例，在图1中的预处理单元的流程图；

图3是在常规多描述视频编码器与依据本发明的一个实施例的依据对运动的分析(过大或细微)而插入或删除帧的自适应性视频编码器的性能对比图；以及

图4在依据对运动的分析(过大或细微)而插入或删除帧的自适应性视频编码器的情况下，在存在场景变换处理和不存在场景变换处理的情况下的性能对比图。

具体实施方式

以下结合附图表述了本发明的各个实施例。本领域技术人员应该理解，这些实施例并非旨在限制本发明的保护范围，而意欲以实例的形式给出能够实现本发明的概念的多个具体实施例。本发明的保护范围应该以附带的权利要求为准。

图1示出了根据一个实施例的编码系统的框图。该编码系统以软件、硬件、固件、中间件及其任意组合的形式实现在各种发送设备中，所述发送设备例如但不限于计算机、手机、平板计算机、移动电视等等。

在图1中示出了预处理单元。该预处理单元用于实现本发明的各种实施例，并在以下进行进一步详细论述。

模n时间采样单元对经过预处理的视频序列进行模n时间采样。具体而言，针对视频序列中的每一个帧，按照(帧编号)模n将该帧分配给相应的标准编码器。例如，在一个实施例中，n＝2，则将偶数帧分配给第一个标准处理器，将奇数帧分配给第二个标准处理器，并以此类推。模n采样单元的输出是n个视频子序列，在本文中也称为n个“描述”。

在一个实施例中，数值n的选择取决于用户的设定。在另一个实施例中，用户主要根据信道状况、系统总体复杂度、计算负载量中的至少一个来选择相应的n值。在一个实施例中，n＝2。

在一个实施例中，将n个视频子序列分别输入至n个标准编码器。本文所述的标准编码器可以是现有技术中的任意标准编码器，例如根据H.26x、MPEG-X、VBR等等标准实现的编码器。

在一个实施例中，本文所述的标准编码器1、2、...、n等等可以是相同的标准编码器，从而实现类似的性能。但是本发明并不局限于此，标准编码器1、2、...、n等等可以也采用不同的编码器，例如从上述视频编码标准中选择的任意多个。对这些标准编码器的选择取决于对系统的具体设计约束。在一个优选实施例中，依据各个信道1、2、...、n的当前信道状况来选择相应标准编码器1、2、...、n所采用的视频编码标准。

最后，从标准编码器1、2、...、n输出的编码比特流经过后端处理(图中未示出)后在相应的信道1、2、...、n中发送至接收系统(以下论述)。所述后端处理可以是，例如，信道编码，上变频、复用等等与通信相关的处理或其他处理，并可以由本领域公知的发射机、调制解调器、网卡接口卡等等通信装置来进行。

图2是根据本发明的实施例，在图1中的预处理单元的流程图。在图2中，预处理单元针对输入的视频序列中的多个相邻帧来确定这些相邻帧之间的运动。

在步骤S1中，从输入的视频序列中提取多个相邻帧进行分析。

首先，在步骤S2中，计算运动度量。在一个实施例中，运动度量可以宏块运动矢量。

在计算得到运动度量之后，在一个实施例中，如果多个相邻帧之间的运动过大(步骤S3)，则需要通过增加冗余帧(本文中将其称为插入帧)来进行平滑(步骤S4)。插入帧的获得可以简单地通过在两个相邻帧之间进行内插得到。但在一个优选实施例中，考虑两个以上的多个相邻帧，并且采用加权平均而考虑其中每一个相邻帧的贡献。进一步而言，基于保证进入各个标准编码器的帧数相同来选择插入帧的数量。

另一方面，如果多个相邻帧之间的运动细微(步骤S5)，则可以通过跳过一个或多个帧来获得较高的压缩效率(步骤S6)。

在一个实施例中，对于任意三个相邻帧k-1，k和k+1，计算两帧之间所有宏块的运动矢量的最大模值‖MV‖_(k-1，k)和‖MV‖_(k，k+1)，这里，

((x，y)为模值最大的运动矢量)。若‖MV‖＜＝T₁，则帧间运动细微，并且可以跳过一个或多个帧；若‖MV‖＞＝T₂，则帧间运动不稳定，可以通过插入一个或多个内插帧来使此类运动信息平滑。这里，阈值T选择所有‖MV‖差值的平均值。

在另一个实施例中，对于两个邻近的帧，各个宏块运动矢量通过公式

((x，y)是最大尺寸的运动矢量的坐标)计算得到最大值。若‖MV‖＜＝T₁，则帧间运动细微，并且可以跳过一个或多个帧；若‖MV‖＞＝T₂，则帧间运动不稳定，可以通过插入一个或多个内插帧来使此类运动信息平滑。

在本发明的一个优选实施例中，通过检测并复制场景切换帧来减小场景切换时的编解码失真。

具体而言，首先找到在视频序列中发生场景切换的位置。优选地，通过衡量相邻两帧中对应宏块中各像素的绝对误差和(SAD)来判断在这两个帧之间是否存在场景切换。若SAD≥T₃，那么发生了场景切换，T₃为一特定阈值。为区分视频序列中的场景，引入‘A’标识场景的第一帧、‘Z’标识场景的最后一帧。为了保证重建完整帧，使得第一帧和最后一帧至少通过2个标准编码器，即通过两个不同信道进行传输，在通过2个标准编码器情况下，将第一帧或最后一帧的1个副本插入至该第一帧或最后一帧的前面或后面，从而保证有相同的第一帧或最后一帧被输入2个不同的标准编码器。在优选情况下，使得第一帧和最后一帧通过n个标准编码器进行传输，即将将第一帧或最后一帧的n-1个副本插入至该第一帧或最后一帧的前面或后面，从而保证有相同的第一帧或最后一帧被分别输入至n个标准编码器。

在一个实施例中，用不同标记来标识原始帧和插入帧，以便在解码器端能够识别并删除插入帧。

本领域技术人员应该理解，并非需要图2中所有的判断分支来实现本发明的编码系统。在基于施加在编码系统的设计约束的前提下，可以使用这些分支中的一个、两个或全部。并且分别地或组合地取得良好的技术效果。

在接收设备的解码操作中(附图中未示出)，采用与发送设备的编码操作相反的处理来恢复视频序列。

具体而言，利用与发送设备的标准编码器匹配的标准解码器对通过通信装置，例如，接收机，调制解调器等等所接收到的编码比特流进行解码。随后对解码后的各个视频子序列(各个表述)组合为单个视频序列。最后，依据插入帧的标记来删除各个插入帧，从而恢复视频数据。

在图3中示出了在n＝2的情况下，在使用常规的多描述视频编码方案与使用基于运动而插入或删除帧(即图2中的左侧两个分支)的多描述视频编码方案的实验数据对比。如图所示，比特率从50kbps/channel到300kbps/channel条件下，中心失真优化0.8-1.5dB、单路失真优化0.5-1.7dB。

在图4中示出了在n＝2的情况下，使用基于运动而插入或删除帧(即图2中的左侧两个分支)的多描述视频编码方案与使用图2中全部步骤的多描述视频编码方案的实验数据对比。如图所示，在使用图2中全部步骤，即，加入了场景切换处理之后，无论是中心失真还是单路失真，在同样的比特率下，得到1dB的优化。

本发明的各个实施例可以采用硬件、软件、固件、中间件等等来实现。在以软件实现的情况下，本发明的各个实施例可以以可执行指令形式在各种常规或专用处理器中实现。在以硬件实现的情况下，本发明的各个实施例可以实现为视频编码器芯片、视频编码器电路逻辑等等，或者被结合至其中。

Claims

1.一种面向场景切换的多描述视频编码方法，包括以下步骤：

对待传输的视频帧序列进行预处理；

依据可使用的信道数量n，其中n≥2，将经过预处理的视频帧序列中的各个帧进行模n时间采样，从而分解得到n个视频帧子序列，

将所述n个视频帧子序列分别输入至n个标准视频编码器以进行视频编码；

将所述n个标准视频编码器的输出分别在n个可使用的信道上进行发送，

其中，所述预处理包括以下步骤：

判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或多个插入帧；

判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个或多个帧，

其中，所述预处理进一步包括以下步骤：

判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧；以及

将m个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一帧的前面或后面，并将m个所述最后一帧的副本作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧，其中m＜n，并且

其中，所述预处理进一步包括：

对于两个邻近的帧，宏块运动矢量通过公式

计算得到最大值，其中(x，y)是最大尺寸的运动矢量的坐标，从而判断运动是剧烈还是细微。

2.如权利要求1所述的视频编码方法，所述判断所述视频帧序列中发生场景切换的位置的步骤进一步包括：

计算相邻两帧中对应宏块中的各像素的绝对误差和SAD，如果所述SAD大于等于一阈值，则确定发生了场景切换。

3.如权利要求1所述的视频编码方法，所述预处理进一步包括：

对视频帧序列中的原始的帧以及所述预处理中的插入帧进行标记，以便在解码时能够区分并删除插入帧。

4.如权利要求1所述的视频编码方法，其中，m＝n-1或m＝2。

5.如权利要求1所述的视频编码方法，其中，控制插入和删除的帧的数量，以使得每个标准编码器对相同数量的帧进行编码。

6.如权利要求1所述的视频编码方法，其中，所述n个标准编码器依据以下标准中的一个或多个：H.26x、MPEG-X、VBR。

7.一种面向场景切换的多描述视频编码器，包括：

预处理单元，其被配置为对待传输的视频帧序列进行预处理；

模n时间采样单元，其被配置为依据可使用的信道数量n，其中n≥2，将经过预处理的视频帧序列中的各个帧进行模n时间采样，从而分解得到n个视频帧子序列，

n个标准视频编码器，其被配置为接收所述n个视频帧子序列，以进行视频编码，所述n个标准视频编码器的输出分别在n个可使用的信道上进行发送，

其中，所述预处理单元被配置为：

并且其中，所述预处理单元被进一步配置为：

判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧；

将m个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一帧的前面或后面，并将m个所述最后一帧的副本作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧，其中m＜n，并且其中，所述预处理单元被进一步配置为：

对于两个邻近的帧，宏块运动矢量通过公式计算得到

最大值，其中(x，y)是最大尺寸的运动矢量的坐标，从而判断运动是剧烈还是细微。

8.一种面向场景切换的多描述视频编码装置，包括以下：

用于对待传输的视频帧序列进行预处理的模块；

用于依据可使用的信道数量n，其中n≥2，将经过预处理的视频帧序列中的各个帧进行模n时间采样，从而分解得到n个视频帧子序列的模块，

用于将所述n个视频帧子序列分别输入至n个标准视频编码器以进行视频编码的模块；

用于将所述n个标准视频编码器的输出分别在n个可使用的信道上进行发送的模块，

其中，所述用于进行预处理的模块包括：

用于判断多个相邻帧之间的运动是否剧烈，若是，则在所述相邻帧之间插入一个或多个插入帧的模块；

用于判断多个相邻帧之间的运动是否细微，若是，则移除所述多个相邻帧中的一个或多个帧的模块，

其中，所述用于进行预处理的模块进一步包括：

用于判断所述视频帧序列中发生场景切换的位置，从而确定一个场景的第一帧和最后一帧的模块；以及

用于将m个所述第一帧的副本作为插入帧而插入所述视频帧序列中所述第一帧的前面或后面，并将m个所述最后一帧的副本作为插入帧而插入所述视频帧序列的所述第二帧的前面或后面，从而使得有至少2个标准编码器同时发送相同的第一帧或第二帧的模块，其中m＜n，并且

其中，所述用于进行预处理的模块进一步包括：

用于对于两个邻近的帧，宏块运动矢量通过公式

计算得到最大值，其中(x，y)是最大尺寸的运动矢量的坐标，从而判断运动是剧烈还是细微的模块。