CN101707714A - 多画面视频会议的图像处理方法和设备 - Google Patents

Abstract

本发明提供一种多画面视频会议的图像处理方法和图像压缩编码设备。其中，所述方法包括确定多个画面的级别；根据子画面的级别对所述画面进行图像处理和编码处理，使得高级别画面的图像质量高于低级别画面的质量。本发明实施例通过调整视频图像各个区域的编码方法，使得指定的关键区域的图像质量得到优先保证或提升。

Description

多画面视频会议的图像处理方法和设备

技术领域

本发明涉及一种信息处理方法，尤其涉及一种多画面视频会议的图像处理方法和设备。

背景技术

在多媒体通信中，视频图像压缩编码是一项非常重要的技术。众所周知，数字视频图像的数据量是巨大的，如果不进行压缩，其传输所需的高传输速率和存储所需的巨大容量将成为巨大的问题。在现实数字通信中，带宽资源往往是非常宝贵且有限的。因此，如何有效的压缩视频图像，将有限的带宽资源合理的分配到视频图像的各个区域，使得带宽和图像质量取得最优权衡是一个很重要的问题。现有的码率控制技术，其原理就是有效的控制编码器，使其输出比特率满足传输信道实际带宽的限制，并且尽可能获得质量最优的解码图像。码率控制采用的一般手段为针对限定带宽、图像场景，对量化步长、输出帧率、分辨率等进行动态调整，实现对输出码率的有效控制。

在实现本发明过程中，发明人研究发现现有技术至少存在如下问题：

调整量化步长、输出帧率的方法是一种平均分配的控制方法，每个编码区域获取编码比特数的优先级是相等的，因此无法实现对指定区域的图像质量的优先考虑。调整图像分辨率的方法会增加系统的复杂度，其中亚采样会对原图像造成无法恢复的损伤，尤其是原图像纹理复杂的情况。并且这种方法，同样无法实现对指定区域的图像质量的优先考虑。

发明内容

本发明实施例的目的在于提供一种图像数据的压缩编码方法和设备，用于解决现有技术中各编码区域获取编码比特数的优先级是相等的，无法实现对指定区域的图像质量的优先考虑的问题。

本发明实施例提供一种多画面视频会议的图像处理方法，包括确定多个画面的级别；根据画面的级别对所述画面进行图像处理和编码处理，使得高级别画面的图像质量高于低级别画面的质量。

本发明实施例还提供一种多画面视频会议的图像压缩编码设备，包括：设定单元，用于确定多个画面的级别；处理单元，包括图像处理子单元和编码处理子单元，分别用于根据画面的级别对所述画面的进行图像处理和编码处理，使得高级别画面的图像质量高于低级别画面的图像质量。

本发明实施例在带宽或处理能力受限的情况，通过调整对视频图像各个区域的编码方法，如编码比特数分配、量化步长、帧率、去噪强度、增强强度，使得指定的关键区域的图像质量，包括清晰度、流畅度等影响主观感受等要素，得到优先保证或提升。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定.在附图中：

图1为本发明实施例一的多画面视频会议的图像处理方法的流程图；

图2为本发明实施例二的多画面视频会议的图像处理方法的流程图；

图3a为本发明实施例三的多画面视频会议的图像的示意图；

图3b为本发明实施例三的多画面视频会议的图像处理方法的流程图；

图4a为本发明实施例四的多画面视频会议的图像的示意图；

图4b为本发明实施例四的多画面视频会议的图像处理方法的流程图；

图5为本发明实施例五的多画面视频会议的图像压缩编码设备的结构示意图；

图6为本发明实施例五中的设定单元的结构示意图；

图7为本发明实施例五中的图像处理子单元的结构示意图；

图8为本发明实施例五中的一种编码处理子单元的结构示意图；

图9为本发明实施例五中的另一种编码处理子单元的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

实施例一

本实施例提供一种多画面视频会议的图像处理方法。如图1所示，该方法包括：

步骤110，确定多个画面的级别；

在该步骤中，通过输入参数设置、默认设置或自适应算法确定所述多个画面的级别。自适应算法可以依据会场数目、会场重要级别的高低、会场比特率的高低、会场帧率的高低、会场图像分辨率的高低设定关键子画面和一般子画面。具体可以优先考虑将重要级别较高的会场作为关键会场，其次考虑图像质量较好的会场，如分辨率较高、比特率较高、帧率较高的会场作为关键会场。其中，关键子画面的面积大于一般子画面的面积。

步骤120，根据画面的级别对所述画面的进行图像处理和编码处理，使得高级别画面的图像质量高于低级别画面的图像质量。

在该步骤中，根据画面的级别对所述画面进行的图像处理包括分配给高级别画面比低级别画面更小的量化步长、更强的去噪强度或更强的增强强度.根据画面的级别对所述画面进行的编码处理包括：设定压缩编码的目标比特数和目标帧率，设置高级别画面的帧率等于目标帧率，低级别画面的帧率低于目标帧率，例如通过跳帧降低低级别图像区域的帧率，将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给当前帧高级别画面的编码，或者将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给下一帧各个画面.其中，按各个画面大小的比例乘以级别对应的比例下一帧将节省的帧平均编码比特数分配给下一帧各个画面.节省的帧平均编码比特数分配给下一帧各个画面通过跳帧降低低级别图像区域的帧率.这里对于图像中某个区域的“跳帧”指的是编码该区域时，使用上一帧的原始图像或者编码重建图像的颜色系数取代当前帧的颜色系数进行编码.在使用帧间编码的情况下，该区域用于编码的颜色系数实际上是上一帧的，所以其残差系数很小，甚至为零.因此，对当前帧图像中“跳帧”的区域进行编码，几乎可以不需要任何比特数.

本实施例通过调整对视频图像各个区域的编码方法，如编码比特数分配、量化步长、帧率、去噪强度、增强强度，使得指定的关键区域的图像质量，包括清晰度、流畅度等影响主观感受等要素，得到优先保证或提升。

实施例二

本实施例通过视频图像序列的编码实例进一步详细说明实施例一的多画面视频会议的图像处理方法。如图2所示，该方法包括：

步骤201，设定指定区域。其中，原视频序列分辨率为10x10，通过默认设置方式设定指定区域为左下角5x5的区域。

步骤202，设定指定区域的级别。通过默认设置方式将指定区域设定为2级，其他非指定区域设定为1级。

步骤203，通过用户设定，或默认设置，或环境参数(如带宽、编码协议等)设定编码的目标帧率和目标比特率，具体目标频率为30fps，目标比特率为30Kbps。

步骤204，设定指定区域的帧率为目标帧率30fps，其他区域的帧率降低到目标帧率的2/3(即20fps)。当某个区域的目标帧率比整帧图像的目标帧率要低的时候，通过跳帧的方法来降低该区域的目标帧率。

步骤205，其他区域因降帧率而节省出来的比特数直接分配到指定区域，用于编码。依据目标频率为30fps和目标比特率为30Kbps，每帧图像的平均编码比特数为1000bit，每个区域的像素平均编码比特数为10bit/pixel。指定区域可以获得的每帧平均编码比特数是250bit，其他区域可以获得的可以获得的每帧平均编码比特数是750bit。但是由于其他区域的帧率降到了20fps，假设其下降帧率的比例与平均每帧节省编码比特数的比例一致，那么其他区域，将可以节省1/3的比特数(即250bit)，将其直接用于指定区域的编码。那么指定区域可以获得的每帧平均编码比特数是500bit(250bit+250bit)，其他区域可以获得的每帧平均编码比特数是500bit(750bit-250bit)。这种编码方式要求编码完其他区域后，再编码指定区域。

本实施例通过降低指定区域的帧率，并将节省下的编码比特数直接用于指定区域的编码，使得指定区域的图像质量得到优先保证或提升。

实施例三

本实施例通过会场图像(如图3a所示)的编码实例进一步详细描述实施例一的多画面视频会议的图像处理方法。如图3b所示，该方法包括：

步骤301，设定指定区域。其中，依据人脸区域识别算法确定人脸区域，并将其作为指定区域，大小占图像总面积的40％。

步骤302，设定指定区域的级别。通过默认设置方式将指定区域设定为2级，其他非指定区域设定为1级。

步骤303，通过用户设定，或默认设置，或环境参数(如带宽、编码协议等)设定编码的目标帧率和目标比特率。具体目标频率为30fps，目标比特率为3Mbps。

步骤304，依据各个区域的大小、级别分配指定区域和其他区域的每帧编码比特数.根据目标频率为30fps和目标比特率为3Mbps，确定当前帧的目标比特数是100Kbit，关键区域的大小占图像总体大小的40％.指定区域与其他区域所分配到的编码比特数的比例等于两者区域大小比例(4∶6)乘以级别比例(2∶1)，即8∶6.指定区域所分配到的当前帧编码比特数是57Kbit，其他区域所分配到的帧编码比特数是43Kbit.

本实施例通过按照指定区域和其他区域的区域大小比例和级别比例的乘积分配每帧编码比特数，使得会场视频中指定区域的图像质量得到优先保证或提升。

实施例四

本实施例通过视频会议多画面(如图4a所示)的编码实例进一步详细描述实施例一的多画面视频会议的图像处理方法。如图4b所示，该方法包括：

步骤401，确定多个画面的级别；多画面由三个会场的图像组成，三个会场分别为一个经理会场和两个员工会场。由于经理会场的重要级别最高，将经理会场作为关键会场。按照预设模式，将关键会场放于多画面中左边的子画面，并作为关键子画面，将两个员工会场放于右边的子画面，作为一般子画面。关键子画面和一般子画面的面积比为4∶2。

步骤402，设定子画面的级别。通过默认设置方式将关键子画面设定为2级，一般子画面设定为1级。

步骤403，通过用户设定，或默认设置，或环境参数(如带宽、会场数目、编码协议等)设定编码的目标帧率和目标比特率，具体目标频率为30fps，目标比特率为3Mbps。

步骤404，设定子画面的帧率。将关键子画面的帧率设置为目标帧率(即30fps)，将一般子画面的帧率设置为目标帧率的2/3(即20fps)。由于一般子画面会通过跳帧降低帧率，其节省的比特数将直接用于当前帧的关键子画面的编码，或则用于下一帧多画面的编码，本实施例采用后者的方式。

步骤405，依据各个子画面的大小、级别进行分配关键子画面和一般子画面的每帧编码比特数。根据目标频率为30fps和目标比特率为3Mbps，当前帧的目标比特数是100Kbit，但是由于上一帧中一般子画面跳帧节省了20Kbit，因此当前帧可用的编码比特数是100Kbit+20Kbit＝120Kbit。然后将当前帧可用的编码比特数依据各个子画面的大小、级别进行分配。其中关键子画面与一般子画面所分配到的编码比特数的比例为两者区域大小比例(4∶2)乘以级别比例(2∶1)，等于8∶2。关键子画面所分配到的编码比特数是96Kbit，一般子画面总共所分配到的编码比特数是24Kbit。

本实施例通过降低一般子画面的帧率，并将节省的编码比特数用于下一帧的编码，且在分配时按照关键子画面和一般子画面的画面大小比例和级别比例的乘积分配每帧编码比特数，使得视频会议多画面中关键子画面的图像质量(包括清晰度、流畅度等)得到优先保证或提升。

实施例五

本实施例提供一种多画面视频会议的图像压缩编码设备。如图5所示，该设备包括：

设定单元510，用于确定多个画面的级别；

处理单元520，包括图像处理子单元530和编码处理子单元540，分别用于根据画面的级别对所述画面的进行图像处理和编码处理，使得高级别画面的图像质量比低级别画面的高。

如图6所示，设定单元510包括：输入模块511，用于输入参数；存储模块512，用于存储默认设置信息、输入参数和自适应算法；计算模块513，用于根据自适应算法计算；设定模块514，用于根据输入参数、默认设置或自适应算法计算结果确定图像区域的级别.设定模块514可以依据会场数目、会场重要级别的高低、会场比特率的高低、会场帧率的高低、会场图像分辨率的高低设定关键子画面和一般子画面.具体可以优先将重要级别较高的会场作为关键会场，其次将图像质量较好的会场，如分辨率较高、比特率较高、帧率较高的会场作为关键会场.

如图7所示，图像处理子单元530包括：量化步长分配模块531，用于分配给高级别画面比低级别画面更小的量化步长；去噪分配模块532，用于分配给高级别画面比低级别画面更强的去噪强度；增强分配模块533，用于分配给高级别画面比低级别画面更强的增强强度。

如图8所示，一种编码处理子单元540包括：目标设定模块541，用于确定编码的目标编码比特数和目标帧率；频率设定模块542，用于设置高级别画面的帧率等于目标帧率，低级别画面的帧率低于目标帧率；分配模块543，用于将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给当前帧高级别画面的编码。例如视频图像序列，设定单元510针对原视频序列分辨率为10x10，指定区域为左下角5x5的区域，其中指定区域为2级，其他非指定区域为1级。图像处理子单元530对图像进行处理。目标设定模块541设定编码的目标频率为30fps，目标比特率为30Kbps，频率设定模块542设定指定区域的帧率为目标帧率30fps，其他区域的帧率降低到目标帧率的2/3(即20fps)。每帧图像的平均编码比特数为1000bit，每个区域的像素平均编码比特数为10bit/pixel。指定区域可以获得的每帧平均编码比特数是250bit，其他区域可以获得的可以获得的每帧平均编码比特数是750bit。但是由于其他区域的帧率降到了20fps，假设其下降帧率的比例与平均每帧节省编码比特数的比例一致，那么其他区域，将可以节省1/3的比特数(即250bit)，分配模块543将其直接用于指定区域的编码。那么指定区域可以获得的每帧平均编码比特数是500bit(250bit+250bit)，其他区域可以获得的每帧平均编码比特数是500bit(750bit-250bit)。这种编码方式要求编码完其他区域后，再编码指定区域。

如图9所示，另一种编码处理子单元540包括：目标设定模块541，用于确定编码的目标编码比特数和目标帧率；频率设定模块542，用于设置高级别画面的帧率等于目标帧率，低级别画面的帧率低于目标帧率；比例计算模块543，用于将各个画面大小的比例乘以级别对应的比例得到分配比例；分配模块544，用于按该分配比例将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给下一帧各个画面。

例如包括一个经理会场和两个员工会场的视频会议多画面.设定单元510将经理会场画面作为关键子画面，将两个员工会场画面作为一般子画面.关键子画面和一般子画面的面积比为4∶2.关键子画面设定为2级，一般子画面设定为1级.图像处理子单元530对图像进行处理.目标设定模块541编码的目标频率为30fps，目标比特率为3Mbps.频率设定模块542将关键子画面的帧率设置为目标帧率(即30fps)，将一般子画面的帧率设置为目标帧率的2/3(即20fps).当前帧的目标比特数是100Kbit，但是由于上一帧中一般子画面跳帧节省了20Kbit，因此当前帧可用的编码比特数是100Kbit+20Kbit＝120Kbit.然后将当前帧可用的编码比特数依据各个子画面的大小、级别进行分配.其中，比例计算模块543计算关键子画面与一般子画面所分配到的编码比特数的比例为两者区域大小比例(4∶2)乘以级别比例(2∶1)，等于8∶2.分配模块544分配给关键子画面的编码比特数是96Kbit，分配给一般子画面的编码比特数是24Kbit.

本实施例通过调整对视频图像各个区域的编码方法，如编码比特数分配、量化步长、帧率、去噪强度、增强强度，使得指定的关键区域的图像质量，包括清晰度、流畅度等影响主观感受等要素，得到优先保证或提升。

虽然本发明的实施例本提供了用于视频图像、会场画面或视频会议多画面的编码，但本发明的技术方案还可以用于视频监控、卫星采图，甚至是音频编码领域。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多画面视频会议的图像处理方法，其特征在于，所述方法包括：

确定多个画面的级别；

根据画面的级别对所述画面进行图像处理和编码处理，使得高级别画面的图像质量高于低级别画面的图像质量。

2.根据权利要求1所述的方法，其特征在于：通过输入参数设置、默认设置或自适应算法确定所述多个画面的级别。

3.根据权利要求2所述的方法，其特征在于，所述自适应算法确定所述多个画面的级别至少依据以下一种参数：会场数目、会场重要级别、会场比特率、会场帧率或会场图像分辨率。

4.根据权利要求1所述的方法，其特征在于，

所述图像处理包括：

分配给高级别画面比低级别画面更小的量化步长、更强的去噪强度或更强的增强强度；

所述编码处理包括：

设定压缩编码的目标比特数和目标帧率；设置高级别画面的帧率等于目标帧率，低级别画面的帧率低于目标帧率；将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给当前帧高级别画面的编码。

5.根据权利要求1所述的方法，其特征在于，所述编码处理包括：

设定压缩编码的目标比特数和目标帧率；设置高级别画面的帧率等于目标帧率，低级别画面的帧率低于目标帧率；将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给下一帧各个画面。

6.根据权利要求5所述的方法，其特征在于：

所述下一帧各个画面获得的编码比特数的比例为各个画面大小的比例乘以级别对应的比例。

7.一种多画面视频会议的图像压缩编码设备，其特征在于，所述设备包括：

设定单元，用于确定多个画面的级别；

处理单元，包括图像处理子单元和编码处理子单元，分别用于根据画面的级别对所述画面的进行图像处理和编码处理，使得高级别画面的图像质量高于低级别画面的质量。

8.根据权利要求7所述的设备，其特征在于，所述设定单元包括：

输入模块，用于输入参数；

存储模块，用于存储默认设置信息、输入参数和自适应算法；

计算模块，用于根据自适应算法计算；

设定模块，用于根据输入参数、默认设置或自适应算法计算结果确定图像区域的级别。

9.根据权利要求7或8所述的设备，其特征在于，

所述图像处理子单元包括：

量化步长分配模块，用于分配给高级别画面比低级别画面更小的量化步长；

去噪分配模块，用于分配给高级别画面比低级别画面更强的去噪强度；

增强分配模块，用于分配给高级别画面比低级别画面更强的增强强度；

所述编码处理子单元包括：

目标设定模块，用于确定编码的目标编码比特数和目标帧率；

频率设定模块，用于设置高级别画面的帧率等于目标帧率，低级别画面的帧率低于目标帧率；

分配模块，用于将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给当前帧高级别画面的编码。

10.根据权利要求7或8所述的设备，其特征在于，

所述编码处理子单元包括：

目标设定模块，设定压缩编码的目标比特数和目标帧率；

频率设定模块，用于设置高级别画面的帧率等于目标帧率，低级别画面的帧率低于目标帧率；

比例计算模块，用于将各个画面大小的比例乘以级别对应的比例得到分配比例；

分配模块，用于按该分配比例将低级别画面的帧率低于目标帧率而节省的帧平均编码比特数分配给下一帧各个画面。

Images