CN102446352A - 视频图像处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种视频图像处理方法，该方法包括以下步骤：获取一帧视频图像；从所述视频图像中提取分割出前景图像和背景图像；对所述前景图像进行优化处理；对所述背景图像通过多帧累加算法处理；对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。本发明提供的视频图像处理方法通过将图像的前景及背景分别处理，从而能够整体提高图像质量，增强图像层次感，并保证背景中的物体能够轮廓清晰。另，本发明还提供一种视频图像处理装置。

Description

视频图像处理方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及一种视频图像处理方法及装置。

背景技术

随着通信技术的高速发展，视频聊天已经越来越受到青睐。然而，当视频聊天时外界光线不足将会导致图像模糊。如果单纯的提高图像整体亮度，将会因为人脸部分与背景部分亮度差异较大，导致人脸部分过亮及背景图像模糊，同时暗区图像会出现随机量子噪声。

发明内容

本发明实施例所要解决的技术问题在于，提供一种视频图像处理方法及装置。可以整体提高视频图像质量。

为了解决上述技术问题，本发明实施例提供了一种视频图像处理方法，其特征在于，该方法包括以下步骤：

获取一帧视频图像；

从所述视频图像中提取分割出前景图像和背景图像；

对所述前景图像进行优化处理；

对所述背景图像通过多帧累加算法处理；

对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。

其中，所述对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像的步骤之后还包括以下步骤：

对所述合成的图像进行自适应直方图均衡化处理；

输出所述自适应直方图均衡化处理后的图像。

所述获取一帧视频图像的步骤之后还包括以下步骤：

判断所述视频图像的直方图灰度是否分布均匀；

当所述视频图像的直方图灰度分布不均匀时，执行所述从所述视频图像中提取分割出前景图像和背景图像的步骤。

所述判断所述视频图像的直方图灰度是否分布均匀的步骤之后还包括：

当所述视频图像的直方图灰度分布均匀时，利用多帧累加算法处理所述视频图像；

直接对所述多帧累加算法处理的视频图像进行优化处理，然后执行所述对所述合成的图像进行自适应直方图均衡化处理的步骤。

所述获取一帧视频图像的步骤之后还包括以下步骤：

判断用户选择的当前环境是否是光线不足环境；

当用户选择的当前环境是光线不足环境时，执行所述判断所述视频图像的直方图灰度是否分布均匀的步骤；

当用户选择的当前环境是光线充足环境时，直接对所述视频图像进行优化处理，然后执行所述对所述合成的图像进行自适应直方图均衡化处理的步骤。

相应的，本发明实施例还提供了一种视频图像处理装置，其特征在于，该装置包括：

获取模块，用于获取一帧视频图像；

分割模块，用于从所述视频图像中分割出前景图像和背景图像；

前景处理模块，用于对所述前景图像进行优化处理；

背景处理模块，用于对所述背景图像通过多帧累加算法处理；

融合模块，用于对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。

其中，所述视频图像处理装置还包括：

增强模块，用于对所述合成的图像进行自适应直方图均衡化处理；

输出模块，用于输出所述自适应直方图均衡化处理后的图像。

所述视频图像处理装置还包括质量判断模块，

所述质量判断模块，用于判断所述视频图像的直方图灰度是否分布均匀；所述分割模块还用于当所述视频图像的直方图灰度分布不均匀时，从所述视频图像中提取分割出前景图像和背景图像。

所述视频图像处理装置还包括：

视频图像处理模块，用于当所述质量判断模块判断出述视频图像的直方图灰度分布均匀时，利用多帧累加算法处理所述视频图像；

图像优化模块，用于对所述视频图像处理模块利用多帧累加算法处理的视频图像进行优化处理；

其中，所述增强模块还用于对所述图像优化模块优化处理的视频图像进行自适应直方图均衡化处理。

所述视频图像处理装置还包括：

选择判断模块，用于判断用户选择的当前环境是否是光线不足环境；

质量判断模块还用于当用户选择的当前环境是光线不足环境时，判断所述视频图像的直方图灰度是否分布均匀；

所述图像优化模块还用于当用户选择的当前环境是光线充足环境时，对所述视频图像进行优化处理。

本发明中对不易变化的背景能够通过多帧累加算法来提高背景图像的质量。

本发明提供的视频图像处理方法通过将图像的前景及背景分别处理，从而能够整体提高图像质量，增强图像层次感，并保证背景中的物体能够轮廓清晰，减少暗区图像的随机量子噪声。非常适用于处理视频聊天这种背景变化不大的视频图像。

另外，利用改进多帧累加算法能够使得背景图像更加贴近实时的背景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的视频图像处理方法的第一实施例的流程图；

图2是本发明提供的视频图像处理装置的第一实施例的结构框图；

图3是本发明提供的视频图像处理方法的第二实施例的流程图；

图4是本发明提供的视频图像处理装置的第二实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为本发明提供的第一实施例的视频图像处理方法，该方法用于对光线不足的图像进行图像增强处理。本发明特别适用于例如视频聊天这种背景不易变化的视频进行处理。本实施例中，所述视频图像处理方法用于对微光条件下进行视频聊天的图像进行处理，该方法包括一下步骤：

步骤101，获取一帧视频图像。本实施例中，通过一个用于视频聊天的摄像头获取一帧视频图像1。当然，在其他实施例中，也可以是从数码摄像机或数码相机获取。

步骤103，从所述视频图像中分割出前景图像和背景图像。本实施例中，利用现有的均值漂移算法(Meanshift)从所述视频图像1中分割出前景图像（用户）及背景图像（背景）。

步骤105，对所述前景图像进行优化处理。本实施例中，利用现有的去噪及增强算法对前景图像进行处理，使得前景图像的图像质量得到增强。例如可以采用高斯平滑算法等去噪算法，均值滤波算法、中值滤波算法或小波变换算法等增强算法对前景图像进行优化处理。

步骤107，对所述背景图像通过多帧累加算法处理。所述多帧累加算法对不同时刻两幅图像或多帧图像对应像素点的灰度值相加，求取它们的时间均值图像。本实施例中，先对第一帧及第二帧图像不做处理，或者与自身通过多帧累加算法处理进行处理。当第三帧或第四帧以后的图像利用改进的二维时间延迟积分算法及进行处理。本实施例中对现有的二维时间延迟积分算法的改进之处在于将多帧背景图像中的各个图像对应像素点的灰度值赋予一个权值，再利用加权平均数算法求取它们的时间均值图像。而且各个图像对应像素点的灰度值的权值按照获取背景图像时间的先后顺序由小到大。即，越新获取的图像的权值越大。当然，在其他实施例中，也可以利用现有的二维时间延迟积分算法等多帧累加算法对多帧背景图像对应像素点的灰度值相加求取它们的时间均值图像。所述步骤105和步骤107的先后顺序也可以颠倒。

步骤109，对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。本实施例中，利用现有的加权平均的图像融合算法将所述前景图像和背景图像合成为一个图像。当然，在其他实施例中，也可以采用小波变换法的图像融合算法将所述前景图像和背景图像合成为一个图像。

步骤111，对所述合成的图像进行自适应直方图均衡化处理。本实施例中，利用现有的自适应直方图均衡化对所述合成的图像进行图像增强。

步骤113，输出所述自适应直方图均衡化处理后的图像。本实施例中，可以将所述自适应直方图均衡化处理后的图像传输到视频聊天的另一方。当然，在其他实施例中，也可以是将所述自适应直方图均衡化处理后的图像保存到数码摄像机或数码相机的存储器内。

请参阅图2，为本发明提供的第一实施例的视频图像处理装置100，该系统100包括获取模块10、分割模块20、前景处理模块30、背景处理模块40、融合模块50、增强模块60及输出模块70。

所述获取模块10用于获取一帧视频图像。本实施例中，所述获取模块10通过一个用于视频聊天的摄像头获取一帧视频图像1。

所述分割模块20用于从所述视频图像中分割出前景图像和背景图像。本实施例中，利用现有的均值漂移算法从所述视频图像1中分割出前景图像（用户）及背景图像（背景）。

所述前景处理模块30用于对所述前景图像进行优化处理。本实施例中，利用现有的去噪增强算法对前景图像进行处理，使得前景图像的图像质量得到增强。

所述背景处理模块40用于对所述背景图像通过多帧累加算法处理。本实施例中，利用改进的多帧累加算法，该改进的多帧累加算法将3或4帧背景图像中的各个图像对应像素点的灰度值赋予一个权值，再利用加权平均数算法求取它们的时间均值图像。而且各个图像对应像素点的灰度值的权值按照获取背景图像时间的先后顺序由小到大。即，越新获取的图像的权值越大。从而能够使得背景图像更加贴近实时的背景。当然，在其他实施例中，也可以利用现有的多帧累加算法。

所述融合模块50用于对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。本实施例中，所述融合模块50利用现有的加权平均的图像融合算法将所述前景图像和背景图像合成为一个图像。当然，在其他实施例中，也可以采用小波变换法的图像融合算法将所述前景图像和背景图像合成为一个图像。

所述增强模块60用于对所述合成的图像进行自适应直方图均衡化处理。本实施例中，所述增强模块60利用现有的自适应直方图均衡化对所述合成的图像进行图像增强。

所述输出模块70用于输出所述自适应直方图均衡化处理后的图像。本实施例中，可以将所述自适应直方图均衡化处理后的图像传输到视频聊天的另一方。

请参阅图3，为本发明第二实施例提供的一种视频图像处理方法，该方法包括以下步骤：

步骤301，获取一帧视频图像。本实施例中，该步骤采用与步骤101相同的方法。

步骤303，判断用户选择的当前环境是否是光线不足环境。本实施例中，用户通过选择对话框中的光线充足及光线不足两个选项来选择当前环境是否是光线不足环境。

步骤305，当用户选择的当前环境是光线不足环境时，判断所述视频图像的直方图灰度是否分布均匀。如果光线不足，但图像质量不受影响，则无需对图像进行增强处理。否则，对图像进行增强处理，获得较高的图像质量。本实施例中，根据预先设定的阈值，判断图像各像素灰度是否局部集中，即在直方图中灰度分布是否集中分布在某些区间。

步骤307，当所述视频图像的直方图灰度分布不均匀时，从所述视频图像中提取分割出前景图像和背景图像。本实施例中，所述步骤307采用步骤103相同的方法从所述视频图像中分割出前景图像和背景图像。

步骤309，对所述前景图像进行优化处理。本实施例中，所述步骤309采用所述步骤105相同的方法处理所述前景图像。

步骤311，对所述背景图像通过多帧累加算法处理。本实施例中，所述步骤311采用所述步骤107相同的方法处理所述背景图像。该步骤中还可以在采用多帧累加算法对所述背景图像进行处理之前，将各背景图像进行去噪及增强处理。所述增强处理可以采用现有的同态滤波算法对背景图像进行增强处理。

步骤313，对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。本实施例中，所述步骤313采用所述步骤109相同的方法将所述前景图像和背景图像合成为一个图像。

步骤315，对所述合成的图像进行自适应直方图均衡化处理。本实施例中，采用所述步骤111相同的方法处理所述合成的图像。

步骤317，输出所述自适应直方图均衡化处理后的图像。本实施例中，可以将所述自适应直方图均衡化处理后的图像传输到视频聊天的另一方。

步骤319，当用户选择的当前环境是光线充足环境时，对所述视频图像进行优化处理。本实施例中，利用现有的图像去噪、增强方法对所述视频图像进行优化处理。并转到所述步骤315。所述步骤315还对优化后的所述视频图像进行自适应直方图均衡化处理。

步骤321，当所述视频图像的直方图灰度分布均匀时，利用多帧累加算法处理所述视频图像。本实施例中，利用改进的多帧累加算法，该改进的多帧累加算法将3帧背景图像中的各个图像对应像素点的灰度值赋予一个权值，再利用加权平均数算法求取它们的时间均值图像。而且各个图像对应像素点的灰度值的权值按照获取背景图像时间的先后顺序由小到大。即，越新获取的图像的权值越大。当然，在其他实施例中，也可以利用现有的多帧累加算法。并转到所述步骤319。所述步骤319还对所述多帧累加算法处理后的视频图像进行优化处理。然后转到步骤315，对所述优化处理的视频图像进行自适应直方图均衡化处理。

另外，在步骤303中判断当用户选择的当前环境是光线充足环境时，则转到步骤319。在步骤305中当所述视频图像的直方图灰度分布均匀时，则转到步骤321。

请参阅图4，为本发明提供的第二实施例的视频图像处理装置200，该系统200包括获取模块210、选择判断模块220、质量判断模块230、分割模块240、前景处理模块250、背景处理模块260、融合模块270、增强模块280、输出模块290视频图像处理模块291及图像优化模块292。

所述获取模块210用于获取一帧视频图像。本实施例中，所述获取模块10通过一个用于视频聊天的摄像头获取一帧视频图像1。

所述选择判断模块220用于判断用户选择的当前环境是否是光线不足环境。本实施例中，所述选择判断模块220通过判断用户在一个选择对话框中是选择光线充足的选项还是选择光线不足的选项来获取用户的选择。

所述质量判断模块230用于判断所述视频图像的直方图灰度是否分布均匀。本实施例中，所述质量判断模块230通过判断每个灰度级上是否都具有相同的象素点数来判断所述视频图像的直方图灰度是否分布均匀。

所述分割模块240用于从所述视频图像中分割出前景图像和背景图像。本实施例中，所述分割模块240采用所述步骤307的方法从所述视频图像中分割出前景图像和背景图像。

所述前景处理模块250用于对所述前景图像进行优化处理。本实施例中，所述前景处理模块250采用所述步骤309相同的方法对所述前景图像进行优化处理。

所述背景处理模块260用于对所述背景图像通过多帧累加算法处理。本实施例中，所述背景处理模块260采用所述步骤311相同的方法对所述背景图像进行去噪处理。

所述融合模块270用于对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。本实施例中，所述融合模块270采用所述步骤313进行图像合成。

所述增强模块280用于对所述合成的图像进行自适应直方图均衡化处理。本实施例中，所述增强模块280采用所述步骤315进行自适应直方图均衡化处理。

所述输出模块290用于输出所述自适应直方图均衡化处理后的图像。本实施例中，所述输出模块290将所述自适应直方图均衡化处理后的图像传输到视频聊天的另一方。

所述视频图像处理模块291用于利用多帧累加算法处理所述视频图像。本实施例中，所述视频图像处理模块291采用所述步骤321的方法处理所述视频图像。

所述图像优化模块292用于对图像进行去噪处理。本实施例中，当用户选择的当前环境是光线充足环境时，所述图像优化模块291采用步骤319的方法对所述视频图像进行优化处理。所述图像优化模块291还采用步骤321的方法对所述多帧累加算法处理后的视频图像进行优化处理。

另外，所述增强模块280还用于对所述图像优化模块292去噪处理的图像采用步骤315的方法进行自适应直方图均衡化处理。

本发明中发现视频聊天时，主要是视频聊天的人会有移动变化，而背景通常变化不大，因此对不易变化的背景能够通过多帧累加算法来提高背景图像的质量。当然，为了避免视频聊天时突然有其他人在摄像头前移动造成背景变化较大，多帧累加算法的累加帧数优选为3-4帧。由于3-4帧时间较短，所以即使背景图像突然变化，背景图像也会很快得到更新，避免背景图像合成混合的情况发生。

本发明提供的视频图像处理方法通过将图像的前景及背景分别处理，从而能够整体提高图像质量，增强图像层次感，并保证背景中的物体能够轮廓清晰，减少暗区图像的随机量子噪声。非常适用于处理视频聊天这种背景变化不大的视频图像。

另外，利用改进多帧累加算法能够使得背景图像更加贴近实时的背景。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种视频图像处理方法，其特征在于，该方法包括以下步骤：

获取一帧视频图像；

从所述视频图像中提取分割出前景图像和背景图像；

对所述前景图像进行优化处理；

对所述背景图像通过多帧累加算法处理；

对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。

2.如权利要求1所述的视频图像处理方法，其特征在于，所述对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像的步骤之后还包括以下步骤：

对所述合成的图像进行自适应直方图均衡化处理；

输出所述自适应直方图均衡化处理后的图像。

3.如权利要求1或2所述的视频图像处理方法，其特征在于，所述获取一帧视频图像的步骤之后还包括以下步骤：

判断所述视频图像的直方图灰度是否分布均匀；

当所述视频图像的直方图灰度分布不均匀时，执行所述从所述视频图像中提取分割出前景图像和背景图像的步骤。

4.如权利要求3所述的视频图像处理方法，其特征在于，所述判断所述视频图像的直方图灰度是否分布均匀的步骤之后还包括：

当所述视频图像的直方图灰度分布均匀时，利用多帧累加算法处理所述视频图像；

直接对所述多帧累加算法处理的视频图像进行优化处理，然后执行所述对所述合成的图像进行自适应直方图均衡化处理的步骤。

5.如权利要求4所述的视频图像处理方法，其特征在于，所述获取一帧视频图像的步骤之后还包括以下步骤：

判断用户选择的当前环境是否是光线不足环境；

当用户选择的当前环境是光线不足环境时，执行所述判断所述视频图像的直方图灰度是否分布均匀的步骤；

当用户选择的当前环境是光线充足环境时，直接对所述视频图像进行优化处理，然后执行所述对所述合成的图像进行自适应直方图均衡化处理的步骤。

6.一种视频图像处理装置，其特征在于，该装置包括：

获取模块，用于获取一帧视频图像；

分割模块，用于从所述视频图像中分割出前景图像和背景图像；

前景处理模块，用于对所述前景图像进行优化处理；

背景处理模块，用于对所述背景图像通过多帧累加算法处理；

融合模块，用于对所述处理后的前景图像和背景图像通过图像融合算法合成为一个图像。

7.如权利要求6所述的视频图像处理装置，其特征在于，所述视频图像处理装置还包括：

增强模块，用于对所述合成的图像进行自适应直方图均衡化处理；

输出模块，用于输出所述自适应直方图均衡化处理后的图像。

8.如权利要求6或7所述的视频图像处理装置，其特征在于，所述视频图像处理装置还包括质量判断模块，

所述质量判断模块，用于判断所述视频图像的直方图灰度是否分布均匀；所述分割模块还用于当所述视频图像的直方图灰度分布不均匀时，从所述视频图像中提取分割出前景图像和背景图像。

9.如权利要求8所述的视频图像处理装置，其特征在于，所述视频图像处理装置还包括：

视频图像处理模块，用于当所述质量判断模块判断出述视频图像的直方图灰度分布均匀时，利用多帧累加算法处理所述视频图像；

图像优化模块，用于对所述视频图像处理模块利用多帧累加算法处理的视频图像进行优化处理；

其中，所述增强模块还用于对所述图像优化模块优化处理的视频图像进行自适应直方图均衡化处理。

10.如权利要求9所述的视频图像处理装置，其特征在于，所述视频图像处理装置还包括：

选择判断模块，用于判断用户选择的当前环境是否是光线不足环境；

质量判断模块还用于当用户选择的当前环境是光线不足环境时，判断所述视频图像的直方图灰度是否分布均匀；

所述图像优化模块还用于当用户选择的当前环境是光线充足环境时，对所述视频图像进行优化处理。

Images