CN102930559B - 图像处理的方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理的方法及装置，该方法包括：将当前帧图像划分成两个以上的子块；对每个子块进行灰度投影计算，得出当前帧图像相对于参考帧图像在各个子块的运动矢量；根据所述当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧；若当前帧图像为抖动帧则对当前帧图像进行运动补偿。与上述方法相对应本发明还公开了的图像处理的装置。本发明能够大大减小抖动帧误检的概率并较为精确地计算抖动帧相对于参考帧的运动矢量的大小。

Description

图像处理的方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理的方法及装置。

背景技术

背景建模也称为背景估计，其主要目的是根据当前的估计背景，把视频帧图像中的运动目标检测问题转化为二分类问题，即将所有像素归为背景或者运动前景两类，然后对分类结果进行处理，得到最终的检测结果，该技术主要用于运动目标检测与跟踪，运动物体识别与行为理解，运动图像编码，内容检索与匹配等领域。

混合高斯模型是目前最常用的背景建模方法之一，使用n个（基本为3到5个）高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中每个像素点与混合高斯模型进行匹配，如果匹配成功则判定该点为背景点，否则为前景点。混合高斯模型的参数主要有期望值、方差和权重，通过对这些参数进行在线学习能够很好地适应场景的缓慢变化。但是混合高斯模型存在如果场景出现抖动帧，场景内部分背景不能匹配上已有模型时容易把背景误判为前景，算法鲁棒性较低的问题。

目前处理抖动帧的方法主要是在混合高斯模型中加入稳像算法，进行抖动预处理。灰度投影算法是一种常用的稳像算法，它不必对图像上的每一个像素点做相关运算，而是通过将当前帧的行、列灰度投影曲线与参考帧的灰度投影曲线做互相关运算，根据两条相关曲线的谷值可以确定当前帧相对于参考帧的行和列的运动矢量，从而较为准确地估计出不含运动目标的场景的运动矢量，进而根据该运动矢量进行运动补偿。

灰度投影算法一般都是对整帧图像进行投影计算，得到的是全局运动矢量，当图像中有小目标运动时，检测的运动矢量准确度较低，算法精度下降。而且一般的灰度投影算法都是默认对抖动场景进行处理，没有预判断机制，而背景建模处理对象包括抖动和非抖动场景，对于非抖动场景内含有运动目标时，由于运动矢量计算错误会造成严重误检。

发明内容

本发明所要解决的技术问题是提供一种图像处理的方法及装置，能够大大减小抖动帧误检的概率并较为精确地计算抖动帧相对于参考帧的运动矢量的大小。

本申请第一方面提供一种图像处理的方法，包括：

将当前帧图像划分成两个以上的子块；

对每个子块进行灰度投影计算，得出当前帧图像相对于参考帧图像在各个子块的运动矢量；

根据所述当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧；

若当前帧图像为抖动帧则对当前帧图像进行运动补偿。

在第一种可能的实施方式中，所述根据所述当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧具体包括：

若子块中有一个子块的运动矢量不为零，或者有两个以上且少于子块的总数的子块的运动矢量不为零且互不相等，或者所有子块的运动矢量均不为零且任意两个子块的运动矢量的差值均大于第一域值，则当前帧图像为非抖动帧。

根据第一方面提供的图像处理的方法或者结合第一方面的第一种可能的实施方式，在第二种可能的实施方式中，所述若当前帧图像为抖动帧则对当前帧图像进行运动补偿具体包括：

计算运动矢量小于第二域值的子块的运动矢量的平均值；

根据所述平均值对当前帧图像进行运动补偿。

结合第一方面的第二种可能的实施方式，在第三种可能的实施方式中，所述对每个子块进行灰度投影计算时选取的当前帧图像的灰度投影区域小于参考帧图像的灰度投影区域。

本申请第二方面提供一种图像处理的装置，包括：

图像划分单元，用于将当前帧图像划分成两个以上的子块；

灰度投影算法实现单元，用于对每个子块进行灰度投影计算，得出当前帧图像相对于参考帧图像在各个子块的运动矢量；

抖动帧判断单元，用于根据所述当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧；

运动补偿单元，用于在当前帧图像为抖动帧时对当前帧图像进行运动补偿。

在第一种可能的实施方式中，抖动帧判断单元具体执行以下步骤：

若子块中有一个子块的运动矢量不为零，或者有两个以上且少于子块的总数的子块的运动矢量不为零且互不相等，，或者所有子块的运动矢量均不为零且任意两个子块的运动矢量的差值均大于第一域值，则判断当前帧图像为非抖动帧。

根据第二方面提供的图像处理的装置或者结合第二方面的第一种可能的实施方式，在第二种可能的实施方式中，所述运动补偿单元具体执行以下步骤：

计算运动矢量小于第二域值的子块的运动矢量的平均值；

根据所述平均值对当前帧图像进行运动补偿。

结合第二方面的第二种可能的实施方式，在第三种可能的实施方式中，所述灰度投影算法实现单元对每个子块进行灰度投影计算时选取的当前帧图像的灰度投影区域小于参考帧图像的灰度投影区域。

本申请第三方面提供一种图像处理的方法，其特征在于，包括：

将当前帧图像划分成两个以上的子块；

获取上一帧图像各个子块的一维灰度曲线；

计算当前帧图像各个子块的一维灰度曲线；

根据当前帧图像相对于上一帧图像在各个子块的一维灰度曲线值的变化判断当前帧是否为光照突变帧；

若当前帧为光照突变帧则进行光照突变处理。

在第一种可能的实施方式中，所述根据当前帧图像相对于上一帧图像在各个子块的一维灰度曲线值的变化判断当前帧是否为光照突变帧具体包括:

若当前帧图像中子块的一维灰度曲线相对于上一帧图像中对应位置的子块的一维灰度曲线在对应点的值均增加，且增加的SAD值大于子块的一维灰度曲线的点数，则当前帧图像中所述子块为全局亮度增加的子块，若当前帧图像中子块的一维灰度曲线相对于上一帧图像中对应位置的子块的一维灰度曲线在对应点的值均减小，且减小的SAD值大于子块的一维灰度曲线点数，则当前帧图像中所述子块为全局亮度减小的子块；

若全局亮度增加的子块的数量或者全局亮度减小的子块的数量大于第三域值则当前帧图像为光照突变帧。

本申请第四方面提供一种图像处理的装置，包括：

图像划分单元，用于将当前帧图像划分成两个以上的子块；

获取单元，用于获取上一帧图像各个子块的一维灰度曲线；

计算单元，用于计算当前帧图像各个子块的一维灰度曲线；

光照突变帧判断单元，用于根据当前帧图像相对于上一帧图像在各个子块的一维灰度曲线值的变化判断当前帧是否为光照突变帧；

光照突变处理单元，用于在当前帧为光照突变帧时进行光照突变处理。

在第一种可能的实施方式中，所述光照突变帧判断单元具体执行以下步骤：

若当前帧图像中子块的一维灰度曲线相对于上一帧图像中对应位置的子块的一维灰度曲线在对应点的值均增加，且增加的SAD值大于子块的一维灰度曲线的点数，则判断当前帧图像中所述子块为全局亮度增加的子块，若当前帧图像中子块的一维灰度曲线相对于上一帧图像中对应位置的子块的一维灰度曲线在对应点的值均减小，且减小的SAD值大于子块的一维灰度曲线点数，则判断当前帧图像中所述子块为全局亮度减小的子块；

若全局亮度增加的子块的数量或者全局亮度减小的子块的数量大于第三域值则判断当前帧图像为光照突变帧。

本申请第五方面提供一种图像处理的方法，包括：

将像素点与当前高斯模型进行匹配；

若所述像素点与所述当前高斯模型匹配成功，则将所述当前高斯模型的匹配次数加1，并判断所述当前高斯模型的权重是否在背景门限范围内；

若所述当前高斯模型的权重不在背景门限范围内，则判断所述当前高斯模型是否为标记过的背景模型；

若所述当前高斯模型为标记过的背景模型则判断在匹配周期内所述当前高斯模型的所述匹配次数是否超过第四域值；

若所述匹配次数超过第四域值则所述当前高斯模型为历史模型，以匹配成功的历史模型权重更新公式更新所述当前高斯模型的权重，从而使所述当前高斯模型快速消融到背景模型。

在第一种可能的实施方式中，所述历史模型权重更新公式为：

W_i+1+1＝(1-α)W_i+αo_i+αc_i

其中，W_i+1和W_i分别为更新后和更新前的权重，α为学习率，当所述像素点与所述当前高斯模型匹配成功时o_i为1，当所述像素点与所述当前高斯模型匹配不成功时o_i为0，当所述当前高斯模型为历史模型时c_i为3，当所述当前高斯模型不是历史模型时c_i为0。

根据本申请第五方面提供的方法或者结合第五方面的第一种可能的实施方式，在第二种可能的实施方式中，若所述当前高斯模型的权重在背景门限范围内，则对所述当前高斯模型进行标记，从而使所述当前高斯模型成为标记过的背景模型，并以匹配成功的常规权重更新公式更新所述当前高斯模型的权重。

结合第五方面的第二种可能的实施方式，在第三种可能的实施方式中，所述方法还包括：

在所述以匹配成功的历史模型权重更新公式更新所述当前高斯模型的权重，或者所述对所述当前高斯模型进行标记后，不再对所述像素点的未进行匹配的高斯模型进行匹配，并按未匹配成功的常规权重更新公式对所述未进行匹配的高斯模型进行权重更新。

结合第五方面的第三种可能的实施方式，在第四种可能的实施方式中，若所述像素点与所述当前高斯模型匹配不成功，则以未匹配成功的常规权重更新公式更新所述当前高斯模型的权重，并判断高斯模型是否遍历完，若高斯模型未遍历完则切换至下一个高斯模型进行匹配。

本申请第六方面提供一种图像处理的装置，包括：

匹配单元，用于将像素点与当前高斯模型进行匹配；

第一处理单元，用于在所述像素点与所述当前高斯模型匹配成功时，将所述当前高斯模型的匹配次数加1，并判断所述当前高斯模型的权重是否在背景门限范围内；

第二处理单元，用于在所述当前高斯模型的权重不在背景门限范围内时，判断所述当前高斯模型是否为标记过的背景模型；

第三处理单元，用于在所述当前高斯模型为标记过的背景模型时判断在匹配周期内所述当前高斯模型的所述匹配次数是否超过第四域值；

权重更新单元，若所述匹配次数超过第四域值则所述当前高斯模型为历史模型，所述权重更新单元用于以历史模型权重更新公式更新所述当前高斯模型的权重，从而使所述当前高斯模型快速消融到背景模型。

在第一种可能的实施方式中，所述历史模型权重更新公式为：

W_i+1＝(1-α)W_i+αo_i+αc_i

其中，W_i+1和W_i分别为更新后和更新前的权重，α为学习率，当所述像素点与所述当前高斯模型匹配成功时o_i为1，当所述像素点与所述当前高斯模型匹配不成功时o_i为0，当所述当前高斯模型为历史模型时c_i为3，当所述当前高斯模型不是历史模型时c_i为0。

根据本申请第六方面提供的装置或者结合第六方面的第一种可能的实施方式，在第二种可能的实施方式中，所述装置还包括：

第四处理单元，用于在所述当前高斯模型的权重在背景门限范围内时，对所述当前高斯模型进行标记，从而使所述当前高斯模型成为标记过的背景模型，并以匹配成功的常规权重更新公式更新所述当前高斯模型的权重。

结合第六方面的第二种可能的实施方式，在第三种可能的实施方式中，所述装置还包括：

第二权重更新单元，用于在所述权重更新单元以匹配成功的历史模型权重更新公式更新所述当前高斯模型的权重，或者所述第四处理单元对所述当前高斯模型进行标记后，不再对所述像素点的未进行匹配的高斯模型进行匹配，并按未匹配成功的常规权重更新公式对所述未进行匹配的高斯模型进行权重更新。

结合第六方面的第三种可能的实施方式，在第四种可能的实施方式中，所述装置还包括：

第五处理单元，用于在所述像素点与所述当前高斯模型匹配不成功时，以未匹配成功的常规权重更新公式更新所述当前高斯模型的权重，并判断高斯模型是否遍历完，若高斯模型未遍历完则切换至下一个高斯模型进行匹配。

本申请第七方面提供一种图像处理的方法，包括：

比较像素点的各个高斯模型的期望值矢量，若存在期望值矢量相互之间的差值均小于第五域值的两个或者两个以上高斯模型，则所述两个或者两个以上高斯模型互为冗余模型；

对互为冗余模型的所述两个或者两个以上高斯模型进行合并。

在第一种可能的实施方式中，

合并后的高斯模型的期望值为互为冗余模型的所述两个或者两个以上高斯模型的期望值的算术平均值；

合并后的高斯模型的权重为互为冗余模型的所述两个或者两个以上高斯模型的期望值的权重之和；

合并后的高斯模型的方差为互为冗余模型的所述两个或者两个以上高斯模型的期望值的方差之和。

结合第一方面的第一种可能的实施方式，在第二种可能的实施方式中，若所述合并后的高斯模型的方差超过方差上限，则将所述合并后的高斯模型的方差限制在方差上限；若所述合并后的高斯模型的方差超过方差下限，则将所述合并后的高斯模型的方差限制在方差下限。

本申请第八方面提供一种图像处理的装置，包括：

冗余模型判断单元，用于比较像素点的各个高斯模型的期望值矢量，若存在期望值矢量相互之间的差值均小于第五域值的两个或者两个以上高斯模型，则判断所述两个或者两个以上高斯模型互为冗余模型；

冗余模型合并单元，用于对互为冗余模型的所述两个或者两个以上高斯模型进行合并。

在第一种可能的实施方式中，

合并后的高斯模型的期望值为互为冗余模型的所述两个或者两个以上高斯模型的期望值的算术平均值；

合并后的高斯模型的权重为互为冗余模型的所述两个或者两个以上高斯模型的期望值的权重之和；

合并后的高斯模型的方差为互为冗余模型的所述两个或者两个以上高斯模型的期望值的方差之和。

结合第八方面的第一种可能的实施方式，在第二种可能的实施方式中，若所述合并后的高斯模型的方差超过方差上限，则所述冗余模型合并单元将所述合并后的高斯模型的方差限制在方差上限；若所述合并后的高斯模型的方差超过方差下限，则述冗余模型合并单元将所述合并后的高斯模型的方差限制在方差下限。

本申请通过对每帧图像进行分块处理，并分别对各个子块进行灰度投影计算，然后综合判断各个子块运动矢量最后得出当前帧图像是否为抖动帧，通过这种方法可以减小抖动帧误检的概率。若判断出当前帧图像为抖动帧时则对当前帧图像进行运动补偿，先去掉由于运动目标等引起的运动矢量偏大的子块，然后剩下的子块的运动矢量求平均值，并将该平均值作为补偿量对当前帧图像进行运动补偿，这样较为精确的检测抖动帧的运动矢量，实现较为精确的补偿，得到较好的图像处理效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施例提供的一种图像处理的方法的流程图；

图2是参考帧图像的水平投影区域；

图3是参考帧图像的垂直投影区域；

图4是当前帧图像的投影区域；

图5是第一实施例中进行运动补偿的方法的流程图；

图6是本申请第二实施例提供的一种图像处理的装置的结构图；

图7是本申请第三实施例提供的一种图像处理的方法的流程图；

图8是本申请第四实施例提供的一种图像处理的装置的结构图；

图9是本申请第五实施例提供的一种图像处理的方法的流程图；

图10是本申请第六实施例提供的一种图像处理的方法的流程图；

图11是本申请第七实施例提供的一种图像处理的装置的结构图；

图12是本申请第八实施例提供的一种图像处理的装置的结构图；

图13是本申请第九实施例提供的一种图像处理的方法的流程图；

图14是本申请第十实施例提供的一种图像处理的装置的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1是本申请第一实施例提供的一种图像处理的方法的流程图，包括以下步骤：

S101、将当前帧图像划分成两个以上的子块。

本实施例中在进行抖动判断时将每帧图像进行分块处理，划分的子块数量可以根据所处理的图像的大小做适当调整，本实施例中以划分成4个子块为例进行说明。

S102、对每个子块进行灰度投影计算，得出当前帧图像相对于参考帧图像在各个子块的运动矢量。

其中，对每个子块进行灰度投影计算时选取的当前帧图像的灰度投影区域小于参考帧图像的灰度投影区域，如图2代表参考帧图像的水平投影区域，图3代表参考帧图像的垂直投影区域，图4为当前帧的投影区域，从图中可以看出图像被划分为4个子块，子块1~子块4，其中，投影区域为去掉图像边缘n个像素的中心区域。在每个子块中的灰度投影算法与现有技术的做法相同，这里不再赘述。

S103、根据当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧。

其中，判断是否为抖动帧根据以下规则进行判断：

若子块中有一个子块的运动矢量不为零，或者有两个以上且少于子块的总数的子块的运动矢量不为零且互不相等，或者所有子块的运动矢量均不为零且任意两个子块的运动矢量的差值均大于第一域值，则当前帧图像为非抖动帧。这里第一域值的单位为像素，第一域值的选取多少个像素由所处理的图像大小决定，这里不做限定。

S104、若当前帧图像为抖动帧则对当前帧图像进行运动补偿。

其中，补偿的具体步骤如图5所示，包括：

S1041、计算运动矢量小于第二域值的子块的运动矢量的平均值。

S1042、根据平均值对当前帧图像进行运动补偿。

其中，第二域值的单位为像素，去除掉由运动目标引起的运动矢量较大的子块，计算剩余的运动矢量小于第二域值个像素以下的子块的运动矢量的平均值，并根据该平均值对当前帧图像进行运动补偿，对于抖动帧中含有运动目标的帧图像，这样的处理方法可以得到较为精确的运动矢量，从而进行较为精确的补偿。这里第二域值的选取多少个像素根据所述处理的图像的场景类别的不同而做适当调整。

本实施例通过对每帧图像进行分块处理，并分别对各个子块进行灰度投影计算，综合各个子块运动矢量判断出当前帧图像是否为抖动帧，通过这种方法可以对抖动帧进行预判断，并在判断出抖动帧时对帧图像进行运动补偿。本实施例抖动帧检测正确率较高，尤其对于抖动帧中包括运动目标的帧图像可以大大减小误检的概率。对抖动帧图像进行运动补偿时，先去掉由运动目标引起的运动矢量偏大的子块，然后剩下的子块的运动矢量求平均值，并将该平均值作为补偿量对当前帧图像进行运动补偿，这样可以实现较为精确的补偿，得到较高的图像处理质量。

请参考图6，图6是本申请第二实施例提供的一种图像处理的装置的结构图，该装置包括：

S201、图像划分单元，用于将当前帧图像划分成两个以上的子块。

其中，划分的子块数量可以根据所处理的图像的大小做适当调整，本实施例中以划分成4个子块为例进行说明。

S202、灰度投影算法实现单元，用于对每个子块进行灰度投影计算，得出当前帧图像相对于参考帧图像在各个子块的运动矢量。

其中，对每个子块进行灰度投影计算时选取的当前帧图像的灰度投影区域小于参考帧图像的灰度投影区域，如图2代表参考帧图像的水平投影区域，图3代表参考帧图像的垂直投影区域，图4为当前帧的投影区域，从图中可以看出图像被划分为4个子块，子块1~子块4，其中，投影区域为去掉图像边缘n个像素的中心区域。在每个子块中的灰度投影算法与现有技术的做法相同，这里不再赘述

S203、抖动帧判断单元，用于根据当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧。

其中，判断是否为抖动帧根据以下规则进行判断：

若子块中有一个子块的运动矢量不为零，或者有两个以上且少于子块的总数的子块的运动矢量不为零且互不相等，或者所有子块的运动矢量均不为零且任意两个子块的运动矢量的差值均大于第一域值，则当前帧图像为非抖动帧。第一域值的单位为像素，第一域值的选取由所处理的图像大小决定。

S204、运动补偿单元，用于在当前帧图像为抖动帧时对当前帧图像进行运动补偿。

其中，补偿的具体步骤如图5所示，具体参考第一实施例中描述，这里不再赘述。

本实施例通过对每帧图像进行分块处理，并分别对各个子块进行灰度投影计算，综合各个子块运动矢量判断出当前帧图像是否为抖动帧，通过这种方法可以对抖动帧进行预判断，并在判断出抖动帧时对帧图像进行运动补偿。本实施例抖动帧检测正确率较高，尤其对于抖动帧中包括运动目标的帧图像可以大大减小误检的概率。对抖动帧图像进行运动补偿时，先去掉由运动目标引起的运动矢量偏大的子块，然后剩下的子块的运动矢量求平均值，并将该平均值作为补偿量对当前帧图像进行运动补偿，这样可以实现较为精确的补偿，得到较高的图像处理质量。

若当帧图像中含有光照突变帧，如突然开灯的情形，由于帧亮度发生了很大的变化会使大量背景被误判断为前景，图像处理结果中提取的二值前景中会出现大面积的白色，因此混合高斯模型中需要加入光照突变处理。现有的一种常用的处理光照突变的技术为：首先采集前一帧图像和当前帧图像，然后分别提取上述两帧图像的边沿图像，再者将上一帧图像的边沿图像和当前帧图像的边沿图像作差分运算得到前景区域边沿图像，最后对该前景区域边沿图像进行降噪处理得出目标轮廓。

上述处理光照突变的技术的不足在于差分运算是基于像素的差分，容易受噪声影响，算法可靠性低，并且只能得到前景的轮廓，而且是像素级的运算，处理速度慢。因此混合高斯模型还要解决可靠快速地检测出光照突变帧的问题。

请参考图7，图7是本申请第三实施例提供的一种图像处理的方法的流程图，包括：

S301、将当前帧图像划分成两个以上的子块。

其中，本实施例的图像处理方法需要对每帧图像进行分块处理，划分的子块数量可以根据所处理的图像的大小做适当调整，本实施例不做限定。

S302、获取上一帧图像各个子块的一维灰度曲线。

其中，灰度投影区域选择图4所示区域。

S303、计算当前帧图像各个子块的一维灰度曲线。

S304、根据当前帧图像相对于上一帧图像在各个子块的一维灰度曲线值的变化判断当前帧是否为光照突变帧。

在没有光照突变的情况下两帧的投影差值不会超过1个像素值，因此判断光照突变帧的步骤可以如下：

若当前帧图像中子块的一维灰度曲线相对于上一帧图像中对应位置的子块的一维灰度曲线在对应点的值均增加，且增加的SAD（SumofAbsoluteDifference，绝对误差和）值大于子块的一维灰度曲线的点数，则当前帧图像中所述子块为全局亮度增加的子块，若当前帧图像中子块的一维灰度曲线相对于上一帧图像中对应位置的子块的一维灰度曲线在对应点的值均减小，且减小的SAD值大于子块的一维灰度曲线点数，则当前帧图像中所述子块为全局亮度减小的子块；

若全局亮度增加的子块的数量或者全局亮度减小的子块的数量大于第三域值则当前帧图像为光照突变帧。本实施例中若子块个数为m个则第三域值可以为m-1个，如果全局亮度增加或者减少的块数不小于m-1个，则认为当前帧是光照突变帧。

S305、若当前帧为光照突变帧则进行光照突变处理。

这里所述的进行光照突变处理可以是现有技术中的任何光照突变处理的方法，这里不再一一例举。

本实施例先将每帧图像划分为m个子块，然后综合判断当前帧图像各个子块与前一帧图像对应子块的亮度变化来最终判断出当前帧是否为光照突变帧，判断方法快速可靠，且无需进行像素级的处理，运算量小，运算速率高。

请参考图8，图8是本申请第四实施例提供的一种图像处理的装置的结构图，该装置包括：

401、图像划分单元，用于将当前帧图像划分成两个以上的子块。

其中，本实施例的图像处理方法需要对每帧图像进行分块处理，划分的子块数量可以根据所处理的图像的大小做适当调整，本实施例不做限定。

402、获取单元，用于获取上一帧图像各个子块的一维灰度曲线。

其中，灰度投影区域选择图4所示区域。

403、计算单元，用于计算当前帧图像各个子块的一维灰度曲线。

404、光照突变帧判断单元，用于根据当前帧图像相对于上一帧图像在各个子块的一维灰度曲线值的变化判断当前帧是否为光照突变帧。

因此判断光照突变帧的步骤参考第三实施例，这里不再赘述。

405、光照突变处理单元，用于在当前帧为光照突变帧时进行光照突变处理。

这里所述的进行光照突变处理可以是现有技术中的任何光照突变处理的方法，这里不再一一例举。

本实施例先将每帧图像划分为m个子块，然后综合判断当前帧图像各个子块与前一帧图像对应子块的亮度变化来最终判断出当前帧是否为光照突变帧，判断方法快速可靠，且无需进行像素级的处理，运算量小，运算速率高。

背景建模处理中，当曾经出现过的背景场景再次出现，会被判断为前景，因此背景建模方法还应当要解决使重复出现的背景快速消融至背景的问题。现有的混合高斯建模实现历史背景快速消融的方法为：通过前几帧（如200帧）图像建立较为准确的背景模型，再经前景检测滤除掉大部分的噪声，得到较为干净的前景物体；通过对前景图像中的BLOB（BinaryLargeObject，二进制大对象）块进行跟踪可以得到前景的的相关位置信息和一些统计信息，如运动目标的位置信息、运动状态信息和存在的时间信息等；上层模块（运动跟踪、事件判定模块等）通过这些信息判定新出现的前景是否为曾经出现过的历史背景，判定的结果反馈给下层背景建模模块，从而对每帧模型的背景点和前景点进行判定，从而实现快速消融历史背景的目的。

上述方法的不足在于需要上层模块的配合，系统复杂度高，算法的应用范围受到较大的限制，且该方法计算复杂度高，在实时性要求较强的应用场合难以满足应用。因此混合高斯模型还要解决简单快速地消融历史背景的问题。

请参考图9，图9是本申请第五实施例提供的一种图像处理的方法的流程图，包括：

S501、将像素点与当前高斯模型进行匹配。

混合高斯模型使用n个（基本为3到5个）高斯模型来表征图像中各个像素点的特征，更新混合高斯模型的过程中需要当前图像中每个像素点与构成各个该像素点的混合高斯模型的各个高斯模型分别进行匹配，上述当前高斯模型为某像素点正在进行匹配的高斯模型。

S502、若像素点与当前高斯模型匹配成功，则将当前高斯模型的匹配次数加1，并判断当前高斯模型的权重是否在背景门限范围内。

若权重是在背景门限范围内，则当前像素点为背景，否则为前景。

S503、若当前高斯模型的权重不在背景门限范围内，则判断当前高斯模型是否为标记过的背景模型。

S504、若当前高斯模型为标记过的背景模型则判断在匹配周期内当前高斯模型的匹配次数是否超过第四域值。

其中，匹配周期根据所处理的图像的场景的类型做适当调整，这里不做限定，第四域值的单位为次数，本实施例以5次为例对本发明进行说明。

S505、若匹配次数超过第四域值则当前高斯模型为历史模型，以匹配成功的历史模型权重更新公式更新当前高斯模型的权重。从而可以使当前高斯模型快速消融到背景模型。

常规的权重更新公式为：

W_i+1＝(1-α)W_i+αo_i

其中，W_i+1和W_i分别为更新后和更新前的权重，α为学习率，若当像素点与高斯模型匹配成功则o_i为1，否则o_i为0，即未匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i，匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i+α。

历史模型权重更新公式为：

W_i+1＝(1-α)W_i+αo_i+αc_i

其中，W_i+1、W_i、α、o_i含义与常规权重更新公式相同，当前高斯模型为历史模型时c_i为3，否则c_i为0，即上述匹配成功的历史模型权重更新公式为：W_i+1＝(1-α)W_i+α_i+3c_i。

本实施例当曾经出现过的背景模型在次出现且在匹配周期内被匹配成功5次以上，则以匹配成功的历史模型权重更新公式快速增加其权重，从而使其快速消融至背景。本实施例算法简单，应用范围广，能简单快速地消融历史背景。

请参考图10，图10是本申请第六实施例提供的一种图像处理的方法的流程图，包括：

S601、像素点与当前高斯模型进行匹配。

S602、判断像素点与当前高斯模型是否匹配成功。

S603、以W_i+1＝(1-α)W_i更新当前高斯模型的权重。若像素点与当前高斯模型匹配不成功，则以未匹配成功的常规权重更新公式更新当前高斯模型，参考第五实施例可知未匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i。

S604、高斯模型是否历遍完。若像素点与当前高斯模型匹配不成功则以未匹配成功的常规权重更新公式更新当前高斯模型的权重后判断该像素点的高斯模型是否历遍完。

S605、切换至下一个高斯模型进行匹配。若高斯模型还没有历遍完则切换至下一个高斯模型继续进行匹配。

S606、像素点更新完成。若该像素点的所有高斯模型都已经历遍完，则该像素点的更新完成。

S607、当前高斯模型的匹配次数加1。若步骤S602中像素点与当前高斯模型匹配成功则将当前高斯模型的匹配次数加1。

S608、当前高斯模型的权重是否在背景门限范围内。若像素点与当前高斯模型匹配成功则进一步判断当前像素点为前景或背景，若当前高斯模型的权重在背景门限范围内则当前高斯模型为背景。

S609、对当前高斯模型进行标记。若当前高斯模型为背景，则对其进行标记，使成为标记过的背景模型，从而使该背景模型重复出现时能快速被判断出其为曾经出现过的背景。

S610、以W_i+1＝(1-α)W_i+α更新当前高斯模型的权重。对当前高斯模型进行标记，从而使所述当前高斯模型成为标记过的背景模型后，以匹配成功的常规权重更新公式更新当前高斯模型的权重，参考第五实施例可得匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i+α。

S611、当前高斯模型是否为标记过的背景模型。若步骤S608中判断当前高斯模型的权重是不在背景门限范围内，则当前高斯模型为前景，这里进一步判断该当前高斯模型是否为曾经出现过的背景模型。

S612、在匹配周期内匹配次数是否超过5次。若当前高斯模型为标记过的背景模型则进一步判断其在匹配周期内的匹配次数是否超过第四域值，本实施例中第四域值以5次为例，当然第四域值也可以是其它合理的次数。

S613、以W_i+1＝(1-α)W_i+α_i+3c_i更新当前高斯模型的权重。若匹配次数超过5次则当前高斯模型为历史模型，以匹配成功的历史模型权重更新公式更新当前高斯模型的权重，从而使当前高斯模型快速消融到背景模型。参考第5实施例可得匹配成功的历史模型权重更新公式为W_i+1＝(1-α)W_i+α_i+3c_i。

S614、以W_i+1＝(1-α)W_i更新未进行匹配的高斯模型的权重。在以匹配成功的历史模型权重更新公式更新所述当前高斯模型的权重，或者对当前高斯模型进行标记后，则不再对像素点的未进行匹配的高斯模型进行匹配，并按未匹配成功的常规权重更新公式对未进行匹配的高斯模型进行权重更新，到此该像素点的更新完成，参考第5实施例可得匹配成功的历史模型权重更新公式为W_i+1＝(1-α)W_i。

本实施例当曾经出现过的背景模型在次出现且在匹配周期内被匹配成功5次以上，则以匹配成功的历史模型权重更新公式快速增加其权重，从而使其快速消融至背景。本实施例在当前背景模型被判断为历史背景并对其进行权重更新后就不再对其余高斯模型进行匹配，而是直接以未匹配成功的权重更新模型对其进行权重更新，减小了运算量，提高了算法的效率。本实施例算法简单，能快速简单地消融历史背景。

请参考图11、图11是本申请第七实施例提供的一种图像处理的装置的结构图，包括：

701、匹配单元，用于将像素点与当前高斯模型进行匹配。

702、第一处理单元，用于在像素点与当前高斯模型匹配成功时，将当前高斯模型的匹配次数加1，并判断当前高斯模型的权重是否在背景门限范围内。

703、第二处理单元，用于在当前高斯模型的权重不在背景门限范围内时，判断当前高斯模型是否为标记过的背景模型。

704、第三处理单元，用于在当前高斯模型为标记过的背景模型时判断在匹配周期内当前高斯模型的匹配次数是否超过第四域值。

705、权重更新单元，若匹配次数超过第四域值则当前高斯模型为历史模型，权重更新单元用于以历史模型权重更新公式更新当前高斯模型的权重，从而使当前高斯模型快速消融到背景模型。

常规的权重更新公式为：

W_i+1＝(1-α)W_i+αo_i

其中，W_i+1和W_i分别为更新后和更新前的权重，α为学习率，当像素点与高斯模型匹配成功o_i为1，否则o_i为0，即未匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i，匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i+α。

历史模型权重更新公式为：

W_i+1＝(1-α)W_i+αo_i+αc_i

其中，W_i+1、W_i、α、o_i含义与常规权重更新公式相同，若前高斯模型为历史模型则c_i为3，否则c_i为0，即上述匹配成功的历史模型权重更新公式为：W_i+1＝(1-α)W_i+α_i+3c_i。

本实施例当曾经出现过的背景模型在次出现且在匹配周期内被匹配成功第四域值次以上，则以匹配成功的历史模型权重更新公式快速增加其权重，从而使其快速消融至背景。本实施例算法简单，能简单快速地消融历史背景。

请参考图12、图12是本申请第八实施例提供的一种图像处理的装置的结构图，包括：

801、匹配单元，用于将像素点与当前高斯模型进行匹配。

802、第一处理单元，用于在像素点与当前高斯模型匹配成功时，将当前高斯模型的匹配次数加1，并判断当前高斯模型的权重是否在背景门限范围内。

803、第二处理单元，用于在当前高斯模型的权重不在背景门限范围内时，判断当前高斯模型是否为标记过的背景模型。

804、第三处理单元，用于在当前高斯模型为标记过的背景模型时判断在匹配周期内当前高斯模型的匹配次数是否超过第四域值。

805、权重更新单元，若匹配次数超过第四域值则当前高斯模型为历史模型，权重更新单元用于以历史模型权重更新公式更新当前高斯模型的权重，从而使当前高斯模型快速消融到背景模型。

常规的权重更新公式为：

W_i+1＝(1-α)W_i+αo_i

其中，W_i+1和W_i分别为更新后和更新前的权重，α为学习率，若像素点与高斯模型匹配成功则o_i为1，否则o_i为0，即未匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i，匹配成功的常规权重更新公式为W_i+1＝(1-α)W_i+α。本实施例中历史模型权重更新公式为：

W_i+1＝(1-α)W_i+αo_i+αc_i

其中，W_i+1、W_i、α、o_i含义与常规权重更新公式相同，当前高斯模型为历史模型时c_i为3，否则c_i为0，即上述匹配成功的历史模型权重更新公式为：W_i+1＝(1-α)W_i+α_i+3c_i。

806、第四处理单元，用于在当前高斯模型的权重在背景门限范围内时，对当前高斯模型进行标记，从而使当前高斯模型成为标记过的背景模型，并以匹配成功的常规权重更新公式更新当前高斯模型的权重。

807、第二权重更新单元，用于在权重更新单元以匹配成功的历史模型权重更新公式更新当前高斯模型的权重，或者第四处理单元对当前高斯模型进行标记后，不再对像素点的未进行匹配的高斯模型进行匹配，并按未匹配成功的常规权重更新公式对未进行匹配的高斯模型进行权重更新。

808、第五处理单元，用于在像素点与当前高斯模型匹配不成功时，以未匹配成功的常规权重更新公式更新当前高斯模型的权重，并判断高斯模型是否遍历完，若高斯模型未遍历完则切换至下一个高斯模型进行匹配。

本实施例当曾经出现过的背景模型在次出现且在匹配周期内被匹配成功5次以上，则以匹配成功的历史模型权重更新公式快速增加其权重，从而使其快速消融至背景。本实施例在当前背景模型被判断为历史背景并对其进行权重更新后就不再对其余高斯模型进行匹配，而是直接以未匹配成功的权重更新模型对其进行权重更新，减小了运算量，提高了算法的效率。本实施例算法简单，能快速简单地消融历史背景。

现有的混合高斯模型建模过程中往往需要对图像进行像素级的运算，计算量大，计算效率受到及大的限制。现有技术中通常使用的提高算法执行效率的方法为：对像素处理级进行放大，即对图像进行分块处理，再对块图像进行匹配检测，用对块图像的处理代替对像素的处理，避免对单像素点的遍历运算，从而提高建模效率。上述方法的一个具体实施例为：对每帧图像进行分块；对每个分块划分出16个4*4的小块；对每个4*4的小块求平均值；将每个平均值作为特征值与高斯模型进行匹配；根据运算判断每个块为前景块或者前景块。

上述方法虽然运算复杂度较低，但是由于是对各小块进行处理，造成提取的前景出现块效应，大大降低了前景检测的准确率。因此混合高斯建模的方法还要解决在不降低检测准确率的前提下提高计算效率的问题。

请参考图13，图13是本申请第九实施例提供的一种图像的方法的流程图，包括：

S901、比较像素点的各个高斯模型的期望值矢量，若存在期望值矢量相互之间的差值均小于第五域值的两个或者两个以上高斯模型，则该两个或者两个以上高斯模型互为冗余模型。

每引入一帧新的图像，对该帧图像完成模型的匹配与更新后，对该帧图像的每一个像素点的各个高斯模型进行一次遍历检查，比较每个像素点的各个高斯模型的期望值矢量，若存在两两期望值矢量间的差值均小于第五域值的两个或者两个以上高斯模型，则认为该两个或者两个以上高斯模型互为冗余模型。这里第五域值的数量级为期望值的数量级，具体根据实际应用做适当调整，这里不做限定。

S902、对互为冗余模型的该两个或者两个以上高斯模型进行合并。其中，

合并后的高斯模型的期望值为互为冗余模型的两个或者两个以上高斯模型的期望值的算术平均值；

合并后的高斯模型的权重为互为冗余模型的两个或者两个以上高斯模型的期望值的权重之和；

合并后的高斯模型的方差为互为冗余模型的两个或者两个以上高斯模型的期望值的方差之和。

其中，合并后的高斯模型的方差需同时满足上下限条件，若合并后的高斯模型的方差超过方差上限，则将合并后的高斯模型的方差限制在方差上限；若合并后的高斯模型的方差超过方差下限，则将合并后的高斯模型的方差限制在方差下限。

本实施例中通过对互为冗余的模型进行合并处理，可以消除更新过程中的冗余遍历，加快模型更新速度，提高算法的执行效率，且不会影响检测的准确率。

请参考图14，图14是本申请第十实施例提供的一种图像的装置的结构图，包括：

1001、冗余模型判断单元，用于比较像素点的各个高斯模型的期望值矢量，若存在期望值矢量相互之间的差值均小于第五域值的两个或者两个以上高斯模型，则判断所述两个或者两个以上高斯模型互为冗余模型。

1002、冗余模型合并单元，用于对互为冗余模型的所述两个或者两个以上高斯模型进行合并。其中，

合并后的高斯模型的期望值为互为冗余模型的两个或者两个以上高斯模型的期望值的算术平均值；

合并后的高斯模型的权重为互为冗余模型的两个或者两个以上高斯模型的期望值的权重之和；

合并后的高斯模型的方差为互为冗余模型的两个或者两个以上高斯模型的期望值的方差之和。

其中，若合并后的高斯模型的方差超过方差上限，则冗余模型合并单元将合并后的高斯模型的方差限制在方差上限；若合并后的高斯模型的方差超过方差下限，则述冗余模型合并单元将合并后的高斯模型的方差限制在方差下限。

本实施例中通过对互为冗余的模型进行合并处理，可以消除更新过程中的冗余遍历，加快模型更新速度，提高算法的执行效率，且不会影响检测的准确率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存取存储器（RandomAccessMemory，简称RAM）等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (4)

1.一种图像处理的方法，其特征在于，包括：

将当前帧图像划分成两个以上的子块；

对每个子块进行灰度投影计算，得出当前帧图像相对于参考帧图像在各个子块的运动矢量；

根据所述当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧，包括：

若子块中有一个子块的运动矢量不为零，或者有两个以上且少于子块的总数的子块的运动矢量不为零且互不相等，或者所有子块的运动矢量均不为零且任意两个子块的运动矢量的差值均大于第一域值，则当前帧图像为非抖动帧；

若当前帧图像为抖动帧则对当前帧图像进行运动补偿，包括：

计算运动矢量小于第二域值的子块的运动矢量的平均值；

根据所述平均值对当前帧图像进行运动补偿。

2.根据权利要求1所述的方法，其特征在于，所述对每个子块进行灰度投影计算时选取的当前帧图像的灰度投影区域小于参考帧图像的灰度投影区域。

3.一种图像处理的装置，其特征在于，包括：

图像划分单元，用于将当前帧图像划分成两个以上的子块；

灰度投影算法实现单元，用于对每个子块进行灰度投影计算，得出当前帧图像相对于参考帧图像在各个子块的运动矢量；

抖动帧判断单元，用于根据所述当前帧图像相对于参考帧图像在各个子块的运动矢量判断当前帧图像是否为抖动帧；

所述抖动帧判断单元具体用于：

若子块中有一个子块的运动矢量不为零，或者有两个以上且少于子块的总数的子块的运动矢量不为零且互不相等，或者所有子块的运动矢量均不为零且任意两个子块的运动矢量的差值均大于第一域值，则判断当前帧图像为非抖动帧；

运动补偿单元，用于在当前帧图像为抖动帧时对当前帧图像进行运动补偿；

所述运动补偿单元用于：

计算运动矢量小于第二域值的子块的运动矢量的平均值；

根据所述平均值对当前帧图像进行运动补偿。

4.根据权利要求3所述的装置，其特征在于，所述灰度投影算法实现单元对每个子块进行灰度投影计算时选取的当前帧图像的灰度投影区域小于参考帧图像的灰度投影区域。