CN102915544A - 基于纹理检测和颜色分割的视频图像运动目标提取方法 - Google Patents

Abstract

本发明提供了一种基于纹理检测和颜色分割的视频图像运动目标提取方法。所述方法首先对视频信号预处理后得到的RGB图像进行k-means图像聚类分割，并记录下每个像素点所属的颜色分类号；其次根据当前帧与背景帧的灰度值进行LBP纹理检测，计算得到表示运动目标的像素点，并建立像素点与宏块的映射关系以得到宏块级的运动目标；再次，根据颜色分类号及运动目标像素进行交叠检测得到初步的运动目标；最后，合并LBP纹理检测及颜色分割得到的运动目标并进行滤波，便得到最终的运动目标。本发明具有如下优点：不仅保持了纹理检测定位精确、对光照变化鲁棒的优点，而且有效地解决了缓慢运动或原地运动的情况下运动目标融入背景的问题。

Description

基于纹理检测和颜色分割的视频图像运动目标提取方法

技术领域

本发明涉及一种视频图像运动目标提取方法，尤其是涉及基于纹理检测和颜色分割的视频图像运动目标提取方法。

背景技术

运动目标提取在智能视频监控、图像压缩，计算机图形学、人机交互、虚拟现实等众多领域应用广泛，是计算机视觉领域的重要研究课题。运动目标提取处于整个视频处理系统的底层，是各种后续高级处理如目标跟踪、目标分类、行为识别、场景理解等的基础，已成为下一代高效智能的视频图像处理等技术关注的重点之一。

目前常用的运动目标提取方法可分为三类：光流法、帧差法、背景建模法。光流法是一种直接基于时间特征的方法，随着时间推移物体的运动信息来得到运动目标。优点是无需预知场景的任何信息也能检测出运动目标，缺点是复杂度过高、环境要求严、实时性和实用性差；帧差法通过分析图像序列中相邻两帧的像素值之差来提取运动目标。优点是对动态变化的场景非常有效，缺点是对于缓慢运动和光照突变的场景不适用，通常仅用来获得运动目标粗略的轮廓；背景建模法常见的有普通的背景减除法和基于高斯模型和混合高斯模型的方法，前者利用当前图像与背景图像的差分来检测出运动目标，优点是原理简单、速度快、实现容易，缺点是受限于背景模型获取和更新方法的好坏，后者利用高斯概率密度函数来较精确地量化运动目标，建立背景模型，相较于前者对树枝晃动等背景周期运动的图像有很好的实用性，但复杂度更高，不能有效消除影子。

基于LBP纹理特征的背景建模方法考虑到了图像的纹理细节特征，使所维护的背景对光照变化具有较好的鲁棒性，能够较好地定位运动目标的位置和轮廓，且计算简单、分类能力强，因此越来越受到人们的关注。然而，由于LBP纹理特征运动目标提取方法的基本原理是根据当前图像及背景图像像素点的局部纹理的异同进行背景建模，在缓慢运动或原地运动的情况下，像素点的局部纹理特征基本不变，就会导致运动目标出现空洞、不完整，即融入了背景。因此，单一地依靠纹理特征进行背景建模并不能较好地实现对运动目标的准确提取。

而现有的传统技术存在以下缺陷：首先，使用基于LBP纹理检测的背景建模方法得到像素域的运动目标，由于是在像素域进行计算，可以精确定位运动目标的位置和基本轮廓，但该方法没有考虑整体运动特征，当缓慢运动或原地运动存在时，所提取的运动目标内部容易出现空洞。其次，使用基于颜色分割的颜色分类方法对图像进行颜色分类，分类后的图像由若干个不规则的颜色区域组成，该方法虽然可以有效地将运动目标区域与背景区域分割开来，但对于任一颜色块，方法本身无法判定它属于运动目标还是背景，因为可能存在多个颜色相同的颜色块，分别属于运动目标区和背景区。最后，通过建立像素点与宏块的映射关系，将纹理检测得到的像素域的运动目标转换为以宏块为单元的初始运动目标；然后设计一种宏块交叠检测法，以宏块为单元对图像进行交叠检测，只要宏块内的任一颜色分类中运动目标所占用的像素点数目达到一定阈值，则认为宏块内运动目标所属的颜色分类所包含的像素点均为运动目标，此运动目标与初始运动目标合并、去除孤立宏块，得到的便是最终的运动目标。本文所提的方法不仅保持了纹理检测定位精确、对光照变化鲁棒的优点，而且有效地解决了缓慢运动或原地运动的情况下运动目标融入背景的问题。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种不仅保持了纹理检测定位精确、对光照变化鲁棒的优点，而且有效地解决了缓慢运动或原地运动的情况下运动目标融入背景的问题的基于纹理检测和颜色分割的视频图像运动目标提取方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

基于纹理检测和颜色分割的视频图像运动目标提取方法，其特征在于，包括以下步骤：

步骤1，对输入的视频信号进行预处理，即对视频图像进行转码得到RGB格式的图像；

步骤2，提取RGB图像的R、G、B颜色分量，并据此三个分量对RGB图像进行k-means图像聚类分割，记录下每个像素点所属的颜色分类号；

步骤3，把RGB格式图像转化为灰度图像，并记录灰度图像各像素点的灰度值及此灰度图所对应的原始视频帧的帧号，帧号大于1则转到步骤4，否则转到步骤7；

步骤4，根据步骤3得到的灰度值与背景帧的灰度值进行LBP纹理检测，在像素域计算表示运动目标的像素点，然后通过像素点与宏块的映射得到以宏块为单元的运动目标；

步骤5，根据步骤4所得表示运动目标的像素点及步骤②像素点的颜色分类进行交叠检测，得到初步的运动目标；

步骤6，合并步骤4与步骤5所得到的运动目标，去除孤立宏块，得到最终的运动目标；

步骤7，保存当前一帧灰度图，作为下一帧图像LBP纹理检测环节的背景帧，并转至步骤1。

在上述的基于纹理检测和颜色分割的视频图像运动目标提取方法，其特征在于，所述步骤4中，进一步包括以下子步骤：

步骤4.1.使用LBP纹理检测方法进行背景建模得到背景帧，此背景帧与灰度图像差分便得到像素域的运动目标；步骤4.2.建立像素点与宏块的映射关系，基于以下映射公式：

$\left\{\begin{array}{c}x=[i/\mathrm{Mbwidth}]\\ y=[j/\mathrm{Mbheight}]\end{array}\right.,$

其中x和y分别表示宏块的横坐标和纵坐标，i和j分别表示像素点的横坐标和纵坐标，0≤i＜Picwidth，0≤j＜Picheight，Picwidth和Picheight分别表示图像的宽度和高度，Mbwidth和Mbheight分别表示宏块的宽度和高度。

在上述的基于纹理检测和颜色分割的视频图像运动目标提取方法所述步骤4.1，进一步包括以下子步骤：

步骤4.11．求得当前灰度图像和背景灰度图像各像素点的LBP特征值，分别用LBP(F_t(x,y))和LBP(F_t-1(x,y))表示，F_t(x,y)和F_t-1(x,y)分别表示当前灰度图像和背景灰度图像各像素点的灰度值，变量t表示视频图像在时间上的先后顺序，t≥1；

步骤4.12.计算当前像素点为运动像素点的概率P_t(x,y)，此概率描述了当前像素为运动像素点的概率；

计算公式为 $P_t(x,y)=\frac{\mathrm{ones}(\mathrm{LBP}\left(F_t(x,y)\right)\⊕\mathrm{LBP}\left(F_{t-1}(x,y)\right))}{8},$ ones(x)为x的二进制表示中1的个数，即LBP(F_t(x,y))和LBP(F_t-1(x,y))异或后1的个数；

步骤4.13.背景建模，计算背景模型B_t(x,y)；背景模型B_t(x,y)更新公式：B_t(x,y)＝B_t-1(x,y)+(1-P_t(x,y))(F_t(x,y)-B_t-1(x,y))

步骤4.44.LBP纹理特征运动目标检测，运动目标检测基于公式：

D_t(x,y)＝|F_t(x,y)-B_t(x,y)|，其中，

其中F_t(x,y)为当前图像，B_t(x,y)为当前图像背景模型，当两者之间的差值D_t(x,y)小于阈值20时，认为该像素点为运动目标像素点，否则认为是背景像素点。

在上述的基于纹理检测和颜色分割的视频图像运动目标提取方法所述步骤5中，进一步包括以下子步骤：

步骤5.1.对当前图像进行8x8宏块划分并进行交叠检测，按从左到右、从上到下的顺序依次处理，具体检测方法是统计宏块内各颜色分类的像素点数目Sampl e(k)及运动目标所包含的像素点数目F(k)，其中，k是颜色分类的数目，且k的取值范围为[1，6]；

步骤5.2.按步骤2中得到的图像各像素点的颜色类别，统计8x8宏块中属于各颜色分类的像素点个数Sample(k)与各颜色分类中运动目标像素点的个数F(k)，只要有：F(k)/Sample(k)≥T，则认为该宏块为运动目标区，否则为背景区，T是测试的经验阈值；

步骤5.3.重复执行步骤5.1至步骤5.2直到所有宏块检测完毕。

因此，本发明具有如下优点：不仅保持了纹理检测定位精确、对光照变化鲁棒的优点，而且有效地解决了缓慢运动或原地运动的情况下运动目标融入背景的问题。

附图说明

图1是本发明的一种方法流程示意图。

图2是像素点与宏块映射关系示意图。

图3是8x8宏块交叠检测示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明综合考虑视频图像LBP纹理特征的运动目标检测方法与颜色分割技术的优缺点，提出了针对运动目标的宏块映射及交叠检测技术使两者无缝结合，扬长避短、优势互补，不仅保持了纹理检测定位精确、对光照变化鲁棒的优点，而且有效地解决了缓慢运动或原地运动的情况下运动目标融入背景的问题。

以下将结合图1示意的流程图对本发明的基于纹理检测和颜色分割的视频图像运动目标提取方法做进一步的详细描述。包含以下步骤：

步骤1：对输入的视频信号进行预处理，由于本发明的方法处理的图像采样空间为RGB格式，所以需要对输入的视频图像进行转码，统一为RGB格式的图像；

步骤2.1：提取一帧RGB格式图像的R、G、B三个颜色分量；

步骤2.2：根据S21得到的三个分量对RGB图像进行k-means图像聚类分割。k-means算法是将相似度较高的对象划分到一个聚类，同一聚类中的对象相似度较高，而不同聚类中的对象相似度较低。将图像的R、G、B值作为聚类的对象，R、G、B值相似度较高的像素点聚类到一个颜色区域，这样就实现了图像的颜色分割，在这里我们将图像划分为六个颜色类别；

步骤2.3：记录下每个像素点所属的颜色分类号；

步骤3.1：将RGB格式图像转化为灰度图像，并记录灰度图像各像素点的灰度值及此灰度图所对应的原始视频帧的帧号；

步骤3.2：判断帧号是否大于1，大小则转到步骤4.1：，否则转到步骤7；

步骤4.1：：根据步骤3.1得到的灰度值与背景帧的灰度值进行LBP纹理检测，在像素域计算得到表示运动目标的像素点；

步骤4.11.求得当前灰度图像和背景灰度图像各像素点的LBP特征值，分别用LBP(F_t(x,y))和LBP(F_t-1(x,y))表示，变量t表示视频图像在时间上的先后顺序，t≥1；

步骤4.12.计算当前像素点为运动像素点的概率P_t(x,y)，此概率描述了当前像素为运动像素点的概率；

计算公式为 $P_t(x,y)=\frac{\mathrm{ones}(\mathrm{LBP}\left(F_t(x,y)\right)\⊕\mathrm{LBP}\left(F_{t-1}(x,y)\right))}{8},$ ones(x)为x的二进制表示中1的个数，即LBP(F_t(x,y))和LBP(F_t-1(x,y))异或后1的个数；

步骤4.3.背景建模，计算背景模型B_t(x,y)；

背景模型B_t(x,y)更新公式：

B_t(x,y)＝B_t-1(x,y)+(1-P_t(x,y))(F_t(x,y)-B_t-1(x,y))

步骤4.14.LBP纹理特征运动目标检测；

运动目标检测公式：D_t(x,y)＝|F_t(x,y)-B_t(x,y)|，

其中F_t(x,y)为当前图像，B_t(x,y)为当前图像背景模型，当两者之间的差值D_t(x,y)小于阈值20时，认为该像素点为运动目标像素点，否则认为是背景像素点。

步骤4.2：建立像素点与宏块的映射关系（图2），根据映射关系计算得到以宏块为基本单元的运动目标；

映射公式： $\left\{\begin{array}{c}x=[i/\mathrm{Mbwidth}]\\ y=[j/\mathrm{Mbheight}]\end{array}\right.,$ 其中x和y分别表示宏块的横坐标和纵坐标，i和j分别表示像素点的横坐标和纵坐标，0≤i＜Picwidth，0≤j＜Picheight，Picwidth和Picheight分别表示图像的宽度和高度，Mbwidth和Mbheight分别表示宏块的宽度和高度，这里Mbwidth和Mbheight都取值为4。

步骤5.1：对当前图像进行8x8宏块划分并进行交叠检测（图3），按从左到右、从上到下的顺序依次处理。采用宏块交叠检测的的方法，可以更大程度地利用局部像素点的运动信息，从而更加准确地提取运动目标；

步骤5.1的关键是如何正确选取宏块交叠检测方法所使用的宏块大小，如果宏块的尺寸小于LBP纹理检测方法宏块映射时所使用的宏块尺寸，就达不到填补空洞的效果，反之，则会导致运动目标的边缘不精确。LBP纹理检测方法宏块映射时使用4x4大小的宏块，所以这里采用8x8大小的宏块，略大于前者。

步骤5.2：按步骤2.3中得到的图像各像素点的颜色类别，统计8x8宏块中属于各颜色分类的像素点个数Sample(k)与各颜色分类中运动目标像素点的个数F(k)，这里将图像分割成6个颜色类别，即k取值为[0,5]，然后按照下述两个步骤判定此8x8宏块是否属于运动目标；

步骤5.21.计算8x8宏块中各个颜色分类中运动目标像素点所占比例P_F/S(k)＝F(k)/Sample(k)；

步骤5.22.P_F/S(k)大于阈值1/16时，则可判定该8x8宏块属于运动目标，并否则为背景；

步骤5.3：执行步骤S52便得到以宏块为单位的初步运动目标；

步骤6.1：合并步骤4.2、步骤5.2得到的运动目标，并去除孤立的运动目标和背景宏块，步骤6.2：得到的就是最终提取的运动目标；

步骤7：保存当前灰度图像作为背景帧，转步骤1；

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.基于纹理检测和颜色分割的视频图像运动目标提取方法，其特征在于，包括以下步骤：

步骤1，对输入的视频信号进行预处理，即对视频图像进行转码得到RGB格式的图像；

步骤2，提取RGB图像的R、G、B颜色分量，并据此三个分量对RGB图像进行k-means图像聚类分割，记录下每个像素点所属的颜色分类号；

步骤3，把RGB格式图像转化为灰度图像，并记录灰度图像各像素点的灰度值及此灰度图所对应的原始视频帧的帧号，帧号大于1则转到步骤4，否则转到步骤7；

步骤4，根据步骤3得到的灰度值与背景帧的灰度值进行LBP纹理检测，在像素域计算表示运动目标的像素点，然后通过像素点与宏块的映射得到以宏块为单元的运动目标；

步骤5，根据步骤4所得表示运动目标的像素点及步骤②像素点的颜色分类进行交叠检测，得到初步的运动目标；

步骤6，合并步骤4与步骤5所得到的运动目标，去除孤立宏块，得到最终的运动目标；

步骤7，保存当前一帧灰度图，作为下一帧图像LBP纹理检测环节的背景帧，并转至步骤1。

2.根据权利要求1所述的基于纹理检测和颜色分割的视频图像运动目标提取方法，其特征在于，所述步骤4中，进一步包括以下子步骤：

步骤4.1.使用LBP纹理检测方法进行背景建模得到背景帧，此背景帧与灰度图像差分便得到像素域的运动目标；

步骤4.2.建立像素点与宏块的映射关系，基于以下映射公式：

$\left\{\begin{array}{c}x=[i/\mathrm{Mbwidth}]\\ y=[j/\mathrm{Mbheight}]\end{array}\right.,$

其中x和y分别表示宏块的横坐标和纵坐标，i和j分别表示像素点的横坐标和纵坐标，0≤i＜Picwidth，0≤j＜Picheight，Picwidth和Picheight分别表示图像的宽度和高度，Mbwidth和Mbheight分别表示宏块的宽度和高度。

3.根据权利要求2所述的基于纹理检测和颜色分割的视频图像运动目标提取方法，其特征在于，所述步骤4.1，进一步包括以下子步骤：

步骤4.11．求得当前灰度图像和背景灰度图像各像素点的LBP特征值，分别用LBP(F_t(x,y))和LBP(F_t-1(x,y))表示，F_t(x,y)和F_t-1(x,y)分别表示当前灰度图像和背景灰度图像各像素点的灰度值，变量t表示视频图像在时间上的先后顺序，t≥1；

步骤4.12.计算当前像素点为运动像素点的概率P_t(x,y)，此概率描述了当前像素为运动像素点的概率；

计算公式为 $P_t(x,y)=\frac{\mathrm{ones}(\mathrm{LBP}\left(F_t(x,y)\right)\⊕\mathrm{LBP}\left(F_{t-1}(x,y)\right))}{8},$ ones(x)为x的二进制表示中1的个数，即LBP(F_t(x,y))和LBP(F_t-1(x,y))异或后1的个数；

步骤4.13.背景建模，计算背景模型B_t(x,y)；背景模型B_t(x,y)更新公式：B_t(x,y)＝B_t-1(x,y)+(1-P_t(x,y))(F_t(x,y)-B_t-1(x,y))

步骤4.44.LBP纹理特征运动目标检测，运动目标检测基于公式：

D_t(x,y)＝|F_t(x,y)-B_t(x,y)|，其中，

其中F_t(x,y)为当前图像，B_t(x,y)为当前图像背景模型，当两者之间的差值D_t(x,y)小于阈值20时，认为该像素点为运动目标像素点，否则认为是背景像素点。

4.根据权利要求1所述的基于纹理检测和颜色分割的视频图像运动目标提取方法，其特征在于，所述步骤5中，进一步包括以下子步骤：

步骤5.1.对当前图像进行8x8宏块划分并进行交叠检测，按从左到右、从上到下的顺序依次处理，具体检测方法是统计宏块内各颜色分类的像素点数目Sample(k)及运动目标所包含的像素点数目F(k)，其中，k是颜色分类的数目，且k的取值范围为[1，6]；

步骤5.2.按步骤2中得到的图像各像素点的颜色类别，统计8x8宏块中属于各颜色分类的像素点个数Sample(k)与各颜色分类中运动目标像素点的个数F(k)，只要有：F(k)/Sample(k)≥T，则认为该宏块为运动目标区，否则为背景区，T是测试的经验阈值；

步骤5.3.重复执行步骤5.1至步骤5.2直到所有宏块检测完毕。

Images