CN111160099B - 一种视频图像目标的智能化分割方法 - Google Patents

Abstract

本发明公开了一种视频图像目标的智能化分割方法，该方法使用YUV颜色空间和特定的距离度量来克服光照的影响，维护多个聚类中心以处理动态背景，利用最大连续未获匹配时间长度参数将前景像素排除在背景模型之外。本发明的方法能在有限的存储空间里长时间获取结构化的背景运动，可为动态背景建立紧凑的模型；能克服光照对背景建模和前景检测的影响；在建模和检测阶段之间周期性地切换，以满足视频监控长时间不间断运行的应用需求。本发明的方法具有较好的分割准确性和较高的处理速度，比较适用于客流统计、交通流视频监控、工业自动化监控以及安全防范等场景的视频对象分割。

Description

一种视频图像目标的智能化分割方法

技术领域

本发明属于智能视频监控分析技术领域，尤其是涉及一种视频图像目标的智能化分割方法。

背景技术

与静态图像相比，数字视频序列图像提供了更丰富的信息。通过对多帧图像的分析，获得从单幅图像中不能得到的信息。随着计算机视觉技术的发展，视频分析技术应用越来越广泛，视频对象分割是视频分析系统中的关键技术之一，主要应用于基于对象的视频编码、基于内容的视频检索、智能监控、交互式视频娱乐等方面。目前的视频对象分割方法有以下几种：

运动估计视频对象分割：是指先使用光流场等方法估计运动参数，寻找满足运动模型的像素连通域，再合并各连通域得到分割结果。由于实际监控视频中遮挡性、多光源、透明性和噪声等原因，光流场基本方程的假设条件经常得不到满足。并且，由于光流计算方法相对复杂，计算量大，不能满足实时性的要求。

交互式视频对象分割：是利用人工监督来辅助进行分割的方式，即人工为视频图像绘制粗略的初始分割区域，再运用基于时空和运动的信息进行分割。交互式视频对象分割的应用比较受限，实时性较差。

时域空域视频对象分割：主要是利用视频图像相邻帧之间连续性和相关性进行分割，即先进行时域分割寻找视频图像中的运动区域，再进行空域分割生成边界准确的语义区域，最后结合两者生成具有精确边缘的分割结果。基于时空的视频对象分割实现相对简单，实时性好，但由于实际场景中光照变化明显、运动目标多、背景成分复杂，给视频对象分割算法带来了困难。

发明内容

本发明所要解决的技术问题在于提供一种视频图像目标的智能化分割方法，该方法能在有限的存储空间里长时间获取结构化的背景运动，可为动态背景建立紧凑的模型，能克服光照对背景建模和前景检测的影响，在建模和检测阶段之间周期性地切换，以满足视频监控长时间不间断运行的应用需求。

本发明是通过以下技术方案实现的：

一种视频图像目标的智能化分割方法，采用背景模型建立阶段和前景检测阶段交替进行的方式，包括如下步骤：

步骤1：设监控视频的帧率为fFPS，帧序号为n，T₁和T₂分别为背景模型建立阶段和前景检测阶段的周期；

当1≤n≤T₁f时，为建立背景模型建立阶段；

当T₁f≤n≤(T₁+T₂)f时，为前景检测阶段；

步骤2：将像素x_n＝(R,G,B)的像素值由RGB颜色空间转换到YUV颜色空间，得到亮度分量Y_n和两个色差分量U_n、V_n，转换公式如下：

步骤3：建立基于像素值时间序列聚类的背景模型，包括：

计算待检测像素与聚类中心的亮度距离和色差距离；

确定阈值；

寻找与待检测像素匹配的聚类中心；

若存在匹配的聚类中心，则将待检测像素归为聚类中心代表的类别，并更新聚类中心；若不存在匹配的聚类中心或聚类中心集合为空集，则创建一个新的聚类中心，同时更新其他聚类中心；

对背景建模周期内的视频帧重复执行上述步骤；

滤除最大连续未获匹配时间长度超过阈值的聚类中心，得到聚类中心集合的背景模型，背景模型建立阶段结束，转到步骤4；

步骤4：前景检测阶段，包括：

在背景模型中寻找与待检测像素匹配的聚类中心；

若存在匹配的聚类中心，则视待检测像素为背景，并更新背景模型；

若不存在匹配的聚类中心，则视待检测像素为前景；

对前景检测周期内的视频帧重复执行上述步骤；

前景检测阶段结束，转到步骤3。

进一步地，所述步骤3，具体包括：

参数初始化：n＝1，L＝0，其中L表示背景模型中聚类中心的数目，对帧号从1到T₁f的每一帧图像进行以下循环操作：

(i)计算亮度距离和色差距离；

亮度距离为：YUV空间中的两像素色差距离等于一个像素到过另一个像素且与Y轴平行的直线的垂线段的长度；

色差距离为：YUV空间中的两像素亮度距离等于它们的亮度分量的比值与1的差的绝对值；

设待检测像素x_m与背景模型聚类中心c_i的连线与Y轴平行，则它们的U、V分量分别相等，亮度距离f₁为：

色差距离f₂为：

f₂(x_m,c_i)＝0 (3)

待检测像素x′_m与聚类中心c_i的亮度距离f₁为：

色差距离f₂为：

(ii)确定阈值：

选取固定摄像机在一个时间段内的监控视频，并从视频图像中选取固定的三个像素位置A、B、C作为采样点，每5分钟记录一次各采样点的像素值并转换到YUV空间。设采样点A的像素值序列为(Y_j,U_j,V_j),j＝1,2,…,M，聚类中心的像素值为

通过求极值方式求解公式(6)、(7)，即可确定采样点A的聚类中心/>

A点处亮度距离阈值的计算公式为：

A点处色差距离阈值的计算公式为：

同理，可根据采样点B、C的像素值序列计算采样点B、C处的亮度阈值和色差阈值d_1B、d_2B、d_1C、d_2C。进一步，得到亮度距离阈值d₁和色差距离阈值d₂：

(iii)寻找与x_n匹配的聚类中心。匹配条件如公式(12)所示。在聚类中心集合C_n-1＝{c_i|i＝1,2,…,L}中，聚类中心c_i的亮度为

色差分量为/>

和/>

当环境光照发生变化时，像素值在经过背景模型聚类中心c_i且与Y轴近似平行的直线上移动。若检测到像素值与c_i的亮度距离小于阈值d₁，则判断此像素为背景像素。判断像素值是否位于过c_i且与Y轴近似平行的直线上的条件是它们的色差距离是否小于阈值d₂。当c_i确定后，通过与之匹配而判断为背景像素的待检测像素的集合构成一个半径为d₂、高度为2d₁、中心为c_i的圆柱体；

(iv)若存在匹配的聚类中心c_i，则将x_n归为第i类背景像素，并更新c_i：

其中，α、β分别为亮度分量和色差分量的学习速率。同时更新其它未获得匹配的聚类中心c_j：τ_jc←τ_jc+1，τ_jh←max{τ_jh,τ_jc}，1≤j≤L且j≠i。τ_jc表示包含当前帧在内的最近一段未获匹配图像序列的帧数，τ_jh表示整个背景建模周期T₁内所有未获匹配图像序列的帧数的最大值。设某像素在周期T₁内共有m段未获匹配图像序列，各段序列的帧数分别为(τ_jc)_j，则：

(v)若不存在匹配的聚类中心或

则L←L+1，创建一个新的聚类中心c_L＝x_n，τ_Lh←n-1，τ_Lc←0。同时更新其他聚类中心c_j：τ_jc←τ_jc+1，τ_jh←max{τ_jh,τ_jc}，1≤j≤L-1；

利用公式(15)滤除那些最大连续未获匹配时间长度超过阈值d₃的聚类中心，背景建模阶段结束，得到聚类中心集合C_n的背景模型，

C_n←{c_i|c_i∈C_n,τ_ih<d₃} (15)

其中，阈值d₃是根据实验数据确定的。设采样点A的背景模型为C_A，聚类中心数目为L_A，各聚类中心的最大连续未获匹配时间长度为τ_i,i＝1,2,…,L_A，其最大值为：

在时间段T₁f内从采样点A多次经过，时间随机，得到采样点A的背景模型C′_A，聚类中心数目为L′_A，各聚类中心的最大连续未获匹配时间长度为τ′_i,i＝1,2,…,L′_A，则最大连续未获匹配时间长度的阈值为：

同理，可根据采样点B、C的像素值序列计算采样点B、C处的最大连续未获匹配时间长度的阈值d_3B、d_3C，则：

由于随机因素的影响导致多次实验计算得到的d₃取值不尽相同，也可按照经验将d₃的值设置为背景建模阶段帧数的一半，即：

背景模型建立阶段结束，转到步骤4的前景检测阶段；

进一步地，所述步骤4，具体包括：

对帧号从T₁f到(T₁+T₂)f的每一帧图像进行以下循环操作：

(i)在背景模型C_n-1＝{c_i|i＝1,2,…,L}中寻找与待检测像素x_n匹配的聚类中心，匹配条件为：

其中，d₄表示亮度距离阈值，d₅表示色差距离阈值。检测阶段的亮度距离阈值、色差距离阈值可以和建模阶段的取值不同，即允许d₄≠d₁、d₅≠d₂。

(ii)若存在匹配的聚类中心c_i，则视x_n为背景，并更新背景模型：

(iii)若不存在匹配的聚类中心，则视x_n为前景；

前景检测阶段结束，转到步骤3的背景模型建立阶段。

本发明的优点在于：本发明的方法在不同光照条件和动态背景下都具有较好的效果。在保证分割准确性的同时，又有较快的处理速度，具有较好的综合性能。

附图说明

下面结合附图对本发明的具体实施例做进一步详细说明。

图1是本发明采用的背景建模阶段和前景检测阶段交替进行的方法示意图。

图2是本发明的像素间亮度距离和色差距离示意图。

图3是数据集PDD中pedestrains视频图像序列的第901帧。

图4是数据集PDD中pedestrains视频图像序列的第931帧。

图5是数据集PDD中pedestrains视频图像序列的第961帧。

图6是数据集PDD中pedestrains视频图像序列的第991帧。

图7是本发明方法对图3的分割结果。

图8是本发明方法对图4的分割结果。

图9是本发明方法对图5的分割结果。

图10是本发明方法对图6的分割结果。

图11是数据集PDD中office视频图像序列的其中一帧。

图12是SGM对图11的分割结果。

图13是GMM对图11的分割结果。

图14是Kernel对图11的分割结果。

图15是DeepBS对图11的分割结果。

图16是本发明的方法对图11的分割结果。

具体实施方式

一种视频图像目标的智能化分割方法，采用背景模型建立阶段和前景检测阶段交替进行的方式，如图1所示，在YUV颜色空间使用一种新的颜色空间距离度量和一种新的类周期性动态背景处理方法，在建模阶段利用最大连续未获匹配时间长度参数有效区分前景与背景，该方法具体包括如下步骤：

步骤1：设监控视频的帧率为fFPS，帧序号为n，T₁和T₂分别为背景模型建立阶段和前景检测阶段的周期，当1≤n≤T₁f时，为建立背景模型建立阶段；当T₁f≤n≤(T₁+T₂)f时，为前景检测阶段。

步骤2：将像素x_n＝(R,G,B)的像素值由RGB颜色空间转换到YUV颜色空间，得到(明)亮度分量Y_n和两个色差分量U_n、V_n，转换公式如下：

步骤3：建立基于像素值时间序列聚类的背景模型：

(1)参数初始化：n＝1，L＝0，其中L表示背景模型中聚类中心的数目；

(2)对帧号从1到T₁f的每一帧图像进行以下循环操作：

(i)计算亮度距离和色差距离。

本发明采用了一种新的颜色空间距离度量。YUV空间中的两像素色差距离等于一个像素到过另一个像素且与Y轴平行的直线的垂线段的长度。YUV空间中的两像素亮度距离等于它们的亮度分量的比值与1的差的绝对值。色差距离和亮度距离的度量的含义如图2所示。设待检测像素x_m与背景模型聚类中心c_i的连线与Y轴平行，则它们的U、V分量分别相等，亮度距离f₁为：

色差距离f₂为：

f₂(x_m,c_i)＝0 (3)

待检测像素x′_m与聚类中心c_i的亮度距离f₁为：

色差距离f₂为：

(ii)确定阈值。选取固定摄像机在一个时间段内的监控视频。并从视频图像中选取固定的三个像素位置A、B、C作为采样点，每5分钟记录一次各采样点的像素值并转换到YUV空间。设采样点A的像素值序列为(Y_j,U_j,V_j),j＝1,2,…,M，聚类中心的像素值为

通过求极值方式求解公式(6)、(7)，即可确定采样点A的聚类中心

A点处亮度距离阈值的计算公式为：

A点处色差距离阈值的计算公式为：

同理，可根据采样点B、C的像素值序列计算采样点B、C处的亮度阈值和色差阈值d_1B、d_2B、d_1C、d_2C。进一步，得到亮度距离阈值d₁和色差距离阈值d₂：

(iii)寻找与x_n匹配的聚类中心。匹配条件如公式(12)所示。在聚类中心集合C_n-1＝{c_i|i＝1,2,…,L}中，聚类中心c_i的亮度为

色差分量为/>

和/>

当环境光照发生变化时，像素值在经过背景模型聚类中心c_i且与Y轴近似平行的直线上移动。若检测到像素值与c_i的亮度距离小于阈值d₁，则判断此像素为背景像素。判断像素值是否位于过c_i且与Y轴近似平行的直线上的条件是它们的色差距离是否小于阈值d₂。当c_i确定后，通过与之匹配而判断为背景像素的待检测像素的集合构成一个半径为d₂、高度为2d₁、中心为c_i的圆柱体，如图2所示。

(iv)若存在匹配的聚类中心c_i，则将x_n归为第i类背景像素，并更新c_i：

其中，α、β分别为亮度分量和色差分量的学习速率。同时更新其它未获得匹配的聚类中心c_j：τ_jc←τ_jc+1，τ_jh←max{τ_jh,τ_jc}，1≤j≤L且j≠i。τ_jc表示包含当前帧在内的最近一段未获匹配图像序列的帧数，τ_jh表示整个背景建模周期T₁内所有未获匹配图像序列的帧数的最大值。设某像素在周期T₁内共有m段未获匹配图像序列，各段序列的帧数分别为(τ_jc)_j，则：

(v)若不存在匹配的聚类中心或

则L←L+1，创建一个新的聚类中心c_L＝x_n，τ_Lh←n-1，τ_Lc←0。同时更新其他聚类中心c_j：τ_jc←τ_jc+1，τ_jh←max{τ_jh,τ_jc}，1≤j≤L-1。

(3)利用公式(15)滤除那些最大连续未获匹配时间长度超过阈值d₃的聚类中心，背景建模阶段结束，得到聚类中心集合C_n的背景模型，

C_n←{c_i|c_i∈C_n,τ_ih<d₃} (15)

其中，阈值d₃是根据实验数据确定的。设采样点A的背景模型为C_A，聚类中心数目为L_A，各聚类中心的最大连续未获匹配时间长度为τ_i,i＝1,2,…,L_A，其最大值为：

在时间段T₁f内从采样点A多次经过，时间随机，得到采样点A的背景模型C′_A，聚类中心数目为L′_A，各聚类中心的最大连续未获匹配时间长度为τ′_i,i＝1,2,…,L′_A，则最大连续未获匹配时间长度的阈值为：

同理，可根据采样点B、C的像素值序列计算采样点B、C处的最大连续未获匹配时间长度的阈值d_3B、d_3C，则：

由于随机因素的影响导致多次实验计算得到的d₃取值不尽相同，也可按照经验将d₃的值设置为背景建模阶段帧数的一半，即：

背景模型建立阶段结束，转到步骤4的前景检测阶段。

步骤4：前景检测阶段，具体包括：

(1)对帧号从T₁f到(T₁+T₂)f的每一帧图像进行以下循环操作：

(i)在背景模型C_n-1＝{c_i|i＝1,2,…,L}中寻找与待检测像素x_n匹配的聚类中心，匹配条件为：

其中，d₄表示亮度距离阈值，d₅表示色差距离阈值。检测阶段的亮度距离阈值、色差距离阈值可以和建模阶段的取值不同，即允许d₄≠d₁、d₅≠d₂。

(ii)若存在匹配的聚类中心c_i，则视x_n为背景，并更新背景模型：

(iii)若不存在匹配的聚类中心，则视x_n为前景。

(2)前景检测阶段结束，转到步骤3的背景模型建立阶段。

步骤3的背景模型建立阶段和步骤4的前景检测阶段涉及的主要参数设置如表1所示。

表1视频图像目标的智能化分割方法的参数

用数据集PDD的pedestrians和office视频序列对本发明方法进行检验。视频序列pedestrians中，草坪本身是动态背景，且受光照变化的影响，本发明的方法能正确分割其为背景。在行人运动过程中，行人区域的分割都比较准确。行人的影子也在不断“运动”，影子区域像素值的变化是一种突变，当超过了YUV空间亮度和色差距离阈值时，则被当成前景，反映出本发明的方法仅具有分割能力，不具备目标识别能力。结果如图3-10所示。将本发明的方法与SGM、GMM、Kernel和DeepBS进行比较，结果如图11-16和表2所示。综合三种指标来看，SGM和GMM的准确性最差，处理速度最快；DeepBS的准确性最好，处理速度最慢；Kernel和本发明的方法的性能指标居中，且本发明的方法的准确性和处理速度都稍优于Kernel。

表2不同视频对象分割算法的性能比较

本发明的方法能在有限的存储空间里长时间获取结构化的背景运动，可为动态背景建立紧凑的模型；能克服光照对背景建模和前景检测的影响；在建模和检测阶段之间周期性地切换，以满足视频监控长时间不间断运行的应用需求。本发明的方法具有较好的分割准确性和较高的处理速度，比较适用于客流统计、交通流视频监控、工业自动化监控以及安全防范等场景的视频对象分割。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明保护的范围内。

Claims (3)

1.一种视频图像目标的智能化分割方法，其特征在于：采用背景模型建立阶段和前景检测阶段交替进行的方式，包括如下步骤：

步骤1：设监控视频的帧率为fFPS，帧序号为n，T₁和T₂分别为背景模型建立阶段和前景检测阶段的周期；

当1≤n≤T₁f时，为建立背景模型建立阶段；

当T₁f≤n≤(T₁+T₂)f时，为前景检测阶段；

步骤2：将像素x_n＝(R,G,B)的像素值由RGB颜色空间转换到YUV颜色空间，得到亮度分量Y_n和两个色差分量U_n、V_n，转换公式如下：

步骤3：建立基于像素值时间序列聚类的背景模型，包括：

计算待检测像素与聚类中心的亮度距离和色差距离；

确定阈值；

寻找与待检测像素匹配的聚类中心；

若存在匹配的聚类中心，则将待检测像素归为聚类中心代表的类别，并更新聚类中心；若不存在匹配的聚类中心或聚类中心集合为空集，则创建一个新的聚类中心，同时更新其他聚类中心；

对背景建模周期内的视频帧重复执行上述步骤；

滤除最大连续未获匹配时间长度超过阈值的聚类中心，得到聚类中心集合的背景模型，背景模型建立阶段结束，转到步骤4；

步骤4：前景检测阶段，包括：

在背景模型中寻找与待检测像素匹配的聚类中心；

若存在匹配的聚类中心，则视待检测像素为背景，并更新背景模型；

若不存在匹配的聚类中心，则视待检测像素为前景；

对前景检测周期内的视频帧重复执行上述步骤；

前景检测阶段结束，转到步骤3。

2.如权利要求1所述的一种视频图像目标的智能化分割方法，其特征在于：

所述步骤3，具体包括：

参数初始化：n＝1，L＝0，其中L表示背景模型中聚类中心的数目，对帧号从1到T₁f的每一帧图像进行以下循环操作：

(i)计算亮度距离和色差距离；

亮度距离为：YUV空间中的两像素色差距离等于一个像素到过另一个像素且与Y轴平行的直线的垂线段的长度；

色差距离为：YUV空间中的两像素亮度距离等于它们的亮度分量的比值与1的差的绝对值；

设待检测像素x_m与背景模型聚类中心c_i的连线与Y轴平行，则它们的U、V分量分别相等，亮度距离f₁为：

色差距离f₂为：

f₂(x_m,c_i)＝0 (3)

待检测像素x'_m与聚类中心c_i的亮度距离f₁为：

色差距离f₂为：

(ii)确定阈值：

选取固定摄像机在一个时间段内的监控视频，并从视频图像中选取固定的三个像素位置A、B、C作为采样点，每5分钟记录一次各采样点的像素值并转换到YUV空间；设采样点A的像素值序列为(Y_j,U_j,V_j),j＝1,2,…,M，聚类中心的像素值为

通过求极值方式求解公式(6)、(7)，即可确定采样点A的聚类中心

A点处亮度距离阈值的计算公式为：

A点处色差距离阈值的计算公式为：

同理，可根据采样点B、C的像素值序列计算采样点B、C处的亮度阈值和色差阈值d_1B、d_2B、d_1C、d_2C；进一步，得到亮度距离阈值d₁和色差距离阈值d₂：

(iii)寻找与x_n匹配的聚类中心；匹配条件如公式(12)所示；在聚类中心集合C_n-1＝{c_i|i＝1,2,…,L}中，聚类中心c_i的亮度为

色差分量为

和

当环境光照发生变化时，像素值在经过背景模型聚类中心c_i且与Y轴近似平行的直线上移动；若检测到像素值与c_i的亮度距离小于阈值d₁，则判断此像素为背景像素；判断像素值是否位于过c_i且与Y轴近似平行的直线上的条件是它们的色差距离是否小于阈值d₂；当c_i确定后，通过与之匹配而判断为背景像素的待检测像素的集合构成一个半径为d₂、高度为2d₁、中心为c_i的圆柱体；

(iv)若存在匹配的聚类中心c_i，则将x_n归为第i类背景像素，并更新c_i：

其中，α、β分别为亮度分量和色差分量的学习速率；同时更新其它未获得匹配的聚类中心c_j：τ_jc←τ_jc+1，τ_jh←max{τ_jh,τ_jc}，1≤j≤L且j≠i；τ_jc表示包含当前帧在内的最近一段未获匹配图像序列的帧数，τ_jh表示整个背景建模周期T₁内所有未获匹配图像序列的帧数的最大值；设某像素在周期T₁内共有m段未获匹配图像序列，各段序列的帧数分别为(τ_jc)_j，则：

(v)若不存在匹配的聚类中心或

则L←L+1，创建一个新的聚类中心c_L＝x_n，τ_Lh←n-1，τ_Lc←0；同时更新其他聚类中心c_j：τ_jc←τ_jc+1，τ_jh←max{τ_jh,τ_jc}，1≤j≤L-1；

利用公式(15)滤除那些最大连续未获匹配时间长度超过阈值d₃的聚类中心，背景建模阶段结束，得到聚类中心集合C_n的背景模型，

C_n←{c_i|c_i∈C_n,τ_ih＜d₃} (15)

其中，阈值d₃是根据实验数据确定的；设采样点A的背景模型为C_A，聚类中心数目为L_A，各聚类中心的最大连续未获匹配时间长度为τ_i,i＝1,2,…,L_A，其最大值为：

在时间段T₁f内从采样点A多次经过，时间随机，得到采样点A的背景模型C'_A，聚类中心数目为L'_A，各聚类中心的最大连续未获匹配时间长度为τ'_i,i＝1,2,…,L'_A，则最大连续未获匹配时间长度的阈值为：

同理，可根据采样点B、C的像素值序列计算采样点B、C处的最大连续未获匹配时间长度的阈值d_3B、d_3C，则：

由于随机因素的影响导致多次实验计算得到的d₃取值不尽相同，也可按照经验将d₃的值设置为背景建模阶段帧数的一半，即：

背景模型建立阶段结束，转到步骤4的前景检测阶段。

3.如权利要求2所述的一种视频图像目标的智能化分割方法，其特征在于：

所述步骤4，具体包括：

对帧号从T₁f到(T₁+T₂)f的每一帧图像进行以下循环操作：

(i)在背景模型C_n-1＝{c_i|i＝1,2,…,L}中寻找与待检测像素x_n匹配的聚类中心，匹配条件为：

其中，d₄表示亮度距离阈值，d₅表示色差距离阈值；检测阶段的亮度距离阈值、色差距离阈值可以和建模阶段的取值不同，即允许d₄≠d₁、d₅≠d₂；

(ii)若存在匹配的聚类中心c_i，则视x_n为背景，并更新背景模型：

(iii)若不存在匹配的聚类中心，则视x_n为前景；

前景检测阶段结束，转到步骤3的背景模型建立阶段。

Images