CN102194232B - 一种分层引导的视频图像目标分割方法 - Google Patents

一种分层引导的视频图像目标分割方法 Download PDF

Info

Publication number
CN102194232B
CN102194232B CN201110132380A CN201110132380A CN102194232B CN 102194232 B CN102194232 B CN 102194232B CN 201110132380 A CN201110132380 A CN 201110132380A CN 201110132380 A CN201110132380 A CN 201110132380A CN 102194232 B CN102194232 B CN 102194232B
Authority
CN
China
Prior art keywords
value
pixel
image
mark
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110132380A
Other languages
English (en)
Other versions
CN102194232A (zh
Inventor
蔺广逢
朱虹
范彩霞
范引娣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201110132380A priority Critical patent/CN102194232B/zh
Publication of CN102194232A publication Critical patent/CN102194232A/zh
Application granted granted Critical
Publication of CN102194232B publication Critical patent/CN102194232B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种分层引导的视频图像目标分割方法,包括以下步骤:图像帧预处理;获得初始分割标记;获得修补欠分割后的分割标记;获得先验分割标记修正后的分割标记;融合修补欠分割后的分割标记和先验分割标记修正后的分割标记,得到最终的分割标记。本发明解决了现有技术中,在存在目标和背景交互的视频监控环境下,当目标和背景相似时,不能较完整的提取目标的问题。

Description

一种分层引导的视频图像目标分割方法
技术领域
本发明属于视频监控图像处理技术领域,涉及一种分层引导的视频图像目标分割方法。
背景技术
近年来,基于内容分析的智能监控系统的应用越来越多,要智能分析和识别目标在视域中的行为,视频图像目标分割是要解决的首要问题,因为目标的随机性与多样性,会出现一些目标与背景相似的情形。这种情况当前的方法无法较完整的提取出目标,有时会在目标的主要部分形成缺失,无法进行准确的行为分析与识别。
发明内容
本发明的目的是提供一种分层引导的视频图像目标分割方法,解决了现有技术中,在存在目标和背景交互的视频监控环境下,当目标和背景相似时,不能较完整的提取目标的问题。
本发明所采用的技术方案是,一种分层引导的视频图像目标分割方法,
具体步骤如下:
步骤1、图像帧预处理
步骤1a、设背景图像为Ib,当前帧图像为It,前一帧图像为It-1,采用多尺度的形态梯度算子,分别对背景图像Ib、当前帧图像It以及前一帧图像It-1进行处理,分别得到处理后的背景图像Jb、当前帧图像Jt和前一帧图像Jt-1
I p ( x , y ) &CirclePlus; B k = max 0 < i , j < 2 k + 1 [ I p ( x + i , y + j ) + B ( i , j ) ] , p = b , t , t - 1 - - - ( 1 ) ,
I p ( x , y ) &Theta; B k = min 0 < i , j < 2 k + 1 [ I p ( x + i , y + j ) - B ( i , j ) ] , p = b , t , t - 1 - - - ( 2 ) ,
J p ( x , y ) = 1 n &Sigma; k = 1 n [ ( ( I p ( x , y ) &CirclePlus; B k ) - ( I p ( x , y ) &Theta; B k ) ) &Theta; B k - 1 ] , p = b , t , t - 1 - - - ( 3 ) ,
其中,Jp(x,y)为采用多尺度的形态梯度算子处理后的图像在点(x,y)位置上的像素值,Ip(x,y)为采用多尺度的形态梯度算子处理前的原始图像在点(x,y)位置上的像素值,
Figure BDA0000063031310000024
为膨胀操作,Θ为腐蚀操作,Bk(0≤k≤n)为一组正方形的结构元素,Bk的大小为(2k+1)×(2k+1),Bk中各点的值取为1,n取值为2;
步骤1b、由步骤1中得到的背景图像Jb和当前帧图像Jt,求取背景差分图vt
Figure BDA0000063031310000025
其中,图像的分辨率为M×N;
S的计算方法为:
xn=λ·xn(modT)                           (5),
sn=xn/T                                   (6),
其中,λ=55,T=235-31,xn的值在(0,1)区间任意指定,sn的值赋予s;
步骤2、获得初始分割标记z1
步骤2a、由步骤1b的公式(4)得到的背景差分图vt,计算能量函数:
V xy ( m , n ) = 1 , | v t ( x , y ) - v t ( m , n ) | < &alpha; 0 , | v t ( x , y ) - v t ( m , n ) | > &alpha; - - - ( 7 ) ,
其中,vt(m,n)为背景差分图vt在像素点(x,y)的3×3邻域点(m,n)的值,Vxy(m,n)为像素点(x,y)的3×3邻域点(m,n)的势能值,α为帧内相似性度量因子,α取值为0.1;
步骤2b、计算分割标记z
z ( x , y ) = 1 , v t ( x , y ) &NotEqual; 0 0 , v t ( x , y ) = 0 , - - - ( 8 ) ,
步骤2c、计算图像RGB三通道的势能函数UR(z)、UG(z)和UB(z):
U p ( z ) = &Sigma; z ( x , y ) = 1 &Sigma; ( m , n ) &Element; N xy V xy ( m , n ) , p = R , G , B - - - ( 9 ) ,
其中,Nxy为像素点(x,y)的3×3邻域;
步骤2d、计算图像的能量值E1
E 1 = 1 2 &sigma; 2 &Sigma; x = 1 M &Sigma; y = 1 N &eta; 2 ( x , y ) + &lambda; R U R ( z ) + &lambda; G U G ( z ) + &lambda; B U B ( z ) - - - ( 10 ) ,
其中,η2(x,y)=(Jt(x,y)-Jt-1(x,y))2,图像的分辨率为M×N,σ为图像信号的方差,σ取值为1,λR,λG,λB为三个色彩分量的势能函数系数;
步骤2e、计算初始分割标记z1
z 10 = arg min z E 1 - - - ( 11 ) ,
Figure BDA0000063031310000035
f10=λRUR(z10)+λGUG(z10)+λBUB(z10),图像的分辨率为M×N;
步骤3、获得修补欠分割后的分割标记z23
步骤3a、计算分割标记z2
E 2 = 1 2 &sigma; 2 &Sigma; x = 1 M &Sigma; y = 1 N &eta; 2 ( x , y ) + &lambda; R U R ( z ) + &lambda; G U G ( z ) + &lambda; B U B ( z ) + U * ( z 1 ) - - - ( 13 ) ,
z 20 = arg min z E 2 - - - ( 14 ) ,
z20为优化分割标记,代入下式计算修补分割标记z2
Figure BDA0000063031310000038
其中,f20=λRUR(z20)+λGUG(z20)+λBUB(z20)+U*(z1),图像的分辨率为M×N,
U*(z1)是根据初始分割标记z1的二值图像信息计算:
U * ( z 1 ) = &Sigma; z 1 ( x , y ) = 1 &Sigma; ( m , n ) &Element; N xy V xy ( m , n ) - - - ( 16 ) ,
其中,
Vxy*(m,n)=V(x,y,m,n)+δ(x,y,m,n)             (17),
其中,Vxy*(m,n)为像素点(x,y)的3×3邻域点(m,n)的势能值,V(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的基准势能值,δ(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的运动信息一致性的表征,其两者计算公式如下:
V ( x , y , m , n ) = 1 , | z 1 ( x , y ) - z 1 ( m , n ) | < &alpha; 0 , | z 1 ( x , y ) - z 1 ( m , n ) | > &alpha; - - - ( 18 ) ,
&delta; ( x , y , m , n ) = 1 , | z 1 ( x , y ) - z 1 ( m , n ) | < &alpha; 1 , | z 1 ( x , y ) - z 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | &le; &beta; 0 , | z 1 ( x , y ) - z 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | > &beta; - - - ( 19 ) ,
其中,α=0.1,β=0,z1(m,n)为z1像素点在(x,y)的3×3邻域点(m,n)的值,z1(x,y)为z1像素点在(x,y)的值,It(m,n)为It像素点在(x,y)的3×3邻域点(m,n)的值,It(x,y)为It像素点在(x,y)的值;
步骤3b、对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值,z21(x,y)为对空洞和非闭合边缘处理的分割标记:
Figure BDA0000063031310000044
其中,z21(x,y,m,n)为z21(x,y)在3×3邻域像素点(m,n)的值;
步骤3c、对所有的连通域进行贴标签处理,areai为第i个连通域的面积。所监控目标的最小可能面积为ThO,将小于阈值ThO的连通域视为杂点进行去除,去除杂点的分割标记为z22(x,y):
z 22 = ( x , y ) { z 21 ( x . y ) | z 21 ( x . y ) &SubsetEqual; area i } , if area i &GreaterEqual; Th o 0 , if area i < Th o - - - ( 21 ) ;
步骤3d、边缘不平滑处理,获得修补欠分割后的分割标记z23
B * = 0 0 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 0 0 - - - ( 22 ) ,
z 23 = { x , y | B * xy &SubsetEqual; z 22 } - - - ( 23 ) ;
步骤4、获得先验分割标记修正后的分割标记z33
步骤4a、计算修正分割标记z3
E 3 = 1 2 &sigma; 2 &Sigma; x = 1 M &Sigma; y = 1 N &eta; 2 ( x , y ) + &lambda; R U R ( z ) + &lambda; G U G ( z ) + &lambda; B U B ( z ) + U * * ( z t - 1 ) - - - ( 24 ) ,
z 30 = arg min z E 3 - - - ( 25 ) ,
Figure BDA0000063031310000056
其中,f30=λRUR(z30)+λGUG(z30)+λBUB(z30)+U**(zt-1),图像的分辨率为M×N,t表示当前帧的序号,zt-1为上一帧的最终分割标记;
U**(zt-1)是根据初始分割标记zt-1的二值图像信息计算:
U * * ( z t - 1 ) = &Sigma; z t - 1 ( x , y ) = 1 &Sigma; ( m , n ) &Element; N xy V xy * * ( m , n ) - - - ( 27 ) ,
其中,
Vxy**(m,n)=V*(x,y,m,n)+δ*(x,y,m,n)      (28),
其中,V*(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的基准势能值,δ*(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的运动信息一致性的表征,其两者计算公式如下:
V * ( x , y , m , n ) = 1 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | < &alpha; 0 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | > &alpha; - - - ( 29 ) ,
&delta; * ( x , y , m , n ) = 1 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | < &alpha; 1 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | &le; &beta; 0 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | > &beta; - - - ( 30 ) ,
其中α=0.1,β=0,zt-1(m,n)为zt-1像素点在(x,y)的3×3邻域点(m,n)的值,zt-1(x,y)为zt-1像素点在(x,y)的值,It(m,n)为It像素点在(x,y)的3×3邻域点(m,n)的值,It(x,y)为It像素点在(x,y)的值;
步骤4b、对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值,z31(x,y)为对空洞和非闭合边缘处理的分割标记:
Figure BDA0000063031310000063
其中,z31(x,y,m,n)为z31(x,y)在3×3邻域像素点(m,n)的值;
步骤4c、对所有的连通域进行贴标签处理,将小于阈值ThO的连通域视为杂点进行去除,去除杂点的分割标记为z32(x,y):
z 32 = ( x , y ) { z 31 ( x . y ) | z 31 ( x . y ) &SubsetEqual; area i } , if area i &GreaterEqual; Th o 0 , if area i < Th o - - - ( 32 ) ;
步骤4d、边缘不平滑处理,获得先验分割标记修正后的分割标记z33
B * = 0 0 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 0 0 - - - ( 33 ) ,
z 33 = { x , y | B * xy &SubsetEqual; z 32 } - - - ( 34 ) ;
步骤5、融合修补欠分割后的分割标记z23和先验分割标记修正后的分割标记z33,得到最终的分割标记zt
zt=z23∩z33。                     (35)
步骤2d中,λR,λG,λB的具体计算方法为:在满足λRGB=1条件下:
&lambda; R = &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) ,
&lambda; G = &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) ,
&lambda; B = &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) ,
IR(x,y),IG(x,y),IB(x,y)分别为It的R、G、B三通道在像素点(x,y)的值。
步骤2e中,公式(11)的优化过程如下:
每次循环中,使用不同的S值取值,计算对应的图像的能量值E1,循环多次,保留最小的E1值,再根据此E1对应的z10计算出目标的分割标记z1
S的具体取值办法为:
在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(modT)                   (5)
sn=xn/T                           (6)
其中,λ=55,T=235-31。
步骤3a中,公式(14)的优化过程如下:
每次循环中,使用不同的S值取值,计算对应的图像的能量值E2,循环多次,保留最小的E2值,再根据此E2对应的z20计算出分割标记z2,S的具体取值办法为:
在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(modT)                (5)
sn=xn/T                        (6)
其中,λ=55,T=235-31。
步骤3c中,ThO=250。
步骤4a中,公式(25)的优化过程如下:
每次循环中,使用不同的S值取值,计算对应的图像的能量值E3,循环多次计算E3,保留最小的E3值,再根据此此E3对应的z30计算出分割标记z3,S的具体取值办法为:
在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(modT)                (5)
sn=xn/T                        (6)
其中,λ=55,T=235-31。
步骤4c中,ThO=250。
本发明的一种分层引导的视频图像目标分割方法,采用最大后验概率的估计框架,融合帧间信息和帧内信息,构建前两部分的能量函数,通过分层引导优化修补欠分割,通过先验分割优化修正分割目标,最后融合分割结果抑制目标的过分割,以实现在目标和背景相似时,完整提取目标。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明一种分层引导的视频图像目标分割方法,由三个处理部分组成:第一处理部分在利用图像帧空间信息取得初始分割标记后,对初始分割标记修补欠分割;第二处理部分利用上一帧的先验分割标记修正分割标记;第三处理部分通过融合前两部分的分割标记,抑制目标的过分割,获得最终的分割标记。具体步骤如下:
步骤1、图像帧预处理
步骤1a、设背景图像为Ib,当前帧图像为It,前一帧图像为It-1,采用多尺度的形态梯度算子,分别对背景图像Ib、当前帧图像It以及前一帧图像It-1进行处理,分别得到处理后的背景图像Jb、当前帧图像Jt和前一帧图像Jt-1
I p ( x , y ) &CirclePlus; B k = max 0 < i , j < 2 k + 1 [ I p ( x + i , y + j ) + B ( i , j ) ] , p = b , t , t - 1 - - - ( 1 )
I p ( x , y ) &Theta; B k = min 0 < i , j < 2 k + 1 [ I p ( x + i , y + j ) - B ( i , j ) ] , p = b , t , t - 1 - - - ( 2 )
J p ( x , y ) = 1 n &Sigma; k = 1 n [ ( ( I p ( x , y ) &CirclePlus; B k ) - ( I p ( x , y ) &Theta; B k ) ) &Theta; B k - 1 ] , p = b , t , t - 1 - - - ( 3 )
其中,Jp(x,y)为采用多尺度的形态梯度算子处理后的图像在点(x,y)位置上的像素值,Ip(x,y)为采用多尺度的形态梯度算子处理前的原始图像在点(x,y)位置上的像素值,
Figure BDA0000063031310000094
为膨胀操作,Θ为腐蚀操作,Bk(0≤k≤n)为一组正方形的结构元素,Bk的大小为(2k+1)×(2k+1),Bk中各点的值取为1,n取值为2。
步骤1b、由步骤1中得到的背景图像Jb和当前帧图像Jt,求取背景差分图vt
Figure BDA0000063031310000101
其中,图像的分辨率为M×N,vt(x,y)为vt在(x,y)的值;S为(0,1)区间的随机数,sn的值赋予S:
xn=λ·xn(modT)                  (5)
sn=xn/T                          (6)
其中,λ=55,T=235-31,xn的值在(0,1)区间任意指定;
步骤2、获得初始分割标记z1
步骤2a、由步骤1b的公式(4)得到的背景差分图vt,计算能量函数:
V xy ( m , n ) = 1 , | v t ( x , y ) - v t ( m , n ) | < &alpha; 0 , | v t ( x , y ) - v t ( m , n ) | > &alpha; - - - ( 7 )
其中,vt(m,n)为背景差分图vt在像素点(x,y)的3×3邻域点(m,n)的值,Vxy(m,n)为像素点(x,y)的3×3邻域点(m,n)的势能值,由于邻域过小不能取得像素相邻区域,过大容易与杂点粘连,故选取3×3的大小;α为帧内相似性度量因子,由于相似性的衡量离不开人眼观察的主观因素,而人眼分辨的灰度最小等级为30左右,所以α取值为0.1。
步骤2b、计算分割标记z
z ( x , y ) = 1 , v t ( x , y ) &NotEqual; 0 0 , v t ( x , y ) = 0 , - - - ( 8 )
其中,z(x,y)为分割标记z在像素点(x,y)的值。
步骤2c、计算图像RGB三通道的势能函数UR(z)、UG(z)和UB(z):
U p ( z ) = &Sigma; z ( x , y ) = 1 &Sigma; ( m , n ) &Element; N xy V xy ( m , n ) , p = R , G , B - - - ( 9 )
其中,Nxy为像素点(x,y)的3×3邻域。
步骤2d、计算图像的能量值E1
E 1 = 1 2 &sigma; 2 &Sigma; x = 1 M &Sigma; y = 1 N &eta; 2 ( x , y ) + &lambda; R U R ( z ) + &lambda; G U G ( z ) + &lambda; B U B ( z ) - - - ( 10 )
其中,UR(z)、UG(z)、UB(z)分别为由步骤2c计算得到的R、G、B三通道的势能函数,
η2(x,y)=(Jt(x,y)-Jt-1(x,y))2
图像的分辨率为M×N,σ为图像信号的方差,由于帧间图像相似,σ取值为1,
其中,λR,λG,λB为三个色彩分量的势能函数系数,其具体计算方法为:在满足λRGB=1条件下:
&lambda; R = &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) ,
&lambda; G = &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) ,
&lambda; B = &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) &Sigma; x = 1 M &Sigma; y = 1 N I R ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I G ( x , y ) + &Sigma; x = 1 M &Sigma; y = 1 N I B ( x , y ) ,
IR(x,y),IG(x,y),IB(x,y)分别为It的R、G、B三通道在像素点(x,y)的值。
步骤2e、计算优化得到的初始分割标记z1
z 10 = arg min z E 1 - - - ( 11 )
Figure BDA0000063031310000116
f10=λRUR(z10)+λGUG(z10)+λBUB(z10),图像的分辨率为M×N,
其中,公式(11)的优化过程如下:
每次循环中,使用不同的S值取值,根据步骤1b公式(4)计算背景差分图vt,再根据步骤2a公式(7)、步骤2b公式(8)、步骤2c公式(9)以及步骤2d公式(10)计算对应的图像的能量值E1,S的具体取值办法为:
其中,在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(modT)                     (5)
sn=xn/T                             (6)
其中,λ=55,T=235-31;
建议循环20次计算E1,保留最小的E1值,再根据此E1对应的z10计算出目标的分割标记z1
步骤3、获得修补欠分割后的分割标记z23
步骤3a、计算分割标记z2
E 2 = 1 2 &sigma; 2 &Sigma; x = 1 M &Sigma; y = 1 N &eta; 2 ( x , y ) + &lambda; R U R ( z ) + &lambda; G U G ( z ) + &lambda; B U B ( z ) + U * ( z 1 ) - - - ( 13 )
z 20 = arg min z E 2 - - - ( 14 )
z20为优化分割标记,代入下式计算修补分割标记z2
Figure BDA0000063031310000123
其中,f20=λRUR(z20)+λGUG(z20)+λBUB(z20)+U*(z1),图像的分辨率为M×N,E2和E1中的参数有一致的意义。
U*(z1)是根据初始分割标记z1的二值图像信息计算:
U * ( z 1 ) = &Sigma; z 1 ( x , y ) = 1 &Sigma; ( m , n ) &Element; N xy V xy ( m , n ) - - - ( 16 )
其中,
Vxy*(m,n)=V(x,y,m,n)+δ(x,y,m,n)           (17)
其中,Vxy*(m,n)为像素点(x,y)的3×3邻域点(m,n)的势能值,V(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的基准势能值,δ(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的运动信息一致性的表征,其两者计算公式如下:
V ( x , y , m , n ) = 1 , | z 1 ( x , y ) - z 1 ( m , n ) | < &alpha; 0 , | z 1 ( x , y ) - z 1 ( m , n ) | > &alpha; - - - ( 18 )
&delta; ( x , y , m , n ) = 1 , | z 1 ( x , y ) - z 1 ( m , n ) | < &alpha; 1 , | z 1 ( x , y ) - z 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | &le; &beta; 0 , | z 1 ( x , y ) - z 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | > &beta; - - - ( 19 )
其中,α=0.1,β=0。z1(m,n)为z1像素点在(x,y)的3×3邻域点(m,n)的值,z1(x,y)为z1像素点在(x,y)的值,It(m,n)为It像素点在(x,y)的3×3邻域点(m,n)的值,It(x,y)为It像素点在(x,y)的值。
β值衡量像素点与邻域点的实际偏差,判断像素点与邻域点的实际偏差,可以弥补由于差分造成的相似区域的缺失。
其中,公式(14)的优化过程如下:
每次循环中,使用不同的S值取值,根据步骤1b公式(4)计算背景差分图vt,再根据步骤2a公式(7)、步骤2b公式(8)、步骤2c公式(9)以及步骤3a公式(13)和公式(16)计算对应的图像的能量值E2,S的具体取值办法为:
其中,在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(modT)                   (5)
sn=xn/T                           (6)
其中,λ=55,T=235-31;
建议循环20次计算E2,保留最小的E2值,再根据此E2对应的z20计算出分割标记z2
步骤3b、由于得到的分割标记z2存在空洞、非闭合边缘、杂点和边缘不平滑的问题,需要对其进行以下的处理。
对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值:
其中,z21(x,y,m,n)为z21(x,y)在3×3邻域像素点(m,n)的值,z21(x,y)的初值等于z2(x,y),经过式(20)计算后的z21(x,y)为对空洞和非闭合边缘处理的分割标记。
步骤3c、对所有的连通域进行贴标签处理,areai为第i个连通域的面积。所监控目标的最小可能面积为ThO,将小于阈值ThO=250(此值根据具体视频中的目标大小确定)的连通域视为杂点进行去除,去除杂点的分割标记为z22(x,y):
z 22 = ( x , y ) { z 21 ( x . y ) | z 21 ( x . y ) &SubsetEqual; area i } , if area i &GreaterEqual; Th o 0 , if area i < Th o - - - ( 21 )
步骤3d、边缘不平滑根据半径大小为5的圆盘结构元素B*进行形态学方法处理,其中,B*的半径大小为式(1)中的最大结构元素的大小,B*为:
B * = 0 0 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 0 0 - - - ( 22 )
z 23 = { x , y | B * xy &SubsetEqual; z 22 } - - - ( 23 )
式(21)定义了z22每个像素点在(x,y)的值,在像素点(x,y)的B*为B*xy,获得修补欠分割后的分割标记z23
步骤4、获得先验分割标记修正后的分割标记z33
步骤4a、计算修正分割标记z3
E 3 = 1 2 &sigma; 2 &Sigma; x = 1 M &Sigma; y = 1 N &eta; 2 ( x , y ) + &lambda; R U R ( z ) + &lambda; G U G ( z ) + &lambda; B U B ( z ) + U * * ( z t - 1 ) - - - ( 24 )
z 30 = arg min z E 3 - - - ( 25 )
z30为优化分割标记,代入下式计算修正分割标记z3
Figure BDA0000063031310000155
其中,f30=λRUR(z30)+λGUG(z30)+λBUB(z30)+U**(zt-1),f30(x,y)为f30在像素点(x,y)的值,z3(x,y)为z3在像素点(x,y)的值,图像的分辨率为M×N,E3和E1中的参数有一致的意义。zt-1(t表示当前帧的序号)为上一帧的最终分割标记。
U**(zt-1)是根据初始分割标记zt-1的二值图像信息计算:
U * * ( z t - 1 ) = &Sigma; z t - 1 ( x , y ) = 1 &Sigma; ( m , n ) &Element; N xy V xy * * ( m , n ) , - - - ( 27 )
其中,
Vxy**(m,n)=V*(x,y,m,n)+δ*(x,y,m,n)            (28)
其中,V*(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的基准势能值,δ*(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的运动信息一致性的表征,其两者计算公式如下:
V * ( x , y , m , n ) = 1 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | < &alpha; 0 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | > &alpha; - - - ( 29 )
&delta; * ( x , y , m , n ) = 1 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | < &alpha; 1 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | &le; &beta; 0 , | z t - 1 ( x , y ) - z t - 1 ( m , n ) | > &alpha; and | I t ( x , y ) - I t ( m , n ) | > &beta; - - - ( 30 )
其中α=0.1,β=0。zt-1(m,n)为zt-1像素点在(x,y)的3×3邻域点(m,n)的值,zt-1(x,y)为zt-1像素点在(x,y)的值,It(m,n)为It像素点在(x,y)的3×3邻域点(m,n)的值,It(x,y)为It像素点在(x,y)的值。
其中,公式(25)的优化过程如下:
每次循环中,使用不同的S值取值,根据步骤1b公式(4)计算背景差分图vt,再根据步骤2a公式(7)和公式(8)、步骤2c公式(9)以及步骤3a公式(24)和公式(27)计算对应的图像的能量值E3,S的具体取值办法为:
在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(modT)                  (5)
sn=xn/T                          (6)
其中,λ=55,T=235-31;
建议循环20次计算E3,保留最小的E3值,与此E3对应的z30计算出分割标记z3
步骤4b、由于得到的分割标记z3存在空洞、非闭合边缘、杂点和边缘不平滑的问题,需要对其进行后处理。
对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值:
Figure BDA0000063031310000171
其中,z31(x,y,m,n)为z31(x,y)在3×3邻域像素点(m,n)的值,z31(x,y)的初值等于z3(x,y),经过式(31)计算后的z31(x,y)为对空洞和非闭合边缘处理的分割标记。
步骤4c、对所有的连通域进行贴标签处理,areai为第i个连通域的面积。所监控目标的最小可能面积为ThO,将小于阈值ThO=250(此值根据具体视频中的目标大小确定)的连通域视为杂点进行去除,去除杂点的分割标记为z32(x,y):
z 32 = ( x , y ) { z 31 ( x . y ) | z 31 ( x . y ) &SubsetEqual; area i } , if area i &GreaterEqual; Th o 0 , if area i < Th o - - - ( 32 )
步骤4d、边缘不平滑根据半径大小为5的圆盘结构元素B*进行形态学方法处理,其中,B*的半径大小为式(1)中的最大结构元素的大小,B*为:
B * = 0 0 1 1 1 1 1 0 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 0 1 1 1 1 1 0 0 - - - ( 33 )
z 33 = { x , y | B * xy &SubsetEqual; z 32 } - - - ( 34 )
式(32)定义了z32每个像素点在(x,y)的值,在像素点(x,y)的B*为B*xy。获得先验分割标记修正后的分割标记z33
步骤5、修补欠分割后的分割标记z23和先验分割标记修正后的分割标记z33,得到最终的分割标记zt
由于修补欠分割后的分割标记z23可能出现过修补的分割结果,而由于相邻两帧目标形状变化大时会导致形状引导的先验分割标记修正后的分割标记z33有偏差,因此通过融合两部分的分割标记一定程度可以抑制这两种情形的发生。最终的分割标记zt如下式所示。
zt=z23∩z33                          (35)

Claims (7)

1.一种分层引导的视频图像目标分割方法,其特征在于,具体步骤如下:
步骤1、图像帧预处理
步骤1a、设背景图像为Ib,当前帧图像为It,前一帧图像为It-1,采用多尺度的形态梯度算子,分别对背景图像Ib、当前帧图像It以及前一帧图像It-1进行处理,分别得到处理后的背景图像Jb、当前帧图像Jt和前一帧图像Jt-1
Figure FDA0000154684910000012
Figure FDA0000154684910000013
其中,Jp(x,y)为采用多尺度的形态梯度算子处理后的图像在点(x,y)位置上的像素值,Ip(x,y)为采用多尺度的形态梯度算子处理前的原始图像在点(x,y)位置上的像素值, 为膨胀操作,Θ为腐蚀操作,Bk,0≤k≤n,为一组正方形的结构元素,Bk的大小为(2k+1)×(2k+1),Bk中各点的值取为1,n取值为2;
步骤1b、由步骤1a中得到的背景图像Jb和当前帧图像Jt,求取背景差分图vt
Figure FDA0000154684910000015
其中,图像的分辨率为M×N;
S的计算方法为:
xn=λ·xn(modT)    (5), 
sn=xn/T    (6),
其中,λ=55,T=235-31,xn的值在(0,1)区间任意指定,sn的值赋予S;
步骤2、获得初始分割标记z1
步骤2a、由步骤1b的公式(4)得到的背景差分图vt,计算能量函数:
Figure FDA0000154684910000021
其中,vt(m,n)为背景差分图vt在像素点(x,y)的3×3邻域点(m,n)的值,Vxy(m,n)为像素点(x,y)的3×3邻域点(m,n)的势能值,α为帧内相似性度量因子,α取值为0.1;
步骤2b、计算分割标记z
Figure FDA0000154684910000022
步骤2c、计算图像RGB三通道的势能函数UR(z)、UG(z)和UB(z):
Figure FDA0000154684910000023
其中,Nxy为像素点(x,y)的3×3邻域;
步骤2d、计算图像的能量值E1
Figure FDA0000154684910000024
其中,η2(x,y)=(Jt(x,y)-Jt-1(x,y))2,图像的分辨率为M×N,σ为图像信号的方差,σ取值为1,λR,λG,λB为三个色彩分量的势能函数系数;
步骤2e、计算初始分割标记z1
Figure FDA0000154684910000025
Figure FDA0000154684910000031
f10=λRUR(z10)+λGUG(z10)+λBUB(z10),图像的分辨率为M×N;
步骤3、获得修补欠分割后的分割标记z23
步骤3a、计算分割标记z2
Figure FDA0000154684910000032
Figure FDA0000154684910000033
z20为优化分割标记,代入下式计算修补分割标记z2
Figure FDA0000154684910000034
其中,f20=λRUR(z20)+λGUG(z20)+λBUB(z20)+U*(z1),图像的分辨率为M×N,
U*(z1)是根据初始分割标记z1的二值图像信息计算:
Figure FDA0000154684910000035
其中,
Vxy*(m,n)=V(x,y,m,n)+δ(x,y,m,n)    (17),
其中,Vxy*(m,n)为像素点(x,y)的3×3邻域点(m,n)的势能值,V(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的基准势能值,δ(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的运动信息一致性的表征,其两者计算公式如下:
Figure FDA0000154684910000036
Figure FDA0000154684910000037
其中,α=0.1,β=0,z1(m,n)为z1像素点在(x,y)的3×3邻域点(m,n)的值,z1(x,y)为z1像素点在(x,y)的值,It(m,n)为It像素点在(x,y)的3×3邻域点(m,n)的值,It(x,y)为It像素点在(x,y)的值;
步骤3b、对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值,z21(x,y)为对空洞和非闭合边缘处理的分割标记:
Figure FDA0000154684910000041
其中,z21(x,y,m,n)为z21(x,y)在3×3邻域像素点(m,n)的值;
步骤3c、对所有的连通域进行贴标签处理,areai为第i个连通域的面积,所监控目标的最小可能面积为ThO,将小于阈值ThO的连通域视为杂点进行去除,去除杂点的分割标记为z22(x,y):
Figure FDA0000154684910000042
步骤3d、边缘不平滑处理,获得修补欠分割后的分割标记z23
Figure FDA0000154684910000043
Figure FDA0000154684910000044
步骤4、获得先验分割标记修正后的分割标记z33
步骤4a、计算修正分割标记z3
Figure FDA0000154684910000045
Figure FDA0000154684910000046
Figure FDA0000154684910000051
其中,f30=λRUR(z30)+λGUG(z30)+λBUB(z30)+U**(zt-1),图像的分辨率为M×N,t表示当前帧的序号,zt-1为上一帧的最终分割标记;
U**(zt-1)是根据初始分割标记zt-1的二值图像信息计算:
Figure FDA0000154684910000052
其中,
Vxy**(m,n)=V*(x,y,m,n)+δ*(x,y,m,n)    (28),
其中,V*(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的基准势能值,δ*(x,y,m,n)为像素点(x,y)的3×3邻域点(m,n)的运动信息一致性的表征,其两者计算公式如下:
Figure FDA0000154684910000053
Figure FDA0000154684910000054
其中α=0.1,β=0,zt-1(m,n)为zt-1像素点在(x,y)的3×3邻域点(m,n)的值,zt-1(x,y)为zt-1像素点在(x,y)的值,It(m,n)为It像素点在(x,y)的3×3邻域点(m,n)的值,It(x,y)为It像素点在(x,y)的值;
步骤4b、对空洞和非闭合边缘用使像素的3×3邻域像素填充为与像素相同的值,z31(x,y)为对空洞和非闭合边缘处理的分割标记:
Figure FDA0000154684910000055
其中,z31(x,y,m,n)为z31(x,y)在3×3邻域像素点(m,n)的值;
步骤4c、对所有的连通域进行贴标签处理,将小于阈值ThO的连通域视 为杂点进行去除,去除杂点的分割标记为z32(x,y):
Figure FDA0000154684910000061
步骤4d、边缘不平滑处理,获得先验分割标记修正后的分割标记z33
Figure FDA0000154684910000062
步骤5、融合修补欠分割后的分割标记z23和先验分割标记修正后的分割标记z33,得到最终的分割标记zt
zt=z23∩z33                   (35) 。
2.按照权利要求1所述的分层引导的视频图像目标分割方法,其特征在于,步骤2d中,λR,λG,λB的具体计算方法为:在满足λRGB=1条件下:
Figure FDA0000154684910000065
Figure FDA0000154684910000066
Figure FDA0000154684910000067
IR(x,y),IG(x,y),IB(x,y)分别为It的R、G、B三通道在像素点(x,y)的 值。
3.按照权利要求1所述的分层引导的视频图像目标分割方法,其特征在于,步骤2e中,公式(11)的优化过程如下:
每次循环中,使用不同的S值取值,计算对应的图像的能量值E1,循环多次,保留最小的E1值,再根据此E1对应的z10计算出目标的分割标记Z1
S的具体取值办法为:
在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(mod T)    (5)
sn=xn/T             (6)
其中,λ=55,T=235-31。
4.按照权利要求1所述的分层引导的视频图像目标分割方法,其特征在于,步骤3a中,公式(14)的优化过程如下:
每次循环中,使用不同的S值取值,计算对应的图像的能量值E2,循环多次,保留最小的E2值,再根据此E2对应的z20计算出分割标记z2,S的具体取值办法为:
在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(mod T)    (5)
sn=xn/T             (6)
其中,λ=55,T=235-31。
5.按照权利要求1所述的分层引导的视频图像目标分割方法,其特征在于,步骤3c中,ThO=250。 
6.按照权利要求1所述的分层引导的视频图像目标分割方法,其特征在于,步骤4a中,公式(25)的优化过程如下:
每次循环中,使用不同的S值取值,计算对应的图像的能量值E3,循环多次计算E3,保留最小的E3值,再根据此此E3对应的z30计算出分割标记z3,S的具体取值办法为:
在(0,1)区间任意指定xn的初值,并将公式(5)得到每次迭代的xn代入公式(6),产生的sn为S每次循环的取值:
xn=λ·xn(mod T)      (5)
sn=xn/T               (6)
其中,λ=55,T=235-31。
7.按照权利要求1所述的分层引导的视频图像目标分割方法,其特征在于,步骤4c中,ThO=250。 
CN201110132380A 2011-05-23 2011-05-23 一种分层引导的视频图像目标分割方法 Expired - Fee Related CN102194232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110132380A CN102194232B (zh) 2011-05-23 2011-05-23 一种分层引导的视频图像目标分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110132380A CN102194232B (zh) 2011-05-23 2011-05-23 一种分层引导的视频图像目标分割方法

Publications (2)

Publication Number Publication Date
CN102194232A CN102194232A (zh) 2011-09-21
CN102194232B true CN102194232B (zh) 2012-08-29

Family

ID=44602247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110132380A Expired - Fee Related CN102194232B (zh) 2011-05-23 2011-05-23 一种分层引导的视频图像目标分割方法

Country Status (1)

Country Link
CN (1) CN102194232B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408577B (zh) * 2016-09-21 2019-12-31 安徽慧视金瞳科技有限公司 一种用于投影交互系统的连续帧连通域并行标记方法
CN110245567B (zh) * 2019-05-16 2023-04-07 达闼机器人股份有限公司 避障方法、装置、存储介质及电子设备
CN110910398B (zh) * 2019-10-28 2021-07-20 衢州学院 一种基于决策层融合的视频复杂场景区域分割方法和装置
CN111223114B (zh) * 2020-01-09 2020-10-30 北京达佳互联信息技术有限公司 一种图像区域的分割方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231694A (zh) * 2008-02-21 2008-07-30 南京中兴特种软件有限责任公司 基于多个高斯分布的运动目标分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231694A (zh) * 2008-02-21 2008-07-30 南京中兴特种软件有限责任公司 基于多个高斯分布的运动目标分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
范引娣.视频多目标遮挡中人体目标跟踪.《西安文理学院学报:自然科学版》.2009,第12卷(第1期),全文. *
蔺广逢 等.基于功率谱密度的人体运动状态检测.《计算机应用》.2008,第28卷(第5期),全文. *
蔺广逢 等.智能视频监控中的人体检测与识别.《计算机应用》.2007,第27卷全文. *
邓颖娜 等.基于姿态模型的人群目标分割方法.《计算机工程》.2010,第36卷(第7期),全文. *
邓颖娜 等.联合人体模型与块生长的人群目标分割.《电子与信息学报》.2010,第32卷(第3期),全文. *

Also Published As

Publication number Publication date
CN102194232A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
Gosala et al. Bird’s-eye-view panoptic segmentation using monocular frontal view images
CN111428765B (zh) 一种基于全局卷积、局部深度卷积融合的目标检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN103383776B (zh) 一种基于分段匹配和贝叶斯估计的递进式立体匹配算法
CN105023256B (zh) 一种图像去雾方法及系统
CN110189339A (zh) 深度图辅助的主动轮廓抠图方法及系统
CN102194232B (zh) 一种分层引导的视频图像目标分割方法
CN105069751A (zh) 一种深度图像缺失数据的插值方法
CN102420985B (zh) 一种多视点视频对象提取方法
CN104463870A (zh) 一种图像显著区域检测方法
CN102663400A (zh) 一种结合预处理的lbp特征提取方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN103473743A (zh) 一种获取图像深度信息的方法
CN113370977A (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
CN103955945A (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN102982544A (zh) 多前景目标图像交互式分割方法
CN101765019A (zh) 一种用于运动模糊和光照变化图像的立体匹配方法
CN102740096A (zh) 一种基于时空结合的动态场景立体视频匹配方法
CN102799646A (zh) 一种面向多视点视频的语义对象分割方法
CN103116890B (zh) 一种基于视频图像的智能搜索匹配方法
CN105118051A (zh) 一种应用于静态图像人体分割的显著性检测方法
CN103413332B (zh) 基于两通道纹理分割主动轮廓模型的图像分割方法
CN116883433B (zh) 一种光伏组件表面温度分布实时监测系统
CN102270338B (zh) 基于改进图表示的重复物体有效分割方法
CN104504692A (zh) 基于区域对比度的图像中显著对象的提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120829

Termination date: 20150523

EXPY Termination of patent right or utility model