CN102136148B - 基于像素序列形态的适应性背景重构方法 - Google Patents

基于像素序列形态的适应性背景重构方法 Download PDF

Info

Publication number
CN102136148B
CN102136148B CN2011100723327A CN201110072332A CN102136148B CN 102136148 B CN102136148 B CN 102136148B CN 2011100723327 A CN2011100723327 A CN 2011100723327A CN 201110072332 A CN201110072332 A CN 201110072332A CN 102136148 B CN102136148 B CN 102136148B
Authority
CN
China
Prior art keywords
pixel
background
sequence
pixel value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2011100723327A
Other languages
English (en)
Other versions
CN102136148A (zh
Inventor
余春艳
吴立峤
李建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN2011100723327A priority Critical patent/CN102136148B/zh
Publication of CN102136148A publication Critical patent/CN102136148A/zh
Application granted granted Critical
Publication of CN102136148B publication Critical patent/CN102136148B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于像素序列形态的适应性背景重构方法，将时间维度上的像素序列形态用于指导背景图像的提取和更新。本发明提取像素序列形态特征，不同形态适用独立的背景提取策略、背景更新时刻和背景更新策略，使得本发明方法不仅可以提取常规背景，还可以就周期形态的像素序列提取周期性背景。该算法无需对视频场景中的背景和运动目标建立模型，直接从一组含有运动前景的视频图像中重构背景，有效的避免了混合现象，提高了背景提取的准确性、背景更新的有效性和背景重构的实时性。

Description

基于像素序列形态的适应性背景重构方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于像素序列形态的适应性背景重构方法。
背景技术
背景重构是视频图像处理领域的支撑性工作之一，涉及背景提取和背景更新两大基本问题。国内外已经在背景提取和背景更新方面做了大量的研究工作，形成了不少经典的算法。最为经典的背景重构算法为基于时间轴的滤波方法，从过去一组观测图像中按照一定的规则构建背景图像。以均值滤波法为例，将一段时间内视频图像序列的求和后平均，构建一帧近似的背景图像幀，并完成后续背景更新，计算简单，但是计算过程混杂了大量的前景像素，受前景干扰严重，背景提取和更新的效果依赖于使用的图像幀数，存储空间耗费较大，背景更新速度较缓慢。与此类似的方法还包括中值滤波法、众数滤波法、连续幀差法等。此外，还有一类背景重构算法首先建立背景模型，随后调整模型参数以便获取背景图像，比如高斯分布模型、混合高斯分布模型、Kalman滤波法等，这一类方法对于光照变化适应性良好，但是运算复杂，实时性能不佳，高斯分布模型对于运动物体长期静止的状况无法有效更新背景。总体而言，目前主流的背景重构算法在背景提取的准确性、背景更新的有效性和背景重构的实时性、背景场景的适应性上存在较大差异。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于像素序列形态的适应性背景重构方法，该适应性背景重构方法适用范围广，提高了背景提取的准确性、背景更新的有效性和背景重构的实时性。
本发明采用的技术方案是：一种基于像素序列形态的适应性背景重构方法，其特征在于：包括以下步骤：
（1）从待处理的视频中抽取一组连续的图像序列(I0,I1,I2,…,In)，Ii(x,y)表示第Ii帧图像中像素点(x,y)的像素值，即像素(x,y)对应一个长度为n+1的像素值序列P(x,y)={ I0(x,y), I1(x,y),…,In(x,y)}；
（2）根据选定的图像序列，计算像素(x,y)在所述图像序列(I0,I1,I2,…,In)中的形态序列M(x,y)，所述M(x,y)定义为：
M(x,y)={mi(x,y), 1≤i<n}
其中：mi(x,y)表示像素(x,y)在i时刻下的邻近变化形态，其定义为：
Figure 2011100723327100002DEST_PATH_IMAGE002
其中，△i(x,y)表示像素(x,y)的像素值在i时刻下相较于前一邻近时刻的变化值，其计算公式为：△i(x,y)=Ii(x,y)－Ii-1(x,y) (1≤i≤n)；e为判断像素值是否发生剧烈变化的阈值；括号表示对该括号中的值向下取整；
（3）判断像素(x,y)的形态序列特征：若对于任一满足
Figure DEST_PATH_IMAGE008
 (
Figure DEST_PATH_IMAGE010
) ，则判断像素(x,y)具有平缓形态；若存在一个极大值k（1<k≤n/2），使得对于所有
Figure DEST_PATH_IMAGE012
，满足
Figure DEST_PATH_IMAGE014
，则判断像素(x,y)具有周期形态；若形态序列M(x,y)满足以下A和B两个条件：
A、存在i(
Figure 701855DEST_PATH_IMAGE010
)，使得
Figure DEST_PATH_IMAGE018
 (
Figure 556678DEST_PATH_IMAGE006
)；
B、对于任何一个k（1<k≤n/2），总能找到一个i（
Figure 772634DEST_PATH_IMAGE012
），使得
Figure DEST_PATH_IMAGE020
则判断像素(x,y)具有混沌形态；
（4）根据步骤（3）得到的形态特征选用相应的背景提取策略提取背景像素值：若像素(x,y)具有平缓形态，则采用平缓形态背景提取策略；若像素(x,y)具有混沌形态，则采用混沌形态背景提取策略；若像素(x,y)具有周期形态，则采用周期形态背景提取策略；
（5）进行像素序列形态自适应背景更新：
定义t时刻下像素(x,y)像素值与背景像素值的差值distI，BF(x,y,t)，其表达式为：
distI，BF(x,y,t)=|It(x,y)-BF(x,y)|
其中，BF(x,y)表示像素点(x,y)背景像素值，It(x,y)表示t时刻下像素(x,y)的像素值；
计算像素(x,y)从t-2时刻至t-1时刻、从t-1时刻至t时刻相邻两帧像素值的差值，分别记为△t-1(x,y)、△t+1(x,y)；
若同时满足distI，BF(x,y,t-1)<e、distI，BF(x,y,t-2)<e、|△t-2(x,y)|<e和|△t-1(x,y)|<e，采用渐进性背景更新策略进行背景更新；
若distI，BF(x,y,t-1)<e、distI，BF(x,y,t-2)<e、|△t-2(x,y)|<e和|△t-1(x,y)|<e，则进一步考察突变后像素值序列形态变化以确定是否发生背景突变，若突变后的像素值序列形态仍呈现剧烈变化，无需背景更新，若突变后的像素值序列形态呈现平缓态势，则判定该背景像素发生了背景突变，此时采用突变性背景更新策略进行背景更新。
本发明的有益效果是克服了现有主流背景重构算法各自存在的不足，无需对视频场景中的背景和运动目标建立模型，直接从一组含有运动前景的视频图像中重构背景，较为有效地避免前景运动目标混入到背景图像中而产生的混合现象，同时适合像素序列形态变化特征完成背景像素的适应性更新。该算法适用于多种复杂场景，不但可用于常规场景的背景提取，还适合于提取周期性背景，同时背景提取的准确性、背景更新的有效性和背景重构的实时性均令人满意。
附图说明
图1是本发明实施例的工作流程图。
具体实施方式
本发明基于像素序列形态的适应性背景重构方法，如图1所示，包括以下步骤：
（1）从待处理的视频中抽取一组连续的图像序列(I0,I1,I2,…,In)，Ii(x,y)表示第Ii帧图像中像素点(x,y)的像素值，即像素(x,y)对应一个长度为n+1的像素值序列P(x,y)={ I0(x,y), I1(x,y),…,In(x,y)}；
（2）根据选定的图像序列，计算像素(x,y)在所述图像序列(I0,I1,I2,…,In)中的形态序列M(x,y)，所述M(x,y)定义为：
M(x,y)={mi(x,y), 1≤i<n}
其中：mi(x,y)表示像素(x,y)在i时刻下的邻近变化形态，其定义为：
Figure 105526DEST_PATH_IMAGE002
其中，△i(x,y)表示像素(x,y)的像素值在i时刻下相较于前一邻近时刻的变化值，其计算公式为：△i(x,y)=Ii(x,y)－Ii-1(x,y) (1≤i≤n)；e为判断像素值是否发生剧烈变化的阈值；括号
Figure 919898DEST_PATH_IMAGE004
表示对该括号中的值向下取整；
（3）判断像素(x,y)的形态序列特征：若对于任一
Figure 680044DEST_PATH_IMAGE006
满足
Figure 884760DEST_PATH_IMAGE008
 (
Figure 83661DEST_PATH_IMAGE010
) ，则判断像素(x,y)具有平缓形态；若存在一个极大值k（1<k≤n/2），使得对于所有
Figure 191687DEST_PATH_IMAGE012
，满足
Figure 122734DEST_PATH_IMAGE014
，则判断像素(x,y)具有周期形态；若形态序列M(x,y)满足以下A和B两个条件：
A、存在i(
Figure 551759DEST_PATH_IMAGE010
)，使得
Figure 12827DEST_PATH_IMAGE018
 (
Figure 878889DEST_PATH_IMAGE006
)；
B、对于任何一个k（1<k≤n/2），总能找到一个i（
Figure 120515DEST_PATH_IMAGE012
），使得
Figure 333322DEST_PATH_IMAGE020
则判断像素(x,y)具有混沌形态；
（4）根据步骤（3）得到的形态特征选用相应的背景提取策略提取背景像素值：若像素(x,y)具有平缓形态，则采用平缓形态背景提取策略；若像素(x,y)具有混沌形态，则采用混沌形态背景提取策略；若像素(x,y)具有周期形态，则采用周期形态背景提取策略；
（5）进行像素序列形态自适应背景更新：
定义t时刻下像素(x,y)像素值与背景像素值的差值distI，BF(x,y,t)，其表达式为：
distI，BF(x,y,t)=|It(x,y)-BF(x,y)|
其中，BF(x,y)表示像素点(x,y)背景像素值，It(x,y)表示t时刻下像素(x,y)的像素值；
计算像素(x,y)从t-2时刻至t-1时刻、从t-1时刻至t时刻相邻两帧像素值的差值，分别记为△t-1(x,y)、△t+1(x,y)；
若同时满足distI，BF(x,y,t-1)<e、distI，BF(x,y,t-2)<e、|△t-2(x,y)|<e和|△t-1(x,y)|<e，采用渐进性背景更新策略进行背景更新；
若distI，BF(x,y,t-1)<e、distI，BF(x,y,t-2)<e、|△t-2(x,y)|<e和|△t-1(x,y)|<e，则进一步考察突变后像素值序列形态变化以确定是否发生背景突变，若突变后的像素值序列形态仍呈现剧烈变化，无需背景更新，若突变后的像素值序列形态呈现平缓态势，则判定该背景像素发生了背景突变，此时采用突变性背景更新策略进行背景更新。
上述平缓形态背景提取策略按以下步骤进行：将上述平缓形态分为单调平缓形态和松散平缓形态，若像素点(x,y)满足
Figure DEST_PATH_IMAGE022
或
Figure DEST_PATH_IMAGE024
 (
Figure 852159DEST_PATH_IMAGE010
)，则为单调平缓形态，直接选取时间轴上最新的像素值In(x,y)作为背景像素值；若像素点(x,y)满足
Figure DEST_PATH_IMAGE026
且
Figure DEST_PATH_IMAGE028
 ()，则为松散平缓形态，计算像素值序列P(x,y)的均值
Figure DEST_PATH_IMAGE030
作为背景像素值。
上述混沌形态背景提取策略按以下步骤进行：
步骤1：划分像素值平稳变化子序列，计算平均像素值：根据像素形态序列M(x,y)将像素值序列P(x,y)划分成为若干子序列，每个子序列均为平缓态序列，平稳变化子序列划分位置Divide _Pos定义如下：
Divide_Pos={1}∪{i|mi(x,y)>1 or mi(x,y)<-1}∪{n}
步骤2：提取平稳态子序列的代表像素值：对于第i个平稳态子序列Pi(x,y)，其代表像素值 提取可参照平缓态背景提取策略，单调形态下，提取最后一帧像素值为，松散形态下，提取子序列像素值均值为
Figure 554064DEST_PATH_IMAGE032
；不同的平稳变化子序列Pi(x,y)和Pj(x,y)若具有相近的代表像素值，则将两个子序列归为一类，称为区间相容序列，区间相容关系定义为：
若平稳变化子序列Pi(x,y)和Pj(x,y)是非相邻子序列（1≤i<j≤q且j-i>1）且其序列代表像素值和
Figure DEST_PATH_IMAGE034
满足以下关系：
Figure DEST_PATH_IMAGE036
≤e （1≤i<j≤q且j-i>1），则平稳态子序列Pi(x,y)和Pj(x,y)具有区间相容关系；
步骤3：比较步骤2中所得q个平稳态子序列的代表像素值，选出所有满足区间相容关系的平稳态子序列，组成若干个区间相容序列，并统计对应的形态回归频次；
步骤4：选择形态回归频次最高的区间相容序列为背景像素序列。
上述周期形态背景提取策略按以下步骤进行：
在周期形态下，像素值序列P(x,y)和形态序列M(x,y)以k为周期被划分为若干个周期子序列P1(x,y), … ,Pr(x,y)(Pi(x,y)={I(i-1)*k(x,y),I1+(i-1)*k (x,y), …, Ik-1+(i-1)*k(x,y)})和M1(x,y), …, Mr(x,y) (Mi(x,y)= {m(i-1)*k+1(x,y), m(i-1)*k+2(x,y),…, m(i-1)*k+k(x,y)})，其中子序列的长度均为等长的子序列，序列长度为k，直接选取时间轴上最新的一个周期为k的像素周期变化子序列Pr(x,y)作为背景像素周期序列，而在不同的时刻选择该背景像素周期序列中对应的像素值作为背景像素，即t时刻下，背景像素值BFt(x,y)=It mod k+(r-1)*k(x,y)。
上述渐进性背景更新策略按如下方法进行：以t时刻下像素值It(x,y)为背景像素的基准值，预测t+1时刻下背景像素值的变化幅度为t-2时刻至t时刻变化幅度的均值，并选择t-2时刻至t时刻变化幅度的平均差作为t+1时刻下背景像素变化幅度的附加值，即：
Figure DEST_PATH_IMAGE038
Figure DEST_PATH_IMAGE040
上述突变性背景更新策略按如下方法进行：
从t1=t+2始，进行如下背景像素的更新计算：
Figure DEST_PATH_IMAGE042
Figure DEST_PATH_IMAGE044
持续进行背景像素值修正，直至t1=t2时刻满足distI，BF(x,y,t2)<e，至此，背景像素突变性更新结束。
为了更加充分地揭示本发明的技术方案，下面对本发明作进一步的详细说明。
1、像素序列形态适应性背景提取算法
已知一组连续的观测视频图像序列(I0,I1,I2,…,In)，Ii(x,y)表示第Ii帧图像中像素点(x,y)的像素值，即像素(x,y)对应一个长度为n+1的像素值序列P(x,y)={ I0(x,y), I1(x,y),…,In(x,y)}。
令△i(x,y)=Ii(x,y)-Ii-1(x,y)(1≤i≤n)，一般情况下，连续的观测视频图像序列中，倘若前后连续两帧中像素(x,y)对应的像素值Ii-1(x,y)和Ii(x,y)表征实际场景中同一个目标点，其像素值的变化平缓，实验发现，像素值为256级度量时，△i(x,y)一般小于10个级差。反之，倘若Ii-1(x,y)和Ii(x,y)表征的是实际场景中不同的目标点，其像素值变化表现剧烈，像素值为256级度量时，△i(x,y)一般远大于10个级差。
定义1 像素邻近变化形态. 令像素 (x,y)像素值在i时刻下相较于前一邻近时刻的变化值△i(x,y)=Ii(x,y)-Ii-1(x,y)(1≤i≤n)，像素(x,y)在i时刻下的邻近变化形态mi(x,y)定义如下：
Figure 258419DEST_PATH_IMAGE002
  (1)
其中e为判断像素值是否发生剧烈变化的阈值，根据实验结果，一般设置为10。
定义2 像素形态序列. 像素(x,y)在图像序列(I0,I1,I2,…,In)中的形态序列M(x,y)定义如下：
M(x,y)={mi(x,y), 1≤i<n}            (2)
进一步分析形态序列M(x,y)，分为若干不同的形态。
定义3 平缓形态. 像素(x,y)具有平缓形态当且仅当对于任一
Figure DEST_PATH_IMAGE046
,满足
Figure 466285DEST_PATH_IMAGE008
 (
Figure 354606DEST_PATH_IMAGE010
)。
定义4 周期形态. 像素(x,y)具有周期形态当且仅当存在一个极大值k（1<k≤n/2），使得对于所有
Figure 174795DEST_PATH_IMAGE012
，满足
Figure 527279DEST_PATH_IMAGE014
。
定义5 混沌形态. 像素(x,y)具有混沌形态当且仅当其形态序列M(x,y)满足以下条件：
(1) 存在i(
Figure 407510DEST_PATH_IMAGE010
)，使得
Figure 284592DEST_PATH_IMAGE018
 ()；
(2) 对于任何一个k（1<k≤n/2），总能找到一个i（
Figure 115462DEST_PATH_IMAGE012
），使得
Figure 166595DEST_PATH_IMAGE020
。
在像素形态序列的指导下，像素序列形态自适应背景提取算法（Pixel Sequence Pattern Adaptive Background Extraction Algorithm，简称PSA）实现了不同的背景像素判定准则和背景像素值提取规则。
1.1 平缓形态背景提取策略
像素(x,y)具有平缓形态意味着P(x,y)从第0帧至第n帧持续表征实际场景中同一个目标点，仅仅因为受到外界空气、光照等细微影响，该目标点的像素值在不同时刻出现了微量的变化。显然，该目标点在观测视频图像序列中始终处于静止状态，由此可判定该目标点隶属于背景，而 P(x,y)表征了背景目标点在各时刻不同的像素值。
平缓态序列可分为单调平缓态和松散平缓态。单调平缓态中，M(x,y)中绝大部分的mi(x,y)的取值呈现同质化，P(x,y)整体上呈现上升或者下降的态势；松散平缓态中，M(x,y)中mi(x,y)的取值相对分散，P(x,y)整体上呈现特定窄幅区间内振荡变化的态势。
单调平缓态序列中，形态序列M(x,y)中，同质化取值的mi(x,y)应为多数。为保证像素值序列整体的单调形态，我们规定同质化取值的频度mi(x,y)应为75以上，由此，单调平缓态和松散平缓态定义如下：
定义6 单调平缓态. 一个具有平缓形态的像素点(x,y)为单调平缓态当且仅当
Figure 29509DEST_PATH_IMAGE022
或
Figure 253817DEST_PATH_IMAGE024
 (
Figure 751532DEST_PATH_IMAGE010
)。
定义7 松散平缓态. 一个具有平缓形态的像素点(x,y)为松散平缓态当且仅当
Figure 973566DEST_PATH_IMAGE026
且
Figure 386092DEST_PATH_IMAGE028
 (
Figure 351774DEST_PATH_IMAGE010
)。
单调平缓形态下，高频率的单向微量变化逐次累计，导致像素值I0(x,y)和In(x,y)间级差显著。适应于背景像素(x,y)的像素值在时间轴上单调变化的形态趋势，应直接选取时间轴上最新的像素值In(x,y)作为背景像素值。
松散平缓形态下，像素值的取值散布于一个窄幅的波段区间内，在时间轴上呈现一个窄幅振荡的形态，与此相适应，计算像素值序列P(x,y)的均值
Figure 471040DEST_PATH_IMAGE030
作为背景像素值。
1.2 混沌形态背景提取策略
混沌形态下，P(x,y)中的不同时刻的像素值表征了实际场景中不同的目标点，背景像素和不同的前景像素交替出现。
显然，背景像素的稳定性决定了其对应像素值处于一个相对固定的波段空间内波动，而前景像素的多样性和运动性决定了其对应像素值取值分散于整个RGB空间。前景干扰出现时，P(x,y) 中对应像素值突破背景像素波段区间；前景干扰消失后，P(x,y) 中对应像素值回归至背景像素波段区间。因此，分析P(x,y)的形态变化，找出隐含的背景像素波段区间，即可确定背景像素值。
P(x,y) 表征了像素值突破-变化-回归-平稳-突破-变化-回归的形态变化过程。相较于松散的前景像素分布区间，P(x,y) 序列中最经常被观测到的像素分布区间即为隐含的背景像素波段区间。为此，混沌态背景提取策略分为四个步骤：第1步，划分像素值平稳变化子序列，计算平均像素值；第2步，将所有平稳变化子序列按照区间相容原则进行子序列融合处理，形成像素值相容子序列组；第3步，计算各相容子序列区间回归频度；第4步，选择回归频度最高的子序列为背景像素序列，确定背景像素值。
步骤1. 划分像素值平稳变化子序列
根据像素形态序列M(x,y)将像素值序列P(x,y)划分成为若干子序列，每个子序列均为平缓态序列，平稳变化子序列划分位置Divide _Pos定义如下：
Divide_Pos={1}U{i|mi(x,y)>1 or mi(x,y)<-1}U{n} （3）
假设共确定了q+1个划分位置，即可根据Divide_Pos将P(x,y)依次划分为q个平稳变化子序列P1(x,y),…,Pq(x,y)，其中，
Pi(x,y)={IDivide_Pos[i](x,y),…,IDivide_Pos[i+1]-1(x,y)} 1≤i≤q
q个平稳变化子序列包含的像素个数记为（n1,…,nq），且n1+n2+…+nq=n。
步骤2. 提取平稳态子序列的代表像素值
对于第i个平稳态子序列Pi(x,y)，其代表像素值提取可参照平缓态背景提取策略，单调形态下，提取最后一帧像素值为
Figure 99861DEST_PATH_IMAGE048
，松散形态下，提取子序列像素值均值为
Figure 937367DEST_PATH_IMAGE048
。
不同的平稳变化子序列Pi(x,y)和Pj(x,y)若具有相近的代表像素值，意味着两个子序列中像素值变化区间相对一致，可归为一类，称为区间相容序列。
定义8 区间相容关系. 若平稳变化子序列Pi(x,y)和Pj(x,y)是非相邻子序列（1≤i<j≤q且j-i>1）且其序列代表像素值
Figure DEST_PATH_IMAGE050
满足以下关系：
Figure 441161DEST_PATH_IMAGE036
≤e （1≤i<j≤q且j-i>1）(e取值同式(1)) (4)
则平稳态子序列Pi(x,y)和Pj(x,y)具有区间相容关系。
步骤3. 比较步骤2中所得q个平稳态子序列的代表像素值，选出所有满足区间相容关系的平稳态子序列，组成若干个区间相容序列，并统计对应的形态回归频次。
假设一共形成了s个区间相容序列Con_P1(x,y),…,Con_Ps(x,y)，其中Con_Pi(x,y)包含满足区间相容关系r个平稳态子序列的代表像素值。
若第i个区间相容序列Con_Pi(x,y)包含两个以上的平稳态子序列，即其对应的波段区间在像素值序列P(x,y) 中被多次回归，可用形态回归频次表征该波段区间在n帧观测视频图像序列中重复回归的次数，其值为r。
步骤4. 选择形态回归频次最高的区间相容序列为背景像素序列
参照步骤2，单调形态下，提取最后一个代表像素值为背景像素，松散形态下，计算序列均值为背景像素值。
1.3 周期形态背景提取策略
周期形态下，P(x,y)中的像素值呈现一个周而复始的循环态势。因此，P(x,y)和形态序列M(x,y)以k为周期被划分为若干个周期子序列P1(x,y), … ,Pr(x,y)(Pi(x,y)={I(i-1)*k(x,y),I1+(i-1)*k (x,y), …, Ik-1+(i-1)*k(x,y)})和M1(x,y), …, Mr(x,y) (Mi(x,y)= {m(i-1)*k+1(x,y), m(i-1)*k+2(x,y),…, m(i-1)*k+k(x,y)})，其中子序列的长度均为等长的子序列，序列长度为k。与混沌形态下像素值平稳变化子序列划分有着本质区别的是，周期形态下提取的像素值周期变化子序列P1(x,y), … ,Pr(x,y)本身并非平缓态序列而为混沌态序列，但是与之相对应的周期变化形态子序列M1(x,y), …, Mr(x,y)却满足以下条件：
Figure DEST_PATH_IMAGE052
     (5)
一方面，从像素值序列考察，P(x,y)中的不同时刻的像素值变化剧烈，意味着实际场景中(x,y)位置的目标点不具备静止特性，无法适用平缓形态背景提取策略；另一方面，从形态序列考察，M(x,y)的周期性变化意味着实际场景中(x,y)位置的目标点的变化在时间轴上呈现出周而复始的规律形态，其隐藏含义为背景像素本身呈现周期变化，若适用混沌形态背景提取策略，提取单一的像素值作为背景像素，将丢失实际场景中背景像素周期变化的所有信息，并影响随后视频处理结果。
显然，周期形态下，背景像素的提取问题较为特殊，其提取结果应与实际场景中背景像素的周期变化相匹配。因此，适应于背景像素(x,y)的像素值在时间轴上周期变化的形态趋势，应直接选取时间轴上最新的一个周期为k的像素周期变化子序列Pr(x,y)作为背景像素周期序列，而在不同的时刻选择该背景像素周期序列中对应的像素值作为背景像素。即，t时刻下，
背景像素值BFt(x,y)=It mod k+(r-1)*k(x,y)      (6)
2、像素序列形态自适应背景更新算法
像素序列形态自适应背景提取算法仅仅完成背景图像的初始化。随后的视频序列中，前景物体的状态改变、外界环境等因素的影响，均可以改变背景像素值。为了保证背景图像信息的即时正确性，需要我们对背景进行有效地实时更新。
背景像素的改变具有两种不同的情况，相应地也具有两种不同的像素值序列形态。第一种情况下，背景像素表征的目标点静止，但其像素值因受到光照等外界因素的影响而细微变化，随着时间的推移，细微变化逐渐累积而需要进行背景更新。渐进性背景更新下，像素值序列形态平缓。第二种情况下，背景像素值在很短的时间内出现了剧烈的变化，比如前景运动物体停止运动成为新的背景。突变性背景更新下，像素值序列形态存在突变以表征剧烈变化，但是突变后的像素值序列形态将回归至平缓态。
区分上述两种像素值序列形态将有助于背景像素值的有效实时更新。为此，像素序列形态自适应背景更新算法从连续若干帧中提取像素值序列变化形态，适应于不同的像素值序列变化形态，实施不同的背景更新策略，从而获取更好的背景帧。
已知背景帧为BF，BF(x,y)表示像素点(x,y)背景像素值，t时刻下图像帧为It。像素序列形态自适应背景更新算法分为三个步骤：第1步，提取像素值变化形态；第2步，判断像素值变化形态类型；第3步，根据像素值变化形态类型分别实施渐进性背景更新策略或突变性背景更新策略。
我们定义distI，BF(x,y,t)=|It(x,y)-BF(x,y)|表征t时刻下像素(x,y)像素值与背景像素值的差值。显然，若两者之间差值小于e（e含义同前），It(x,y)与BF(x,y)表征同一目标点，考虑到噪声等因素的影响，该像素级差并不表征背景像素值的本质变化，因此，无需更新背景像素值，而仅考虑distI，BF(x,y,t)>e情况。
为提取像素值序列变化形态，同时尽量避免存储多帧图像，计算像素(x,y)从t-2时刻起至t时刻相邻两帧将像素值的差值，分别为△t-2(x,y)，△t-1(x,y)。
倘若distI，BF(x,y,t-1)<e、distI，BF(x,y,t-2)<e、|△t-2(x,y)|<e和|△t-1(x,y)|<e，像素(x,y)表征的目标点从t-2时刻起并无本质变化，其像素值序列形态变化平稳，但逐渐累积的细微变化导致It(x,y)与BF(x,y)两者之间的显著差异，此时需要实施渐进性背景更新策略。
倘若distI，BF(x,y,t-1)<e、distI，BF(x,y,t-2)<e、|△t-2(x,y)|<e而|△t-1(x,y)|>e，像素值序列形态在t时刻变化剧烈意味着像素(x,y)表征的目标点在t时刻发生了本质变化。然而由于前景目标物体和噪声的干扰，无法判断该剧烈变化是否由背景突变所引发，必须进一步考察突变后像素值序列形态变化以确定是否发生背景突变。若突变后的像素值序列形态仍呈现剧烈变化，多为前景物体和噪声干扰所致，无需背景更新，若突变后的像素值序列形态呈现平缓态势，则可初步判定该背景像素发生了背景突变，此时需要实施突变性背景更新策略。
2.1 渐进性背景更新策略
渐进性背景更新下，背景像素值在变化阈值e范围内平缓波动。t时刻下的背景更新以有利于t+1时刻图像帧的处理为着眼点。为此，以t时刻下像素值It(x,y)为背景像素的基准值，预测t+1时刻下背景像素值的变化幅度为t-2时刻至t时刻变化幅度的均值，此外，考虑到噪声等因素的影响,选择t-2时刻至t时刻变化幅度的平均差作为t+1时刻下背景像素变化幅度的附加值，即：
Figure 680512DEST_PATH_IMAGE038
     (7)
 (8)
2.2 突变性背景更新策略
突变性背景更新下，背景像素值在t时刻突破变化阈值e后，t时刻至t+2时刻需在变化阈值e范围内平缓波动。因此，计算像素(x,y)从t时刻起至t+2时刻相邻两帧将像素值的差值，分别为△t(x,y)，△t+1(x,y)，当且仅当|△t(x,y)|<e且|△t+1(x,y)|<e，像素值序列形态变化平稳，可初步判定该像素发生了背景突变，t+2时刻开始实施突变性背景更新策略。为此，以一定的学习速率对背景像素值进行持续修正，以完成背景的有效更新。
从t1=t+2始，若满足|△t1-2(x,y)|<e且|△t1-1(x,y)|<e，则进行如下背景像素的更新计算：
Figure 802107DEST_PATH_IMAGE042
    (9)
Figure 171908DEST_PATH_IMAGE044
   (10)
持续进行背景像素值修正，直至t1=t2时刻满足distI，BF(x,y,t2)<e，至此，背景像素突变性更新结束。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。 

Claims (1)

1.一种基于像素序列形态的适应性背景重构方法，其特征在于：包括以下步骤：
（1）从待处理的视频中抽取一组连续的图像序列(I0,I1,I2,…,In)，Ii(x,y)表示第Ii帧图像中像素点(x,y)的像素值，像素(x,y)对应一个长度为n+1的像素值序列P(x,y)={ I0(x,y), I1(x,y),…,In(x,y)}；
（2）根据选定的图像序列，计算像素(x,y)在所述图像序列(I0,I1,I2,…,In)中的形态序列M(x,y)，所述M(x,y)定义为：
M(x,y)={mi(x,y), 1≤i<n}
其中：mi(x,y)表示像素(x,y)在i时刻下的邻近变化形态，其定义为：
                                                 
Figure 746660DEST_PATH_IMAGE001
其中，△i(x,y)表示像素(x,y)的像素值在i时刻下相较于前一邻近时刻的变化值，其计算公式为：△i(x,y)=Ii(x,y)－Ii-1(x,y)，其中1≤i≤n；ε为判断像素值是否发生剧烈变化的阈值；括号 
Figure 39101DEST_PATH_IMAGE002
表示对该括号中的值向下取整；
（3）判断像素(x,y)的形态序列特征：若对于任一
Figure 961445DEST_PATH_IMAGE003
满足
Figure 655731DEST_PATH_IMAGE004
，其中
Figure 369609DEST_PATH_IMAGE005
 ，则判断像素(x,y)具有平缓形态；若存在一个极大值k，其中1<k≤n/2，使得对于所有
Figure 414926DEST_PATH_IMAGE006
，满足
Figure 872452DEST_PATH_IMAGE007
，则判断像素(x,y)具有周期形态；若形态序列M(x,y)满足以下A和B两个条件：
A、存在i，其中
Figure 571604DEST_PATH_IMAGE005
，使得
Figure 838637DEST_PATH_IMAGE009
，其中
Figure 37537DEST_PATH_IMAGE003
；
B、对于任何一个k，其中1<k≤n/2，总能找到一个i，其中
Figure 503154DEST_PATH_IMAGE006
，使得
Figure 762097DEST_PATH_IMAGE010
则判断像素(x,y)具有混沌形态；
（4）根据步骤（3）得到的形态特征选用相应的背景提取策略提取背景像素值：若像素(x,y)具有平缓形态，则采用平缓形态背景提取策略；若像素(x,y)具有混沌形态，则采用混沌形态背景提取策略；若像素(x,y)具有周期形态，则采用周期形态背景提取策略；
（5）进行像素序列形态自适应背景更新：
定义t时刻下像素(x,y)像素值与背景像素值的差值distI，BF(x,y,t)，其表达式为：
distI，BF(x,y,t)=|It(x,y)-BF(x,y)|
其中，BF(x,y)表示像素点(x,y)背景像素值，It(x,y)表示t时刻下像素(x,y)的像素值；
计算像素(x,y)从t-2时刻至t-1时刻、从t-1时刻至t时刻相邻两帧像素值的差值，分别记为△t-2(x,y)、△t-1(x,y)；
若同时满足distI，BF(x,y,t-1)<ε、distI，BF(x,y,t-2)<ε、|△t-2(x,y)|<ε和|△t-1(x,y)|<ε，采用渐进性背景更新策略进行背景更新；
若同时满足distI，BF(x,y,t-1)<ε、distI，BF(x,y,t-2)<ε、|△t-2(x,y)|<ε和|△t-1(x,y)|>ε，则进一步考察突变后像素值序列形态变化以确定是否发生背景突变，若突变后的像素值序列形态仍呈现剧烈变化，无需背景更新，若突变后的像素值序列形态呈现平缓态势，则判定该背景像素发生了背景突变，此时采用突变性背景更新策略进行背景更新；
所述平缓形态背景提取策略按以下步骤进行：将所述平缓形态分为单调平缓形态和松散平缓形态，若像素点(x,y)满足
Figure 578743DEST_PATH_IMAGE011
或
Figure 315755DEST_PATH_IMAGE012
 ，其中，则为单调平缓形态，直接选取时间轴上最新的像素值In(x,y)作为背景像素值；若像素点(x,y)满足
Figure 331301DEST_PATH_IMAGE013
且 ，其中
Figure 910367DEST_PATH_IMAGE005
，则为松散平缓形态，计算像素值序列P(x,y)的均值作为背景像素值；
所述混沌形态背景提取策略按以下步骤进行：
步骤1：划分像素值平稳态子序列，计算平均像素值：根据像素形态序列M(x,y)将像素值序列P(x,y)划分成为若干子序列，每个子序列均为平缓态序列，平稳态子序列划分位置Divide _Pos定义如下：
Divide_Pos={1}∪{i|mi(x,y)>1 or mi(x,y)<-1}∪{n}
步骤2：提取平稳态子序列的代表像素值：对于第i个平稳态子序列Pi(x,y)，其代表像素值 提取可参照平缓态背景提取策略，单调形态下，提取最后一帧像素值为
Figure 954251DEST_PATH_IMAGE016
，松散形态下，提取子序列像素值均值为
Figure 745489DEST_PATH_IMAGE018
；不同的平稳态子序列Pi(x,y)和Pj(x,y)若具有相近的代表像素值，则将两个子序列归为一类，称为区间相容序列，区间相容关系定义为：
若平稳态子序列Pi(x,y)和Pj(x,y)是非相邻子序列，其中1≤i<j≤q且j-i>1，且其序列代表像素值和
Figure 384598DEST_PATH_IMAGE020
满足以下关系：
Figure 890666DEST_PATH_IMAGE021
≤ε，其中1≤i<j≤q且j-i>1，则平稳态子序列Pi(x,y)和Pj(x,y)具有区间相容关系；
步骤3：比较步骤2中所得q个平稳态子序列的代表像素值，选出所有满足区间相容关系的平稳态子序列，组成若干个区间相容序列，并统计对应的形态回归频次；所述形态回归频次定义为：假设一共形成了s个区间相容序列Con_P1(x,y),…,Con_Ps(x,y)，其中Con_Pi(x,y)包含满足区间相容关系r个平稳态子序列的代表像素值，若第i个区间相容序列Con_Pi(x,y)包含两个以上的平稳态子序列，即其对应的波段区间在像素值序列P(x,y) 中被多次回归，可用形态回归频次表征该波段区间在n帧观测视频图像序列中重复回归的次数，其值为r；
步骤4：选择形态回归频次最高的区间相容序列为背景像素序列；
所述周期形态背景提取策略按以下步骤进行：
在周期形态下，像素值序列P(x,y)和形态序列M(x,y)以k为周期被划分为若干个周期子序列P1(x,y), … ,Pr(x,y)(Pi(x,y)={I(i-1)*k(x,y),I1+(i-1)*k (x,y), …, Ik-1+(i-1)*k(x,y)})和M1(x,y), …, Mr(x,y) (Mi(x,y)= {m(i-1)*k+1(x,y), m(i-1)*k+2(x,y),…, m(i-1)*k+k(x,y)})，其中子序列的长度均为等长，序列长度为k，直接选取时间轴上最新的一个周期为k的像素周期变化子序列Pr(x,y)作为背景像素周期序列，而在不同的时刻选择该背景像素周期序列中对应的像素值作为背景像素，即t时刻下，背景像素值BFt(x,y)=It mod k+(r-1)*k(x,y)；
所述渐进性背景更新策略按如下方法进行：以t时刻下像素值It(x,y)为背景像素的基准值，预测t+1时刻下背景像素值的变化幅度为t-2时刻至t时刻变化幅度的均值，并选择t-2时刻至t时刻变化幅度的平均差作为t+1时刻下背景像素变化幅度的附加值，即：
Figure 169200DEST_PATH_IMAGE022
 
Figure 51706DEST_PATH_IMAGE023
其中，σ表示背景像素变化幅度的附加值，BFnew(x,y)表示更新的背景像素值；
所述突变性背景更新策略按如下方法进行：
从t1=t+2始，进行如下背景像素的更新计算：
Figure 466507DEST_PATH_IMAGE024
其中，σ表示背景像素变化幅度的附加值，BFnew(x,y)表示更新的背景像素值；
持续进行背景像素值修正，直至t1=t2时刻满足distI，BF(x,y,t2)<ε，至此，背景像素突变性更新结束。
CN2011100723327A 2011-03-24 2011-03-24 基于像素序列形态的适应性背景重构方法 Expired - Fee Related CN102136148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011100723327A CN102136148B (zh) 2011-03-24 2011-03-24 基于像素序列形态的适应性背景重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011100723327A CN102136148B (zh) 2011-03-24 2011-03-24 基于像素序列形态的适应性背景重构方法

Publications (2)

Publication Number Publication Date
CN102136148A CN102136148A (zh) 2011-07-27
CN102136148B true CN102136148B (zh) 2012-11-21

Family

ID=44295922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100723327A Expired - Fee Related CN102136148B (zh) 2011-03-24 2011-03-24 基于像素序列形态的适应性背景重构方法

Country Status (1)

Country Link
CN (1) CN102136148B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496163B (zh) * 2011-11-03 2013-07-17 长安大学 一种基于灰度极值的背景重构方法
CN108010050B (zh) * 2017-11-27 2022-01-25 电子科技大学 一种基于自适应背景更新和选择性背景更新的前景检测方法
US10928502B2 (en) * 2018-05-30 2021-02-23 Richwave Technology Corp. Methods and apparatus for detecting presence of an object in an environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
CN101739689A (zh) * 2009-12-15 2010-06-16 中国科学院长春光学精密机械与物理研究所 动态视频中背景图像的实时提取与更新方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048240A (ja) * 2007-08-13 2009-03-05 Tokyo Institute Of Technology 動画像における移動物体の検出方法、検出装置、監視方法および監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
CN101739689A (zh) * 2009-12-15 2010-06-16 中国科学院长春光学精密机械与物理研究所 动态视频中背景图像的实时提取与更新方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Aygun R.S.
Aygun, R.S.,et al..Stationary background generation in mpeg compressed video sequences.《IEEE International Conference on Multimedia and Expo, 2001》.2001,908-911. *
JP特開2009-48240A 2009.03.05
Warren Long,et al..Stationary Background Generation: an Alternative to the Difference of Two Images.《Pattern Recognition》.1990,第23卷(第12期),1351-1359. *

Also Published As

Publication number Publication date
CN102136148A (zh) 2011-07-27

Similar Documents

Publication Publication Date Title
Liu et al. Deep reinforcement learning with its application for lung cancer detection in medical Internet of Things
CN110191299B (zh) 一种基于卷积神经网络的多重帧插值方法
CN102136148B (zh) 基于像素序列形态的适应性背景重构方法
CN105472204B (zh) 基于运动检测的帧间降噪方法
CN106952294B (zh) 一种基于rgb-d数据的视频跟踪方法
CN105100807B (zh) 一种基于运动矢量后处理的帧率提升方法
CN106447024A (zh) 一种基于混沌反向学习的粒子群改进算法
CN108549839A (zh) 自适应特征融合的多尺度相关滤波视觉跟踪方法
CN102025981B (zh) 一种监控视频中的前景检测的方法
CN107644217A (zh) 基于卷积神经网络和相关滤波器的目标跟踪方法
CN103116875A (zh) 自适应双边滤波图像去噪方法
CN110490906A (zh) 一种基于孪生卷积网络和长短期记忆网络的实时视觉目标跟踪方法
CN111639426B (zh) 一种风特征时空过程可视化方法
CN106154243B (zh) 海杂波Pareto分布模型的参数估计范围拓展方法
Zhang et al. An adaptive learning rate method for improving adaptability of background models
CN104683783A (zh) 一种自适应深度图滤波方法
CN113344973A (zh) 一种基于时空正则化和特征可靠性评估的目标跟踪方法
Li et al. Noise-aware framework for robust visual tracking
Yusoff et al. Automated two-dimensional K-means clustering algorithm for unsupervised image segmentation
Liu et al. High efficient contrast enhancement using parametric approximation
CN102930511A (zh) 一种基于灰阶超声图像的心脏流场速度矢量分析方法
Xu et al. HAVEN: hierarchical cooperative multi-agent reinforcement learning with dual coordination mechanism
CN103871035A (zh) 图像去噪方法及装置
CN104657333A (zh) 基于gpu的动态二维矢量场流线可视化算法
CN108009988A (zh) 一种优化粒子群的图像分形插值方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121121

Termination date: 20190324

CF01 Termination of patent right due to non-payment of annual fee