CN102288166A - 基于视频的多模型结合水面船舶检测方法 - Google Patents

Abstract

基于视频的多模型结合水面船舶检测方法，涉及水面运动船舶检测，得到船舶目标检测结果的技术领域。本发明利用当前时刻视频帧的灰度信息构建混合高斯背景模型，对比输入视频与背景模型是否匹配，得到前景掩膜；利用前景掩膜构建阴影模型，对符合阴影模型的像素点标记为阴影像素点，否则标记为非阴影像素点；利用非阴影像素点构建水波模型，对符合水波模型的像素点标记为水波像素点；得到仅包含船舶目标的船舶掩膜；利用寄存器计算被标记为船舶的像素点在同一位置连续出现的时间。本发明通过结合背景模型、阴影模型和水波模型对视频序列中不同种类的像素点进行训练、分类，从而提取出只属于船舶目标的像素点的检测结果。

Description

基于视频的多模型结合水面船舶检测方法

技术领域

本发明涉及水面运动船舶检测，得到船舶目标的检测结果的技术领域。

背景技术

智能视频监控系统逐渐成为现代视频监控系统的发展趋势，也是现代自动化监控管理的重要发展方向。运动目标检测是智能视频处理中的一个重要环节，它的准确与否将直接影响智能视频监控系统的后续分析处理。目前，基于视频的目标检测技术在对河面船舶进行检测时还存在一些技术难点，限制了智能视频监控在河面船舶监控系统中的实际应用。

目前已经提出了有关干扰去除的几种方法：

1、针对阴影干扰的去除

有如下几种方法：如基于颜色特征的旋转不变性，将RGB颜色空间的向量投影到HSV空间。将像素的RGB特征用支撑向量空间表示。基于纹理特征的旋转不变性，利用空间滤波器或小波函数提取图像的纹理特征进行阴影的去除。基于阴影模型的阴影抑制算法。

2、针对水波干扰的去除

水面波纹干扰的去除最通常的做法是将图像分块，计算在每个图像块中检测到的前景像素点的个数，如果该图像块中前景像素点的个数较少，便认为该块中不存在运动前景。该方法基于视频中水面波纹像素点数量大大少于运动目标的数量这一假设，因此对于存在大量水波干扰的自然环境，该方法的准确率大大下降。

3、针对Ghost像素点的去除

Ghost像素点是由背景模型的更新速度慢，无法适应背景的突然变化引起的，但模型更新过快将使背景建模法退化为帧差法。因此，Ghost现象的去除在于找到使背景模型更新速度满足以上需要的平衡点。

以上干扰去除策略都只针对场景中某一种干扰的去除，而河面船舶检测的检测场景复杂，单一的干扰去除策略无法满足检测需要。

发明内容

本发明提出一种多模型结合的船舶检测方法，通过结合背景模型、阴影模型和水波模型对视频序列中不同种类的像素点进行训练、分类，能够快速有效地去除船舶阴影、水面波纹以及Ghost像素点的影响，从而提取出只属于船舶目标的像素点的检测结果的基于视频的多模型结合水面船舶检测方法。

一种基于视频的多模型结合水面船舶检测方法，包括如下步骤：

第一步：利用当前时刻视频帧的灰度信息构建混合高斯背景模型，对比输入视频与背景模型是否匹配，得到前景掩膜，该前景掩膜中标记为运动目标的像素点包括船舶、阴影和水面波纹；

第二步：利用第一步检测到的前景掩膜的前景像素点训练并构建阴影模型，对符合阴影模型的像素点标记为阴影像素点，否则标记为非阴影像素点；

第三步：利用第二步的非阴影像素点训练并构建水波模型，对符合水波模型的像素点标记为水波像素点，否则标记为非水波点；

第四步：去除第二步中的阴影像素点和第三步中的水波像素点，得到仅包含船舶目标的船舶掩膜；

第五步：利用寄存器计算被标记为船舶的像素点在同一位置连续出现的时间，如果被标记为船舶的像素点在同一位置连续出现的时间达到寄存器累加的最大值，则将此像素点标记为Ghost像素点，该位置寄存器复位，背景模型更新速度ρ＝1；否则寄存器值不变，更新速度ρ＜1；

第六步：重复上述第一步到第五步处理下一帧视频，直至处理完所有视频。

1、本发明中提出的船舶检测方法可以较好地去除目标检测中的船舶阴影、水面波纹的影响。

2、消除了船舶检测过程中可能出现的Ghost现象，最终得到只包含河面运动船舶目标检测结果。

3、本发明利用像素点的纹理和颜色两种特征的结合可以充分区分阴影像素点和船舶像素点。

附图说明

图1是本发明的检测方法的流程图。

具体实施方式

如图1所示，一种基于视频的多模型结合水面船舶检测方法，包括如下步骤：

第一步：利用当前时刻视频帧的灰度信息构建混合高斯背景模型，对比输入视频与背景模型是否匹配，得到前景掩膜，该前景掩膜中标记为运动目标的像素点包括船舶、阴影和水面波纹；

第二步：利用第一步检测到的前景掩膜的前景像素点训练并构建阴影模型，对符合阴影模型的像素点标记为阴影像素点，否则标记为非阴影像素点；

第三步：利用第二步的非阴影像素点训练并构建水波模型，对符合水波模型的像素点标记为水波像素点，否则标记为非水波点；

第四步：去除第二步中的阴影像素点和第三步中的水波像素点，得到仅包含船舶目标的船舶掩膜；

第五步：利用寄存器计算被标记为船舶的像素点在同一位置连续出现的时间，如果被标记为船舶的像素点在同一位置连续出现的时间达到寄存器累加的最大值，则将此像素点标记为Ghost像素点，该位置寄存器复位，背景模型更新速度ρ＝1；否则寄存器值不变，更新速度ρ＜1；

第六步：重复上述第一步到第五步处理下一帧视频，直至处理完所有视频。

本发明基于视频的多模型结合船舶检测方法包括如下步骤：

1、背景模型的构建

背景模型的建造是为了初步筛选出视频序列中属于船舶的像素点，同时也对建造阴影和水波模型的像素点进行第一步筛选。

本发明选择混合高斯建模法MoG进行背景模型的建造。MoG建模法根据像素点的像素值与高斯函数匹配概率的不同来训练学习模型中各个高斯函数的均值、方差、权重等参数，使模型最终收敛于一个或几个(K个)相互独立分布的高斯函数，K个高斯函数的加权和便构成了某一类像素点的特征模型。对于视频帧中的前景的检测是通过衡量像素点是否与背景模型中某个高斯函数相匹配，从而判别其是否属于背景像素点。

利用像素点的灰度特征构造背景模型的特征，加快背景建模检测的速度。本发明先将像素点的RGB三维颜色向量转化为以像素点灰度特征表示的一维向量。点(x，y)处的RGB颜色特征I_R(x，y)，I_G(x，y)，I_B(x，y)转化为灰度特征X(x，y)的计算公式如下式所示。

X(x，y)＝0.2990*I_R(x，y)+0.5870*I_G(x，y)+0.1440*I_B(x，y)    (1)

t时刻的MoG背景模型如下式所示：

$B_t=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}\·\mathrm{\η}(x,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})---\left(2\right)$

其中，η(x，μ_i，t，∑_i，t)代表混合高斯模型中，t时刻第i个高斯函数，其均值为μ_i，t，协方差矩阵为∑_i，t；ω_i，t为第i个高斯分布在t时刻的权重，且

0＜ω_i，t＜1。

第i个高斯函数如下式所示：

$\mathrm{\η}(x,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{1/2}}\exp [-\frac{1}{2}{(x-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\Σ}}_{i,t}^{-1}(x-{\mathrm{\μ}}_{i,t})]---\left(3\right)$

第i个高斯函数的参数按下式更新：

μ_i，t+1＝(1-ρ)μ_i，t+ρX_t+1    (4)

∑_i，t+1＝(1-ρ)∑_i，t+ρ(X_t+1-μ_i，t+1)^T(X_t+1-μ_i，t+1)    (5)

其中，ρ＝aη(X_t+1|μ_i，t，∑_i，t)，a为学习因子，代表背景模型的更新速度。

全部K个高斯函数的权值按照下式更新：

ω_t+1＝(1-α)ω_t+αM_t    (6)

M_t+1代表t+1时刻的前景检测掩膜，当像素点被判决与模型中所有高斯分布不符时，则认为其属于前景点M_t+1＝1，否则M_t+1＝0。

2、阴影模型的构建

建立阴影模型首先应找到将疑似阴影点从所有前景点中筛选出来的特征，然后利用混合高斯函数对阴影像素点建模，达到对像素点是否属于阴影像素点的判别。

河面上的阴影是由于船舶本身遮挡住了投射到水面的光线，导致被遮挡的区域吸收光源能量不足，与背景以及水面其他区域相比亮度明显下降造成。由于阴影区的亮度与背景差异较大，造成基于像素灰度的前景检测时，阴影区常被误判为目标点，但是阴影区的纹理特征与背景极为相近，而船舶目标点处的纹理特征则与背景点差异较大。因此，利用像素点的纹理和颜色两种特征的结合可以充分区分阴影像素点和船舶像素点。

2.1阴影点纹理特征及提取方法

根据图像的物理辐射场形成模型：

I(x，y)＝E(x，y)ρ(x，y)    (7)

I(x，y)表示像素点的像素值，E(x，y)表示吸收到的光源的能量，ρ(x，y)表示该像素点处的表面反射率。一幅图像通常由上万个像素点构成，像素点相对图像整体的空间面积极小，因此像素点(x，y)和与其临近的像素点(x+1，y)接收到的物理源辐射能量基本相同，如下式所示：

E(x，y)＝E(x+1，y)    (8)

由图像的物理辐射公式，可以得到像素点(x，y)与(x+1，y)的像素值关系式如下所示：

$\frac{I(x,y)}{I(x+1,y)}=\frac{E(x,y)\mathrm{\ρ}(x,y)}{E(x+1,y)\mathrm{\ρ}(x+1,y)}=\frac{\mathrm{\ρ}(x,y)}{\mathrm{\ρ}(x+1,y)}---\left(9\right)$

同理，像素点(x，y)的四邻域中的点都可以得到类似的关系式。上式说明相邻像素点的像素值之间的比值只和表面反射率有关，该性质也被称作纹理不变性。

像素点纹理特征的提取可以采用Gabor小波滤波器。Gabor小波是由Gabor函数通过尺度伸缩和旋转生成的一组复函数系。二阶Gabor小波是由二阶Gabor函数通过尺度伸缩和旋转生成的一组复函数系。利用Gabor小波可以提取图像的纹理信息作为有效的特征，Gabor变换是一种有效的特征提取方法。

二阶Gabor小波的定义如下：

$g(x,y)=\left(\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\right)\exp [-\frac{1}{2}(\frac{x^2}{{\mathrm{\σ}}_x^2}+\frac{y^2}{{\mathrm{\σ}}_y^2})+\mathrm{j\ω}(x+y)]---\left(10\right)$

式中σ_x和σ_y分别是g(x，y)沿x轴和y轴的标准方差，ω是振荡频率，表明小波的空间频率。

以g(x，y)作为母小波，通过尺度和相位变化可以构造出Gabor小波函数空间g_mn：

g_mn＝a^-mg(x′，y′)，a＞1    (11)

其中

是滤波器方向角的总数。尺度因子a^-m用于使不同频率的小波特征区分开来。

输入图像像素I(x，y)与g_mn相卷积得到不同尺度和方向上像素的纹理表示G(x，y，m，n)，也即该像素点的Gabor小波特征参数，如下式所示。

$G(x,y,m,n)=I(x,y)\⊗g_{\mathrm{mn}}---\left(12\right)$

Gabor滤波器共有M个尺度m从0，1到M-1，n从0，1到N-1。将每个输入图像的像素与这m×n个Gabor滤波器相卷积，便可得到每个像素点处的共m×n个Gabor特征值。于是每个像素点都可由与它相关的m×n个Gabor特征向量V(x，y)所唯一表示。

$V(x,y)={\left(\begin{array}{c}G(x,y,\mathrm{0,0}),K,G(x,y,0,M-1)\\ G(x,y,\mathrm{1,0}),K,G(x,y,N-1,M-1)\end{array}\right)}^T---\left(13\right)$

2.2阴影点颜色特征及提取方法

颜色特征不变性来源于对图像物理辐射模型的分析。同一像素点的反射率在不同颜色分量的比值与物体的材料有关，该性质称为像素点的颜色不变性。

根据图像的物理辐射模型，假设像素点(x，y)处的RGB分量分别为I_R(x，y)，I_G(x，y)，I_B(x，y)，像素点R和B分量的比值如下式所示：

$\left\{\begin{array}{c}r(x,y)=\ln \frac{I_R(x,y)}{I_B(x,y)}=\ln I_R(x,y)-\ln I_B(x,y)\\ g(x,y)=\ln \frac{I_G(x,y)}{I_B(x,y)}=\ln I_G(x,y)-\ln I_B(x,y)\end{array}\right.---\left(14\right)$

利用上式定义的像素点颜色分量的对数比r(x，y)和g(x，y)作为像素点的颜色特征。

2.3阴影点的分割

通过对阴影像素点的纹理特征和颜色特征进行分析，确定疑似阴影点的初筛法则，然后利用疑似阴影点的双特征进行阴影模型建造。

假设视频帧在点(x，y)处的第二层小波分解系数在水平和垂直方向的分解系数为CH、CV。该像素点处的背景像素值为I₁(x，y)，其第二层小波分解在水平和垂直方向的分解系数为CH1和CV1。

对于图像中的阴影像素点，其纹理特征与背景的纹理特征极为接近，则阴影点在水平方向和垂直方向上的小波分解系数应该满足下式：

||CH(x，y)-CH1(x，y)||≤TCH    (15)

||CV(x，y)-CV1(x，y)||≤TCV    (16)

TCH为水平方向小波系数分割阈值，TCV是垂直方向小波分解系数分割阈值。

将水平和垂直方向的小波分解系数的结合作为该像素点处的纹理特征，因此，阴影区和背景的纹理特征应该满足下式：

Ψ(x，y)＝|CH(x，y)-CH1(x，y)|+|CV(x，y)-CV1(x，y)|    (17)

Ψ(x，y)≤λ    (18)

λ是点(x，y)处区分背景和阴影纹理特征差异的分割阈值。

根据式(14)定义的颜色特征r(x，y)和g(x，y)阴影处的颜色特征应满足下式：

Θ(x，y)＝|r(x，y)-r₁(x，y)|+|g(x，y)-g₁(x，y)|    (19)

δ≤Θ(x，y)≤γ    (20)

其中，δ、γ是分割阴影像素点的阈值。r(x，y)、g(x，y)以及r₁(x，y)、g₁(x，y)分别代表前景像素点与其对应的背景像素点的颜色特征。

阴影区的像素点必须同时满足式(19)和式(20)。提取出前景中疑似阴影的筛选法则可以表示为：

其中，λ、δ、γ是分割阴影区域的纹理特征和颜色特征对应的分割阈值。上式中的sh(x，y)代表对前景中的像素点进行疑似阴影点初步筛选的筛选掩膜，该掩膜将前景检测中最有可能是阴影像素点的位置标记为1，否则标记为0。

由于双特征能够比较充分的区分出前景像素点中的阴影像素点，因此利用双特征结合的向量Z(x，y)建立阴影模型，利用阴影初步筛选法则筛选出的疑似阴影点建立阴影模型，可以实现对前景中的真正阴影像素点的分割。

阴影模型如下式所示：

${\mathrm{sh}}_t\left(z\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}\·\mathrm{\η}(z_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})---\left(22\right)$

阴影模型中第i个高斯函数如下式所示

$\mathrm{\η}(Z_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{1/2}}\exp [-\frac{1}{2}{(Z_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\Σ}}_{i,t}^{-1}(Z_t-{\mathrm{\μ}}_{i,t})]---\left(23\right)$

其中，Z_t是t时刻经阴影初筛法则筛选出的疑似阴影点的纹理颜色双特征组成的特征向量。

当t+1时刻经背景模型和阴影初筛法则筛选出的疑似阴影点被筛选出来时，计算该像素点处的纹理颜色双特征Z_t+1与阴影模型中的K个高斯函数均值的绝对差。如果Z_t与模型中第i个高斯函数的均值μ_i，t之间的距离在0到之间，建模时模型的协方差矩阵更新公式，对上一次更新后得到的协方差矩阵；是第i个高斯函数的标准差，则认为该像素点的像素值与这个高斯函数分布相符，判定该像素点为真正的阴影像素点，否则认为其不属于阴影。

3、水波模型的构建

由于水波晃动，阳光照射到与成像系统的成像角不同的像素点处，导致反射率不同，因此含波纹的水面与平静的水面相比，纹理特征的差距较大。水波模型采用混合高斯模型，模型的构造方法与阴影模型的构造方法相同。

对水面波纹像素点进行初筛选的疑似水波掩膜可以定义为：

α、β、v分别是分割水波纹的纹理特征和颜色特征对应的分割阈值。疑似水波掩膜与与疑似阴影掩膜的定义类似，其在前景检测结果中最有可能是水波点的位置标记为1，否则标记为0。通过水波模型WV_t对t时刻的疑似水波点的进一步筛选，从而将前景中的水波点分割出来。

4、Ghost像素点的去除

长时间停留在水面的船舶经高斯背景模型的模型更新和学习将成为背景模型的一部分，如果船舶突然再发生运动，离开其初始位置，就会使船舶检测结果中出现Ghost像素点。

本发明采用基于保持寄存器策略PM(Permanence Memory)的背景模型更新来抑制Ghost像素点的影响。

PM策略通过计算在同一像素点是否长时间都被判别为运动目标来判断其是否是Ghost像素点。该策略的实施原理是：在每个时刻t，保持寄存器中都存储有一张当前数据分布图表PM_t(x，y)，且PM_t(x，y)的值只和前一时刻保持寄存器中的图表PM_t-1(x，y)以及当前输入量Y_t(x，y)有关，如下式所示。

其中，PM₀(x，y)＝0，C₀和D₀是定值，代表了寄存器每一次更新的大小。C_max和C_min是寄存器中能够存储的数据图表数据的最大值和最小值。

通过PM策略的背景更新可以描述为：如果在t时刻，寄存器中的图在像素点(x，y)处的值PM_t(x，y)达到了最大值C_max，则代表该像素点为Ghost像素点。前景检测结果中将滤除这样的像素点，并用此时该点的像素值I_t(x，y)作为该点背景的值。根据寄存器保持策略的背景更新可以表示为下式：

其中B_t(x，y)和B_t+1(x，y)分别代表t时刻和t+1时刻的背景模型。mov_t+1代表经多模型结合检测方法，去除了前景检测中的阴影和水面波纹像素点的检测结果。

判断像素点是否属于Ghost像素点与C_max取值直接相关。如果C_max的取值太小，则背景模型的更新速度过快，会导致视频中运动速度比较慢的目标也被判别为Ghost像素点。反之，C_max取值过大，背景模型更新速度过慢，则会影响对Ghost像素点的去除效果。

利用PM策略去除Ghost像素点的方法为在寄存器中对视频中所有帧通过多模型结合检测方法检测得到的船舶检测掩膜进行累加。如果同一位置处的像素点在C_max连续时间内被标记为船舶像素点，则认为其属于Ghost像素点，背景模型采用100％的更新速度，即以当前视频帧作为新的背景模型；否则背景模型正常更新。

混合高斯模型参数设置

	σ0	K	α
				背景模型	30	5	0.01
阴影模型	15	3	0.01
				水波模型	15	3	0.01

根据混合高斯模型的公式，混合高斯模型建立时需要确定的参数为高斯函数初始标准差σ₀，表示模型的高斯函数个数K，以及模型的学习参数α。

模型的标准差会随着视频中像素点的像素值训练更新，本发明实验为背景模型选定一个较大的初始标准差σ₀＝30使背景模型初始容纳更多的背景变化形态。实验证明，当高斯分布函数的个数K大于5时，检测性能已没有明显的改善，因此检测模型中高斯函数的个数通常取为3或5，本发明中背景模型的高斯分布函数的个数取为K＝5。混合高斯参数模型的学习参数α决定了模型的更新速度，通常由用户通过经验定义，本发明中取经验值α＝0.01。

本方法采用PM策略去除了运动目标检测结果中的Ghost像素点。PM策略实施的关键在于确定寄存器累加的最大值C_max。C_max的值与具体视频场景有关，通常根据具体的视频环境，运动物体的速度以及运动物体在运动速度方向上的长度对C_max进行取值。本发明试验中令C_max＝48。

Claims (4)

1.一种基于视频的多模型结合水面船舶检测方法，其特征在于包括如下步骤：

第一步：利用当前时刻视频帧的灰度信息构建混合高斯背景模型，对比输入视频与背景模型是否匹配，得到前景掩膜，该前景掩膜中标记为运动目标的像素点包括船舶、阴影和水面波纹；

第二步：利用第一步检测到的前景掩膜的前景像素点训练并构建阴影模型，对符合阴影模型的像素点标记为阴影像素点，否则标记为非阴影像素点；

第三步：利用第二步的非阴影像素点训练并构建水波模型，对符合水波模型的像素点标记为水波像素点，否则标记为非水波点；

第四步：去除第二步中的阴影像素点和第三步中的水波像素点，得到仅包含船舶目标的船舶掩膜；

第五步：利用寄存器计算被标记为船舶的像素点在同一位置连续出现的时间，如果被标记为船舶的像素点在同一位置连续出现的时间达到寄存器累加的最大值，则将此像素点标记为Ghost像素点，该位置寄存器复位，背景模型更新速度ρ＝1；否则寄存器值不变，更新速度ρ＜1；

第六步：重复上述第一步到第五步处理下一帧视频，直至处理完所有视频。

2.根据权利要求1所述的基于视频的多模型结合水面船舶检测方法，其特征在于上述第一步得到前景掩膜的具体过程如下：

利用混合高斯建模法MoG进行背景模型的建造，根据像素点的像素值与高斯函数匹配概率的不同来训练学习模型中各个高斯函数的参数，使模型最终收敛于一个或K个相互独立分布的高斯函数，K个高斯函数的加权和便构成了一类像素点的特征模型，对于视频帧中的前景的检测是通过衡量像素点是否与背景模型中某个高斯函数相匹配，从而判别其是否属于背景像素点。

3.根据权利要求1所述的基于视频的多模型结合水面船舶检测方法，其特征在于上述第二步中构建阴影模型的具体过程如下：

1)阴影点纹理特征及提取：

根据图像的物理辐射场形成模型：

I(x，y)＝E(x，y)ρ(x，y)    (11)

I(x，y)表示像素点的像素值，E(x，y)表示吸收到的光源的能量，ρ(x，y)表示该像素点处的表面反射率，每个像素点相对图像整体的空间面积极小，因此像素点(x，y)和与其临近的像素点接收到的物理源辐射能量基本相同，如下式所示：

E(x，y)＝E(x+1，y)    (12)

由图像的物理辐射公式，可以得到像素点(x，y)与(x，y+1)的像素值关系式如下所示：

$\frac{I(x,y)}{I(x+1,y)}=\frac{E(x,y)\mathrm{\ρ}(x,y)}{E(x+1,y)\mathrm{\ρ}(x+1,y)}=\frac{\mathrm{\ρ}(x,y)}{\mathrm{\ρ}(x+1,y)}---\left(13\right)$

同理，像素点(x，y)的四邻域中的点都可以得到类似的关系式；上式说明相邻像素点的像素值之间的比值只和表面反射率有关；像素点纹理特征的提取可以利用一阶或二阶梯度滤波器；

2)阴影点颜色特征及提取：

根据图像的物理辐射模型，令像素点(x，y)处的RGB分量分别为IR(x，y)，IG(x，y)，IB(x，y)，像素点R和B分量的比值如下式所示：

$\left\{\begin{array}{c}r(x,y)=\ln \frac{I_R(x,y)}{I_B(x,y)}=\ln I_R(x,y)-\ln I_B(x,y)\\ g(x,y)=\ln \frac{I_G(x,y)}{I_B(x,y)}=\ln I_G(x,y)-\ln I_B(x,y)\end{array}\right.---\left(14\right)$

利用上式定义的像素点颜色分量的对数比r(x，y)和g(x，y)作为像素点的颜色特征；

3)阴影点的分割：

令视频帧在点(x，y)处的第二层小波分解系数在水平和垂直方向的分解系数为CH、CV。该像素点处的背景像素值为I1(x，y)，其第二层小波分解在水平和垂直方向的分解系数为C H1和CV1；

对于图像中的阴影像素点，其纹理特征与背景的纹理特征极为接近，则阴影点在水平方向和垂直方向上的小波分解系数应该满足下式：

||CH(x，y)-CH1(x，y)||≤TCH    (15)

||CV(x，y)-CV1(x，y)||≤TCV    (16)

TCH为水平方向小波系数分割阈值，TCV是垂直方向小波分解系数分割阈值。

将水平和垂直方向的小波分解系数的结合作为该像素点处的纹理特征，因此，阴影区和背景的纹理特征应该满足下式：

Ψ(x，y)＝|CH(x，y)-CH1(x，y)|+|CV(x，y)-CV1(x，y)|    (17)

Ψ(x，y)≤λ    (18)

λ是点(x，y)处区分背景和阴影纹理特征差异的分割阈值；

根据本章中定义的颜色特征r(x，y)和g(x，y)阴影处的颜色特征应满足下式：

Θ(x，y)＝|r(x，y)-r1(x，y)|+|g(x，y)-g1(x，y)|    (19)

δ≤Θ(x，y)≤γ    (20)

其中，r(x，y)、g(x，y)以及r1(x，y)、g1(x，y)分别代表前景像素点与其对应的背景像素点的颜色特征；

阴影区的像素点必须同时满足式(19)和式(20)；提取出前景中疑似阴影的筛选法则可以表示为：

其中，λ、δ、γ是分割阴影区域的纹理特征和颜色特征对应的分割阈值；上式中的sh(x，y)代表对前景中的像素点进行疑似阴影点初步筛选的筛选掩膜，该掩膜将前景检测中最有可能是阴影像素点的位置标记为1，否则标记为0；

利用双特征结合的向量Z(x，y)建立阴影模型，利用阴影初步筛选法则筛选出的疑似阴影点建立阴影模型，对前景中的真正阴影像素点的分割；

阴影模型如下式所示：

${\mathrm{sh}}_t\left(z\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}\·\mathrm{\η}(z_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})---\left(22\right)$

阴影模型中第i个高斯函数如下式所示

$\mathrm{\η}(Z_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{1/2}}\exp [-\frac{1}{2}{(Z_t-{\mathrm{\μ}}_{i,t})}^T{\mathrm{\Σ}}_{i,t}^{-1}(Z_t-{\mathrm{\μ}}_{i,t})]---\left(23\right)$

其中，Zt是t时刻经阴影初筛法则筛选出的疑似阴影点的纹理颜色双特征组成的特征向量；

当t+1时刻经背景模型和阴影初筛法则筛选出的疑似阴影点被筛选出来时，计算该像素点处的纹理颜色双特征Zt+1与阴影模型中的K个高斯函数均值的绝对差；如果Zt与模型中第i个高斯函数的均值μi，t之间的距离在0到之间，建模时模型的协方差矩阵更新公式，对上一次更新后得到的协方差矩阵；

是第i个高斯函数的标准差，则认为该像素点的像素值与这个高斯函数分布相符，判定该像素点为真正的阴影像素点，否则认为其不属于阴影。

4.根据权利要求1所述的基于视频的多模型结合水面船舶检测方法，其特征在于上述第三步中构建水波模型的具体过程如下：

对水面波纹像素点进行初筛选的疑似水波掩膜可以定义为：

α、β、v分别是分割水波纹的纹理特征和颜色特征对应的分割阈值；疑似水波掩膜与疑似阴影掩膜的定义类似，其在前景检测结果中最有可能是水波点的位置标记为1，否则标记为0；通过水波模型WVt对t时刻的疑似水波点的进一步筛选，从而将前景掩膜中的水波点分割出来。

Images