CN104008554A - 基于视频的铁路线小目标检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于视频的铁路线小目标检测方法及系统,通过在视频检测中采用神经元模拟方式，进一步增加了基于帧级的前景分割，从而应对因剧烈光照变化而造成的大面积鬼影的情况。当场景中有多于占比阈值的像素被判定为前景，则认为基于颜色前景分割获得的前景已经不再可靠，转而采用梯度特征值进行分割便能够获得前景的轮廓,从而确保轮廓内的像素填充即可获得完整的前景。

Description

基于视频的铁路线小目标检测方法及系统

技术领域

本发明涉及视频检测处理方法，尤其是指一种基于视频的铁路线小目标检测方法及系统。

背景技术

随着视频检测技术的发展，其在时下各领域中得到了广泛应用。而基于视频的铁路线目标检测在发现对列车运行存在危害的目标和及时侦测穿越铁道线的行人以避免人员伤亡和事故具有重要的意义。

然而，现有基于视频的铁路线目标检测技术的特点是检测视场大，但视场中真正需要检测的目标却很小，由于大视场中系统大小的目标存在不同距离上的成像差异大的特点；同时行人这样的目标往往表现为小目标；从而一般的目标检测难以取得较好检测效果。因此对于铁路线的视频检测而言，小目标检测是视频检测的重大难点。

发明内容

本发明所要解决的技术问题是：

为了解决上述技术问题，本发明采用的技术方案为：一种基于视频的铁路线小目标检测方法，包括步骤，

S1)输入视频的第一帧图像；

S2)建模，为视频的帧图像中每个像素建立n×n个神经元，得到帧图像的MAP结构，而后将帧图像中像素均作为背景分布的由神经元集合中的神经元进行模拟；

S3)输入视频的下一帧图像；

S4)遍历当前帧图像，对帧图像中的每一个像素进行基于颜色的前景分割；

S5)判断当前帧图像中，属于前景的像素占比是否大于占比阈值。是则执行步骤S6，否则执行步骤S7；

S6)利用场景梯度值重新分割前景

S7)输出标出前景的图像，返回步骤S3。

本发明的有益效果在于：在视频检测中增加了基于帧级的前景分割，从而应对因剧烈光照变化而造成的大面积鬼影的情况。通过增加相应判断步骤，当场景中有多于占比阈值的像素被判定为前景，则认为基于颜色前景分割获得的前景已经不再可靠，转而采用梯度特征值进行分割便能够获得前景的轮廓,从而确保轮廓内的像素填充即可获得完整的前景。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明方法的流程图；

图2为本发明方法的颜色前景分割的流程图；

图3(a)为本发明的Sobel算子的垂直方向算子；

图3(b)为本发明的Sobel算子的水平方向算子。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于:在视频检测中增加了基于帧级的前景分割，从而应对因剧烈光照变化而造成的大面积鬼影的情况。通过增加相应判断步骤，当场景中有多于占比阈值的像素被判定为前景，则认为基于颜色前景分割获得的前景已经不再可靠，但由于开关灯所引起光照变化是连续的，因此这种情况并不会造成场景中梯度值的明显变化。因此此时采用梯度特征值进行分割便能够获得前景的轮廓。最后将轮廓内的像素填充即可获得完整的前景。

此外，在基于颜色前景分割涉及了自学习、自适应的控制流程，从而确保视频的前景、背景的准确识别。

请参阅图1，一种基于视频的铁路线小目标检测方法，包括步骤，

S1)输入视频的第一帧图像。

S2)建模，为视频的帧图像中每个像素建立n×n个神经元，得到帧图像的MAP结构，而后将帧图像中像素均作为背景分布的由神经元集合中的神经元进行模拟。

此处的n×n中,n最佳取单数，由此可使得视频帧所有像素的神经元组成一个单整数的平方倍于原视频帧大小的MAP结构，便于运算。

而神经元进行模拟则除了会将视频帧像素的信息映射外，还会进行神经元控制参数和相关标记的建立。

S3)输入视频的下一帧图像。

S4)遍历当前帧图像，对帧图像中的每一个像素进行基于颜色的前景分割。

S5)判断当前帧图像中，属于前景的像素占比是否大于占比阈值。是则执行步骤S6，否则执行步骤S7。

S6)利用场景梯度值重新分割前景。

S7)输出标出前景的图像，返回步骤S3。

从上述描述可知，本发明的有益效果在于：在视频检测中增加了基于帧级的前景分割，从而应对因剧烈光照变化而造成的大面积鬼影(例如室内开关灯情况中尤为常见)的情况。通过增加相应判断步骤，当场景中有多于占比阈值的像素被判定为前景，则认为基于颜色分割获得的前景已经不再可靠，但由于开关灯所引起光照变化是连续的，因此这种情况并不会造成场景中梯度值的明显变化。因此此时采用梯度特征值进行分割便能够获得前景的轮廓。最后将轮廓内的像素填充即可获得完整的前景。

实施例1：

上述占比阈值取50％，由此当场景中有50％以上的像素被判定为前景，则认为基于颜色分割获得的前景已经不再可靠，转而采用梯度特征值进行分割便能够获得前景的轮廓。

实施例2：

如图2所示，所述步骤S4具体包括步骤，

S41)、输入当前帧中第一个像素；

S42)、在神经元集合中搜索是否有与之距离小于阈值的神经元，若不存在则转到步骤S43；存在则选出该神经元作为最佳匹配神经元后转到步骤S45；

S43)、将该像素标出为前景，而后转到步骤S44；

S44)、输入下一个像素后转回步骤S42；

S45)、降低该最佳匹配神经元的更新率；

在上述S42步骤中，如果待测像素能够在与之对应的神经元集合中寻找到最佳匹配神经元，则本步骤中将调整该最佳匹配神经元的更新率控制器，使更新率控制器的值增大。根据最佳匹配神经元更新率控制器的变化，动态地调整最佳匹配神经元的更新率，使得当一个神经元持续作为最佳匹配神经元时，其更新率也会随之减小。与此同时，控制神经元的变化速率，使得当神经元与当前像素的拟合度越高，相应的更新率控制器的值增长得越快，神经元的收敛也越快，反之，如果神经元不能很好拟合当前像素，其更新率控制器的增长将趋于缓慢。通过这种调节方式，一个收敛的神经元将逐渐进入稳定状态。

进一步的，在一实施例中，为了防止神经元更新率不断下降使得神经元的更新陷入完全停滞状态，可用一个动态的更新率为神经元的更新率规定了下界，这个动态更新率和神经元的更新率一同控制更新模型的学习能力。

S46)、计算神经元集合内各神经元的鬼影参数，所述鬼影参数包括神经元在其邻域内的权值比重与局部梯度变化量。

若原有背景从场景中离开，则过期的神经元的更新率控制器会被重置，从而获得较大的更新率，这有助于神经元主动地从邻域已经收敛的神经元中获取上下文，并随着更新率控制器的不断调整重新到达收敛状态。

在更新的过程中，由两个参数控制神经元的重建，分别为该神经元在其邻域内的权值比重和局部梯度变化量。

如果神经元持续被访问，则其权值不断增大。但若神经元长期不能成为最佳匹配神经元，那么该神经元的权值会持续衰减。一个神经元的权值越低，其可信度越差。对于处于鬼影轮廓上的像素值，由于其周围将存在背景像素，因此该像素的神经元具有较低的权值比重。

神经元梯度的提取分别采用了垂直和水平方向的Sobel梯度算子。每个神经元将第一帧图像的梯度值作为初始时刻的梯度特征。各个神经元的梯度特征随模型一起更新，其更新方式与颜色向量的更新方式相似，唯一的不同在于像素在更新最佳匹配神经元的同时也更新邻域神经元的颜色向量，而梯度特征则从不进行邻域传播更新。在最佳匹配神经元梯度更新的同时，最佳匹配神经元邻域内神经元的梯度特征值保持不变。

S47)、对神经元集合中神经元分类处理，对非最佳匹配神经元执行步骤S48，对最佳匹配神经元执行步骤S50；

S48)、当非最佳匹配神经元的梯度变化量是否小于第一阈值且权值小于第二阈值时候执行步骤S49；

S49)、重置该神经元的更新率；

S50)、判断最佳匹配神经元的梯度变化量是否不小于第一阈值，否则转到步骤S43，是则转到步骤S51；

S51)、更新最佳匹配神经元领域，转到步骤S52；

最佳匹配神经元的更新率对其邻域内的神经元的更新过程产生影响。当最佳匹配神经元收敛到背景时，其更新率具有很小的值，使得其邻域信息对其的干扰减小。反之，初始状态的神经元能够通过邻域上下文的传播实现快速收敛。

S52)、将更新最佳匹配神经元领域内神经元标出为背景，转回步骤S44。

上述步骤S48与S50均为鬼影验证，是基于局部梯度变化检测的自适应方法根据神经元在其邻域内的权值比重和局部梯度变化量的变化情况对两类神经元进行了特殊处理。

对于最佳匹配神经元，如果该神经元的梯度局部变化量不小于既定阈值，则认为该神经元邻接于前景。因此，为了保护静态的前景目标不受到错误的腐蚀，此时并不对该最佳神经元的邻域进行更新。

对于非最佳匹配神经元，如果其梯度局部变化量小于既定阈值，且其权值比重小于另一既定阈值，则认为该神经元位于鬼影轮廓之上，算法将该神经元的更新率控制器进行重置。

具体示例：

1、输入视频的第一帧图像

2、建模

2.1构造MAP

以该帧图像为准，为其每个像素建立n×n个神经元C＝(c₁，c₂，...，c_N)(N＝n×n)，则视频帧所有像素的神经元组成了一个n×n倍于原视频帧大小的MAP结构。记任一像素为a，则像素a的背景分布由神经元集合S_t(a)＝{a₁,a₂,...,a_i}(i＝1,2,...,n×n)中的神经元进行模拟。视频帧中其他像素也遵循相同的建模方式。

将t时刻MAP中的每个神经元表示为M_t(i，j)。其中，(i，j)代表该神经元在MAP中的坐标。对于原始视频帧中任意像素p_t(x，y)，与其对应的最佳匹配神经元为

2.2建立神经元控制参数

M_t(i，j)：t时刻MAP中的每个神经元，(i，j)代表该神经元在MAP中的坐标；

与M_t(i，j)对应的最佳匹配神经元；

p_t(x，y)：原始视频帧中任意像素；

ε：占比阈值；

U：第一阈值；

R：第二阈值；

α_t(i，j)：神经元M_t(i，j)的更新率；

β_t(i，j)：与α_t(i，j)有关的参数，β₀(i，j)＝1；

h_t(i，j)：神经元M_t(i，j)的更新率控制器，h₀(i，j)＝1；

v_t(i，j)：神经元M_t(i，j)的特征向量，由HSV空间的色度值H，亮度值S及饱和度值V组成。v₀(i，j)＝0。

τ(i，j)：与鬼影验证相关的神经元M_t(i，j)的相对权值；

δ(i,j)：与鬼影验证相关的神经元M_t(i，j)的局部梯度变化量；

神经元的梯度特征；

ω_t(i，j)：神经元M_t(i，j)的鬼影权值

3、输入视频的下一帧图像

4、对每一个像素进行前景分割

4.1输入当前帧中第一个像素

4.2寻找最佳匹配神经元

记位于视频帧a位置上的待测像素为P_t，在集合S_t(a)中搜索与之距离最近的神经元，如果该神经元与待测像素的距离不超过阈值ε，则称其为最佳匹配神经元。若S_t(a)中存在最佳匹配神经元，则进入步骤2.2，做进一步判断，反之将P_t判定为前景。

4.3更新最佳匹配神经元的更新率

在自适应模型中，如果p_t(x，y)能够在与之对应的神经元集合S_t(x，y)中寻找到最佳匹配神经元，且该神经元具有特征向量则增加的大小：

$\mathrm{\Δ}{h}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})=e^{-\mathrm{\μ}\left(t\right)}---\left(1\right)$

$\mathrm{\μ}\left(t\right)=\frac{{\left|\right|p_t(x,y)-v_t(\stackrel{\‾}{x},\stackrel{\‾}{y})\left|\right|}^2}{{\mathrm{\ϵ}}^2}---\left(2\right)$

其中ε为模型的占比阈值。根据的变化，为每个神经元动态地计算更新率，计算公式如下：

${\mathrm{\α}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})={\mathrm{\β}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})+(1-{\mathrm{\β}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y}))\mathrm{\α}---\left(3\right)$

${\mathrm{\β}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})=h_t{(\stackrel{\‾}{x},\stackrel{\‾}{y})}^{-1}---\left(4\right)$

当一个神经元持续作为最佳匹配神经元时，其值将不断增大，因此将持续降低，神经元的更新率也会随之减小。与此同时，μ(t)控制了的变化速率，神经元与当前像素的拟合度越高，增长得越快，神经元的收敛也越快，反之，如果神经元不能很好拟合当前像素，的增长将趋于缓慢。通过这种调节方式，一个收敛的神经元将逐渐进入稳定状态。

自适应方法还为进入收敛状态的神经元选取一个更新率α，它规定了神经元更新率的下界，以此防止神经元陷入完全停滞的状态。在神经元初始初始化阶段，接近于1，神经元更新率的值主要由决定。随着神经元的逐渐收敛，趋近于0。此时该神经元更新率近似为α，并进入收敛状态。最终，最佳匹配神经元遵循移动平均法更新其特征向量：

$v_{t+1}(\stackrel{\‾}{x},\stackrel{\‾}{y})=(1-{\mathrm{\α}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y}))v_t(\stackrel{\‾}{x},\stackrel{\‾}{y})+{\mathrm{\α}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})\·p_t(x,y)---\left(5\right)$

其中，控制了模型对新样本的学习能力。若越大，则模型受新样本的影响越大。与此同时，模型中的旧样本将以的速率随迭代过程不断地衰减。

4.4计算S_t(x,y)内各神经元的鬼影参数

若原有背景从场景中离开，则过期的神经元的h_t会被重置为1，从而获得较大的更新率，这有助于神经元主动地从邻域已经收敛的神经元中获取上下文，并随着h_t的增大重新到达收敛状态。在更新的过程中，由两个参数控制神经元的重建，分别为相对权值τ(i，j)和局部梯度变化量δ(i，j)。为每个神经元增设一个权值，权值的更新采用移动平均法：

ω_t(i，j)＝(1-α)ω_t-1(i，j)+αO         (6)

如果神经元M_t(i，j)为最佳匹配神经元，则O值为1，反之O值为0。因此，如果神经元持续被访问，则其权值不断增大。但若神经元长期不能成为最佳匹配神经元，那么该神经元的权值会持续衰减。一个神经元的权值越低，其可信度越差。相对权值计算了一个神经元在其邻域内的权值比重：

对于处于鬼影轮廓上的像素值，由于其周围将存在背景像素，因此该像素的神经元具有较低的τ(i，j)值。

神经元重建的另一个控制参数为局部梯度的变化，自适应方法将梯度值作为神经元的另一个特征，并在每个M_t(i，j)存储梯度的估计值梯度的提取分别采用了垂直和水平方向的Sobel梯度算子(见图3(a)、图3(b))，最终的梯度值为二者之和：

$\▿f_t(x,y)=\left|\frac{\∂I_t}{\∂x}\right|+\left|\frac{\∂I_t}{\∂y}\right|---\left(8\right)$

每个神经元将第一帧图像的梯度值作为初始时刻的梯度特征。各个神经元的梯度特征随模型一起更新，其更新方式与颜色向量v_t(i，j)的更新方式相似，唯一的不同在于p_t(x，y)在更新最佳匹配神经元的同时也更新邻域神经元的颜色向量而梯度特征则从不进行邻域传播更新。的更新规则可表示为：

${\▿}_{t+1}(\stackrel{\‾}{x},\stackrel{\‾}{y})=(1-{\mathrm{\α}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})){\▿}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})+{\mathrm{\α}}_t(\stackrel{\‾}{x},\stackrel{\‾}{y})\·\▿f_t(x,y)---\left(9\right)$

在更新的同时，邻域内神经元的梯度特征值保持不变。本方法将与的差值表示为δ(i，j)。

4.5鬼影验证

基于局部梯度变化检测的自适应方法根据τ(i，j)与δ(i，j)的变化情况对两类神经元进行了特殊处理。

对于最佳匹配神经元，如果该神经元的不小于阈值U，则认为该神经元邻接于前景。因此，为了保护静态的前景目标不受到错误的腐蚀，此时并不对该最佳神经元的邻域进行更新。

对于非最佳匹配神经元，如果δ(i，j)小于阈值U且τ(i，j)小于一个既定的阈值R，则认为该神经元位于鬼影轮廓之上，算法将该神经元的h_t(i，j)值重置为1。

4.6更新最佳匹配神经元邻域内的神经元

对于最佳匹配神经元邻域内的神经元，其更新公式可表示为：

v_t+1(i，j)＝(1-ρ_t(i，j))v_t(i，j)+ρ_t(i，j)·p_t(x，y)     (l0)

其中 (i，j)处于的n×n邻域内。在公式(10)中，ρ_t(i，j)＝α_t(i，j)·θ(i，j)。其中α_t(i，j)为该神经元的更新率。θ(i，j)为归一化的高斯权值。α_t(i,j)的计算方式与的计算方法相同，其公式为：

α_t(i，j)＝β_t(i，j)+(1-β_t(i，j))α        (11)

θ(i,j)的计算规则遵照公式：

其中， 是以为中心，n×n邻域范围内的高斯权重。其计算公式为：

通过更新公式可知，邻域更新的过程也受到α_t(i，j)的影响，如果神经元M_t(i，j)已经收敛到背景，那么它的更新率α_t(i,j)将具有很小的值，而ρ_t(i，j)的值也会随之减小，从而减少了邻域信息对该收敛神经元的干扰。反之，对于初始化的神经元，其ρ_t(i，j)将具有较大的值，因此该神经元能够通过邻域上下文的传播实现快速收敛。

5、基于帧级的前景分割

该步骤主要用于处理因剧烈光照变化而造成的大面积鬼影。这种情况在室内开关灯情况中尤为常见。

若场景中有50％以上的像素被判定为前景，则认为基于颜色分割获得的前景已经不再可靠。但由于开关灯所引起光照变化是连续的，因此这种情况并不会造成场景中梯度值的明显变化。因此此时采用梯度特征值进行分割便能够获得前景的轮廓。最后将轮廓内的像素填充即可获得完整的前景。

6、输出标出前景的图像

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种基于视频的铁路线小目标检测方法，其特征在于：包括步骤，

S1)输入视频的第一帧图像；

S2)建模，为视频的帧图像中每个像素建立n×n个神经元，得到帧图像的MAP结构，而后将帧图像中像素均作为背景分布的由神经元集合中的神经元进行模拟；

S3)输入视频的下一帧图像；

S4)遍历当前帧图像，对帧图像中的每一个像素进行基于颜色的前景分割；

S5)判断当前帧图像中，属于前景的像素占比是否大于占比阈值。是则执行步骤S6，否则执行步骤S7；

S6)利用场景梯度值重新分割前景；

S7)输出标出前景的图像，返回步骤S3。

2.如权利要求1所述的基于视频的铁路线小目标检测方法，其特征在于：所述占比阈值为50％。

3.如权利要求1所述的基于视频的铁路线小目标检测方法，其特征在于：所述步骤S4具体包括步骤，

S41)、输入当前帧中第一个像素；

S42)、在神经元集合中搜索是否有与之距离小于阈值的神经元，若不存在则转到步骤S43；存在则选出该神经元作为最佳匹配神经元后转到步骤S45；

S43)、将该像素标出为前景，而后转到步骤S44；

S44)、输入下一个像素后转回步骤S42；

S45)、降低该最佳匹配神经元的更新率；

S46)、计算神经元集合内各神经元的鬼影参数，所述鬼影参数包括神经元在其邻域内的权值比重与局部梯度变化量；

S47)、对神经元集合中神经元分类处理，对非最佳匹配神经元执行步骤S48，对最佳匹配神经元执行步骤S50；

S48)、当非最佳匹配神经元的梯度变化量是否小于第一阈值且权值小于第二阈值时候执行步骤S49；

S49)、重置该神经元的更新率；

S50)、判断最佳匹配神经元的梯度变化量是否不小于第一阈值，否则转到步骤S43，是则转到步骤S51；

S51)、更新最佳匹配神经元领域，转到步骤S52；

S52)、将更新最佳匹配神经元领域内神经元标出为背景，转回步骤S44。