CN113643323B - 城市地下综合管廊尘雾环境下目标检测系统 - Google Patents

Abstract

本发明提出城市地下综合管廊尘雾环境下目标检测系统，所述系统包括视频逐帧去雾模块和运动目标检测模块，所述视频逐帧去雾模块用于将地下管廊的模糊视频画面去除尘雾影响，恢复管廊内物体或行人轮廓；所述运动目标检测模块用于对视频中运动目标的轮廓进行检测判断，实现了去雾和抑制噪声的效果，而且该模型对边缘的保持有较好的能力，消除了背景更新不及时导致的鬼影现象，而且运算速度得到明显的提升，实现了运动目标追踪的要求。

Description

城市地下综合管廊尘雾环境下目标检测系统

技术领域

本发明属于城市地下综合管廊检测的技术领域，尤其涉及城市地下综合管廊尘雾环境下目标检测系统。

背景技术

由于我国智慧城市建设的飞速发展，地下管线的扩容、维修和更新等会造成道路不断发生开挖现象，城市地下综合管廊的建设在我国逐步展开，让城市趋于智慧化、系统化、现代化和绿色可持续发展。在综合管廊的建设和维护过程中，考虑到地下是一个封闭且光照条件非常恶劣的环境，导致其监控系统受到地下较差的环境影响，摄像头对视频画面的简单处理不能达到要求。为了对管廊内施工人员安全以及地下管廊的管理，必须克服管线不足、照度低且尘雾大对监控画面的影响问题。

由于地下综合管廊内光照条件不理想再加上空气中的雾尘使得摄像头所提取到的视频画面辨识度较低，不能满足相关监测功能的要求，因此需要设计城市地下综合管廊尘雾环境下目标检测系统来解决上述问题。

发明内容

本发明的目的在于提供一种能够解决上述问题的城市地下综合管廊尘雾环境下目标检测系统。

本发明采用的技术方案如下：

城市地下综合管廊尘雾环境下目标检测系统，其特征在于：所述系统包括视频逐帧去雾模块和运动目标检测模块：

所述视频逐帧去雾模块用于将地下管廊的模糊视频画面去除尘雾影响，恢复管廊内物体或行人轮廓；

所述运动目标检测模块用于对视频中运动目标的轮廓进行检测判断。

本发明的进一步改进在于：所述视频逐帧去雾模块利用基于图像深度模型的大气散射模型来实现去雾图像的恢复；

所述大气散射模型的公式为：

I_f(x)＝R_d(x)t_r(x)+A(1-t_t(x))#(1)

t_r(x)＝e^-βd(x)#(2)

其中x是像素位置；R_d(x)是恢复图像的场景辐射度；t_r(x)是透射介质的透射率，表示到达相机的未散射光的部分；A是全局大气光；β表示散射系数；d(x)是场景的深度；

在给定阈值d_th的情况下，通过以下等式来估计全局大气光A：

I_f(x)＝A，d(x)≥d_th#(3)

所述去雾图像的恢复方法为：

1)将通过深度模型处理得到的深度图d(x)代回到透射率公式(2)中；

2)通过公式(1)结合透射率t_r(x)和全局大气光A，得到去雾图像I_f(x)。

本发明的进一步改进在于：所述图像深度模型包括颜色模型转换器和尺寸计算器。

本发明的进一步改进在于：所述图像深度模型的算法如下：

a.视频流按帧读取，将RGB格式的逐帧图片输入深度模型；

b.图片分别输入颜色模型转换器和尺寸计算器中；

c.颜色模型转换器将输入图片转换为HIS颜色模型，输出为色调、饱和度、亮度的三个矩阵，且大小为n*m；

d.分别求亮度和饱和度矩阵的差值与总和，将两个结果相比，令其为d₂(x)

e.通过尺寸计算器得到输入图像矩阵的行数(n)和列数(m)，进一步用于计算亮度提升因子d₁(x)

f.计算深度模型的随机误差ε(x)，表示具有零均值和方差δ²的随机图像(即ε(x)～N(0，δ²))，令其为d₃(x)

d₃(x)＝ε(x)#(6)

g.计算亮度提升因子d₁(x)、强度与饱和度的差与总比d₂(x)、随机误差d₃(x)后，计算所有的总和并估计深度图d(x)，如下式：

d(x)＝d₁(x)+d₂(x)+d₃(x)#(7)

本发明的进一步改进在于：所述运动目标检测模块基于改进的混合高斯背景模型，具体运行如下：

用改进的混合高斯背景模型读取经视频逐帧去雾模块处理过的视频序列中的帧图像，获得运动目标的二值图像，经形态学滤波，从而提取出管廊内的运动目标。

本发明的进一步改进在于：所述改进的混合高斯背景模型为：

取去雾视频中任意点，将(x_m，y_m)在t时刻对视频按从上到下，从左到右的顺序分成N*N大小的方块，如公式(9)，其中I(i，j，t)为t时刻之前的像素值

对每块建立多个不同的高斯模型：

式中ω_i，t为高斯模型的权值；K为模型个数，K个权值的总和为1；μ_i，t为i个高斯分布的均值；每个像素块的值相互独立， 为t时刻的第i个高斯分布，如式(11)，其中n为x_t的维数值

本发明的进一步改进在于：所述改进的混合高斯背景模型的建模步骤如下：

S1：获取当前帧的像素值，用每个像素值与K个高斯背景模型进行匹配

|x_t-μ_i，t-1(x，y)|≤2.5δ_i，t-1#(12)

K值的取值为[3，5]；

S2：若满足式(12)，那么匹配成功，若不满足：

当k＜K时，增加一个新高斯分布；

当k＝K时，用建立的新的高斯分布代替

对背景模型中匹配成功的高斯分布的均值、方差和其他参数进行更新

θ＝εη(x_i，t|μ_i，t，∑_i，t)#(16)

θ为参数学习率，ε为学习速率并且0≤ε≤1，匹配检验后，更新同个像素的各个高斯分布权重：

ω_i，t＝(1-ε)ω_i，t-1+ε·G_i，t#(17)

每一个像素块按照优先级的顺序对进行降序排列，将其中的前B个高斯分布作为背景像素，描述方式为下式(18)：

用x_i，t与B个高斯分布进行匹配，匹配成功为背景点，匹配不成功为前景点。

有益效果：

本发明提出一种新的深度模型，该模型仅使用视频的单帧图像获取图像的深度信息，从而实现去雾和抑制噪声的效果，而且该模型对边缘的保持有较好的能力，本发明对目标的检测提出了一种改进的混合高斯背景模型，消除了背景更新不及时导致的鬼影现象，而且运算速度得到明显的提升，实现了运动目标追踪的要求。

附图说明

图1为本发明的图像深度模型算法流程图；

图2为本发明的运动目标检测算法流程图。

具体实施方式

城市地下综合管廊尘雾环境下目标检测系统，所述系统包括视频逐帧去雾模块和运动目标检测模块：所述视频逐帧去雾模块用于将地下管廊的模糊视频画面去除尘雾影响，恢复管廊内物体或行人轮廓；所述运动目标检测模块用于对视频中运动目标的轮廓进行检测判断，所述视频逐帧去雾模块利用基于图像深度模型的大气散射模型来实现去雾图像的恢复。

第一模块：视频逐帧去雾模块：

地下综合管廊中存在的尘雾对强光源光线进行散射，导致摄像头获取到模糊画面。在计算机视觉中，模糊光学模型广泛用于描述去雾图像I_f(x)的形成，用公式表示为：

I_f(x)＝R_d(x)t_r(x)+A(1-t_r(x))#(1)

t_r(x)＝e^-βd(x)#(2)

其中x是像素位置；R_d(x)是恢复图像的场景辐射度；t_r(x)是透射介质的透射率，表示到达相机的未散射光的部分；A是全局大气光；β表示散射系数；d(x)是场景的深度。

公式(1)定义的大气散射模型中，最重要的参数是场景深度d(x)，它定义了雾的密度；均匀大气条件下的散射系数β取一个常量值。

当d(x)的值大时，t_r(x)变得非常小或几乎等于0；

当d(x)非常小时，I_f(x)＝R_d(x)。在给定阈值d_th的情况下，通过以下等式来估计全局大气光A：

I_f(x)＝A，d(x)≥d_th#(3)

所述图像深度模型包括颜色模型转换器和尺寸计算器，图像深度模型算法步骤：

a.视频流按帧读取，将RGB格式的逐帧图片输入深度模型

b.图片分别输入颜色模型转换器和尺寸计算器中

c.颜色模型转换器将输入图片转换为HIS颜色模型，输出为色调、饱和度、亮度的三个矩阵，且大小为n*m

d.分别求亮度和饱和度矩阵的差值与总和，将两个结果相比，令其为d₂(x)

其中i(x)为亮度矩阵，s(x)为饱和度矩阵；

e.通过尺寸计算器得到输入图像矩阵的行数(n)和列数(m)，进一步用于计算亮度提升因子d₁(x)

其中n和m分别为矩阵的列数和行数；

f.计算深度模型的随机误差ε(x)，表示具有零均值和方差δ²的随机图像(即ε(x)～N(0，δ²))，令其为d₃(x)

d₃(x)＝ε(x)#(6)

g.计算亮度提升因子d₁(x)、强度与饱和度的差与总比d₂(x)、随机误差d₃(x)后，计算所有的总和并估计深度图d(x)，如下式：

d(x)＝d₁(x)+d₂(x)+d₃(x)#(7)

去雾图像的恢复方法为：

1)将通过深度模型处理得到的深度图d(x)代回到透射率公式(2)中

2)通过公式(1)结合透射率t_r(x)和全局大气光A，得到去雾图像I_f(x)。

第二模块：运动目标检测模块

所述运动目标检测模块基于改进的混合高斯背景模型，具体运行如下：

用改进的混合高斯背景模型读取经视频逐帧去雾模块处理过的视频序列中的帧图像，获得运动目标的二值图像，经形态学滤波，从而提取出管廊内的运动目标。

传统高斯背景模型是对每一个像素点进行多个高斯背景模型的建立，由于更新机制时间长，环境不同，场景也不停地变化，就会造成背景模型不能及时更新。并且地下综合管廊下视频图像颜色单一，光照不均匀导致目标与背景颜色不宜区分，在运动目标检测时背景无法及时的提取和更新，则导致最终的检测不准确。本发明提出将去雾后的图像连续分割成N*N的小块；然后用每一小块的像素均值分别来替代整块的像素值，进行均值法建模，大幅提高程序处理速度。

取去雾视频中任意点，将(x_m，y_m)在t时刻对视频按从上到下，从左到右的顺序分成N*N大小的方块，如公式(9)，其中I(i，j，t)为t时刻之前的像素值，所述改进的混合高斯背景模型为：

对每块建立多个不同的高斯模型：

式中ω_i，t为高斯模型的权值；K为模型个数，K个权值的总和为1；μ_i，t为i个高斯分布的均值；每个像素块的值相互独立， 为t时刻的第i个高斯分布，如式(11)，其中n为x_t的维数值

改进混合高斯背景建模分为以下几步：

S1：获取当前帧的像素值，用每个像素值与K个高斯背景模型进行匹配

|x_t-μ_i，t-1(x，y)|≤2.5δ_i，t-1#(12)

K值的大小直接影响最终的处理效果，K值越大，需要运算的时间越长，所以在不同的运算场景中应选取合适的值，一般取值为[3，5]；

S2：若满足式(12)，那么匹配成功，若不满足：

①当k＜K时，增加一个新高斯分布；

②当k＝K时，用建立的新的高斯分布代替

对背景模型中匹配成功的高斯分布的均值、方差和其他参数进行更新

θ＝εη(x_i，t|μ_i，t，∑_i，t)#(16)

θ为参数学习率，ε为学习速率并且0≤ε≤1，匹配检验后，更新同个像素的各个高斯分布权重：

ω_i，t＝(1-ε)ω_i，t-1+ε·G_i，t#(17)

建立混合高斯模型时，只用几个高斯分布表示背景，前景则由剩余的表示，由于背景存在持续的时间比前景久，所以在高斯混合模型中权重较大的分布表示背景部分。高斯模型建立完成后，每一个像素点都会按照优先级的顺序对进行降序排列，将其中的前B个高斯分布作为背景像素的描述方式为下式(18)：

用x_i，t与B个高斯分布进行匹配，匹配成功为背景点，匹配不成功为前景点，通过这个流程能够实现对运动目标的检测，算法流程图如下图2：

传统的高斯背景模型的更新速率是统一的，因此背景模型不能得到及时的更新，从而造成实际场景未能实时变化，导致无法达到视频监控的要求。实际操作时需要根据图像不同的块特点选择相应的速率值，在初始化时取一个较大的T值确定B值，对于单模态区域，使B＝1更新速率θ赋值一个较小的值；对于多模态区域，通常B满足1＜B≤k，更新速率θ赋值一个较大的值；改进的混合高斯背景模型对得到的图像采用改进的混合高斯背景建模法分别进行处理，最后经过形态学处理，对其进行去除噪声和填充“空洞”，从而提取出管廊内的人员目标。

针对去雾处理，本发明不需要数据集对模型参数进行训练，管廊数据集获取较为困难，而且模型对数据集有一定的依赖性，本发明提出的模型通过分析单帧图片来获取深度信息，可以获得较好的去雾效果。

针对目标检测，传统的混合高斯模型在处理场景突变的问题时不能及时更新导致检测结果不准，对模型进行改进后，将原来的对单独像素点进行高斯建模变为分块建模，这样改进了检测效果也提高了运算速度，本发明针对地下综合管廊视频处理提出一个系统，系统包含去雾模块和目标检测模块，去雾模块用于将地下管廊的模糊视频画面去除尘雾影响，恢复管廊内物体或行人轮廓；目标检测模块对轮廓进行检测判断。

与现有技术相比，本发明采用以上技术方案的有益效果是：

1)区别于其他去雾方法，本发明提出的深度模型基于视频单帧图片获取深度信息，不依赖于数据集对参数的训练，经过处理后的图片，对比度和轮廓的保持都有较好的效果，且运算时间较短。

2)改进的高斯背景模型消除了高斯背景模型由于背景更新不及时而产生的鬼影现象，算法的运算量降低，运算速度有效提升，达到煤矿安全生产监控目标识别的实时性要求。混合高斯背景模型能克服漏检和误检等问题，利用混合高斯背景模型获得背景模板，处理中将当前帧图像中的背景进行消除，然后选取合适的阈值，获得了能够抑制运动目标阴影的前景图像，算法检测的运动目标轮廓比较完整，能够将背景和目标完整的区分出来。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (5)

1.城市地下综合管廊尘雾环境下目标检测系统，其特征在于：所述系统包括视频逐帧去雾模块和运动目标检测模块：所述视频逐帧去雾模块用于将地下管廊的模糊视频画面去除尘雾影响，恢复管廊内物体或行人轮廓，所述视频逐帧去雾模块利用基于图像深度模型的大气散射模型来实现去雾图像的恢复；所述运动目标检测模块用于对视频中运动目标的轮廓进行检测判断；所述图像深度模型的算法如下：

a.视频流按帧读取，将RGB格式的逐帧图片输入深度模型；

b.图片分别输入颜色模型转换器和尺寸计算器中；

c.颜色模型转换器将输入图片转换为HIS颜色模型，输出为色调、饱和度、亮度的三个矩阵，且大小为n*m；

d.分别求亮度和饱和度矩阵的差值与总和，将两个结果相比，令其为d₂(x)

e.通过尺寸计算器得到输入图像矩阵的行数n和列数m，进一步用于计算亮度提升因子d₁(x)

f.计算深度模型的随机误差ε(x)，表示具有零均值和方差δ²的随机图像，即ε(x)～N(0，δ²)，令其为d₃(x)

d₃(x)＝ε(x) (6)

g.计算亮度提升因子d₁(x)、强度与饱和度的差与总比d₂(x)、随机误差d₃(x)后，计算所有的总和并估计深度图d(x)，如下式：

d(x)＝d₁(x)+d₂(x)+d₃(x) (7)

2.根据权利要求1所述城市地下综合管廊尘雾环境下目标检测系统，其特征在于：所述大气散射模型的公式为：

I_f(x)＝R_d(x)t_r(x)+A(1-t_r(x)) (1)

t_r(x)＝e^-βd(x) (2)

其中x是像素位置；R_d(x)是恢复图像的场景辐射度；t_r(x)是透射介质的透射率，表示到达相机的未散射光的部分；A是全局大气光；β表示散射系数；d(x)是场景的深度；

在给定阈值d_th的情况下，通过以下等式来估计全局大气光A：

I_f(x)＝A，d(x)≥d_th (3)

所述去雾图像的恢复方法为：1)将通过深度模型处理得到的深度图d(x)代回到透射率公式(2)中；

2)通过公式(1)结合透射率t_r(x)和全局大气光A，得到去雾图像I_f(x)。

3.根据权利要求1所述城市地下综合管廊尘雾环境下目标检测系统，其特征在于：所述运动目标检测模块基于改进的混合高斯背景模型，具体运行如下：

用改进的混合高斯背景模型读取经视频逐帧去雾模块处理过的视频序列中的帧图像，获得运动目标的二值图像，经形态学滤波，从而提取出管廊内的运动目标。

4.根据权利要求3所述城市地下综合管廊尘雾环境下目标检测系统，其特征在于，所述改进的混合高斯背景模型为：

取去雾视频中任意点，将在t时刻的图像按从上到下，从左到右的顺序分成N*N大小的方块，如公式(9)，其中I(i,j,t)为t时刻的像素值

对每块建立多个不同的高斯模型：

式中ω_i,t为高斯模型的权值；K为模型个数，K个权值的总和为1；μ_i,t为i个高斯分布的均值；每个像素块的值相互独立，为t时刻的第i个高斯分布，如式(11)，其中n为x_t的维数值

。

5.根据权利要求3所述城市地下综合管廊尘雾环境下目标检测系统，其特征在于，所述改进的混合高斯背景模型的建模步骤如下：

S1:获取当前帧的像素值，用每个像素值与K个高斯背景模型进行匹配

|x_t-μ_i,t-1(x,y)|≤2.5δ_i，t-1 (12)

K值的取值为[3，5]；

S2：若满足式(12)，那么匹配成功，若不满足：

当k＜K时，增加一个新高斯分布；

当k＝K时，用建立的新的高斯分布代替

对背景模型中匹配成功的高斯分布的均值、方差和其他参数进行更新

θ＝εη(x_i，t|μ_i，t，∑_i，t) (16)

θ为参数学习率，ε为学习速率并且0≤ε≤1，匹配检验后，更新同个像素的各个高斯分布权重：

ω_i，t＝(1-ε)ω_i，t-1+ε·G_i，t (17)

每一个像素块按照优先级的顺序对进行降序排列，将其中的前B个高斯分布作为背景像素，描述方式为下式(18)：

用x_i，t与B个高斯分布进行匹配，匹配成功为背景点，匹配不成功为前景点。