CN114140742A

CN114140742A - 一种基于光场深度图像的轨道异物入侵检测方法

Info

Publication number: CN114140742A
Application number: CN202111300346.XA
Authority: CN
Inventors: 王宁; 张谷静; 酒明远; 汪松; 孙钢灿; 焦战威
Original assignee: Zhengzhou University
Current assignee: Zhengzhou University
Priority date: 2021-11-04
Filing date: 2021-11-04
Publication date: 2022-03-04

Abstract

本发明公开了一种基于光场深度图像的轨道异物入侵检测方法，该方法包括如下步骤：利用光场相机拍摄并采集直线轨道的背景图像，通过Lytro Desktop软件得到背景图像的原始RGB图像和深度图像；在背景图像的RGB图像中提取直线轨道并建立危险区域异物检测窗口；利用光场相机拍摄并采集轨道危险区域检测图像，对所获得的RGB图像和深度图像进行预处理；对预处理后的轨道危险区域检测图像进行显著物检测，获得异物图像，标记异物图像中的异物；若监测到异物，则发出报警信号，否则，继续监测异物。该发明利用光场相机可以同时获得RGB图像和深度图像的特点，引入深度差特征实现了对轨道异物入侵的自动检测，节省人力和成本，有效避免列车运行过程中的交通事故。

Description

一种基于光场深度图像的轨道异物入侵检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于光场相机的轨道异物入侵检测方法。

背景技术

铁路运输具有运输能力强、效率高、运营成本低等优点，近年来在我国得到了飞速发展，异物侵入铁路安全限界可能引发交通事故，危害铁路交通的安全与稳定，已引起社会的高度重视。一旦有异物侵入铁路轨道，就会对铁路系统的安全运行造成危害，甚至可能威胁到乘客的生命安全。因此，及时准确地检测铁路轨道区域内的异物对铁路安全至关重要。

光场相机作为一种新型相机，有着巨大的发展潜力与广泛的应用前景，截至到目前为止，还没有应用光场相机去做轨道异物入侵检测的研究。光场相机机身外形与普通传统相机差不多，但内部结构大有不同。传统相机的工作原理是主镜头捕捉光线，聚焦在镜头后的胶片或感光器上，其中所有的光线总和形成相片上的小点，以显示成像。而光场相机最大的结构特点是在主镜头与感光器之间，有一个布满9万个微型镜片的显微镜阵列，每一个微小透镜阵列接收由主镜而来的光线后，尽管只记录了光线的强度信息，但却因其相对于某个微透镜的位置而记录了光线的方向信息，同时将光线资料转换，以数码方式记下。相机内置软件操作已‘扩大光场’，追踪每光线在不同距离的影像上的落点，经数码重新对焦后，便能拍出完美照片。并且，光场相机可以保持原有相机的大孔径所带来的增加光度、减少拍照时间及起粒的情况，不用牺牲景深及及影像清晰度。更重要的是，光场相机造价成本低，使用高效、快捷，能同时输出2D图像和深度图像，并且后期应用Lytro Desktop软件对图像的处理也方便快捷。

发明内容

本申请的目的在于提供一种基于光场深度图像的铁路异物入侵监测方法，该方法检测准确度高，节省人力，自动报警，成本较低。

为达到上述目的，本申请提供一种铁路异物入侵监测方法，该方法包括：利用光场相机拍摄并采集直线轨道的背景图像，通过Lytro Desktop软件得到背景图像的原始RGB图像和深度图像；在背景图像的RGB图像中提取直线轨道并建立危险区域异物检测窗口；利用光场相机拍摄并采集轨道危险区域检测图像，对图像进行预处理；对预处理后的轨道危险区域检测图像进行显著物检测，获得异物图像，标记异物图像中的异物；若监测到异物，则发出报警信号，否则，继续监测异物。

其中，提取背景图像轨道危险区域检测窗口的方法包括如下子步骤：对背景图像的轨道通过高斯高通滤波器提取轨道边缘，利用霍夫变换进行直线提取；根据轨道的形状和位置，在轨道外周侧建立危险区域异物检测窗口；将位于危险区域异物检测窗口外侧的图像分割出来，保留位于危险区域异物检测窗口内侧的图像，形成背景图像轨道危险区域检测窗口。

如上的，其中，对背景图像的轨道提取中，通过高斯低通滤波器得到明显的轨道边缘特征，计算公式如下：

其中，对轨道危险区域检测图像进行预处理的方法包括如下子步骤：对轨道危险区域检测图像的深度图像进行快速引导滤波处理并做深度差异计算；对轨道危险区域检测图像的RGB图像利用ITTI模型进行显著物提取处理融合轨道危险区域检测图像的RGB显著图和深度差异图得到最终差异图；结束预处理。

其中，对轨道危险区域检测图像的深度图像进行快速引导滤波处理的算法步骤如下：

输入图像为深度图像P，引导图像为RGB图像R，输出图像为优化深度图像Q，滤波函数的输入P和输出Q是一个局部线性模型。计算公式如下：

系数a_k和b_k可用线性回归最小二乘法求得：

其中，n为窗口w_k内的像素数,

分别表示待优化的深度图P和引导图像R在窗口ω_k内的平均值,ε为正则化参数。滤波输出可用下面公式计算：

和

是以像素点i为中心的窗口ω_k内的a和b的均值，算法的计算量是框滤波器。

其中对轨道危险区域检测图像的深度图像做深度差异计算的具体算法步骤如下:

沿着图像像素点八个方向执行扫描，LYTRO相机得到的深度图中，深度越大，灰度值越大；对于每一条扫描线，根据图像深度信息与灰度信息的关系将最大深度值的像素点作为背景像素点，计算当前像素点与背景像素点之间的差值作为扫描值；深度差异值为八个方向扫描值的和，以圆形坐标系，八个方向分别为：0°，45°，90°，135°，180°，225°，270°，315°，深度差异数学描述为：

表示沿扫描线L的像素p的灰度值，L是扫描线的长度，取决于图像的大小，max(d_L)表示扫描线L上的最大灰度值，d(p)是像素p的深度值，D_df(p)是像素点p在八个方向上的差异值的总和。即深度差异值。

融合轨道危险区域检测图像的RGB显著图和深度差异图公式表示为：

S(i)＝C(i)·D(i)

其中C(i)为RGB显著图，D(i)为深度差异图，S(i)表示图像中的第i个像素。融合图S能够进一步突显目标，抑制背景，取得更好的检测结果。

本发明采用以光场成像技术为背景的光场相机作为实验设备，光场相机只包括一个传感器，可以通过一次曝光即可同时获取原始RGB图像和深度图像。首次将轨道异物的深度特征引入到检测算法中，并具有较好可行性效果，实现了对轨道异物入侵的自动检测，节省一定的人力和成本。

附图说明

图1为本申请实施例的一种铁路异物入侵检测方法的流程图。

图2为对深度图像计算差异值的操作实例。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本申请提供一种铁路异物入侵检测方法，该方法包括如下步骤：

步骤S1：建立危险区域异物检测窗口。

步骤S110：利用LYTRO光场相机拍摄直线型轨道背景图像，并只需要其RGB图像；

步骤S120：高斯高通滤波，图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。而边缘或线条等细节部分与图像频谱的高频分量相对应，因此采用高通滤波让高频分量顺利通过，使图像的边缘或线条细节变得清楚，实现轨道的边缘提取。对FFT变换后的轨道图通过高通滤波器，该滤波器会阻止所有低频，仅允许高频通过。对经过了滤波器的图像进行逆FFT变换，得到明显的轨道边缘特征。滤波器公式如下：

S130：根据提取的轨道边缘通过Hough变换得到直线方程，调整方程参数，划定危险区域异物检测范围，建立危险区域异物检测窗口。

步骤S2：监测图像预处理。

步骤S210：利用LYTRO光场相机拍摄模拟异物入侵的场景，并通过Lytro Desktop软件得到所拍摄图像的原始RGB图像和深度图像；

步骤S220:利用边缘信息丰富的RGB图像作为边缘信息基准，采用改进的快速引导滤波算法将深度图加以引导，实现引导图像边缘保持及被引导图像局部平滑特性，以获得噪声更低和边缘更准确的深度图。该算法的时间复杂度与滤波窗口大小无关，大大提高处理速度，并且可以突出深度图像的边缘和起到平滑作用。

输入图像P为深度图像，引导图像R为对应的RGB图像，输出图像Q为优化的深度图像，滤波函数的输入R和输出Q是一个局部线性模型。

系数a_k和b_k可用线性回归最小二乘法求得：

n为窗口w_k内的像素数，

分别表示待优化的深度图P和上一小节中处理的引导图像R在窗口w_k内的平均值。滤波输出可用下面公式计算：

和

是以像素点i为中心的窗口w_k内的a和b的均值。

快速引导滤波的算法实现过程，伪代码为：

1：R'＝f_subsample(R,s)

P'＝f_subsample(P,s)

r'＝r/s

2：mean_R＝f_mean(R',r')

mean_p＝f_mean(P',r')

corr_R＝f_mean(R.*R)

corr_RP＝f_mean(R.*P)

3：var_R＝corr_R-mean_R.*mean_R

cov_RP＝corr_R-mean_R.*mean_R

4：a＝cov_RP./(var_R+ε)

b＝mean_P-a.*mean_R

5：mean_a＝f_mean(a,r')

mean_b＝f_mean(b,r')

6：mean_a＝f_upsample(mean_a,s)

mean_b＝f_upsample(mean_b,s)

Q＝mean_a.*R+mean_b

和

是两个平滑图，输出图像Q的边缘和结构主要是通过调整导向图R，但是导向滤波的主要计算量是为了平滑

和

快速导向滤波在导向滤波的基础上，先对图像输入R、P进行下采样，下采样

系数为s，之后用低分辨率图像R'、P'作为输入计算得到，再对其进行上采样计算得到。利用该加速方法可使计算复杂度由O(N)降至O(N/S²)，使计算速度得到大幅提升。

步骤S3:提取预处理过后的检测图像的显著性特征。

步骤S310：对检测图像的RGB图像采用ITTI模型提取显著特征。利用ITTI的视觉注意力模型对原始图像提取初始的颜色、亮度和方向的特征图，并对这些特征图进行多尺度几何分解、合并及归一化，得到颜色、亮度和方向三个通道的显著图，相加得到RGB图像的最终显著图。

步骤S320：对轨道危险区域检测图像的深度图像做深度差异计算。

步骤S330:融合RGB显著图和深度差异图。将两个显著图对应像素的显著值直接相乘作为融合图的显著值。公式如下所示：

S(i)＝C(i)·D(i)

步骤S4：检测图像是否存在异物并显示ROI区域。

步骤S410：对融合图采用Ostu法进行阈值分割，提取感兴趣区域，并显示在轨道危险区域检测图像的RGB图像中，若检测到异物，系统发出报警信号，否则，继续检测异物。

上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims

1.一种基于光场深度图像的轨道异物入侵检测方法，其特征在于，该方法包括如下步骤：

1)利用光场相机拍摄并采集直线轨道的背景图像，在背景图像的RGB图像中提取直线轨道并建立危险区域异物检测窗口；

2)利用光场相机拍摄并采集轨道危险区域检测图像，对图像进行预处理；

3)提取预处理过后的检测图像显著性特征；

4)检测图像是否存在异物并提取ROI区域，发出报警信号。

2.根据权利要求1所述的一种基于光场深度图像的轨道异物入侵检测方法，其特征在于：所述步骤1)和步骤2)中的光场相机采用LYTRO公司生产的第二代Lytro Illum相机。

3.根据权利要求1所述的基于光场深度图像的轨道异物入侵检测方法，其特征在于：所述步骤1)中在背景图像的RGB图像中提取直线轨道并建立危险区域异物检测窗口的方法包括:

对背景图像的轨道通过高斯高通滤波器提取轨道边缘：

对提取轨道边缘后的图像利用霍夫变换进行直线提取；根据轨道的形状和位置，在轨道外周侧建立危险区域异物检测窗口；将位于危险区域异物检测窗口外侧的图像分割出来，保留位于危险区域异物检测窗口内侧的图像，形成背景图像轨道危险区域检测窗口。

4.根据权利要求1所述的基于光场深度图像的轨道异物入侵检测方法，其特征在于：所述步骤2)中利用光场相机拍摄并采集轨道危险区域检测图像，对图像进行预处理的方法包括：

a)对轨道危险区域检测图像的深度图像进行快速引导滤波处理；

b)对优化后的深度图像深度差异计算；

c)融合检测图像的RGB图显著图和优化后的深度差异图。

5.根据权利要求4所述的基于光场深度图像的轨道异物入侵检测方法，其特征在于：所述步骤a)中对轨道危险区域检测图像的深度图像进行快速引导滤波处理的方法包括：

输入图像为深度图像P，引导图像为RGB图像R，输出图像为优化深度图像Q，滤波函数的输入P和输出Q是一个局部线性模型；计算公式如下：

系数a_k和b_k可用线性回归最小二乘法求得：

其中，n为窗口ω_k内的像素数,

分别表示待优化的深度图P和上引导图像R在窗口ω_k内的平均值,ε为正则化参数,滤波输出可用下面公式计算：

和

6.根据权利要求4所述的基于光场深度图像的轨道异物入侵检测方法，其特征在于：所述步骤b)中对优化后的深度图像深度差异计算的方法包括：

沿着图像像素点八个方向执行扫描，对于每一条扫描线，根据图像深度信息与灰度信息的关系,将最大深度值的像素点作为背景像素点，计算当前像素点与背景像素点之间的差值作为扫描值；深度差异值为八个方向扫描值的和，以圆形坐标系，八个方向分别为：0°，45°，90°，135°，180°，225°，270°，315°，深度差异数学描述为：

表示沿扫描线L的像素p的灰度值，L是扫描线的长度，取决于图像的大小，max(d_L)表示扫描线L上的最大灰度值，d(p)是像素p的深度值，D_df(p)是像素点p在八个方向上的差异值的总和，即深度差异值。

7.根据权利要求4所述的基于光场深度图像的轨道异物入侵检测方法，其特征在于：所述步骤c)中融合检测图像的RGB图显著图和优化后的深度差异图的公式如下：

S(i)＝C(i)·D(i)

其中C(i)为RGB显著图，D(i)为深度差异图，S(i)表示图像中的第i个像素,融合图S能够进一步突显目标，抑制背景，取得更好的检测结果。