CN106204541A - 基于可见光与红外光结合的轨道异物侵限探测方法 - Google Patents

Abstract

本发明公开了一种基于可见光与红外光结合的轨道异物侵限探测方法，包括如下步骤：（1）、视频采集模块快速获取视频图像并传输至图像融合模块；（2）、图像融合模块对源图像进行多尺度和多方向性分解；然后进行颜色空间变换，从RGB转到，对可见光图像与红外图像进行融合；（3）、将融合结果传输至主机进行分析，实现异物侵限探测。本发明的异物侵限探测方法对可见光和红外光进行了结合，使得该探测方法在极端情况下的识别准确度大大提高；同时本发明中的融合算法能够降低噪声的影响，提高鲁棒性，进而提高轨道异物侵限识别结果的准确性和可靠性。

Description

基于可见光与红外光结合的轨道异物侵限探测方法

技术领域

本发明涉及一种异物侵限探测方法，具体涉及一种基于可见光与红外光结合的轨道异物侵限探测方法；属于轨道交通技术领域。

背景技术

为了保证交通线网正常、安全运行，须通过可靠手段对轨道上的异物侵限进行探测，现有技术中一直采用传统的单源探测器对前方轨道包络线内图像提取分析，存在很大的局限性，并且频段单一，导致探测结果不够精确，无法满足现代化的发展需求。此外，传统的高清摄像机识别度较差，在雾霾或亮度不足等场景下无法正常工作，因此，多探测器技术得以快速发展，其中红外与可见光探测器相结合是较好的发展方向，但是，如何将红外采集图像与可见光采集图像融合、分析是困扰业界的技术难题。

近几年，人们根据红外图像与可见光图像各自的特性提出了很多红外与可见光的融合算法，如加权平均法、HIS变换法、主成分分析法、拉普拉斯金字塔法、小波变换方法等，为图像融合提供了多尺度分解的新工具，但由于这些融合算法对源图像配准要求高，再加上图像成像原理的复杂性，很多问题没有得到解决。如：目前大部分基于多尺度几何分析的融合算法，在对分解后得到的低、高频系数进行融合时，仅利用了像素点或者图像局部区域的某个特征，融合出的图像质量比较低，还有的融合算法的图像源是标准图像库中的图像，源图像受噪声影响很小。但实际应用中，存在很多环境条件较为恶劣的场景，会使得红外图像的噪声很大，因此，如何降低噪声对融合算法的影响，提高鲁棒性，是实际应用中迫切需要解决的问题。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于可见光与红外光结合的轨道异物侵限探测方法，以提高轨道异物侵限识别的准确性和可靠性。

为了实现上述目标，本发明采用如下的技术方案：

基于可见光与红外光结合的轨道异物侵限探测方法，包括如下步骤：

(1)、视频采集模块快速获取视频图像并传输至图像融合模块；

(2)、图像融合模块基于轮廓波变换方法对源图像进行多尺度分解，再在各个分辨率图层上进行多方向性分解；然后进行颜色空间变换，从RGB转到lαβ，再结合lαβ颜色空间的三通道独立的特性，对可见光图像与红外图像进行融合；

(3)、将融合结果传输至主机进行分析，实现异物侵限探测。

优选地，前述步骤(1)中，视频采集模块包括安装于列车头部挡风玻璃内的可见光摄像机和红外摄像机。

再优选地，前述可见光摄像机和红外摄像机分设于列车头部的左右两侧。

更优选地，前述轮廓波变换方法包括拉普拉斯金字塔分解和方向滤波器组滤波两个步骤。

前述拉普拉斯金字塔分解的具体步骤为：令原图像为P₀(m，n)，位于金字塔的最底层(第0层)，金字塔的每一层i是通过第i-1层对应的图像在5*5窗口中进行高斯加权平均得到的，因此金字塔的结构中自底向上图像的分辨率逐渐降低，公式表示为：

$\left\{\begin{array}{c}{P}_l=reduce\left(P_l\right)\\ P_l(i,j)=\underset{m=-2}{\overset{2}{\Σ}}\underset{m=-2}{\overset{2}{\Σ}}\mathrm{\ω}(m,n)P_{l-1}(2i+m,2j+n)\end{array}\right.$

，其中，Pl表示拉普拉斯金字塔中某一层的图像，Pl(i，j)表示此层图像的每 个像素点由后面的计算方法得到，ω(m，n)为5*5的加权窗口，权重函数表示为：低通滤波后，由于空间频率的降低，金字塔中的每一级图像在尺寸上是递减的，要得到本层图像与上一层图像的高频差值图像，对尺寸较小的上一层图像作插值使之与本层图像相同尺寸，令此操作为插值expand变换，即reduce的逆变换；令P_l，k为P_l进行k次expand操作后得到的图像，计算公式为：

$\left\{\begin{array}{c}{P}_{l,0}=P_l\\ P_{l,k}=\exp and\left(P_{l,k-1}\right)\\ P(i,j)=4\Σ\Σ\mathrm{\ω}(m,n)P_{l,k-1}(\frac{i+m}{2},\frac{j+n}{2})\end{array}\right.,$

最终得到的拉普拉斯金字塔为：

为了实现保持样本数目不变的情况下将方向频率切分到任意想要的精度，前述方向滤波器组滤波时，通过下采样方式保持样本数目不变，采样操作在多维采样率系统中被定义在网格上，x(n)的抽取用下式来表示：x_d(n)＝x(Mn)，采样前样本数目是采样后的|M|倍。

由一维采样率推广到两维采样率时，采样矩阵用一个2*2的矩阵表示组成二维双通道滤波器组。

更具体地，颜色空间从RGB转到lαβ的过程如下： 对L、M、S分别取对数l＝logL；m＝logM；s＝logS，再把轴间的相关性降低到最小，得到lαβ空间 其中，l通道代表非彩色通道，α代表黄－蓝通道，β代表红－绿通道。

需要特别说明的是，前述步骤(2)中，融合具体步骤为：

1)、把源彩色图像映射到lαβ空间，得到l、α、β分量，再把它映射到HIS空间得到I分量；

2)、对I分量进行WBCT变换得到低频和各高频子带的系数 代表A图像第j层第1方向的高频子带；

3)、对红外图像同样进行WBCT变换，得到低频和各高频子带系数代表B图像第j层第1方向的高频子带；

4)、对高频系数采用模值取大法进行整合，即

5)、对低频系数，考虑红外图像和可见光的特点，用一个度量因子：其中为局部区域的均值，为整个红外图像的均值，为区域的标准差值；ω_ir(i，j)和ω_vi(i，j)代表了红外图像和可见光在融合图像中的贡献度，融合算法为：

6)、系数进行融合后现进行WBCT逆变换得到融合后的灰度值I′；

7)、由于lαβ空间的l分量的动态范围与灰度图像的动态范围不同，所以不能直接用融合后的I′代替l分量，而要对l′进行动态范围的调整，即灰度的重映射：其中，l_remap表示重映射后的亮度，ave(I′)表示均值，σ表示标准差，变换后可以使映射前后的两幅图像具有相同的平均值和标准差，灰度分布的范围一致；

8)、把l_remap、α、β分量逆变换到RGB空间，得到融合后的图像。

经检验，该融合算法能够降低噪声对其影响，提高鲁棒性。

本发明的有益之处在于：

(1)、本发明的异物侵限探测方法对可见光和红外光进行了结合，当光线与能见度很好时采用可见光摄像机为主、红外摄像机为辅的模式，红外摄像机 做视频增强处理；当有雾霾(高架场景)、或者亮度不足(隧道低照度场景)时，自动切换到红外摄像机为主、可见光为辅，可见光做视频增强处理，使得该探测方法在极端情况下的识别准确度大大提高；

(2)、本发明的图像融合模块基于轮廓波变换方法对源图像进行多尺度分解，再在各个分辨率图层上进行多方向性分解；然后进行颜色空间变换，从RGB转到lαβ，再结合lαβ颜色空间的三通道独立的特性，对可见光图像与红外图像进行融合，该融合算法能够降低噪声的影响，提高鲁棒性，进而提高轨道异物侵限识别结果的准确性和可靠性。

附图说明

图1是本发明的轨道异物侵限探测方法中二维双通道滤波器组的输入输出图；

图2是本发明的轨道异物侵限探测方法中每个子带与等价滤波器的对应图；

图3是本发明的轨道异物侵限探测方法的流程图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本实施例的基于可见光与红外光结合的轨道异物侵限探测方法，包括如下 步骤：

(1)、视频采集模块快速获取视频图像并传输至图像融合模块。该视频采集模块包括安装于列车头部挡风玻璃内的可见光摄像机和红外摄像机，并且这两个摄像机分设于列车头部的左右两侧，通过其内部集成的二次开发包同步、快速地采集视频图像。摄像机尽可能安装在列车的高处，既能够看清楚远处地面的情况；又考虑到适应轨道拐弯情况下尽可能看远。

当光线与能见度很好时采用可见光摄像机为主、红外摄像机为辅的模式，红外摄像机做视频增强处理；当有雾霾(高架场景)、或者亮度不足(隧道低照度场景)时，自动切换到红外摄像机为主、可见光为辅，可见光做视频增强处理，使得该探测方法在极端情况下的识别准确度大大提高。

(2)、图像融合模块基于轮廓波变换方法对源图像进行多尺度分解，再在各个分辨率图层上进行多方向性分解；然后进行颜色空间变换，从RGB转到lαβ，再结合lαβ颜色空间的三通道独立的特性，对可见光图像与红外图像进行融合。

轮廓波变换是一种多分辨率、局部的、多方向性的图像变换方法，它的基是一种长宽比可以变换的长方形结构，可对源图像进行多个尺度和方向的分解，能充分捕捉到图像中的轮廓或者线段，轮廓波变换分为两个步骤，即拉普拉斯金字塔分解和方向滤波器组滤波。

拉普拉斯金字塔分解是由高斯金字塔变换而来，具体步骤为：令原图像为P₀(m，n)，位于金字塔的最底层(第0层)，金字塔的每一层i是通过第i-1层对应的图像在5*5窗口中进行高斯加权平均得到的，因此金字塔的结构中自底向上图像的分辨率逐渐降低，公式表示为：

$\left\{\begin{array}{c}{P}_l=reduce\left(P_l\right)\\ P_l(i,j)=\underset{m=-2}{\overset{2}{\Σ}}\underset{m=-2}{\overset{2}{\Σ}}\mathrm{\ω}(m,n)P_{l-1}(2i+m,2j+n)\end{array}\right.$

，其中，Pl表示拉普拉斯金字塔中某一层的图像，Pl(i，j)表示此层图像的每个像素点由后面的计算方法得到，ω(m，n)为5*5的加权窗口，具有低通滤波的性质，并使滤波后图像在整体上更加平滑。权重函数表示为： 低通滤波后，由于空间频率的降低，金字塔中的每一级图像在尺寸上是递减的，要得到本层图像与上一层图像的高频差值图像，对尺寸较小的上一层图像作插值使之与本层图像相同尺寸，令此操作为插值expand变换，即reduce的逆变换；令P_l，k为P_l进行k次expand操作后得到的图像，计算公式为：

$\left\{\begin{array}{c}{P}_{l,0}=P_l\\ P_{l,k}=\exp and\left(P_{l,k-1}\right)\\ P(i,j)=4\Σ\Σ\mathrm{\ω}(m,n)P_{l,k-1}(\frac{i+m}{2},\frac{j+n}{2})\end{array}\right.,$

最终得到的拉普拉斯金字塔为：

拉普拉斯金字塔的每层图像即为低通金字塔中本层与其相邻上层的差值，最项层的金字塔除外。原始图像通过逐级分解后，被分解成许多层得高频细节图像和顶层的低频逼近图像，可以由分解算法的原理逆向重构出原来的图像，如式如示：

分解时首先对信号采用低通器H进行滤波，然后用样矩阵M进行下采样，得到低频信号。再该低频信号进行上采样，然后用高通滤波器G对其进行滤波，使之与输入信号进行差分，得到塔式分解后的高频部分，其重构部分与分解正好相反。

接着，方向滤波器组的一个核心问题就是如何在保持样本数目不变的情况下将方向频率切分到任意想要的精度，其中保持样本数目不变的问题可通过下采样来解决，其中采样操作在多维采样率系统中被定义在网格上，x(n)的抽取用下式来表示：x_d(n)＝x(Mn)。采样前样本数目是采样后的|M|倍，由一维采样率推广到两维采样率时，采样矩阵可用一个2*2的矩阵表示 组成二维双通道滤波器组，其输入输出如图1所示。

在图1中，H0，H1，G0，G1分别为方向滤波器，信号通过这些滤波器可以在保持样本数目不变的情况下分解到不同的方向子带中，且满足完全重构的条件。方向滤波器如何精确有效的划分方向子带，是设计时主要考虑的因素，本实施例中采用八方向楔型频率分割，使用二维方向滤波器组(DFB)来完成方向滤波器，该滤波器组对图像进行一层二值树状分解，将每层频域分解为2^l个楔形的频率子带。

如图2所示，每个子带可以对应到一个等价的滤波器D_k,0≤k≤2^l，在2^l个平行信道上用这种滤波器也能完成频率谱方向子带的分割，在作用上与l层树结 构方向滤波器组等效。

由上可见，轮廓波变换(WBCT)首先采用拉普拉斯金字塔分解并进行迭代，得到N个融通的细节图像G_i,i＝1,2,…N和一个保留源图像大致轮廓的低通图像B_N，第一层带通图像G_i再被l_i层的DFB分解为个带通子方向图像，DFB的最终结果可以看作图像的高频信息将频域划分为个楔形区域。

接着进行颜色空间变换变换，视频采集到的图像是RGB彩色空间的，它的特点是三个通道(红、绿、蓝)之间有很强的相关性。例如，一幅图像的B通道取值很大时，往往R和G通道的值也会很大，因此我们要改变一个像素值时甚至要同时改变三个通道的值，这使得颜色的修改变得复杂，我们将源图像映射到lαβ彩色空间，l通道代表非彩色通道，α代表黄－蓝通道，β代表红－绿通道，三个通道彼此正交，具有极少相关性，把颜色的交叉畸变的影响降到了最低。

颜色空间从RGB转到lαβ的具体过程如下：对L、M、S分别取对数l＝logL；m＝logM；s＝logS，再把轴间的相关性降低到最小，得到lαβ空间

需要特别说明的是，融合具体步骤为：

1)、把源彩色图像映射到lαβ空间，得到l，α，β分量，再把它映射到HIS空间得到I分量；

2)、对I分量进行WBCT变换得到低频和各高频子带的系数 代表A图像第j层第1方向的高频子带；

3)、对红外图像同样进行WBCT变换，得到低频和各高频子带系数代表B图像第j层第1方向的高频子带；

4)、对高频系数采用模值取大法进行整合，即

5)、对低频系数，考虑红外图像和可见光的特点，用一个度量因子：其中为局部区域的均值，为整个红外图像的均值，为区域的标准差值；ω_ir(i，j)和ω_vi(i，j)代表了红外图像和可见光在融合图像中的贡献度，融合算法为：

6)、系数进行融合后现进行WBCT逆变换得到融合后的灰度值I′；

7)、由于lαβ空间的l分量的动态范围与灰度图像的动态范围不同，所以不能 直接用融合后的I′代替l分量，而要对l′进行动态范围的调整，即灰度的重映射：其中，l_remap表示重映射后的亮度，ave(I′)表示均值，σ表示标准差，变换后可以使映射前后的两幅图像具有相同的平均值和标准差，灰度分布的范围一致；

8)、把l_remap、α、β分量逆变换到RGB空间，得到融合后的图像。

经检验，该优化后的融合算法能够降低噪声对其影响，提高鲁棒性。

(3)、将融合结果传输至主机进行分析，实现异物侵限探测。

综上，本发明的异物侵限探测方法对可见光和红外光进行了结合，使得该探测方法在极端情况下的识别准确度大大提高；而且，本方法中的融合算法能够降低噪声的影响，提高鲁棒性，进而提高轨道异物侵限识别结果的准确性和可靠性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。 而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (9)

1.基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，包括如下步骤：

(1)、视频采集模块快速获取视频图像并传输至图像融合模块；

(2)、图像融合模块基于轮廓波变换方法对源图像进行多尺度分解，再在各个分辨率图层上进行多方向性分解；然后进行颜色空间变换，从RGB转到lαβ，再结合lαβ颜色空间的三通道独立的特性，对可见光图像与红外图像进行融合；

(3)、将融合结果传输至主机进行分析，实现异物侵限探测。

2.根据权利要求1所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，所述步骤(1)中，视频采集模块包括安装于列车头部挡风玻璃内的可见光摄像机和红外摄像机。

3.根据权利要求2所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，所述可见光摄像机和红外摄像机分设于列车头部的左右两侧。

4.根据权利要求1所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，所述轮廓波变换方法包括拉普拉斯金字塔分解和方向滤波器组滤波两个步骤。

5.根据权利要求4所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，所述拉普拉斯金字塔分解的具体步骤为：令原图像为P₀(m，n)，位于金字塔的最底层(第0层)，金字塔的每一层i是通过第i-1层对应的图像在5*5窗口中进行高斯加权平均得到的，因此金字塔的结构中自底向上图像的分辨率逐渐降低，公式表示为：

，

其中，Pl表示拉普拉斯金字塔中某一层的图像，Pl(i，j)表示此层图像的每个像素点由后面的计算方法得到，ω(m，n)为5*5的加权窗口，权重函数表示为：低通滤波后，由于空间频率的降低，金字塔中的每一级图像在尺寸上是递减的，要得到本层图像与上一层图像的高频差值图像，对尺寸较小的上一层图像作插值使之与本层图像相同尺寸，令此操作为插值expand变换，即reduce的逆变换；令P_1，k为P₁进行k次expand操作后得到的图像，计算公式为：

最终得到的拉普拉斯金字塔为：

6.根据权利要求4所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，所述方向滤波器组滤波时，通过下采样方式保持样本数目不变，采样操作在多维采样率系统中被定义在网格上，某一样本x(n)的抽取用下式来表示：x_d(n)＝x(Mn)，采样前样本数目是采样后的|M|倍。

7.根据权利要求6所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，采样方式为二维采样，采样矩阵用一个2*2的矩阵表示 组成二维双通道滤波器组。

8.根据权利要求1所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，颜色空间从RGB转到lαβ的过程如下：对L、M、S分别取对数l＝logL；m＝logM；s＝logS，再把轴间的相关性降低到最小，得到lαβ空间其中，l通道代表非彩色通道，α代表黄－蓝通道，β代表红－绿通道。

9.根据权利要求1所述的基于可见光与红外光结合的轨道异物侵限探测方法，其特征在于，所述步骤（2）中，融合具体步骤为：

1）、把源彩色图像映射到空间，得到分量，再把它映射到HIS空间得到I分量；

2）、对I分量进行WBCT变换得到低频和各高频子带的系数，代表A图像第j层第1方向的高频子带；

3）、对红外图像同样进行WBCT变换，得到低频和各高频子带系数，代表B图像第j层第1方向的高频子带；

4）、对高频系数采用模值取大法进行整合，即；

5）、对低频系数，考虑红外图像和可见光的特点，用一个度量因子：，其中为局部区域的均值，为整个红外图像的均值，为区域的标准差值；，和代表了红外图像和可见光在融合图像中的贡献度，融合算法为：；

6）、系数进行融合后现进行WBCT逆变换得到融合后的灰度值；

7）、由于空间的l分量的动态范围与灰度图像的动态范围不同，所以不能直接用融合后的代替l分量，而要对进行动态范围的调整，即灰度的重映射：，其中，表示重映射后的亮度，表示均值，表示标准差，变换后可以使映射前后的两幅图像具有相同的平均值和标准差，灰度分布的范围一致；

8）、把、分量逆变换到RGB空间，得到融合后的图像。