CN115775269B - 一种基于线特征的列车图像精确配准方法 - Google Patents

Abstract

本发明公开了一种基于线特征的列车图像精确配准方法，包括：通过两步滑窗的图像分割方法将整张列车图像分割为多张车厢图像；对分割后图像进行直方图均衡化、平滑滤波、池化预处理操作；对预处理后的模板图像和待配准图像进行特征检测，提取出各自的线特征；进行模板图像和待配准图像的线特征初步匹配；利用随机抽样一致算法对错误匹配对进行剔除；将筛选之后的特征对进行局部多项式拟合，计算待配准图像和模板图像的映射，再对待配准图像重采样完成图像的配准。本发明在现有配准技术基础上增加了行列最大值条件特征选择、局部拟合、插值配准多个环节，实现了亚像素级的配准精度，在配准方法的精度、效率和鲁棒性多个方面均取得了较大提升。

Description

一种基于线特征的列车图像精确配准方法

技术领域

本发明涉及一种基于线特征的列车图像精确配准方法，属于列车图像配准领域。

背景技术

目前对大分辨率的列车线扫图像配准常用方法主要是分段配准和其改进的配准方法。分段配准算法具有快速、准确等特点，在大分辨率图像配准应用较广，其主要配准过程可以分为：特征提取、特征匹配、分段变换和插值及重采样这4个步骤。首先利用ORB、SIFT或SURF等点特征提取方法，得到模板图像和待配准图像的特征点及其描述符；然后利用KNN或BF算法来对模板图像和待配准图像的提取特征进行匹配，获取特征匹配对。之后利用特征点的横坐标对待配准图像进行分段，根据模板图像分割图像长度，拉伸或压缩待配准图像的分段图像；最后将待配准图像所有分段图像按序拼接，得到配准后的图像。图像配准精度和匹配对的数量密切相关。

为了追求图像配准精度，所以往往要降低特征检测的阈值，检测更多的特征点，同时后续参与特征匹配的特征点也会增多。这会导致两个问题，降低特征检测的阈值导致提取到不显著特征，这反而会影响配准精度，再者提取更多的特征点往往导致特征检测和特征匹配消耗时间增多。

发明内容

为了解决现有分段配准方法精度不高、效率低、鲁棒性弱的问题，本发明提出了一种基于线特征的列车图像精确配准方法。

本发明解决上述技术问题所提供的技术方案是：一种基于线特征的列车图像精确配准方法，包括以下步骤：

步骤S1、对通过的低速匀速运动的列车进行像素线扫描，然后聚线成面获取到列车底部线扫图像，其列车底部线扫图像包括模板图像、待配准图像；

步骤S2、分别对模板图像、待配准图像进行图像分割，并对模板图像、待配准图像进行预处理；

步骤S3、基于边缘处理算法和Z-score归一化等处理分别提取模板图像、待配准图像的图像线特征；

步骤S4、根据模板图像、待配准图像的图像线特征对模板图像、待配准图像进行线特征匹配，获得特征匹配对(X，Y)；

步骤S5、计算待配准图像到模板图像的横向坐标映射；

步骤S6、使用双线性插值算法对待配准图像在横向方向重采样，使得各节车厢的模板图像与待配准图像的长度相等；

步骤S7、根据分割顺序依次拼接车厢图像得到配准后的列车配准图像。

进一步的技术方案是，所述步骤S2的具体步骤为：

步骤S21、采用基于两步滑窗的方法分别对整列车的模板图像、待配准图像进行图像分割，分割为单独各节车厢的模板图像、待配准图像；

步骤S22、选用灰度直方图均衡化对模板图像、待配准图像进行图像增强；

步骤S23、利用高斯卷积对图像进行平滑处理。

进一步的技术方案是，所述步骤S21中利用车厢连接处的图像特征将整张列车图像分割为多节车厢图像。

进一步的技术方案是，所述步骤S21中利用两步遍历图像阈值比较，获取分割位置；

第一步遍历过程中，设置步长较大的滑窗方法粗略定位车厢连接处，完成一级定位；

然后将粗略定位输出图像作为输入，设置步长小的滑窗方法得到车厢连接处的精确位置。

进一步的技术方案是，所述步骤S3的具体步骤为：

步骤S31、对图像进行平均池化处理；

步骤S32、采用梯度算子计算图像垂直方向的边缘信息，通过卷积操作得到含有垂直边缘的特征图；

步骤S33、使用Z-score归一化对特征图每一列特征值，使得每一列特征值具有相同的度量尺度，最后处理得到特征图的每一列元素称为一个线特征；最后获得模板图像的线特征集有序集合L₁和待配准图像的线特征集有序集合L₂。

进一步的技术方案是，所述步骤S4的具体步骤为：

步骤S41、根据模板图像的线特征集有序集合L₁和待配准图像的线特征集有序集合L₂计算两矩阵之间列向量之间的距离，得到匹配序列特征图D；

步骤S42、对匹配序列特征图D进行掩模处理，消除左下侧和右上侧无关区域；

步骤S43、基于行列最大值选择特征对；

步骤S44、采用随机抽样一致算法筛选得到正确的特征匹配对(X，Y)。

进一步的技术方案是，所述步骤S41中的计算公式为：

式中：D_ij为模板图像的特征图的第i列向量和待配准图像的特征图第j列向量距离的倒数；D为匹配序列特征图；为模板图像的特征图的宽度；a_i1、a_i2、a_in均为模板图像的特征图的列向量；b_j1、b_j2、b_jn均为待配准图像的特征图任一列向量；R为模板图。

进一步的技术方案是，所述步骤S43中确特征匹配对满足条件为匹配序列特征图D的一点D_ij的灰度值既是所在行的最大值又是所在列的最大值。

进一步的技术方案是，所述步骤S5的具体过程为：对于模板图像和待配准图像的所有特征匹配对(X，Y)，针对特征匹配对任一匹配对(x_i，y_i)，选择距x_i距离最近数目固定数目C₁个线特征X₁∈X来进行局部拟合，然后在Y中挑选出与X₁对应的Y₁∈Y，继而计算分段映射f_local(u)：X₁→Y₁，所以横向坐标u的映射坐标v＝f_local(u)；得到局部映射函数之后，针对两线特征实际对应原图像的横向坐标，带入到局部映射v＝f_local(u)，便可以得到待配准图像到模板图像的局部映射坐标，进而得到全局所有的映射坐标。

本发明具有以下有益效果：

1、本发明提出的图像配准方法达到了亚像素配准精度，相比以往的分段配准以及其改进方法，该方法的配准精度、效率有了大幅提升；

2、本发明提出的线特征，与传统的特征需要额外计算特征描述符不同，本发明的采用的线特征不需要额外计算特征描述符，因为特征与特征描述符为一体的，省去了计算特征描述符过程，极大的减少特征提取和特征匹配时间，使得配准算法保持高效性；

3、本发明使用了基于生成匹配序列特征图的特征匹配方法，对得到的匹配序列线进行锐化、提取ROI和基于行列最大值选取特征匹配对。简化了特征匹配过程，且保持了较高的特征匹配正确率；

4、本发明采用局部多项式拟合方法计算映射坐标，解决分段配准局部区域配准精度不高的问题。针对大分辨率图像，如果计算整张待配准图像到整张模板图像的映射，那么会忽略了图像局部失真问题。所以采用局部拟合的方法，精确计算局部区域的映射坐标，提高图像局部配准精度。

附图说明

图1为本发明基于线特征的图像精确配准方法的流程图；

图2为模板图像与待配准图像的关键部件的位置对比图；

图3为基于两步滑窗的图像分割的原理示意图；

图4为特征匹配序列示意图；

图5为基于线特征配准的示意图；

图6为三种配准方法精度对比图；

图7七种类型列车图像配准精度对比图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种基于线特征的图像精确配准方法如图1所示，通过对整张列车图像分割为车厢图像，加快图像配准速度；然后通过直方图均衡化、平滑滤波、池化预处理操作，减小模板图像和待配准图像因光照、噪声等环境因素引起的差距；然后使用本发明提出的特征提取算法和匹配算法，获取模板图像和待配准图像横向坐标映射关系；最终基于双线性插值算法完成图像重采样工作，使得配准精度达到亚像素级。

该方法具体包括以下步骤：

步骤S1、对通过的低速匀速运动的列车进行像素线扫描，然后聚线成面获取到列车底部线扫图像，针对列车底部图像配准工作来说，线扫图像可以分为模板图像与待配准图像；

为了尽量获取不失真的图像，列车检修会在列车检修点架设固定线阵相机采集图像，等待列车以低速匀速通过固定相机，获取线扫图像。尽管如此，实际采集得到的线扫图像还是发生失真，造成失真的原因主要有以下几方面：

1)列车的非匀速运行。尽管列车在经过检修点时以较低的速度匀速运行，但是，这种运动并不是理论上的匀速运动，由于线扫图像采用内触发运动，即线阵相机扫描速率是固定不变的，所以导致单位时间采集得到的宽幅不一样，即采集的线扫图像的横向方向(列车运行方向)发生失真。

2)列车运动不是刚性运动。在进行精确的图像分析时不能将列车运动看成刚体运动。由于列车车厢之间存在车钩、减震器等连接部件，那么列车运动时，各车厢之间会产生微小的相对运动，导致线阵相机采集得到的线扫图像在横向方向上发生一定范围内的失真。

3)湍流气流的翘曲效应。列车运行设备运行时会产生大量热量，加上地层有一定的蓄热作用，会导致列车底部空气温度逐渐升高，这使得列车经线阵相机会导致相机光线的折射率发生改变，使受影响的区域的图像发生扭曲失真。

由于以上因素的影响，导致得到的图像发生横向失真，且失真发生在一定范围内，具体表现为图像部分区域压缩或膨胀，可以见图2。在对失真图像(待配准图像)进行配准时，需要提前准备一张没有发生失真的图像(模板图像)，配准算法分别提取模板图像和待配准图像的特征，再根据特征的横向坐标计算待配准图像到模板图像的映射关系，利用此映射关系对待配准图像进行变换，消除待配准图像的横向失真同时保留待配准图像的内容。此外，本发明只演示了车底线扫图像的配准，实际列车检修过程中，架设的相机往往要捕获车体360°的图像，即车底、车侧、车顶的线扫图像。要消除所有方向采集的线扫图像横向失真，仅需对一个方向的配准，得到一个方向上配准图像到模板图像的映射关系，便可以校正所有方向的失真。进一步的，不同类型的列车的布局结构差别很大，提前制作相应车型的模板图像，将其保存至系统中，配准某一类型的列车直接调用该类型模板图像进行图像配准。

为了叙述方便，将采集条件良好的情况下采集的第一张图像称为模板图像，用于后面采集到图像的配准，而将后面检修环节采集得到图像称为待配准图像。

步骤S2、分别对模板图像、待配准图像进行图像分割，并对模板图像、待配准图像进行预处理；

步骤S21、利用车厢连接处的图像特征将整张列车图像分割为多节车厢图像，

其中利用两步遍历图像阈值比较，获取分割位置。第一步遍历过程中，由于车厢连接处布有大量黑色软管，此处的灰度值明显要比其他区域的低，可以见图3，所以设置步长较大的滑窗方法粗略定位车厢连接处，完成一级定位，如图4所示。然后，车厢连接处中间位置有黑色细条区域，所以精确定位原理同第一步，将粗略定位输出图像作为输入，设置步长较小的滑窗方法得到车厢连接处的精确位置；

步骤S22、为了减少模板图像和待配准图像的亮度、对比度差别，选用灰度直方图均衡化对模板图像和待配准图像进行图像增强；

步骤S23、利用高斯卷积对图像进行平滑处理，目的使得后续提取得到的线特征保持特征值连续以及消除高斯噪声；

二维高斯分布为：

其中，采用卷积核尺寸k＝7，x,y方向方差δ＝δ_x＝δ_y＝2的卷积核进行滤波处理，消除了小于δ的图像灰度变化，使得图像中线条保持边缘连续性；

步骤S3、基于边缘处理算法和Z-score归一化处理分别提取模板图像、待配准图像的图像线特征；

步骤S31、借助卷积神经网络中的池化操作，对图像进行平均池化处理，提高图像配准效率；

池化层中的像素值为：

得到下采样后的数据，此处池化的网格大小将会直接影响后续图像的配准精度；当池化网格的尺寸rows,cols选择过大时，得到特征图包含的图像特征减少，图像配准精度会降低但配准速度加快。当池化网格的尺寸rows,cols选择过小时，特征图保留的图像特征较多，图像配准精度会提高但配准速度减慢。

步骤S32、采用卷积核尺寸k＝5梯度算子来提取图像垂直边缘，通过遍历整幅图像使用卷积核G₂对图像进行卷积运算，之后得到的特征图便包含图像垂直边缘信息，卷积核为：

此处选择的卷积核尺寸较小，其目的是获得轮廓的宽度小于高斯平滑卷积核的尺寸，使得后续提取到的线特征保持连续性，为后续模板图像和待配准图像的线特征快速匹配做准备；

步骤S33、Z-score归一化处理特征图，上一步操作得到了含有垂直边缘的特征图，接下来使用均值μ＝0，σ＝1的Z-score归一化对特征图每一列特征值，归一化后特征图的每一列的元素值为：

使得每一列特征值具有相同的度量尺度，即所有像素列灰度值取值范围在[-1,1]区间，最后处理得到特征图的每一列元素称为一个线特征；

所以，一幅图像中提取到的线特征的数量为图像的列数，线特征的大小为图像的行数，而整幅图像是众多线特征的有序集合；

与传统的特征匹配方法需要额外计算特征描述符不同，本发明使用了线特征不需要额外计算特征描述符，因为特征与特征描述符为一体的，省去了计算特征描述符过程，使得配准算法保持高效性。

步骤S4、根据模板图像、待配准图像的图像线特征对模板图像、待配准图像进行线特征匹配，获得特征匹配对(X，Y)；

步骤S41、为了匹配模板图像和待配准图像提取线特征，本发明选取线特征之间的距离进行初始匹配；模板图像的特征图L₁和待配准图像的特征图L₂，那么模板图像的特征图的第i列向量和待配准图像的特征图第j列向量的距离倒数定义为：

其中m表示L₁的宽度，n表示L₁的高度；

计算两个特征图所有列向量之间的距离，则可以构成特征图：

得到的特征图称为匹配序列特征图D，如图4所示，图的横向坐标表示模板图像的线特征的序号，纵向坐标表示待配准图像的线特征的序号；

对于模板图像和待配准图像来说，匹配正确的线特征的距离十分接近，那么对应在匹配序列特征图的所处位置的值较大；反之，匹配错误的线特征的距离过大，对应在匹配序列特征图的所处位置的值较小。由于模板图像和待配准你图像的特征连续排列在一起，那么得到匹配序列特征图中匹配对表示的点所构成的曲线也将时连续的，从图4可知，匹配对表示的点组成的线大致在图像正对角线的位置，该曲线是连续的；

步骤S42、对匹配序列特征图进行掩模处理，取出匹配点过程曲线的对角线区域，消除左下侧和右上侧无关区域，提取正对角线左右宽为2倍width的有效区域：

其中，i表示匹配序列特征图的行号，j表示匹配序列特征图的列号；

步骤S43、若匹配序列特征图的某一元素的值既是所在行的最大值又是所在列的最大值，那么该像素的横、纵坐标就是一对匹配点，横坐标表示模板图像的线号，而纵坐标表示待配准图像的线号。即为：

其中，1≤i≤m，maxLoc(M)表示获取向量M最大值索引(x，y)，x表示M中最大值的横向索引，y表示M中最大值的纵向索引，相应的maxLoc(b_i).x＝x；遍历匹配序列特征图D每一行元素，即可得到模板图像和待配准图像的所有特征匹配对(X₀，Y₀)；

X₀＝(x₁,x₂,…x_n)^T

Y₀＝(y₁,y₂,…y_n)^T

步骤S44、为了进一步减小线特征的匹配误差，采用随机抽样一致算法剔除匹配对(X₀，Y₀)的错误匹配对，得到筛选之后的特征匹配对(X，Y)；

至此，两幅图像的线特征匹配工作完成，实际特征匹配程序中会对匹配序列特征图D进行锐化图像、去除元素值较小的匹配点等操作，进一步保证特征匹配的准确性和可靠性；

步骤S5、计算待配准图像到模板图像的横向坐标映射；

对于模板图像和待配准图像的所有特征匹配对(X，Y)，针对特征匹配对任一匹配对(x_i，y_j)，选择距x_i距离最近数目固定数目C₁个线特征X₁∈X来进行局部拟合，其中X₁为：

X₁＝{x_i|-L₁/2≤i-argmin(|x_i-u|)≤L₁/2}

然后在Y中挑选出与X₁对应的Y₁∈Y，继而计算分段映射f_local(u)：X₁→Y₁，所以横向坐标u的映射坐标v＝f_local(u)；得到局部映射函数之后，针对两线特征实际对应原图像的横向坐标，带入到局部映射v＝f_local(u)，便可以得到待配准图像到模板图像的局部映射坐标，进而得到全局所有的映射坐标；

步骤S6、使用双线性插值算法对待配准图像在横向方向重采样，使得各节车厢的模板图像与待配准图像的长度相等；

上一步得到的映射坐标数值一般不是整数，所以需要进行插值处理，平衡插值精度和效率，选取双线性插值算法完成图像重采样，对于任意一个横向映射坐标v，向下取整的数为v₁＝f_loor(v)小数点后的数字为decimal＝v-v₁，那么插值点t的灰度值为：

f(t)＝(1-decimal)·f(v₁)+decimal·f(v₁+1)

将上式应用到所有横向坐标，便可以完成图像的横向配准，使用双线性插值可以使配准算法达到亚像素精度；

步骤S7、至此，每一节车厢图像已经配准完成，再根据分割顺序依次拼接车厢图像得到配准后的列车配准图像。

本发明通过多种列车线扫图像进行测试，在配准精度、效率和鲁棒性上均强于分段配准及其改进算法。图5展示了使用本发明提出的基于线特征的配准算法的示意图，从上到下依次为模板图像、待配准图像和配准后图像，图中标注了3种关键部件的横向坐标，可以看到待配准图像经过配准之后得到的配准后图像，其与模板图像的关键部件的坐标重合在了一起。图6展示了分段配准算法、线性分段配准算法和本发明提出的基于线特征方法的配准精度对比图，其中，横坐标表示特征数量，纵坐标表示配准精度，本发明使用平均结构相似性(Mean Structural Similarity，MSSIM)作为图像配准精度指标，值得注意纵坐标的值是一个差值，由于模板图像和待配准图像存在一个相似度，模板图像和配准后图像也存在一个相似度，所以最后使用两者差值作为配准精度。可以看到随着特征数量的不断增加，本发明提出的配准方法的配准精度在不断增加，当特征值大于6000时，配准精度高于分段配准算法、线性分段配准算法。此外，分段配准算法和线性分段配准算法在特征数较大时，会出现精度波动情况，而本发明提出配准算法的配准精度曲线并没有出现波动的情况。图7展示了使用了3种配准算法在特征数量均为10000时，7种不同类型列车的配准精度，可以针对7种列车，本发明提出的方法的配准精度均高于其他两种方法。

本发明提出了一种基于线特征的列车图像配准的方法，在图像分割、特征提取、特征匹配等基础环节上添加了特征筛选、局部多项式拟合、插值配准等操作。实现了亚像素级的高精度图像配准，算法在配准精度、效率、鲁棒性等多个方面均取得较大提升。

本发明提出的列车图像故障检测领域中具有很大的实用价值。对比目前常用的分段配准算法和基于深度学习的配准算法，本发明提出的基于线特征算法的配准精度更高、效率更高、鲁棒性更强，不存在样本的依赖问题。此外，本发明提出的配准算法不仅仅适用于列车图像配准领域，在其他大分辨率图像单方向配准领域上也能适用。

以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种基于线特征的列车图像精确配准方法，其特征在于，包括以下步骤：

步骤S1、对通过的低速匀速运动的列车进行像素线扫描，然后聚线成面获取到列车底部线扫图像，其列车底部线扫图像分为模板图像与待配准图像；

步骤S2、分别对模板图像、待配准图像进行图像分割，并对模板图像、待配准图像进行预处理；

步骤S21、采用基于两步滑窗的方法分别对整列车的模板图像、待配准图像进行图像分割，分割为单独各节车厢的模板图像、待配准图像；

步骤S22、选用灰度直方图均衡化对模板图像、待配准图像进行图像增强；

步骤S23、利用高斯卷积对图像进行平滑处理；

步骤S3、基于边缘处理算法和Z-score归一化处理分别提取模板图像、待配准图像的图像线特征；

步骤S31、对图像进行平均池化处理；

步骤S32、采用梯度算子计算图像垂直方向的边缘信息，通过卷积操作得到含有垂直边缘的特征图；

步骤S33、使用Z-score归一化对特征图每一列特征值，使得每一列特征值具有相同的度量尺度，最后处理得到特征图的每一列元素称为一个线特征；最后获得模板图像的线特征集有序集合L₁和待配准图像的线特征集有序集合L₂；

步骤S4、根据模板图像、待配准图像的图像线特征对模板图像、待配准图像进行线特征匹配，获得特征匹配对(X，Y)；

步骤S41、根据模板图像的线特征集有序集合L₁和待配准图像的线特征集有序集合L₂计算两矩阵之间列向量之间的距离，得到匹配序列特征图D；

步骤S42、对匹配序列特征图D进行掩模处理，消除左下侧和右上侧无关区域；

步骤S43、基于行列最大值选择特征对；

步骤S44、采用随机抽样一致算法筛选得到正确的特征匹配对(X，Y)；

步骤S5、计算待配准图像到模板图像的横向坐标映射；

步骤S6、使用双线性插值算法对待配准图像在横向方向重采样，使得各节车厢的模板图像与待配准图像的长度相等；

步骤S7、根据分割顺序依次拼接车厢图像得到配准后的列车配准图像。

2.根据权利要求1所述的一种基于线特征的列车图像精确配准方法，其特征在于，所述步骤S21中利用车厢连接处的图像特征将整张列车图像分割为多节车厢图像。

3.根据权利要求2所述的一种基于线特征的列车图像精确配准方法，其特征在于，所述步骤S21中利用两步遍历图像阈值比较，获取分割位置；

第一步遍历过程中，设置步长大的滑窗方法粗略定位车厢连接处，完成一级定位；

然后将粗略定位输出图像作为输入，设置步长小的滑窗方法得到车厢连接处的精确位置。

4.根据权利要求1所述的一种基于线特征的列车图像精确配准方法，其特征在于，所述步骤S41中的计算公式为：

式中：D_ij为模板图像的特征图的第i列向量和待配准图像的特征图第j列向量距离的倒数；D为匹配序列特征图；为模板图像的特征图的宽度；a_i1、a_i2、a_in均为模板图像的特征图的列向量；b_j1、b_j2、b_jn均为待配准图像的特征图任一列向量；R为模板图。

5.根据权利要求1所述的一种基于线特征的列车图像精确配准方法，其特征在于，所述步骤S43中精确特征匹配对满足条件为匹配序列特征图D的一点D_ij的灰度值既是所在行的最大值又是所在列的最大值。

6.根据权利要求1所述的一种基于线特征的列车图像精确配准方法，其特征在于，所述步骤S5的具体过程为：对于模板图像和待配准图像的所有特征匹配对(X，Y)，针对特征匹配对任一匹配对(x_i，y_i)，选择距x_i距离最近数目固定数目C₁个线特征X₁∈X来进行局部拟合，然后在Y中挑选出与X₁对应的Y₁∈Y，继而计算分段映射f_local(u)：X₁→Y₁，所以横向坐标u的映射坐标v＝f_local(u)；得到局部映射函数之后，针对两线特征实际对应原图像的横向坐标，带入到局部映射v＝f_local(u)，便可以得到待配准图像到模板图像的局部映射坐标，进而得到全局所有的映射坐标。

Images