CN116664643A - 基于SuperPoint算法的铁路列车图像配准方法及设备 - Google Patents
基于SuperPoint算法的铁路列车图像配准方法及设备 Download PDFInfo
- Publication number
- CN116664643A CN116664643A CN202310773920.6A CN202310773920A CN116664643A CN 116664643 A CN116664643 A CN 116664643A CN 202310773920 A CN202310773920 A CN 202310773920A CN 116664643 A CN116664643 A CN 116664643A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- points
- superpoint
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000012216 screening Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 44
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 238000011426 transformation method Methods 0.000 claims description 7
- 230000001174 ascending effect Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000003252 repetitive effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000476 body water Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
基于SuperPoint算法的铁路列车图像配准方法及设备，属于铁路列车图像处理技术领域。本发明为了解决现有的铁路列车图像配准方法存在不能兼顾配准效果、运行时间和占用内存的问题。本发明针对铁路列车图像配准的图像，采用SuperPoint网络进行处理，改进特征点提取网络中NMS策略中，增加局部区域判断，以及根据区域亮度及对比度自适应调整得分筛选阈值功能，从而提升网络在车头车尾区域和暗部区域的特征点提取密度，在特征点匹配的过程中，按照匹配得分依次进行不放回配对，并增加误匹配对过滤步骤；最后根据匹配点坐标信息进行全局变换进而实现图像配准。
Description
技术领域
本发明属于铁路列车图像处理技术领域，具体涉及一种铁路列车图像配准方法及设备。
背景技术
一些铁路列车自动检测等相关任务借助图像处理来完成。由于铁路过车因不同时间经过相机的列车运行速度不同、相机响应速度不同导致拍摄的车身照片中局部拉伸尺度不一致等原因，会对部件子图的切分及不同时间相同车辆的对比造成不便，这种情况下需要对图像进行配准，即根据标准车型分布图配准因过车速度变化导致局部拉伸参差的图像。常用的图像配准方法SIFT虽然已经被OpenCV封装好可直接调用，但配准效果、内存占用和运行时间均不理想，无法满足当前的性能指标需求。
SuperPoint深度学习算法常用于自然图像配准与视频逐帧追踪物体，其使用特征点提取的预训练权重以及描述符提取的自监督方法，提升特征提取能力与特征点检测的能力。基于SuperPoint的现有模型在铁路车身图片测试集上虽然在部分车身部件边缘上提取效果较好，但因输入图片宽高比过大，在车头车尾轮廓特征点提取效果不理想。
发明内容
本发明为了解决现有的铁路列车图像配准方法存在不能兼顾配准效果、运行时间的问题。
基于SuperPoint算法的铁路列车图像配准方法，包括以下步骤：
步骤一、针对铁路列车图像配准的图像A和B，采用SuperPoint网络提取特征点及描述符；
所述采用SuperPoint网络提取特征点及描述符的过程包括对采用改进NMS策略对特征点进行局部阈值筛选的步骤，具体包括以下步骤：
先采用像素横坐标进行判断，在车头车尾处NMS使用阈值K1，车体中部区域NMS使用阈值K2，K1＜K2；区域处于车头车尾时，阈值K1半径范围内的备选特征点保留最大得分，其余删去；当区域处在车体中部区域时，K2根据区域图像亮度与对比度确定：首先设置一个NMS值，然后根据区域图像亮度与对比度确定所对应地区是否为过曝或过暗区域，如果是NMS范围取值增大；
步骤二、基于描述符译码器网络，进行特征点匹配；
返回待匹配的多幅图像中匹配特征点的绝对坐标矩阵，作为后续图像变换步骤的输入；
步骤三、根据匹配点坐标信息进行全局仿射变换，进而实现图像配准。
进一步地，采用SuperPoint网络提取特征点及描述符之前，对特征点提取模型的半监督训练及微调处理：
将SuperPoint特征点提取译码器作为预训练模型，采用直推式半监督算法在部分标记的铁路列车图像数据集上进一步迭代训练特征点提取模型，首先标记少量铁路车身图像上的特征点作为有标签样本集，同时利用有标签样本与无标签样本对模型进行训练，并在训练过程中预测无标签样本，多轮迭代后获取更适合铁路车身真实图像数据集的模型权重应用于特征点提取网络中。
进一步地，步骤二进行特征点匹配的过程利用改进的特征点匹配策略进行特征点匹配；所述的改进的特征点匹配策略如下：
(A)最近邻匹配策略优化：
SuperPoint算法中使用最近邻匹配算法根据描述符计算结果对特征点进行匹配，根据N×M维描述距离矩阵结果进行逐行遍历，矩阵的第i行向量对应前帧图像A上第i个特征点xi与后帧图像B上全部M个特征点的相对距离；以行或列进行遍历取决于M与N大小，以行或列作为初始待遍历维度过程相同，假设选择以矩阵行作为初始待遍历维度，矩阵的第i行向量对应前帧图像A上第i个特征点xi与后帧图像B上全部M个特征点的相对距离；对矩阵先进行N个特征点置信度降序遍历，保留k个与该特征点距离最近且小于距离阈值的候选特征点，并对筛选后的N×k维描述距离矩阵每行中的元素进行升序排列，保留最小描述距离作为参考值，计算该参考值与该行第二位元素的比值：若小于比例阈值则判断该匹配点为对应图像B上的最优匹配点；反之，则该行待定，跳转至其他行继续进行判定；计算图像上点对间的描述距离是对图像A上的特征点相对位置关系与图像B上特征点相对位置关系进行对比，判断图像A上的特征点相对位置关系与图像B上特征点相对位置关系是否满足旋转不变性和尺度不变性，不满足则放弃该点对，满足则保留，按照该原则遍历N个特征点；
(B)不放回配对策略遍历：
基于步骤一提取特征点，比较M与N大小，以提取特征点点数少的图像特征点作为遍历对象，依照以上改进后的匹配策略进行不放回配对：假设N<M，则逐行遍历描述距离矩阵，先找到含有单极小值的元素位置xi,j，假设为匹配点对ai与bj，若该行其他位置元素值大于xi,j的2倍，xi,j即为单谷极小值，则该匹配点对ai与bj配对成功，第j列会在接下来的迭代过程中从描述距离矩阵中删去；若不存在单谷极小值，则会继续遍元素值在[xi,j,2xi,j]区间内的前m个元素所对应列，优先匹配含单谷极小值的行；即确认保留的特征点对对应的相对描述距离会从待遍历列表中删去，且在匹配顺序上，对前m个最小描述距离对应点对相关的(N-i+1)×m个描述距离进行二维比对，保留存在单极小值的且极小值为最小的匹配点。
进一步地，在步骤二进行特征点匹配的过程中，若局部特征点分布稠密且区域内存在重复性边角结构时，则采用误匹配对过滤对结果进行优化，否则，则直接采用特征点匹配结果。
进一步地，所述的进行误匹配对过滤的过程包括以下步骤：
通过单应性变换计算特征点对匹配的空间合理性，保留合理性分数高于空间合理性阈值的匹配点对，低于阈值则抛弃，并对特征点对进行横向排序，计算点的间隔信息再对特征点对进行取舍。
进一步地，所述空间合理性阈值利用RANSAC算法确定。
进一步地，根据匹配点坐标信息进行全局仿射变换的过程中，根据特征点横坐标的大小进行排序，并将图B中匹配点纵坐标替换为图A中对应点纵坐标，针对待处理图像从左至右取最边缘两点及位置处于横向坐标中位数的点作为仿射变换矩阵的计算输入，使用仿射变换方法对待配准图像进行变换。
进一步地，使用仿射变换方法对待配准图像进行变换的过程中，对图像进行横向分段，分段使用仿射变换方法对待配准图像进行变换；对图像进行横向分段的依据为特征点横坐标。
一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于SuperPoint算法的铁路列车图像配准方法。
一种基于SuperPoint算法的铁路列车图像配准设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于SuperPoint算法的铁路列车图像配准方法。
有益效果：
1、本发明采用的模型是在计算机渲染生成的模拟图形数据集上进行预训练，并结合铁路真实图片半监督训练而得，对边、角等物体轮廓边缘上灰度值变化剧烈的特征点提取数量充分，较SuperPoint原模型更适合处理铁路列车灰度图像，对车头车尾轮廓特征点具有良好的提取效果，且配准效果较SIFT、SURF等传统图像配准算法更好，运行速度更快。
3、改进特征点匹配策略，并利用空间透视逆变换对配准得到的特征点进行合理性推断，对SuperPoint初步匹配得到的特征点对进行空间过滤，在降低计算量大小的同时可以提升配准效果。
3、本领域现使用的经典图像配准算法为SIFT(Scale Invariant FeatureTransform)、SURF(Speeded Up Robust Features)等精度高但计算占用内存及所需时间过高。而本发明采用了基于SuperPoint深度学习算法的改进算法，不仅减少了内存占用，而且此种方式使用特征点提取的预训练权重以及描述符提取的自监督方法，提升特征提取能力与特征点检测的能力，在对于存在噪声点的真实图片的特征点提取上表现更稳健，即抗干扰能力更强。
4、针对铁路车身图像特点及尺寸大小，采用分段抽取特征点对的方法，对车身进行特征点稠密区域定义划分，采用不同的阈值标准进行筛选以提高车身图像配准的精确度，并且对车身横向采用改进后单维度仿射变换，避免纵向行差的横向扩散导致的配准后车身歪斜情况。
附图说明
图1为SuperPoint网络结构示意图。
图2为直推式半监督学习过程示意图。
图3为特征点匹配的过程示意图。
图4为基于改进SuperPoint算法的图像配准流程示意图。
图5为不放回配对策略遍历示例图。
图6为应用本发明的铁路列车车身局部配准效果示例图。
图7为应用本发明的铁路列车车身整体配准效果缩略图。
具体实施方式
本发明基于SuperPoint算法做出如下方面的改进：
1、对特征点提取模型权重在铁路车身图片集上进行预训练及微调，提升模型在车头车尾及车身轮廓处的特征点提取效果。
2、改进特征点提取网络中非极大值抑制(Non-Maximum Suppression，NMS)策略：增加局部区域判断，以及根据区域亮度及对比度自适应调整得分筛选阈值功能，从而提升网络在车头车尾区域和暗部区域的特征点提取密度。
3、优化特征点策略：计算匹配得分引入已配对点相对位置参考，并按照匹配得分依次进行不放回配对，即每个特征点仅进行一次配对。
4、增加误匹配对过滤步骤：针对算法配对结果进行空间透视逆变换计算合理性得分，去除误匹配对。
5、依据返回匹配点的坐标信息计算图片变换矩阵：SuperPoint算法源码仅返回特征点配对后在图片上的相对运动轨迹，本发明增加了图像变换步骤以便后续统一尺度识别处理，根据车身图片特点采用横向分段仿射变换。
本发明可以有效的解决现有的铁路列车图像配准方法存在不能兼顾配准效果、运行时间和占用内存的问题。
下面结合具体实施方式对本发明做进一步说明。
具体实施方式一：
本实施方式为基于SuperPoint算法的铁路列车图像配准方法，包括以下步骤：
步骤一、针对铁路列车图像配准的图像A和B，采用改进SuperPoint网络提取特征点及描述符：
SuperPoint网络中的特征点提取译码器与描述符译码器结构如图1所示，输入全尺寸图像，编码器进行降尺寸特征图提取，将获得的特征图分别输入特征点检测译码器与描述符译码器，特征点检测译码器计算全尺寸图像像素特征点概率，在推断阶段使用NMS获取特征点检测结果，描述符译码器用于产生对特征点进行全局描述的多维描述符。应用改进后网络，从输入图像中提取特征点及应用描述符匹配的基本流程如图3所示。
1、特征点提取模型半监督训练及微调：
半监督学习方法是将SuperPoint特征点提取译码器作为预训练模型，在部分标记的铁路列车图像数据集上进一步迭代训练特征点提取模型，提升模型在真实数据集上的泛化能力。本发明中应用的是直推式半监督(transductive learning)算法(如图2所示)，标记少量铁路车身图像上的特征点作为有标签样本集，同时利用有标签样本与无标签样本对模型进行训练，并在训练过程中预测无标签样本，多轮迭代后获取更适合铁路车身真实图像数据集的模型权重应用于特征点提取网络中。
2、NMS策略改进：
在目标检测领域中非极大值抑制策略用于消除多余的检测框，在图像局部区域中寻找分类得分的极大值并保留，以便找到最佳的物体检测位置。常规NMS是将所有特征点进行局部阈值筛选，本发明采用自适应方法，加入目标系数参量：像素的横向坐标、区域图像亮度及对比度。
目标系数参量中先采用像素横坐标进行判断，在车头车尾处NMS使用小阈值(车头车尾处NMS范围取小值)，车体中部区域NMS使用大阈值，来提升车头车尾的特征点选取密度。本实施方式中，区域处于车头车尾时，NMS取2，即2x2半径范围内的备选特征点保留最大得分，其余删去；当区域处在其他位置时，NMS值根据区域图像亮度与对比度确定：首先设置一个NMS值，然后根据区域图像亮度与对比度确定所对应地区是否为过曝或过暗区域，如果是NMS范围取值增大，或者取大值。根据区域图像亮度与对比度确定所对应地区是否为过曝或过暗区域的过程中需要将区域图像亮度与对比度归一化到0到1之间。
本发明整体的改进还包括其他改进，这些改进及处理过程结合其他步骤进行说明。
步骤二、基于描述符译码器网络，进行特征点匹配，并对并过滤误匹配对；进行特征点匹配的过程利用改进的特征点匹配策略进行特征点匹配；
SuperPoint的描述符译码器网络：通过提取SuperPoint特征点提取译码器获得的N个特征点，则有3×N维特征向量描述，包含每个特征点的横纵坐标及置信度，并按照置信度得分降序排列，作为描述符译码器(description decoder)的输入，描述符译码器网返回的是根据所有特征点在全局图像上的相对距离计算出的256×N维正则化描述向量。该向量会应用于后续多幅图像上的特征点匹配阶段，采用最近邻匹配(Nearest NeighborMatching)方法计算：假设前帧图像A上提取到N个特征点，后一帧图像B上提取到M个特征点，计算得出它们之间相对距离得到N×M维描述距离矩阵，根据距离大小升序排列，并手动设定距离阈值，保留距离小于阈值的特征点对，大于阈值的点对则删去。因为计算得到的距离值越大，证明两特征点在对应图像上空间相对分布的差异度越大。
步骤一从特征点提取译码器中得到的是两个列表，图像A与B中所提取到的特征点及其置信度，步骤二开始简单说明描述符译码器的工作原理，描述符译码器如图1在原算法中是与特征点提取并列的网络，该网络返回下面步骤(A)中的输入N×M维度描述距离矩阵。
步骤(A)是匹配顺序(特征点置信度降序，逐行)、最近邻范围的划分(每行保留k个最近邻)与最优判定原则。
步骤(B)是遍历过程中的不放回原则(每匹配成功一对，待遍历矩阵自动行列维度-1)以及进一步在操作层面上解读(A)中提到的最优判定原则(行单谷极小值，及判定为非行单谷极小值时扩大遍历范围，进行m列二维遍历。
(B)是对(A)的下一层执行逻辑。
改进特征点匹配，并过滤误匹配对的过程包括以下步骤：
S201、利用改进的特征点匹配策略进行特征点匹配；所述的改进的特征点匹配策略如下：
(A)最近邻匹配策略优化：
SuperPoint算法中使用最近邻匹配算法(k-Nearest Neighbour)根据描述符计算结果对特征点进行匹配，该算法的原则是根据N×M维描述距离矩阵结果(descriptordistance，矩阵中的元素为图像A中提取的N个特征点对应的256×N维描述符与图像B中提取的256×M维描述符之间的欧氏距离，即描述距离)进行逐行遍历，矩阵的第i行向量对应前帧图像A上第i个特征点xi与后帧图像B上全部M个特征点的相对距离，然后对矩阵先进行N个特征点置信度降序遍历，保留k个与该特征点距离最近且小于距离阈值的候选特征点，然后对筛选后的N×k维描述距离矩阵每行中的元素进行升序排列，保留最小描述距离作为参考值，计算该参考值与该行第二位元素的比值：若小于0.5则判断该匹配点为对应图像B上的最优匹配点；反之，则该行待定，跳转至其他行继续进行判定。
描述符计算图像上点对间的描述距离是对图像A上的特征点相对位置关系与图像B上特征点相对位置关系进行对比，判断图像A上的特征点相对位置关系与图像B上特征点相对位置关系是否满足旋转不变性和尺度不变性，不满足则放弃该点对，满足则保留，按照该原则遍历N个特征点。
上述过程中，降序排列的是特征点的置信度，置信度越高意味着特征点“越显著”，如果只先确定最“显著”特征点的最佳匹配结果，这样会导致图像特征点富集区域误配率较高，因此本发明优先处理“显著”特征点配对，然后找该点对应行上最小的元素值。
(B)不放回配对策略遍历：
为减小运算量并找到全局相对最优匹配结果，基于步骤一提取特征点，比较M与N大小，以提取特征点点数少的图像特征点作为遍历对象，依照以上改进后的匹配策略进行不放回配对：假设图像A中提取的特征点个数少于图像B中提取的特征点个数，即N<M，则会逐行遍历描述距离矩阵，先找到含有单极小值的元素位置xi,j，假设为匹配点对ai与bj，若该行其他位置元素值大于xi,j的2倍，xi,j即为单谷极小值，则该匹配点对ai与bj配对成功，第j列会在接下来的迭代过程中从描述距离矩阵中删去；若不存在单谷极小值，则会继续遍元素值在[xi,j,2xi,j]区间内的前m个元素所对应列，优先匹配含单谷极小值的行。即确认保留的特征点对对应的相对描述距离会从待遍历列表中删去，且在匹配顺序上，对前m个(m为手动设置的阈值，若均不满足则自动保留最小描述距离)最小描述距离对应点对相关的(N-i+1)×m个描述距离进行二维比对，保留存在单极小值的且极小值为最小的匹配点，作为后续处理的相对位置参照。
(N-i+1)代表当前矩阵剩余待遍历行数，也就是图A中未匹配点个数，m为设定的在[x,2x]范围内的前m个最小值，实际是列数。
以图5为例简单说明(B)遍历过程：取N＝3，M＝4，k＝3，m＝2情况，即图像A中提取到3个特征点，图像B中提取到4个特征点，因N<M对描述距离矩阵进行行遍历，①中得到的为按照特征点置信度降序排列的a1至a3点对应的每行包含最小前k＝3个描述距离矩阵，其中b1至b4为a1行元素值升序排列的点序结果。首先遍历a1行，0.1为对应行单谷极小值，a1与b1匹配成功，从矩阵中删去对应行列。再遍历a2对应行，按照元素值升序排列得到②中矩阵，x2,3＝0.4非本行单谷极小值，根据[0.4，0.8]范围内前m＝2个最小值找到b3与b4对应列，二维遍历这两列，找到二维单谷极小值(在a3行与b3列均为单谷极小值)x3,3＝0.1，a3与b3匹配成功，删去对应行列。遍历a2行，此时x2,4＝0.5为该行单谷极小值，a2与b4匹配成功。
针对待遍历列表待遍过程，相当于双循环，若行数<列数，先遍历行，再遍历列，匹配成功的列不参与接下来的循环，所以待处理矩阵每经过一轮迭代行数与列数均-1，近最优匹配的同时减少计算量。
改进后的特征点匹配结果与原SuperPoint匹配算法进行定性对比，发现车身图像特征点误匹配率得到有效抑制，改进后特征点全局误配率下降达6％。
S202、进行误匹配对过滤：
在Superpoint实际车身配准应用情景中，位于车身上重复部件区域的特征点易出现误匹配现象，如栅格、车门等，进而会导致全局变换出错。且因铁路列车身图片通常较宽，会出现车身图片宽高比例远大于20，使得传入检测网络后无输出或计算超时。此外，部分车身边角信息丰富区域(如格栅、车身水渍等区域)特征点富集，会加长计算配准时间，实际应用中也需要根据车身长度分区域进行特征点对抽样选取对车身进行分段配准及变换。
本发明加入特征点匹配对过滤步骤，通过单应性变换计算特征点对匹配的空间合理性，设置空间合理性阈值(空间合理性阈值利用RANSAC算法确定)，保留合理性分数高于阈值的匹配点对，低于阈值则抛弃，并对特征点对进行横向排序，计算点的间隔信息再对特征点对进行取舍，再根据过滤后的配准特征点对进行下一步图像变换。改进后的整体图像处理流程如图4。计算点的间隔信息再对特征点对进行取舍的过程利用现有技术根据实际需要进行取舍即可，在本实施方式中，车头尾处特征点每隔图像宽度0.0014倍取，车中段每隔图像宽度的0.0043倍取，其他舍掉。
在匹配过程中，若局部特征点分布较稠密，且区域内存在重复性边角结构(如格栅)时，则采用该空间误匹配对过滤方案对结果进行优化，而对于区域内不存在重复性边角结构的情况，则直接采用SuperPoint深度学习算法处理后返回的结果。
此外，本发明改动SuperPoint的返回结果，使SuperPoint算法返回待匹配的多幅图像中匹配特征点的绝对坐标矩阵；
原SuperPoint算法定义了特征点追踪类用于计算特征点在连续图像帧上得分及描述符，返回的结果为匹配后特征点相对位移轨迹矩阵，本发明改动SuperPoint算法使其返回待匹配的多幅图像中匹配特征点的绝对坐标矩阵，作为后续图像变换步骤的输入。
步骤三、根据匹配点坐标信息进行全局变换：
经对比仿射变换及透视变换直接应用后的配准效果，常出现车身偏移歪斜等情况，且透视变换为三维空间变换，对特征点的匹配精度及坐标关系要求较高，当输入存在误匹配点对时会导致图像在另个维度上的偏移。假设一对待处理的两张包含相同物体但存在相对位移及尺度变换的图像分别为图A与图B，深度学习的特征点提取及匹配算法在处理特征点富集区域图像时常出现图A中一点匹配至图B目标点邻域点的误匹配情况，会导致变换后车体图像完全不可视。虽然在调整算法的特征点置信度阈值及匹配半径阈值后匹配准确度提升，但车身配准任务中需要车头车尾处的特征点充足，修改阈值后会导致车尾处无特征点匹配对从而车尾部分完全失配。
在结合车体配准需求总结了误匹配现象的规律后，本发明改进仿射变换应用，提升了配准结果对邻域误匹配现象的包容度，即邻域误配不影响对应段车体的配准效果。
因改进SuperPoint算法返回的备选特征点较多，仿射变换仅需三点坐标计算即可求出全局变换矩阵，故在匹配特征点的选取上需要谨慎选取，一旦选中误匹配点或三点无法涵盖全局尺度位移信息，会导致图像失配。因此在剔除误匹配(不满足逆透视变换原理)及匹配准确度低于阈值的特征点对后，根据特征点横坐标的大小进行排序，并将图B中匹配点纵坐标替换为图A中对应点纵坐标，针对待处理图像(图A或图B，可以选择以图A为参考，拉伸图B使得变换后布局与A相同，也可以以B为参考拉伸A使得变换后布局与B相同)从左至右取最边缘两点及位置处于横向坐标中位数的点作为仿射变换矩阵的计算输入。这样相当于仅对车身进行横向拉伸，纵向因行车高度及摄影设备相对高度无变化，因此纵向往往无需配准。邻域误配现象往往发生在特征点富集区域，一般是图A中特征点匹配至图B中目标点上或下方特征点，误匹配点与目标点的横向坐标差异很小，因此该策略可消除该误配现象带来的影响。
本发明中使用仿射变换方法对待配准图像进行变换，结合改进后SuperPoint算法及实际列车车身配准的任务需求，对图像进行横向分段处理，降低了误匹配点对带来的全局变换影响。
对图像进行横向分段处理是依据上一步过滤后保留的特征点横坐标分的段。例如从最左侧到第三个特征点横坐标段就按前三对特征点坐标变换进行分段，最右端同理。由于这里是按特征点匹配结果对图像分段的，匹配后的特征点是成对的，在图A上有α个，图B上也是α个，所以分得的段数是一致的，需要变换的区域也是对应的。
仿射变换原理为对原图(待处理图像)中所有坐标点进行线性变换及平移，设原始坐标为(x,y)，经仿射变换后的坐标为(x’,y’)，m11,m12,m21,m22分别为衡量二维尺度变换的系数，n1,n2为二维相对位移向量中系数，则仿射变换过程可表示为：
根据上式可定义仿射变换矩阵M为：
图像中点坐标变换关系为：
因本发明实际应用中不涉及面内过度旋转的场景，采用改进后的SuperPoint在铁路列车车身配准的效果很好，对比同一待配准图像对的处理结果上，对比以往常用的SIFT算法，改进后的SuperPoint配准方法运行时间提升至0.7秒，计算占用的内存更少，且提取到的特征点更为均匀丰富。
图6为铁路列车车身局部配准效果示例图，其中第一行为历史待配准图像，第二行为经过配准及仿射变换后的历史图像，第三行为当前参考图像，可见待配准的两图不仅在尺度上存在差异，水平方向上也存在相对位移，图中灰点为过滤后的匹配特征点对，其连线的倾斜程度可以体现车身的相对位移，图中相邻位置匹配点连线均相互平行，体现空间合理性过滤步骤对提升剩余特征点配准效果的作用。利用本发明对同一车身图像局部配准的结果如表1所示
表1同一车身图像局部配准定性对比
图7为应用本发明的铁路列车车身整体配准效果缩略图，由左至右分别为：历史车身图像、当前车身图像、配准后历史车身图像。
具体实施方式二：
本实施方式为一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于SuperPoint算法的铁路列车图像配准方法。
应当理解，指令包括本发明描述的任何方法对应的计算机程序产品、软件或计算机化方法；所述指令可以用于编程计算机系统，或其他电子装置。计算机存储介质可以包括其上存储有指令的可读介质，可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层，或者适合于存储电子指令的其他类型的介质。
具体实施方式三：
本实施方式为基于SuperPoint算法的铁路列车图像配准设备，所述设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；
所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于SuperPoint算法的铁路列车图像配准方法。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.基于SuperPoint算法的铁路列车图像配准方法，其特征在于，包括以下步骤：
步骤一、针对铁路列车图像配准的图像A和B，采用SuperPoint网络提取特征点及描述符；
所述采用SuperPoint网络提取特征点及描述符的过程包括对采用改进NMS策略对特征点进行局部阈值筛选的步骤，具体包括以下步骤：
先采用像素横坐标进行判断，在车头车尾处NMS使用阈值K1，车体中部区域NMS使用阈值K2，K1＜K2；区域处于车头车尾时，阈值K1半径范围内的备选特征点保留最大得分，其余删去；当区域处在车体中部区域时，K2根据区域图像亮度与对比度确定：首先设置一个NMS值，然后根据区域图像亮度与对比度确定所对应地区是否为过曝或过暗区域，如果是NMS范围取值增大；
步骤二、基于描述符译码器网络，进行特征点匹配；
返回待匹配的多幅图像中匹配特征点的绝对坐标矩阵，作为后续图像变换步骤的输入；
步骤三、根据匹配点坐标信息进行全局仿射变换，进而实现图像配准。
2.根据权利要求1所述的基于SuperPoint算法的铁路列车图像配准方法，其特征在于，采用SuperPoint网络提取特征点及描述符之前，对特征点提取模型的半监督训练及微调处理：
将SuperPoint特征点提取译码器作为预训练模型，采用直推式半监督算法在部分标记的铁路列车图像数据集上进一步迭代训练特征点提取模型，首先标记少量铁路车身图像上的特征点作为有标签样本集，同时利用有标签样本与无标签样本对模型进行训练，并在训练过程中预测无标签样本，多轮迭代后获取更适合铁路车身真实图像数据集的模型权重应用于特征点提取网络中。
3.根据权利要求1或2所述的基于SuperPoint算法的铁路列车图像配准方法，其特征在于，步骤二进行特征点匹配的过程利用改进的特征点匹配策略进行特征点匹配；所述的改进的特征点匹配策略如下：
(A)最近邻匹配策略优化：
SuperPoint算法中使用最近邻匹配算法根据描述符计算结果对特征点进行匹配，根据N×M维描述距离矩阵结果进行逐行遍历，矩阵的第i行向量对应前帧图像A上第i个特征点xi与后帧图像B上全部M个特征点的相对距离；以行或列进行遍历取决于M与N大小，以行或列作为初始待遍历维度过程相同，假设选择以矩阵行作为初始待遍历维度，矩阵的第i行向量对应前帧图像A上第i个特征点xi与后帧图像B上全部M个特征点的相对距离；对矩阵先进行N个特征点置信度降序遍历，保留k个与该特征点距离最近且小于距离阈值的候选特征点，并对筛选后的N×k维描述距离矩阵每行中的元素进行升序排列，保留最小描述距离作为参考值，计算该参考值与该行第二位元素的比值：若小于比例阈值则判断该匹配点为对应图像B上的最优匹配点；反之，则该行待定，跳转至其他行继续进行判定；计算图像上点对间的描述距离是对图像A上的特征点相对位置关系与图像B上特征点相对位置关系进行对比，判断图像A上的特征点相对位置关系与图像B上特征点相对位置关系是否满足旋转不变性和尺度不变性，不满足则放弃该点对，满足则保留，按照该原则遍历N个特征点；
(B)不放回配对策略遍历：
基于步骤一提取特征点，比较M与N大小，以提取特征点点数少的图像特征点作为遍历对象，依照以上改进后的匹配策略进行不放回配对：假设N<M，则逐行遍历描述距离矩阵，先找到含有单极小值的元素位置xi,j，假设为匹配点对ai与bj，若该行其他位置元素值大于xi,j的2倍，xi,j即为单谷极小值，则该匹配点对ai与bj配对成功，第j列会在接下来的迭代过程中从描述距离矩阵中删去；若不存在单谷极小值，则会继续遍元素值在[xi,j,2xi,j]区间内的前m个元素所对应列，优先匹配含单谷极小值的行；即确认保留的特征点对对应的相对描述距离会从待遍历列表中删去，且在匹配顺序上，对前m个最小描述距离对应点对相关的(N-i+1)×m个描述距离进行二维比对，保留存在单极小值的且极小值为最小的匹配点。
4.根据权利要求3所述的基于SuperPoint算法的铁路列车图像配准方法，其特征在于，在步骤二进行特征点匹配的过程中，若局部特征点分布稠密且区域内存在重复性边角结构时，则采用误匹配对过滤对结果进行优化，否则，则直接采用特征点匹配结果。
5.根据权利要求4所述的基于SuperPoint算法的铁路列车图像配准方法，其特征在于，所述的进行误匹配对过滤的过程包括以下步骤：
通过单应性变换计算特征点对匹配的空间合理性，保留合理性分数高于空间合理性阈值的匹配点对，低于阈值则抛弃，并对特征点对进行横向排序，计算点的间隔信息再对特征点对进行取舍。
6.根据权利要求5所述的基于SuperPoint算法的铁路列车图像配准方法，其特征在于，所述空间合理性阈值利用RANSAC算法确定。
7.根据权利要求5所述的基于SuperPoint算法的铁路列车图像配准方法，其特征在于，根据匹配点坐标信息进行全局仿射变换的过程中，根据特征点横坐标的大小进行排序，并将图B中匹配点纵坐标替换为图A中对应点纵坐标，针对待处理图像从左至右取最边缘两点及位置处于横向坐标中位数的点作为仿射变换矩阵的计算输入，使用仿射变换方法对待配准图像进行变换。
8.根据权利要求7所述的基于SuperPoint算法的铁路列车图像配准方法，其特征在于，使用仿射变换方法对待配准图像进行变换的过程中，对图像进行横向分段，分段使用仿射变换方法对待配准图像进行变换；对图像进行横向分段的依据为特征点横坐标。
9.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8任意一项所述的基于SuperPoint算法的铁路列车图像配准方法。
10.一种基于SuperPoint算法的铁路列车图像配准设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至8任意一项所述的基于SuperPoint算法的铁路列车图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310773920.6A CN116664643A (zh) | 2023-06-28 | 2023-06-28 | 基于SuperPoint算法的铁路列车图像配准方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310773920.6A CN116664643A (zh) | 2023-06-28 | 2023-06-28 | 基于SuperPoint算法的铁路列车图像配准方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664643A true CN116664643A (zh) | 2023-08-29 |
Family
ID=87717157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310773920.6A Pending CN116664643A (zh) | 2023-06-28 | 2023-06-28 | 基于SuperPoint算法的铁路列车图像配准方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664643A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576107A (zh) * | 2024-01-17 | 2024-02-20 | 中数智科(杭州)科技有限公司 | 基于图像匹配和配准的列车底部零部件的松动检测方法 |
| CN118015237A (zh) * | 2024-04-09 | 2024-05-10 | 松立控股集团股份有限公司 | 基于全局相似性最佳接缝的多视角图像拼接方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126412A (zh) * | 2019-11-22 | 2020-05-08 | 复旦大学 | 基于特征金字塔网络的图像关键点检测方法 |
| CN111354026A (zh) * | 2020-02-27 | 2020-06-30 | 广州运达智能科技有限公司 | 一种基于surf特征的改进列车图像精确配准方法和系统 |
| WO2021026705A1 (zh) * | 2019-08-09 | 2021-02-18 | 华为技术有限公司 | 匹配关系确定方法、重投影误差计算方法及相关装置 |
| CN112767358A (zh) * | 2021-01-21 | 2021-05-07 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像特征配准的铁路电力机车故障检测方法 |
| CN115115860A (zh) * | 2022-07-20 | 2022-09-27 | 电子科技大学长三角研究院(湖州) | 一种基于深度学习的图像特征点检测匹配网络 |
| CN115775269A (zh) * | 2023-02-10 | 2023-03-10 | 西南交通大学 | 一种基于线特征的列车图像精确配准方法 |
| CN115984592A (zh) * | 2023-01-05 | 2023-04-18 | 重庆邮电大学 | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 |
-
2023
- 2023-06-28 CN CN202310773920.6A patent/CN116664643A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021026705A1 (zh) * | 2019-08-09 | 2021-02-18 | 华为技术有限公司 | 匹配关系确定方法、重投影误差计算方法及相关装置 |
| CN111126412A (zh) * | 2019-11-22 | 2020-05-08 | 复旦大学 | 基于特征金字塔网络的图像关键点检测方法 |
| CN111354026A (zh) * | 2020-02-27 | 2020-06-30 | 广州运达智能科技有限公司 | 一种基于surf特征的改进列车图像精确配准方法和系统 |
| CN112767358A (zh) * | 2021-01-21 | 2021-05-07 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像特征配准的铁路电力机车故障检测方法 |
| CN115115860A (zh) * | 2022-07-20 | 2022-09-27 | 电子科技大学长三角研究院(湖州) | 一种基于深度学习的图像特征点检测匹配网络 |
| CN115984592A (zh) * | 2023-01-05 | 2023-04-18 | 重庆邮电大学 | 基于SuperPoint+SuperGlue的点线融合特征匹配方法 |
| CN115775269A (zh) * | 2023-02-10 | 2023-03-10 | 西南交通大学 | 一种基于线特征的列车图像精确配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| 许晓帆等: "基于自适应非极大值抑制的SIFT 改进算法", 电子设计工程, 30 September 2014 (2014-09-30), pages 1 - 2 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576107A (zh) * | 2024-01-17 | 2024-02-20 | 中数智科(杭州)科技有限公司 | 基于图像匹配和配准的列车底部零部件的松动检测方法 |
| CN117576107B (zh) * | 2024-01-17 | 2024-03-29 | 中数智科(杭州)科技有限公司 | 基于图像匹配和配准的列车底部零部件的松动检测方法 |
| CN118015237A (zh) * | 2024-04-09 | 2024-05-10 | 松立控股集团股份有限公司 | 基于全局相似性最佳接缝的多视角图像拼接方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930454B (zh) | 一种基于边界框外关键点定位的六自由度位姿估计算法 | |
| CN108470354B (zh) | 视频目标跟踪方法、装置和实现装置 | |
| CN116664643A (zh) | 基于SuperPoint算法的铁路列车图像配准方法及设备 | |
| CN113112519B (zh) | 基于感兴趣目标分布的关键帧筛选方法 | |
| CN107633226A (zh) | 一种人体动作跟踪识别方法及系统 | |
| US11676018B2 (en) | Feature extraction with keypoint resampling and fusion (KRF) | |
| CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
| CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN110175011B (zh) | 一种全景影像无缝拼接方法 | |
| CN108764244B (zh) | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 | |
| CN111899295B (zh) | 一种基于深度学习的单目场景深度预测方法 | |
| CN111523463B (zh) | 基于匹配-回归网络的目标跟踪方法及训练方法 | |
| CN112364865B (zh) | 一种复杂场景中运动小目标的检测方法 | |
| CN117253154B (zh) | 一种基于深度学习的集装箱弱小序列号目标检测识别方法 | |
| CN114782412A (zh) | 图像检测方法、目标检测模型的训练方法及装置 | |
| CN115578615A (zh) | 基于深度学习的夜间交通标志图像检测模型建立方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN114387592B (zh) | 一种复杂背景下字符定位和识别方法 | |
| Liang et al. | Image deblurring by exploring in-depth properties of transformer | |
| CN113627481A (zh) | 一种面向智慧园林的多模型组合的无人机垃圾分类方法 | |
| CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
| CN111612802A (zh) | 一种基于现有图像语义分割模型的再优化训练方法及应用 | |
| CN117011655A (zh) | 基于自适应区域选择特征融合方法、目标跟踪方法及系统 | |
| Li et al. | A new algorithm of vehicle license plate location based on convolutional neural network | |
| CN113792739B (zh) | 一种通用型车牌文本识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |