CN112767358A - 基于图像特征配准的铁路电力机车故障检测方法 - Google Patents

基于图像特征配准的铁路电力机车故障检测方法 Download PDF

Info

Publication number
CN112767358A
CN112767358A CN202110080927.0A CN202110080927A CN112767358A CN 112767358 A CN112767358 A CN 112767358A CN 202110080927 A CN202110080927 A CN 202110080927A CN 112767358 A CN112767358 A CN 112767358A
Authority
CN
China
Prior art keywords
image
detected
feature
template
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110080927.0A
Other languages
English (en)
Inventor
石玮
龙施洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Kejia General Mechanical and Electrical Co Ltd
Original Assignee
Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Kejia General Mechanical and Electrical Co Ltd filed Critical Harbin Kejia General Mechanical and Electrical Co Ltd
Priority to CN202110080927.0A priority Critical patent/CN112767358A/zh
Publication of CN112767358A publication Critical patent/CN112767358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

一种基于图像特征配准的铁路电力机车故障检测方法，属于机车故障图像识别技术领域。本发明针对现有电力机车故障检测中，基于深度学习的图像特征配准网络检测方法在电力机车车型发生变换时，检测精度差的问题。包括获取待检测部位的模板图像和采集待检测部位图像，采用SIFT算法获得相应图像的特征点描述信息；再通过KNN算法进行匹配，并过滤离群特征点，得到过滤后待检测图像特征点位置信息和模板图像特征点位置信息；进行聚类，得到对应图像的核心特征点位置信息，再采用随机采样仿射变换算法对待检测部位图像进行仿射变换，得到矫正后待检测图像。本发明在车型变换时，可以保证故障的检测精度。

Description

基于图像特征配准的铁路电力机车故障检测方法
技术领域
本发明涉及基于图像特征配准的铁路电力机车故障检测方法，属于机车故障图像识别技术领域。
背景技术
在传统图像处理的图像特征配准技术中，对大小不同的图像，可通过提取两幅图像上相同的特征点对图像进行定位；对相同大小的图像，可通过提取两幅图像上相同的特征点对图像进行拼接；对任意大小的图像，还可通过提取两幅图像上相同的特征点对图像进行矫正。在电力机车故障检测中，常常应用图像特征配准中的矫正技术进行故障识别，但经过矫正后的图像往往产生一定的变形，因此在后续的故障识别中，很难获得准确的检测结果。
采用基于深度学习的图像特征配准网络可以对两幅图像进行高精度的配准，进而实现故障检测。但是深度学习算法实现的前提是需要大量的样本数据作为支撑。而在实际应用中，真实数据的数据量很难满足训练数据的数量要求。并且，当电力机车车型发生变换时，基于深度学习的图像特征配准网络检测精度会明显下降。
发明内容
针对现有电力机车故障检测中，基于深度学习的图像特征配准网络检测方法在电力机车车型发生变换时，检测精度差的问题，本发明提供一种基于图像特征配准的铁路电力机车故障检测方法。
本发明的一种基于图像特征配准的铁路电力机车故障检测方法，包括，
步骤一：获取待检测部位的模板图像和待检测部位图像；
步骤二：将待检测部位图像和对应的模板图像采用SIFT算法进行处理分别得到待检测图像特征点描述信息和模板图像特征点描述信息，特征点描述信息包括特征点位置信息；
步骤三：将待检测图像特征点描述信息和模板图像特征点描述信息通过KNN算法进行匹配，得到最邻近待检测图像特征点描述信息和最邻近模板图像特征点描述信息；根据所得到的最邻近待检测图像特征点描述信息中的特征点位置信息和最邻近模板图像特征点描述信息中的特征点位置信息过滤离群特征点，得到过滤后待检测图像特征点位置信息和过滤后模板图像特征点位置信息；
步骤四：对过滤后待检测图像特征点位置信息和过滤后模板图像特征点位置信息分别进行聚类，得到待检测图像核心特征点位置信息和模板图像核心特征点位置信息；再根据检测图像核心特征点位置信息和模板图像核心特征点位置信息，采用随机采样仿射变换算法对待检测部位图像进行仿射变换，得到矫正后待检测图像；
步骤五：对矫正后待检测图像进行处理，实现待检测部位的故障检测。
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，步骤五中对矫正后待检测图像进行处理，实现待检测部位的故障检测包括：
步骤五一：将矫正后待检测图像与步骤一中模板图像再按照步骤二至步骤四的方式进行处理，得到矫正后待检测图像核心特征点位置信息和模板图像核心特征点位置信息；
步骤五二：根据核心特征点位置信息在待检测部位图像和步骤一中模板图像上对应截取目标区域，获得待检测目标区域图像和模板目标区域图像；
步骤五三：基于待检测目标区域图像和模板目标区域图像，实现待检测部位的故障检测。
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，步骤五一中的矫正后待检测图像核心特征点位置信息为
Figure BDA0002909100790000021
模板图像核心特征点位置信息为
Figure BDA0002909100790000022
步骤五二包括：
选取
Figure BDA0002909100790000023
中x和y的最小值xmin,ymin，作为图像左上角坐标bmin(xmon,ymin)；选取
Figure BDA0002909100790000024
中x和y的最大值xmax,ymax，作为图像右下角坐标bmax(xmax,ymax)；
根据bmin和bmax在待检测部位图像和模板图像上进行截取，得到待检测目标区域图像I∈(M′,N′)和模板目标区域图像I∈′(M′,N′)。
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，步骤五三包括：
对待检测目标区域图像和模板目标区域图像进行图像后处理，得到处理后待检测图像和处理后模板图像；再基于处理后模板图像，对处理后待检测图像进行故障检测，得到检测结果图像。
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，图像后处理的过程包括：
对I∈(M′,N′)和I∈′(M′,N′)进行滤波去噪，再进行归一化，得到处理后待检测图像
Figure BDA0002909100790000025
和处理后模板图像
Figure BDA0002909100790000026
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，进行归一化的方法包括：将待归一化图像与待归一化图像中最大值相减后的差值作为第一差值，将待归一化图像中最大值和最小值相减后的差值作为第二差值，第一差值与第二差值的比值作为归一化后得到的图像；
当待归一化图像为滤波去噪后的待检测目标区域图像时，归一化后得到的图像为处理后待检测图像
Figure BDA0002909100790000031
当待归一化图像为滤波去噪后的模板目标区域图像时，归一化后得到的图像为处理后模板图像
Figure BDA0002909100790000032
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，对处理后待检测图像进行故障检测的过程包括：
利用如下公式对处理后待检测图像
Figure BDA0002909100790000033
进行特征放大，得到放大结果图像L(M′,N′)：
Figure BDA0002909100790000034
再对放大结果图像L(M′,N′)通过大津法进行二值化分割，得到检测结果图像。
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，步骤二中得到待检测图像特征点描述信息和模板图像特征点描述信息的过程包括：
对于待检测部位图像I(M,N)，首先通过n层高斯图像金字塔构建多尺度空间，式中M为检测部位图像横坐标像素值，N为检测部位图像纵坐标像素值；
其中待检测部位图像I(M,N)的层数n为：
n＝log2{min(M,N)}-t,t∈[0,log2{min(M,N)}]；
式中t为层数控制参数；
再通过高斯差分函数获取每一层图像图像域和尺度域的极值点，获得确定极值点的图像；
在确定极值点的图像上，通过拟合三维二次函数确定特征点的位置和尺度；
利用图像的局部特征为每个特征点分配一个基准方向；
选取每个特征点的邻域，并划分为d×d个子区域，将每个子区域做为一个种子点；将每个子区域图像坐标轴旋转为特征点的方向，再通过插值计算每个种子点八个方向的梯度，按梯度将每个子区域图像生成大小为d×d×8的特征向量；对所有特征向量进行归一化处理，得到待检测图像特征点描述信息；
对于模板图像I′(M′,N′)，采用同样方法得到模板图像特征点描述信息，其中，M′为模板图像横坐标像素值，N′为模板图像纵坐标像素值。
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，步骤三中过滤离群特征点之前，还包括特征点筛选，具体包括：
将最邻近待检测图像特征点描述信息A中元素除以最邻近模板图像特征点描述信息A′中位置对应元素，若比值大于根据先验知识得到的阈值Δ，则保留相应元素；否则，删除相应元素；得到筛选后待检测图像特征点描述信息AΔ＝{a1,a2,…,al}和筛选后模板图像特征点描述信息A′Δ＝{a′1,a′2,…,a′l}，式中l小于或者选于k。
根据本发明的基于图像特征配准的铁路电力机车故障检测方法，步骤三中过滤离群特征点包括：
筛选后待检测图像特征点描述信息AΔ中的特征点位置信息为B＝{b1(x1,y1),b2(x2,y2),…,bj(xj,yj)}，筛选后模板图像特征点描述信息A′Δ中的特征点位置信息为B′＝{b′1(x′1,y′1),b′2(x′2,y′2),…,b′i(x′i,y′i)}，
采用欧氏距离判断特征点是否离群，若B中元素与B′中位置对应元素的欧氏距离大于根据先验知识得到的阈值Δ′，则判定为离群特征点，剔除对应的特征点位置信息；得到过滤后待检测图像特征点位置信息BΔ＝{b1(x1,y1),b2(x2,y2),…,bz(xz,yz)}，和过滤后模板图像特征点位置信息为B′Δ＝{b′1(x′1,y′1),b′2(x′2,y′2),…,b′z(x′z,y′z)}。
本发明的有益效果：
1)本发明方法在传统SITF特征点检测算法的基础上添加KNN聚类、DBSCAN聚类和欧氏距离进行离群点删除；得到矫正后待检测图像；
2)本发明方法进一步嵌套两层1)中方法，可消除图像位置发生变化的影响；
3)再进一步，对待检测目标区域图像和模板目标区域图像进行的后处理，可消除图像受外界环境、光线变化和噪声的影响。
本发明的模板图像按照车型及每个车型下不同的车节数进行存储，也就是说，对应不同车型及其对应的车节数，分配配置有针对性的模板图像进行故障识别，因此在车型变换时，本发明均可保持极高的检测精度。
附图说明
图1是本发明基于图像特征配准的铁路电力机车故障检测方法的流程图；
图2是配准前模板图像与待检测部位采集图像的对应关系图；其中前半部分表示配准前模板图像，后半部分表示配准前待检测部位采集图像；
图3是配准后模板图像与待检测部位采集图像的对应关系图；其中前半部分表示配准后模板图像，后半部分表示配准后待检测部位采集图像；
图4是对应于电力机车侧部步骤七中的最终模板图像；
图5是对应于电力机车侧部步骤七中的最终待检测图像；
图6是对应于电力机车侧部的放大结果图像；
图7是对应于电力机车侧部的二值化后的检测结果图像；
图8是对应于电力机车底部步骤七中的最终模板图像；
图9是对应于电力机车底部步骤七中的最终待检测图像；
图10是对应于电力机车底部的放大结果图像；
图11是对应于电力机车底部的二值化后的检测结果图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图11所示，本发明提供了一种基于图像特征配准的铁路电力机车故障检测方法，包括，
步骤一：获取待检测部位的模板图像和待检测部位图像；
步骤二：将待检测部位图像和对应的模板图像采用SIFT算法进行处理分别得到待检测图像特征点描述信息和模板图像特征点描述信息，特征点描述信息包括特征点位置信息；
步骤三：将待检测图像特征点描述信息和模板图像特征点描述信息通过KNN算法进行匹配，得到最邻近待检测图像特征点描述信息和最邻近模板图像特征点描述信息；根据所得到的最邻近待检测图像特征点描述信息中的特征点位置信息和最邻近模板图像特征点描述信息中的特征点位置信息过滤离群特征点，得到过滤后待检测图像特征点位置信息和过滤后模板图像特征点位置信息；
步骤四：对过滤后待检测图像特征点位置信息和过滤后模板图像特征点位置信息分别进行聚类，得到待检测图像核心特征点位置信息和模板图像核心特征点位置信息；再根据检测图像核心特征点位置信息和模板图像核心特征点位置信息，采用随机采样仿射变换算法对待检测部位图像进行仿射变换，得到矫正后待检测图像；
步骤五：对矫正后待检测图像进行处理，实现待检测部位的故障检测。
模板图像的获取：本发明需要将待检测图像与模板(无故障)图像进行对比计算，因此，首先要获取待检测区域模板图像，具体步骤如下：
1.根据列车车底轴距、车型和先验知识对存储的无故障图像进行划分并截取，保证同一车型的电力机车划分为一类，同一车型的电力机车按照车节数进行截取；
2.通过人工挑选，得到每个车型中不同车节的无故障图像作为车节图像模板，并将非车节图像模板删除；
3.通过坐标截取的方式在车节图像模板中选出待检测部位模板图像进行存储。
在基于图像特征配准的故障检测中，线阵相机采集到的电力机车图像主要受到以下两点影响：
a、采集到的图像受外界环境、光线变化的影响，该影响会引起相机采集到的同一车型下相同车节的图像亮度发生变化，并且有可能导致图像带有噪声；
b、采集到的图像受到电力机车经过时相机的抖动影响，该影响这会引起相机采集到的同一车型下相同车节的图像位置发生变化。
上述a、b两种情况，统称为噪声扰动。噪声扰动是目前基于图像特征配准进行故障检测的主要难题。本发明的其本思想是：首先将待检测图像通过改进的尺度不变特征转换(SIFT)特征点检测算法进行配准，得到配准后图像；然后将配准后图像进行后处理操作；最后通过对比的方式检测图像故障。
步骤四中得到矫正后待检测图像的过程包括：
通过具有噪声的基于密度的聚类方法(DBSCAN)，对过滤后待检测图像特征点位置信息和过滤后模板图像特征点位置信息BΔ和B′Δ进行聚类，得到待检测图像核心特征点位置信息B∈＝{b1(x1,y1),b2(x2,y2),…,bo(xo,yo)}和模板图像核心特征点位置信息B′∈＝{b′1(x′1,y′1),b′2(x′2,y′2),…,b′o(x′o,y′o)}；式中o的取值由核心特征点的个数决定；
再采用随机采样仿射变换算法(RANSAC)，根据模板图像特征点位置信息B∈与待检测图像特征点位置信息B′∈，对待检测部位图像进行仿射变换，得到矫正后待检测图像IΔ(M′,N′)。
经过矫正后的待检测图像IΔ(M′,N′)边缘具有黑色边框，为准确进行后续故障检测，将新的待检测图像IΔ(M′,N′)与模板图像为I′(M′,N′)重复上述步骤，得到步骤五中，矫正后待检测图像核心特征点位置信息为
Figure BDA0002909100790000071
矫正后模板图像核心特征点位置信息为
Figure BDA0002909100790000072
进一步，结合图1所示，步骤五中对矫正后待检测图像进行处理，实现待检测部位的故障检测包括：
步骤五一：将矫正后待检测图像与步骤一中模板图像再按照步骤二至步骤四的方式进行处理，得到矫正后待检测图像核心特征点位置信息和模板图像核心特征点位置信息；
步骤五二：根据核心特征点位置信息在待检测部位图像和步骤一中模板图像上对应截取目标区域，获得待检测目标区域图像和模板目标区域图像；
步骤五三：基于待检测目标区域图像和模板目标区域图像，实现待检测部位的故障检测。
再进一步，结合图1所示，步骤五一中的矫正后待检测图像核心特征点位置信息为
Figure BDA0002909100790000073
Figure BDA0002909100790000074
模板图像核心特征点位置信息为
Figure BDA0002909100790000075
Figure BDA0002909100790000076
步骤五二包括：
根据特征点位置信息
Figure BDA0002909100790000077
和
Figure BDA0002909100790000078
选取两张图像中具有相同的区域部分，首先选取
Figure BDA0002909100790000079
中x和y的最小值xmin,ymin，作为图像左上角坐标bmin(xmin,ymin)；选取
Figure BDA00029091007900000710
中x和y的最大值xmax,ymax，作为图像右下角坐标bmax(xmax,ymax)；
根据bmin和bmax在待检测部位图像和模板图像上进行截取，得到待检测目标区域图像I∈(M′,N′)和模板目标区域图像I∈′(M′,N′)。
再进一步，结合图1所示，步骤五三包括：
对待检测目标区域图像和模板目标区域图像进行图像后处理，得到处理后待检测图像和处理后模板图像；再基于处理后模板图像，对处理后待检测图像进行故障检测，得到检测结果图像。
再进一步，图像后处理的过程包括：
考虑到光线、环境等噪声扰动，对得到新的待检测图像I∈(M′,N′)与模板图像I∈′(M′,B′)进行后处理，具体处理方式如下：
对I∈(M′,N′)和I∈′(M′,N′)进行滤波去噪，再进行归一化，得到处理后待检测图像
Figure BDA0002909100790000081
和处理后模板图像
Figure BDA0002909100790000082
可进行数据调整，保留归一化后图像中每个像素的两位小数。
再进一步，进行归一化的方法包括：将待归一化图像与待归一化图像中最大值相减后的差值作为第一差值，将待归一化图像中最大值和最小值相减后的差值作为第二差值，第一差值与第二差值的比值作为归一化后得到的图像；
当待归一化图像为滤波去噪后的待检测目标区域图像时，归一化后得到的图像为处理后待检测图像
Figure BDA0002909100790000083
当待归一化图像为滤波去噪后的模板目标区域图像时，归一化后得到的图像为处理后模板图像
Figure BDA0002909100790000084
可通过下式对滤波后的图像进行归一化：
Figure BDA0002909100790000085
式中，Im(M,N)表示待归一化图像，max(Im(M,N))表示取待归一化图像Im(M,N)中最大值，min(Im(M,N))表示取待归一化图像Im(M,N)中最小值。
再进一步，对处理后待检测图像进行故障检测的过程包括：
利用如下公式对处理后待检测图像
Figure BDA0002909100790000086
进行特征放大，得到放大结果图像L(M′,B′)：
Figure BDA0002909100790000087
再对放大结果图像L(M′,N′)通过大津法进行二值化分割，得到检测结果图像。
二值化分割后的检测结果图像，若图像呈现全黑色，则判定无故障；若图像上存在白色部分，则判定有故障。
本实施方式中的图像特征配准包括：
传统SIFT算法是在不同的尺度空间上查找特征点，并计算出特征点的方向，其对角点、边缘点、暗区的亮点及亮区的暗点等突出点具有很好的鲁棒性。传统SIFT算法工作流程为：1)尺度空间极值检测、2)特征点定位、3)方向确定以及4)特征点描述四个步骤，但其仅可实现模板图像与待检测图像之间的特征点定位，无法进行配准和消除噪声扰动，因此本实施方式对SIFT算法进行改进，改进后具体流程如下：
步骤二中得到待检测图像特征点描述信息和模板图像特征点描述信息的过程包括：
对于待检测部位图像I(M,N)和对应的模板图像I′(M′,N′)首先通过n层高斯图像金字塔构建多尺度空间，式中M为检测部位图像横坐标像素值，N为检测部位图像纵坐标像素值；M′为模板图像横坐标像素值，N′为模板图像纵坐标像素值；
尺度空间极值检测，目的是确保特征点与图像比例无关。首先通过n层高斯图像金字塔构建多尺度空间，层数n由下式确定：
其中待检测部位图像I(M,N)的层数n为：
n＝log2{min(M,N)}-t,t∈[0,log2{min(M,N)}]；
式中t为层数控制参数，用于避免层数n过大或过小；min(M,N)表示取M,N中最小值；
再通过高斯差分函数(DoG)获取每一层图像图像域和尺度域的极值点，最后去掉DoG局部曲率非常不对称的点，获得确定极值点的图像；去掉不对称的点依据的基准采用预先设定或通过实验确定。
特征点定位，目的是确定合适的特征点。在确定极值点的图像上，通过拟合三维二次函数确定特征点的位置和尺度；同时去除低对比度的特征点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力；去除低对比度的特征点和不稳定的边缘响应点的方法均可以通过预先设定阈值的方式进行去除。
特征点方向确定，目的是确保特征点具有旋转不变性。利用图像的局部特征为每个特征点分配一个基准方向；使用图像梯度的方法求取局部结构的稳定方向。
特征点描述：通过以上三个步骤，得到的每一个特征点包含位置、尺度以及方向信息。首先选取每个特征点的邻域，并划分为d×d个子区域，将每个子区域做为一个种子点(每个种子点有8个方向)；将每个子区域图像坐标轴旋转为特征点的方向，再通过插值计算每个种子点八个方向的梯度，按梯度将每个子区域图像生成大小为d×d×8的特征向量；对所有特征向量进行归一化处理，得到待检测图像特征点描述信息；
对于模板图像I′(M′,N′)，采用同样方法得到模板图像特征点描述信息。
本实施方式中，以待检测部位图像为例，说明层数n的计算方法，对于模板图像层数的计算方法，与此相类似，不赘述。
下面，对待检测图像进行矫正，目的是通过特征点消除模板图像与待检测图像位置信息上的差异，也就是消除噪声扰动b，具体如下：
首先，步骤三中由相应的最邻近图像特征点描述信息中过滤离群特征点之前，还包括特征点筛选，具体包括：
将待检测图像特征点描述信息C′＝{c′1,c′2,…,c′i}和模板图像特征点描述信息C＝{c1,c2,…,cj}通过K近邻(KNN)算法进行匹配，其中c′1,c′2,…,c′i依次为待检测图像特征点的描述元素，c1,c2,…,cj为模板图像特征点的描述元素；
得到最邻近待检测图像特征点描述信息A＝{a1,a2,…,ak}和最邻近模板图像特征点描述信息A′＝{a′1,a′2,…,a′k}；式中a1,a2,…,ak为最邻近待检测图像特征点描述元素，a′1,a′2,…,a′k为最邻近模板图像特征点描述元素，每一次特征点描述信息的更新伴随着相应位置信息的更新；
然后筛选特征点描述信息A＝{a1,a2,…,ak}，A′＝{a′1,a′2,…,a′k}。将A中元素除以A′中位置对应元素，若比值大于根据先验知识得到的阈值Δ，则保留相应元素；否则，删除相应元素；得到筛选后待检测图像特征点描述信息AΔ＝{a1,a2,…,al}和筛选后模板图像特征点描述信息A′Δ＝{a′1,a′2,…,a′l}，式中l小于或者选于k。
再进一步，步骤三中过滤离群特征点包括：
筛选后待检测图像特征点描述信息AΔ中的特征点位置信息为B＝{b1(x1,y1),b2(x2,y2),…,bj(xj,yj)}，筛选后模板图像特征点描述信息A′Δ中的特征点位置信息为B′＝{b′1(x′1,y′1),b′2(x′2,y′2),…,b′i(x′i,y′i)}，式中b1(x1,y1),b2(x2,y2),…,bj(xj,yj)依次为待检测部位图像中第一、第二……第j个特征点，x1,y1为第一个特征点b1的横纵坐标……；b′1(x′1,y′1),b′2(x′2,y′2),…,b′i(x′i,y′i)依次为模板图像中第一、第二……第i个特征点，x′1,y′1为第一个特征点b′1的横纵坐标……；
再根据特征点位置信息过滤离群点。采集到的铁路电力机车图像仅会发生轻微的形变和抖动，不存在较大的形变，根据这一特点，采用欧氏距离判断特征点是否离群，若B中元素与B′中位置对应元素的欧氏距离大于根据先验知识得到的阈值Δ′，则判定为离群特征点，剔除对应的特征点描述信息；最后得到过滤后待检测图像特征点位置信息BΔ＝{b1(x1,y1),b2(x2,y2),…,bz(xz,yz)}和过滤后模板图像特征点位置信息B′Δ＝{b′1(x′1,y′1),b′2(x′2,y′2),…,b′z(x′z,y′z)}。式中z的取值取决于剔除的特征点个数。
作为示例，待检测部位图像通过在铁轨两侧以及底部配备的高清线阵成像设备采集获得；高清线阵成像设备通过电力机车触发的传感器控制启动。
当电力机车通过时，传感器控制高清线阵成像设备启动，并对运动的电力机车进行扫描。逐行扫描后获取高清线阵图像，并将其进行存储。
本发明方法的具体检测过程，可结合图2至图11所示的图像进行对应。
综上，本发明方法将待检测图像与模块图像特征点对应的同时，使二者特征分布方式相同；本发明方法有效地消除了环境、光线、噪声对故障检测的干扰。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它实施例中。

Claims (10)

1.一种基于图像特征配准的铁路电力机车故障检测方法，其特征在于包括，
步骤一：获取待检测部位的模板图像和待检测部位图像；
步骤二：将待检测部位图像和对应的模板图像采用SIFT算法进行处理分别得到待检测图像特征点描述信息和模板图像特征点描述信息，特征点描述信息包括特征点位置信息；
步骤三：将待检测图像特征点描述信息和模板图像特征点描述信息通过KNN算法进行匹配，得到最邻近待检测图像特征点描述信息和最邻近模板图像特征点描述信息；根据所得到的最邻近待检测图像特征点描述信息中的特征点位置信息和最邻近模板图像特征点描述信息中的特征点位置信息过滤离群特征点，得到过滤后待检测图像特征点位置信息和过滤后模板图像特征点位置信息；
步骤四：对过滤后待检测图像特征点位置信息和过滤后模板图像特征点位置信息分别进行聚类，得到待检测图像核心特征点位置信息和模板图像核心特征点位置信息；再根据检测图像核心特征点位置信息和模板图像核心特征点位置信息，采用随机采样仿射变换算法对待检测部位图像进行仿射变换，得到矫正后待检测图像；
步骤五：对矫正后待检测图像进行处理，实现待检测部位的故障检测。
2.根据权利要求1所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，步骤五中对矫正后待检测图像进行处理，实现待检测部位的故障检测包括：
步骤五一：将矫正后待检测图像与步骤一中模板图像再按照步骤二至步骤四的方式进行处理，得到矫正后待检测图像核心特征点位置信息和模板图像核心特征点位置信息；
步骤五二：根据核心特征点位置信息在待检测部位图像和步骤一中所述模板图像上对应截取目标区域，获得待检测目标区域图像和模板目标区域图像；
步骤五三：基于待检测目标区域图像和模板目标区域图像，实现待检测部位的故障检测。
3.根据权利要求2所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，
步骤五一中的矫正后待检测图像核心特征点位置信息为
Figure FDA0002909100780000011
Figure FDA0002909100780000012
模板图像核心特征点位置信息为
Figure FDA0002909100780000013
Figure FDA0002909100780000014
步骤五二包括：
选取
Figure FDA0002909100780000015
中x和y的最小值xmin,ymin，作为图像左上角坐标bmin(xmin,ymin)；选取
Figure FDA0002909100780000016
中x和y的最大值xmax,ymax，作为图像右下角坐标bmax(xmax,ymax)；
根据bmin和bmax在待检测部位图像和模板图像上进行截取，得到待检测目标区域图像I∈(M′,N′)和模板目标区域图像I∈′(M′,N′)。
4.根据权利要求3所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，步骤五三包括：
对待检测目标区域图像和模板目标区域图像进行图像后处理，得到处理后待检测图像和处理后模板图像；再基于处理后模板图像，对处理后待检测图像进行故障检测，得到检测结果图像。
5.根据权利要求4所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，
图像后处理的过程包括：
对I∈(M′,N′)和I∈′(M′,N′)进行滤波去噪，再进行归一化，得到处理后待检测图像
Figure FDA0002909100780000022
和处理后模板图像
Figure FDA0002909100780000023
6.根据权利要求5所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，
所述进行归一化的方法包括：将待归一化图像与待归一化图像中最大值相减后的差值作为第一差值，将待归一化图像中最大值和最小值相减后的差值作为第二差值，第一差值与第二差值的比值作为归一化后得到的图像；
当待归一化图像为滤波去噪后的待检测目标区域图像时，归一化后得到的图像为处理后待检测图像
Figure FDA0002909100780000024
当待归一化图像为滤波去噪后的模板目标区域图像时，归一化后得到的图像为处理后模板图像
Figure FDA0002909100780000025
7.根据权利要求6所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，
对处理后待检测图像进行故障检测的过程包括：
利用如下公式对处理后待检测图像
Figure FDA0002909100780000026
进行特征放大，得到放大结果图像L(M′,N′)：
Figure FDA0002909100780000021
再对放大结果图像L(M′,N′)通过大津法进行二值化分割，得到检测结果图像。
8.根据权利要求1所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，步骤二中得到待检测图像特征点描述信息和模板图像特征点描述信息的过程包括：
对于待检测部位图像I(M,N)，首先通过n层高斯图像金字塔构建多尺度空间，式中M为检测部位图像横坐标像素值，N为检测部位图像纵坐标像素值；
其中待检测部位图像I(M,N)的层数n为：
n＝log2{min(M,N)}-t,t∈[0,log2{min(M,N)}]；
式中t为层数控制参数；
再通过高斯差分函数获取每一层图像图像域和尺度域的极值点，获得确定极值点的图像；
在确定极值点的图像上，通过拟合三维二次函数确定特征点的位置和尺度；
利用图像的局部特征为每个特征点分配一个基准方向；
选取每个特征点的邻域，并划分为d×d个子区域，将每个子区域做为一个种子点；将每个子区域图像坐标轴旋转为特征点的方向，再通过插值计算每个种子点八个方向的梯度，按所述梯度将每个子区域图像生成大小为d×d×8的特征向量；对所有特征向量进行归一化处理，得到待检测图像特征点描述信息；
对于模板图像I′(M′,N′)，采用同样方法得到模板图像特征点描述信息，其中，N′为模板图像横坐标像素值，B′为模板图像纵坐标像素值。
9.根据权利要求8所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，
步骤三中过滤离群特征点之前，还包括特征点筛选，具体包括：
将最邻近待检测图像特征点描述信息A中元素除以最邻近模板图像特征点描述信息A′中位置对应元素，若比值大于根据先验知识得到的阈值Δ，则保留相应元素；否则，删除相应元素；得到筛选后待检测图像特征点描述信息AΔ＝{a1,a2,…,al}和筛选后模板图像特征点描述信息A′Δ＝{a′1,a′2,…,a′l}，式中l小于或者选于k。
10.根据权利要求9所述的基于图像特征配准的铁路电力机车故障检测方法，其特征在于，
步骤三中过滤离群特征点包括：
筛选后待检测图像特征点描述信息AΔ中的特征点位置信息为B＝{b1(x1,y1),b2(x2,y2),…,bj(xj,yj)}，筛选后模板图像特征点描述信息A′Δ中的特征点位置信息为B′＝{b′1(x′1,y′1),b′2(x′2,y′2),…,b′i(x′i,y′i)}，
采用欧氏距离判断特征点是否离群，若B中元素与B′中位置对应元素的欧氏距离大于根据先验知识得到的阈值Δ′，则判定为离群特征点，剔除对应的特征点位置信息；得到过滤后待检测图像特征点位置信息BΔ＝{b1(x1,y1),b2(x2,y2),…,bz(xz,yz)}，和过滤后模板图像特征点位置信息为B′Δ＝{b′1(x′1,y′1),b′2(x′2,y′2),…,b′z(x′z,y′a)}。
CN202110080927.0A 2021-01-21 2021-01-21 基于图像特征配准的铁路电力机车故障检测方法 Pending CN112767358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110080927.0A CN112767358A (zh) 2021-01-21 2021-01-21 基于图像特征配准的铁路电力机车故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110080927.0A CN112767358A (zh) 2021-01-21 2021-01-21 基于图像特征配准的铁路电力机车故障检测方法

Publications (1)

Publication Number Publication Date
CN112767358A true CN112767358A (zh) 2021-05-07

Family

ID=75702241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110080927.0A Pending CN112767358A (zh) 2021-01-21 2021-01-21 基于图像特征配准的铁路电力机车故障检测方法

Country Status (1)

Country Link
CN (1) CN112767358A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408592A (zh) * 2021-06-01 2021-09-17 北京百度网讯科技有限公司 特征点匹配方法、装置、电子设备及计算机可读存储介质
CN115439451A (zh) * 2022-09-09 2022-12-06 哈尔滨市科佳通用机电股份有限公司 一种铁路货车转向架弹簧托板的去噪检测方法
CN116664643A (zh) * 2023-06-28 2023-08-29 哈尔滨市科佳通用机电股份有限公司 基于SuperPoint算法的铁路列车图像配准方法及设备
CN117115097A (zh) * 2023-08-14 2023-11-24 哈尔滨市科佳通用机电股份有限公司 基于异常检测的teds检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
CN104361314A (zh) * 2014-10-21 2015-02-18 华北电力大学（保定） 基于红外与可见光图像融合的变电设备定位方法及装置
CN104463235A (zh) * 2014-11-18 2015-03-25 中国铁道科学研究院电子计算技术研究所 基于动车组运行图像的故障识别方法及装置
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
CN104361314A (zh) * 2014-10-21 2015-02-18 华北电力大学（保定） 基于红外与可见光图像融合的变电设备定位方法及装置
CN104463235A (zh) * 2014-11-18 2015-03-25 中国铁道科学研究院电子计算技术研究所 基于动车组运行图像的故障识别方法及装置
CN107025648A (zh) * 2017-03-20 2017-08-08 中国人民解放军空军工程大学 一种电路板故障红外图像自动检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
周泩朴: "基于无序图像的大场景三维重建技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张晨光等: "基于SIFT特征点检测的低复杂度图像配准算法", 《扬州大学学报(自然科学版)》 *
王嘉丰: "采用核相关滤波器的多尺度自适应跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王立等: "Hadoop分布式的海量图像检索", 《现代电子技术》 *
董银文等: "一种基于改进SIFT的航拍图像自动配准算法", 《海军工程大学学报》 *
马凌宇: "用于动车组故障检测的图像识别算法研究", 《数字技术与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408592A (zh) * 2021-06-01 2021-09-17 北京百度网讯科技有限公司 特征点匹配方法、装置、电子设备及计算机可读存储介质
CN113408592B (zh) * 2021-06-01 2024-03-01 北京百度网讯科技有限公司 特征点匹配方法、装置、电子设备及计算机可读存储介质
CN115439451A (zh) * 2022-09-09 2022-12-06 哈尔滨市科佳通用机电股份有限公司 一种铁路货车转向架弹簧托板的去噪检测方法
CN116664643A (zh) * 2023-06-28 2023-08-29 哈尔滨市科佳通用机电股份有限公司 基于SuperPoint算法的铁路列车图像配准方法及设备
CN117115097A (zh) * 2023-08-14 2023-11-24 哈尔滨市科佳通用机电股份有限公司 基于异常检测的teds检测方法及系统

Similar Documents

Publication Publication Date Title
CN109086714B (zh) 表格识别方法、识别系统及计算机装置
CN112767358A (zh) 基于图像特征配准的铁路电力机车故障检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN109784344B (zh) 一种用于地平面标识识别的图像非目标滤除方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN110349207B (zh) 一种复杂环境下的视觉定位方法
CN110119741B (zh) 一种有背景的卡证图像信息识别方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN110197153B (zh) 一种户型图中墙体自动识别方法
CN107945111B (zh) 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法
CN111507390A (zh) 一种基于轮廓特征的仓储箱体识别与定位方法
Huang et al. Efficient image stitching of continuous image sequence with image and seam selections
JPH11328408A (ja) データ処理装置および方法、情報記憶媒体
CN111489337B (zh) 一种自动光学检测伪缺陷去除方法及系统
CN114299275B (zh) 一种基于霍夫变换的车牌倾斜校正方法
CN112233116B (zh) 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN112183325B (zh) 基于图像对比的公路车辆检测方法
CN111027544A (zh) 一种基于视觉显著性检测的mser车牌定位方法及系统
CN113723399A (zh) 一种车牌图像矫正方法、车牌图像矫正装置和存储介质
CN114970590A (zh) 一种条码的检测方法
CN112200789B (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN117372487A (zh) 图像配准方法、装置、计算机设备和存储介质
Pan et al. An efficient method for skew correction of license plate
CN112033419A (zh) 用于港口自动驾驶车道线检测的方法、电子设备及介质
CN111428538B (zh) 一种车道线提取方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507