CN110298842A - 一种基于超像素节点排序的轨道扣件图像定位方法 - Google Patents
一种基于超像素节点排序的轨道扣件图像定位方法 Download PDFInfo
- Publication number
- CN110298842A CN110298842A CN201910497526.8A CN201910497526A CN110298842A CN 110298842 A CN110298842 A CN 110298842A CN 201910497526 A CN201910497526 A CN 201910497526A CN 110298842 A CN110298842 A CN 110298842A
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- rail clip
- node
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于超像素节点排序的轨道扣件图像定位方法,包括以下步骤:1)拍摄和采集轨道扣件原始图像;2)进行图像预处理和超像素分割,得到轨道扣件超像素分割图;3)根据轨道扣件超像素分割图构建轨道扣件超像素无向图结构;4)对轨道扣件超像素图结构中的超像素节点分别进行基于背景尺度和前景尺度的相关性排序;5)根据相关性排序结果得到前景突出且背景抑制的轨道扣件定位图,完成轨道扣件区域在图像中的准确定位。与现有技术相比,本发明具有定位准确、判断准确、抑制干扰等优点。
Description
技术领域
本发明涉及轨道扣件定位技术领域,尤其是涉及一种基于超像素节点排序的轨道扣件图像定位方法。
背景技术
轨道扣件是铁路运输业的基础设备,是将钢轨固定在轨枕上用于保持轨距和阻止钢轨和轨枕发生相对移动的关键设备。轨道扣件对钢轨和轨枕提供稳定、有效的可靠联结,并在轨道列车快速经过带来的振动情况下,充分发挥其缓冲减震、延缓轨道残余变形积累的作用,是保障铁路轨道质量和列车安全运行的关键基础设备。
目前,随着图像处理技术和机器视觉技术的不断发展和被广泛应用于众多工程领域。在实际的轨道检测领域,轨道扣件定位是利用图像处理和计算机视觉技术对轨道扣件图像中的扣件区域进行识别和处理过程中的一个重要环节。轨道扣件定位的主要任务是根据轨道扣件场景下有关扣件图像的先验知识,对采集到的轨道扣件图像中的扣件准确位置区域进行标定与分割,为后续对扣件图像进行进一步的扣件特征描述、目标提取及状态检测做准备。
然而在现有技术范畴内,常规的轨道扣件定位方法具有一定的局限性:利用图像处理技术对轨道扣件图像中的扣件区域进行定位的过程中,往往容易受到拍摄条件及复杂背景干扰的影响,从而不能对轨道扣件图像中的扣件区域进行准确的定位。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于超像素节点排序的轨道扣件图像定位方法。
本发明的目的可以通过以下技术方案来实现:
一种基于超像素节点排序的轨道扣件图像定位方法,包括以下步骤:
1)拍摄和采集轨道扣件原始图像;
2)进行图像预处理和超像素分割,得到轨道扣件超像素分割图;
3)根据轨道扣件超像素分割图构建轨道扣件超像素无向图结构;
4)对轨道扣件超像素图结构中的超像素节点分别进行基于背景尺度和前景尺度的相关性排序;
5)根据相关性排序结果得到前景突出且背景抑制的轨道扣件定位图,完成轨道扣件区域在图像中的准确定位。
所述的步骤1)中,通过工业线阵相机拍摄和采集轨道扣件原始图像,并且使得轨道扣件区域处于轨道扣件原始图像的中心位置。
所述的步骤2)中,超像素分割具体包括以下步骤:
21)选取满足要求的轨道扣件原始图像中的多个图像像素节点作为聚类中心;
22)计算图像节点对于聚类中心在CIELEB颜色空间尺度和位置空间尺度的相关性,将相关性强的像素节点与其聚类中心合并为同一簇,形成多个超像素节点;
23)将聚类中心迁移至新簇的实际中心作为新的超像素聚类中心,迭代上述步骤,直至得到满足要求的超像素分割结果。
所述的步骤22)中,原始轨道扣件图像中两个相邻像素节点在CIELEB颜色空间尺度和位置空间尺度的相关性的表达式为:
其中,dc(ri,rj)为原始轨道扣件图像中两个相邻像素节点ri和rj在颜色空间尺度上的相关性,ds(ri,rj)为原始轨道扣件图像中两个相邻像素节点ri和rj在位置空间尺度上的相关性,R(ri,rj)为总相关性,Nc和Ns分别为像素点在颜色和空间尺度相关性的最大值为,[li、ai、bi、]、[lj、aj、bj]分别为两个相邻像素节点ri和rj在颜色在空间尺度的坐标参数,(xi、yi)、(xj、yj)分别为两个相邻像素节点ri和rj在颜色在位置尺度的坐标参数。
所述的步骤3)中,轨道扣件超像素无向图结构为一个单层无向图结构,该图结构的数学表示为图G=(V,E),其中,图结构的节点V为轨道扣件超像素图中的超像素节点,图结构的边E为连接两个超像素节点之间的无向边。
所述的步骤4)具体包括以下步骤:
41)基于背景尺度对轨道扣件超像素节点进行重新排序,得到基于背景尺度的扣件节点排序图;
42)对基于背景尺度的扣件节点排序图进行二值化和自适应阈值分割,将图像中的扣件区域和前景区域进行划分和分离,得到扣件前景特征图;
43)对扣件前景特征图进行基于前景尺度对轨道扣件超像素节点进行重新排序,得到轨道扣件定位图;
44)根据轨道扣件定位图获得轨道扣件区域的准确位置,完成轨道扣件定位。
所述的步骤41)具体包括以下步骤:
对轨道扣件超像素无向图结构中的背景节点进行重新排序,依次分别以图的左、右、上、下四个边界上的边界节点作为排序问询点,分别计算无向图结构中的全局各节点到排序问询点的相关性系数,并根据相关性系数对无向图结构中的所有节点进行重新排序,分别得到基于左、右、上、下四个方向尺度上的四个背景特征图Sleft(i)、Sright(i)、Stop(i)、Sdown(i),最后,对基于四个方向尺度上的四个背景特征图进行融合得到基于背景尺度的扣件节点排序图Sbackground(i),则有:
Sbackground(i)=Slift(i)×Sright(i)×Stop(i)×Sdown(i)。
所述的步骤42)具体包括以下步骤:
将基于背景尺度的扣件节点排序图中的背景区域设为黑色,分割出图像中除背景区域外的轨道扣件前景区域,即扣件前景特征图。
所述的步骤43)具体包括以下步骤:
将扣件前景特征图中的中心图节点作为排序问询点,计算全局各节点到排序问询点的相关性系数,根据相关性系数对扣件前景特征图中的所有节点进行重新排序,得到基于中心尺度上的扣件前景特征图。
步骤41)和43)中,相关性系数f*的计算式为:
其中,wij为相邻的两个超像素节点间边的权重,dii和djj分别超像素无向图结构度量矩阵中的主对角线上的元素,μ为平滑参数,用以控制公式平滑和拟合约束条件的相关关系和平衡,使得排序参数在相邻像素节点间取值的变化平缓,fi为超像素节点对应的排序参数,yi表示超像素节点是否被标记,若该节点处于已标记状态,则取值为1,否则取值为0。
与现有技术相比,本发明具有以下优点:
一、定位准确:本发明通过对轨道扣件图像进行超像素分割和基于图论的特征图构建;然后根据特征图节点基于背景尺度和前景尺度的相关性进行排序,最终得到前景突出且背景抑制的轨道扣件定位图,可以完成轨道扣件区域在图像中的的准确定位,定位,并结合误差分析与数据处理,得到轨道检查车在轨道区间内的精确定位信息。
二、判断准确:本发明可以对输入的原始轨道扣件图像中的轨道扣件区域进行准确的突出和定位,并可以对图像中复杂的背景区域进行有效的抑制,对扣件区域的准确位置进行定位,此外,本方法在对扣件定位的同时,还可以有效的检测到扣件所在钢轨的位置,根据钢轨边界和轨道扣件的相对位置,可以进一步判断轨道扣件是否处于扣紧钢轨状态,可以对扣件的状态进行检测。
三、抑制干扰:本发明改进并优化了通过图像处理技术对轨道扣件图像中的扣件区域进行定位的方法,在较大程度的节省图像处理开销的同时,可以对轨道扣件图像中的噪声和背景干扰进行有效抑制,获取更加精确的轨道扣件区域位置信息。
附图说明
图1为轨道扣件图像定位方法流程图。
图2为轨道扣件超像素节点排序方法流程图。
图3为实施例中轨道扣件超像素节点无向图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下将结合附图对本发明的具体实施例进行详细描述。
如图1所示,本实施例的轨道扣件图像定位方法包括:
步骤01:拍摄和采集轨道扣件原始图像;
在步骤01中:本实施例提出的方法首先适用于在实际的轨道检测工程领域,通过图像处理的方法对轨道扣件进行定位与检测的过程中;在本实施例中,可以通过特定的具有良好拍摄功能的轨道检测装置对轨道扣件图像进行准确的拍摄和采集。轨道扣件原始图像应该尽量保证图像中的扣件区域清晰可辨,除了一些无法避免和忽略的实际现场噪声的干扰外,如复杂的背景区域、不均匀的光照,扣件损坏或变形等因素,应尽量保证原始图像的质量可以满足进一步进行图像处理和定位工作的需求。其中,所述的安装于轨道检测装置上的具有图像拍摄和采集功能的相机,采用型号为的工业线阵相机LA-GM-02K08A。
在步骤01中,进一步还包括,通过本实施例采用的轨道图像定位方法要求所拍摄和采集到的轨道扣件原始图像中的轨道扣件区域应尽量处于原始图像的中心位置,以保证定位结果的精确程度。
步骤02:输入待处理轨道扣件原始图像;
在步骤02中,具体包括:将经步骤01得到的轨道扣件区域处于图像中心的原始轨道扣件图像输入到可以对图像进行进一步处理和定位的计算机中;进一步的,通过本实施例提出的基于超像素排序的轨道扣件定位方法进行对原始轨道扣件图像中的轨道扣件区域位置进行定位与分析。
在本实施例步骤02中,进一步包括:所述的能对轨道扣件进行处理和定位的计算机具体可以直接是安装于轨道检测装置上的车载计算机,可以实时对拍摄和采集的轨道扣件图像进行处理和定位;另一方面,还可以是轨道检测装置对拍摄和采集的轨道扣件图像进行保存或通过网络直接发送给工作人员,由相关工作人员利用计算机对图像进行统一的处理和分析。
步骤03:对输入的轨道扣件图像进行预处理和超像素分割,得到轨道扣件超像素分割图;
在步骤03中,具体包括:对通过采集和输入的轨道扣件原始图像进行统一的预处理和超像素分割;在进行图像超像素分割之前,应先对输入的轨道扣件原始图像按照本实施例提出方法的要求统一剪裁为同样的尺寸和格式,以保证后续图像处理和轨道扣件定位方法的正常进行。
在步骤03中,进一步包括:通过对得到的满足算法尺寸和格式要求的轨道扣件原始图像进行超像素分割,通过迭代更新初始化图像聚类中心和计算像素点在颜色尺度和空间尺度上相关关系,将输入图像中相关性强的相邻像素点合并为同一簇,从而形成一定数量的超像素。
在步骤03中,进一步包括:首先选取满足要求的轨道扣件原始图像中的若干图像像素节点作为聚类中心;然后计算图像节点对于聚类中心在CIELEB颜色空间尺度和位置空间尺度的相关性,将相关性强的像素节点与其聚类中心合并为同一簇,形成若干个超像素节点;接着将聚类中心迁移至新簇的实际中心作为新的超像素聚类中心,迭代上述步骤,直至得到满足要求的超像素分割结果;在本实施例中为保证定位效果达到最佳,将输入的满足要求的轨道构建原始图像经超像素分割得到具有200个超像素的轨道扣件超像素分割图。
在本实施例步骤03中,进一步包括:设原始轨道扣件图像中两个相邻像素节点为ri和rj,它们在颜色空间尺度上的相关性dc的计算公式为在位置空间尺度上的相关性ds的计算公式为则两个相邻节点的总相关性R的计算公式为:其中Nc和Ns分别为像素点在颜色和空间尺度相关性的最大值。
所述的两个相邻像素节点的总相关性R的计算公式中的参数定义具体为:dc(ri,rj)为原始轨道扣件图像中两个相邻像素节点ri和rj在颜色空间尺度上的相关性,ds(ri,rj)为原始轨道扣件图像中两个相邻像素节点ri和rj在位置空间尺度上的相关性,R(ri,rj)为总相关性,Nc和Ns分别为像素点在颜色和空间尺度相关性的最大值;在CIELEB颜色空间尺度是由亮度(l)和有关色彩的(a,b)三个参数要素组成,其中,l表示亮度(Luminosity),l的值域由0(黑色)到100(白色);a表示像素从红色至绿色的范围(a为负值指示绿色而正值指示品红色);b表示像素从黄色至蓝色的范围(b为负值指示蓝色而正值指示黄色);所以用向量[li,ai,ji]T和分别坐标(xi,yi)分别表示像素节点ri在颜色空间尺度和位置空间尺度的坐标参数,像素节点rj的坐标参数同理。
在步骤03中,进一步包括:得到的轨道扣件超像素分割图可以将轨道扣件图像像素点分类,以保证后续轨道扣件定位工作的顺利进行;同时能抑制或忽略一些图像在拍摄和采集过程中产生的噪声干扰:如复杂背景,不均匀光照等等。
步骤04:根据得到的轨道扣件超像素图构建轨道扣件超像素无向图结构;
在步骤04中,具体包括:将经步骤03得到的轨道扣件超像素图转化、构建成一个轨道扣件超像素图结构;即在轨道扣件超像素图的基础上构建一个单层无向图结构,图结构的数学表示为图G=(V,E),其中图结构节点V轨道扣件超像素图中的超像素节点,图结构边E为连接两个超像素节点之间的无向边;相邻的两个超像素节点ri和rj,它们之间边的权重为:其中ci和cj分别为超像素节点ri和rj在CIELEB颜色空间中的均值;此外,式中的σ为一个定值参数,用来调节无向图结构中边的权重,在本实例提出的轨道扣件定位方法中将σ设为0.15。
步骤05:基于背景尺度对轨道扣件超像素节点进行重新排序,得到基于背景尺度的扣件节点排序图;
在步骤05中,具体包括:在经步骤04所构建的轨道扣件超像素图结构的基础上,对图中的背景节点进行重新排序,依次分别以图的左、右、上、下四个边界上的边界节点作为排序问询点,对图全局节点计算各节点到排序问询点的相关性系数f*,根据得出的超像素节点相关性f*对图结构中的所有节点进行重新排序,得到基于四个方向尺度上的四个背景特征图。
在本实施例步骤05中,进一步包括:分别从图的左、右、上、下四个方向尺度对图结构进行基于背景尺度的轨道扣件超像素节点排序。以图结构的左边界为例,先将左边界节点设为排序问询点,图结构中的其它节点为未标记节点,根据公式f*=(D-αW)-1y对计算出其它未标记节点到问询点的相关系数,其中,关联矩阵W=[wij]n×n表示超像素图结构中相邻超像素节点之间边的权重,定义图的度量矩阵为D=diag{d11,...dnn},其中dii=∑jwij;标记向量y=[y1,y2,...,yn]T表示数据节点的标记状态,若数据节点xj已经被标记为问询点,则yj=1,否则yj=0。
根据相关系数对全局节点对于图像左边界节点进行重新排序,排序结果为其中i为图结构中的像素节点,f*为归一化后的排序向量,Slift(i)即为基于左边界的扣件节点排序图。
在步骤05中,进一步包括:对经过四个方向尺度像素节点重新排序得到的四个基于边界节点的扣件节点排序图进行特征图融合,其数学表示为:Sbackground(i)=Sleft(i)×Sright(i)×Stop(i)×Sdown(i),其中Sbackground(i)即为最后得到的基于背景尺度的扣件节点排序图;进一步的,所述的基于背景尺度的扣件节点排序图可以对轨道扣件图像中的非轨道扣件区域(即背景区域)进行很好的抑制,并对图像中的扣件区域进行一定有效的突出。
步骤06:将得到的基于背景尺度的扣件节点排序图进行二值化和自适应阈值分割,得到扣件前景特征图;
在步骤06中,具体包括:对经步骤05得到的基于背景尺度的扣件节点排序图进行进一步的二值化和自适应阈值分割,将图像中的扣件区域和前景区域进行划分和分离;进一步地,将原图像中的背景区域设为黑色,分割出图像中背景区域除外的轨道扣件前景区域,即扣件前景特征图。
步骤07:对扣件前景特征图进行基于前景尺度对轨道扣件超像素节点进行重新排序,得到轨道扣件定位图;
在步骤07中,具体包括:对于得到的扣件前景图进行前景尺度的超像素节点排序,其具体为:将扣件前景图中的中心图节点作为排序问询点,对图全局节点计算各节点到排序问询点的相关性系数f*,根据得出的超像素节点相关性f*对图结构中的所有节点进行重新排序,得到基于中心尺度上的扣件前景特征图。
在步骤07中,进一步地,将图的中心节点设为排序问询点,图结构中的其它节点为未标记节点,根据公式f*=(D-αW)-1y对计算出其它未标记节点到问询点的相关系数,根据相关系数对全局节点对于图像中心节点进行重新排序,排序结果为其中i为图结构中的像素节点,f*为归一化后的排序向量,Sforeground(i)即为轨道扣件定位图。
步骤08:根据轨道扣件定位图得到轨道扣件区域的准确位置,完成轨道扣件定位;
在步骤08中,具体包括:根据轨道扣件定位图可以得到轨道扣件图像中的轨道扣件的实际正确位置区域,在轨道扣件定位图中,轨道扣件所在的区域能够得到明显的突出,同时图像中的背景区域也能够得到有效的抑制,可以对拍摄和采集到的轨道图像中的前景(扣件区域)和背景区域进行明显有效的分割,最终得到轨道扣件的准确位置,完成轨道扣件的准确定位。
如图2所示,本实施例的超像素节点排序方法流程图包括:
步骤01,对经过图像预处理的轨道扣件原始图像进行超像素分割,得到轨道扣件超像素图;
在步骤01中,具体包括:将在实际工程应用领域中,拍摄和采集到的待处理轨道扣件原始图像经过图像预处理和超像素分割处理,得到满足本文介绍的定位方法进行处理和定位的一定尺寸和清晰度的轨道扣件超像素图。
在步骤01中,进一步地,在本实施例中介绍的轨道扣件超像素节点排序方法经多次试验发现在实际的轨道扣件定位过程中,将轨道扣件原始图像经图像预处理后经超像素分割为200个超像素节点的轨道扣件超像素图对后续的轨道扣件定位和检测工作有较好的效果。
步骤02,构建超像素无向图结构,其中轨道扣件图像的像素节点作为图的节点,超像素节点的连线作为图的边;
在步骤02中,具体包括:将经步骤01得到的轨道扣件超像素图转化、构建成一个轨道扣件超像素图结构;即在轨道扣件超像素图的基础上构建一个单层无向图结构,图结构的数学表示为图G=(V,E),其中图结构节点V轨道扣件超像素图中的超像素节点,图结构边E为连接两个超像素节点之间的无向边。
在步骤02中,进一步地,将轨道扣件超像素图构建成一个轨道扣件超像素图是对输入的轨道扣件超像素图的数据结构进行重新排序和构建:首先通过定义数据集其中数据集中的数据代表经超像素分割后的轨道扣件超像素图中的超像素节点;定义图结构G=(V,E)中的像素节点V由数据集X中的数据构成,边E通过关联矩阵W=[wij]n×n加权计算得出;定义图的度量矩阵为D=diag{d11,...dnn},其中dii=∑jwij。
步骤03,分别将图的四个边界节点标记为排序问询点;
在步骤03中,具体包括:对新构造的轨道扣件无向图结构进行基于背景尺度的超像素节点重新排序,首先分别基于图的四条边上的超像素节点对全局节点进行重新排序;进一步地,分别以左、右、上、下四条边界节点作为排序的问询点,其他非问询超像素节点按其与边界问询点的相关性进行排序。
在步骤03中,进一步地:所述的边界节点为上述图形数据结构中数据集X中的数据,在数据集X中,分别将四条边上的边界节点设为问询点,定义一个标记向量y=[y1,y2,...,yn]T用来表示数据节点的标记状态,将问询点设为1,其余未标记节点设为0。
步骤04,分别计算出全局其它节点对排序问询点的相关性系数,并根据相关性系数进行节点重新排序;
在步骤04中,具体包括:在将图结构中的边界节点设为排序问询点后,其它非问询节点根据其与问询点的相关关系进行排序;所述的相关关系通过定义一个函数映射关系表示:其表示数据集X中的每一个数据节点都有与其对应的排序参数fi,且f可以定义为向量f=[f1,...,fn]T;则代表无向图结构中的超像素节点之间相关关系的相关系数为:
其中参数μ的作用为控制公式平滑和拟合约束条件的相关关系和平衡,使得排序参数在相邻像素节点间取值的变化平缓,并与初始问询节点的参数赋值相近(满足拟合约束条件);wij表示相邻的两个超像素节点ri和rj间边的权重,dii=∑jwij;参数fi表示超像素节点ri对应的排序参数;yi用来表示超像素节点ri是否被标记,若该节点处于已标记状态则yi为1,否则则为0。
在步骤04中,进一步地:根据计算得出的表示超像素节点间相关关系强弱的关系系数f*对无向构造图中所有的超像素节点进行重新排序,排序结果函数可以表示为:f*=(D-αW)-1y;其中,参数α=1/(1+μ),经实验验证,当α的值为0.99时,排序结果函数对轨道扣件图像定位有更好的效果。
步骤05,根据节点排序结果得到四个方向尺度的节点排序图;
在步骤05中,具体包括:根据上述计算得到的全局非排序问询节点分别关于无向图结构中四条边上的边界节点的相关关系排序结果,将结果储存在一个n维向量中(为图结构中的节点数量),则基于图像背景的某边界(·)的超像素节点排序结果为:其中i为无向图结构中的超像素节点,f*为归一化后的排序向量;最终可以得到基于四个边界超像素节点重新排序的超像素节点排序图:Slift(i)、Sright(i)、Stop(i)、Sdown(i)。
步骤06,将四个方向尺度的节点排序图进行融合,得到基于背景尺度的轨道扣件节点排序图;
在步骤06中,具体包括:对根据步骤05得到的四个方向尺度的节点排序特征图进行融合,其数学表示为:Sbackground(i)=Slift(i)×Sright(i)×Stop(i)×Sdown(i),其中Sbackground(i)即为最后得到的基于背景尺度的扣件节点排序图。
在步骤06中,进一步地:通过将四个方向尺度的节点排序图进行融合,得到基于背景尺度的轨道扣件节点排序图,可以对感兴趣区域进行有效突出,且无关区域进行有效抑制的背景定位图;在所述的背景定位图中可以发现经本实例介绍的定位方法处理后,原轨道扣件图像中的与轨道扣件区域无关的复杂背景区域均被分离出来,最终实现了对复杂背景区域的有效抑制作用。
步骤07,对基于背景尺度轨道扣件节点排序图进行进行二值化和自适应阈值分割,得到扣件前景特征图;
在步骤07中,具体包括:对通过本实施例步骤06得到的背景尺度轨道扣件节点排序图进行进一步的二值化和自适应阈值分割,将图像中的扣件区域和前景区域进行划分和分离;进一步地,将原图像中的背景区域设为黑色,分割出图像中背景区域除外的轨道扣件前景区域,即扣件前景特征图。
步骤08,将扣件前景特征图的中心节点标记为排序问询点;
在步骤08中,具体包括:将已经前景(扣件区域)和背景(复杂背景)分离的扣件前景特征图中的图像中心节点设为排序问询点,即将中心超像素节点的标记向量y=[y1,y2,...,yn]T设为1,其余未标记节点设为0;所述的中心超像素节点在构建超像素无向图结构中不仅与其相邻的超像素节点相连,同时还与和其相连节点共用同一边界的节点相连;进一步地,中心节点标记原理与规则与本实施例中步骤03的原理相同;
步骤09,计算全局其它节点对中心排序问询点的相关性系数,并根据相关性系数进行节点重新排序;
在本实施例步骤09中,具体包括:在将图结构中的中心节点设为排序问询点后,其它非问询节点根据其与问询点的相关关系进行排序;则表示无向图结构中的超像素节点之间相关关系的相关系数f*为:
根据计算得出的表示超像素节点间相关关系强弱的关系系数f*对图中所有的超像素节点进行重新排序,排序结果函数可以表示为:f*=(D-αW)-1y;其中,参数α=1/(1+μ),α的值为0.99时;进一步地,基于中心节点的超像素节点排序原理与计算规则与本实施例中步骤04的原理相同;
步骤10,根据节点排序结果得到基于前景尺度的扣件节点排序图;
在步骤10中,具体包括:根据基于中心超像素节点为排序问询点对其他非问询点的超像素节点进行相关性计算和重新排序的结果,其具体为:根据公式f*=(D-αW)-1y对计算出其它未标记节点到问询点的相关系数,根据相关系数对全局节点对于图像中心节点进行重新排序,排序结果为其中i为图结构中的像素节点,f*为归一化后的排序向量,Sforeground(i)即为基于前景尺度的扣件节点排序图。
步骤11,最终得到轨道定位图;
在步骤11中,具体包括:所述的轨道扣件定位图,即为本实施例步骤10中最后得到的基于前景尺度的扣件节点排序图;进一步地,在轨道扣件定位图中,轨道扣件所在的区域能够得到明显的突出,同时图像中的背景区域也能够得到有效的抑制,最终得到轨道扣件的准确位置,完成轨道扣件的准确定位。
图3为根据本发明实施例的轨道扣件超像素节点无向图结构示意图:
如图3所示,本实施例中介绍的轨道扣件超像素节点无向图结构具体包括:(1)上边界超像素节点、(2)超像素节点、(3)右边界超像素节点、(4)轨道扣件区域、(5)与中心节点相连节点共用同一边界的超像素节点、(6)与中心节点相连的超像素节点、(7)轨道钢轨区域、(8)下边界超像素节点、(9)左边界超像素节点、(10)中心超像素节点、(11)轨道扣件超像素节点无向图结构。
本实施例涉及的轨道扣件超像素节点无向图结构,具体包括:通过对拍摄和采集于实际的轨道线路场景中的轨道扣件原始图像,所述的采集成功的轨道扣件原始图像应尽可能保证图像中的轨道扣件区域处于图像的中心位置,同时图像中的轨道钢轨区域应在轨道扣件区域之间,即也应该处于轨道扣件原始图像的中心,以保证本实施例所涉及的轨道扣件超像素无向图结构的正确构建。
本实施例涉及的轨道扣件超像素节点无向图结构,进一步地:将得到的轨道扣件原始图像进行图像预处理和超像素分割得到轨道扣件超像素图,其中处理得到的轨道扣件超像素图包括200个超像素节点;然后基于得到的扣件超像素图超像素转化、构建为轨道扣件超像素节点无向图结构;无向图结构的构造过程包括:在轨道扣件超像素图的基础上构建一个单层的超像素节点无向图结构,图结构的数学表示为图G=(V,E),其中图结构节点V轨道扣件超像素图中的超像素节点,图结构边E为连接两个超像素节点之间的无向边。
所构建的轨道扣件超像素节点无向图结构中的中心超像素节点不仅和与其相邻的超像素节点(6)相连,并且还与相邻节点共用同一边界的节点(5)相连。此外,对于构建的图结构中四条边上的边界节点(1、3、8、9)均两两相连,共同构成一个闭合环形图。通过这种方式可以对感兴趣的前景扣件区域进行更好的突出,并对背景区域进行抑制。
本发明所介绍的基于超像素节点排序的轨道扣件定位方法在本实施例中,进一步包括:在成功构建轨道扣件超像素节点无向图之后,本别基于超像素节点无向图结构进行基于背景尺度和前景尺度的超像素节点相关性排序,根据排序结果得到相应的轨道扣件定位图像,完成轨道扣件区域的定位;
基于背景尺度和前景尺度的超像素节点排序进一步包括:在超像素节点无向图结构的基础上,首先将图结构中的边界节点标记为排序问询点,即分别将左边界超像素节点(9)、右边界超像素节点(3)、上边界超像素节点(1)、下边界超像素节点(8)设为排序问询点,再计算其它未标记超像素节点与排序问询点的相关性参数,并根据相关性参数进行重新排序,得到四个基于左、右、上、下四个方向尺度的背景超像素节点排序图,将它们进行融合和二值化处理之后,再将图结构中的中心节点(10)标记为排序问询点,计算其它未标记超像素节点与中心排序问询点的相关性参数并排序,最终得到轨道扣件定位图,完成轨道扣件区域位置的定位。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,包括以下步骤:
1)拍摄和采集轨道扣件原始图像;
2)进行图像预处理和超像素分割,得到轨道扣件超像素分割图;
3)根据轨道扣件超像素分割图构建轨道扣件超像素无向图结构;
4)对轨道扣件超像素图结构中的超像素节点分别进行基于背景尺度和前景尺度的相关性排序;
5)根据相关性排序结果得到前景突出且背景抑制的轨道扣件定位图,完成轨道扣件区域在图像中的准确定位。
2.根据权利要求1所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤1)中,通过工业线阵相机拍摄和采集轨道扣件原始图像,并且使得轨道扣件区域处于轨道扣件原始图像的中心位置。
3.根据权利要求1所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤2)中,超像素分割具体包括以下步骤:
21)选取满足要求的轨道扣件原始图像中的多个图像像素节点作为聚类中心;
22)计算图像节点对于聚类中心在CIELEB颜色空间尺度和位置空间尺度的相关性,将相关性强的像素节点与其聚类中心合并为同一簇,形成多个超像素节点;
23)将聚类中心迁移至新簇的实际中心作为新的超像素聚类中心,迭代上述步骤,直至得到满足要求的超像素分割结果。
4.根据权利要求3所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤22)中,原始轨道扣件图像中两个相邻像素节点在CIELEB颜色空间尺度和位置空间尺度的相关性的表达式为:
其中,dc(ri,rj)为原始轨道扣件图像中两个相邻像素节点ri和rj在颜色空间尺度上的相关性,ds(ri,rj)为原始轨道扣件图像中两个相邻像素节点ri和rj在位置空间尺度上的相关性,R(ri,rj)为总相关性,Nc和Ns分别为像素点在颜色和空间尺度相关性的最大值为,[li、ai、bi、]、[lj、aj、bj]分别为两个相邻像素节点ri和rj在颜色在空间尺度的坐标参数,(xi、yi)、(xj、yj)分别为两个相邻像素节点ri和rj在颜色在位置尺度的坐标参数。
5.根据权利要求3所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤3)中,轨道扣件超像素无向图结构为一个单层无向图结构,该图结构的数学表示为图G=(V,E),其中,图结构的节点V为轨道扣件超像素图中的超像素节点,图结构的边E为连接两个超像素节点之间的无向边。
6.根据权利要求3所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤4)具体包括以下步骤:
41)基于背景尺度对轨道扣件超像素节点进行重新排序,得到基于背景尺度的扣件节点排序图;
42)对基于背景尺度的扣件节点排序图进行二值化和自适应阈值分割,将图像中的扣件区域和前景区域进行划分和分离,得到扣件前景特征图;
43)对扣件前景特征图进行基于前景尺度对轨道扣件超像素节点进行重新排序,得到轨道扣件定位图;
44)根据轨道扣件定位图获得轨道扣件区域的准确位置,完成轨道扣件定位。
7.根据权利要求6所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤41)具体包括以下步骤:
对轨道扣件超像素无向图结构中的背景节点进行重新排序,依次分别以图的左、右、上、下四个边界上的边界节点作为排序问询点,分别计算无向图结构中的全局各节点到排序问询点的相关性系数,并根据相关性系数对无向图结构中的所有节点进行重新排序,分别得到基于左、右、上、下四个方向尺度上的四个背景特征图Sleft(i)、Sright(i)、Stop(i)、Sdown(i),最后,对基于四个方向尺度上的四个背景特征图进行融合得到基于背景尺度的扣件节点排序图Sbackground(i),则有:
Sbackground(i)=Slift(i)×Sright(i)×Stop(i)×Sdown(i)。
8.根据权利要求6所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤42)具体包括以下步骤:
将基于背景尺度的扣件节点排序图中的背景区域设为黑色,分割出图像中除背景区域外的轨道扣件前景区域,即扣件前景特征图。
9.根据权利要求7所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,所述的步骤43)具体包括以下步骤:
将扣件前景特征图中的中心图节点作为排序问询点,计算全局各节点到排序问询点的相关性系数,根据相关性系数对扣件前景特征图中的所有节点进行重新排序,得到基于中心尺度上的扣件前景特征图。
10.根据权利要求9所述的一种基于超像素节点排序的轨道扣件图像定位方法,其特征在于,相关性系数f*的计算式为:
其中,wij为相邻的两个超像素节点间边的权重,dii和djj分别超像素无向图结构度量矩阵中的主对角线上的元素,μ为平滑参数,用以控制公式平滑和拟合约束条件的相关关系和平衡,使得排序参数在相邻像素节点间取值的变化平缓,fi为超像素节点对应的排序参数,yi表示超像素节点是否被标记,若该节点处于已标记状态,则取值为1,否则取值为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910497526.8A CN110298842A (zh) | 2019-06-10 | 2019-06-10 | 一种基于超像素节点排序的轨道扣件图像定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910497526.8A CN110298842A (zh) | 2019-06-10 | 2019-06-10 | 一种基于超像素节点排序的轨道扣件图像定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110298842A true CN110298842A (zh) | 2019-10-01 |
Family
ID=68027807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910497526.8A Pending CN110298842A (zh) | 2019-06-10 | 2019-06-10 | 一种基于超像素节点排序的轨道扣件图像定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110298842A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101233A (zh) * | 2020-09-16 | 2020-12-18 | 中南大学 | 轨道交通线路异物入侵监测方法、系统及计算机存储介质 |
CN112116658A (zh) * | 2020-09-21 | 2020-12-22 | 北京世纪东方通讯设备有限公司 | 扣件定位方法、装置及可读存储介质 |
CN114782474A (zh) * | 2022-05-16 | 2022-07-22 | 杭州未名信科科技有限公司 | 锁螺钉自适应压紧方法、装置及存储介质 |
CN116993676A (zh) * | 2023-07-03 | 2023-11-03 | 中铁九局集团电务工程有限公司 | 一种基于深度学习的地铁轨道扣件计数与定位方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976378A (zh) * | 2016-05-10 | 2016-09-28 | 西北工业大学 | 基于图模型的显著性目标检测方法 |
CN108537816A (zh) * | 2018-04-17 | 2018-09-14 | 福州大学 | 一种基于超像素和背景连接先验的显著物体分割方法 |
CN108846404A (zh) * | 2018-06-25 | 2018-11-20 | 安徽大学 | 一种基于相关约束图排序的图像显著性检测方法及装置 |
-
2019
- 2019-06-10 CN CN201910497526.8A patent/CN110298842A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976378A (zh) * | 2016-05-10 | 2016-09-28 | 西北工业大学 | 基于图模型的显著性目标检测方法 |
CN108537816A (zh) * | 2018-04-17 | 2018-09-14 | 福州大学 | 一种基于超像素和背景连接先验的显著物体分割方法 |
CN108846404A (zh) * | 2018-06-25 | 2018-11-20 | 安徽大学 | 一种基于相关约束图排序的图像显著性检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
CHUAN YANG ET AL: "Saliency Detection via Graph-Based Manifold Ranking", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
RADHAKRISHNA ACHANTA ET AL: "SLIC Superpixels Compared o State-of-the-Art Superpixel Methods", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112101233A (zh) * | 2020-09-16 | 2020-12-18 | 中南大学 | 轨道交通线路异物入侵监测方法、系统及计算机存储介质 |
CN112101233B (zh) * | 2020-09-16 | 2024-04-09 | 中南大学 | 轨道交通线路异物入侵监测方法、系统及计算机存储介质 |
CN112116658A (zh) * | 2020-09-21 | 2020-12-22 | 北京世纪东方通讯设备有限公司 | 扣件定位方法、装置及可读存储介质 |
CN112116658B (zh) * | 2020-09-21 | 2023-11-21 | 北京世纪东方智汇科技股份有限公司 | 扣件定位方法、装置及可读存储介质 |
CN114782474A (zh) * | 2022-05-16 | 2022-07-22 | 杭州未名信科科技有限公司 | 锁螺钉自适应压紧方法、装置及存储介质 |
CN116993676A (zh) * | 2023-07-03 | 2023-11-03 | 中铁九局集团电务工程有限公司 | 一种基于深度学习的地铁轨道扣件计数与定位方法 |
CN116993676B (zh) * | 2023-07-03 | 2024-05-07 | 中铁九局集团电务工程有限公司 | 一种基于深度学习的地铁轨道扣件计数与定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502965B (zh) | 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 | |
CN110298842A (zh) | 一种基于超像素节点排序的轨道扣件图像定位方法 | |
CN108596277B (zh) | 一种车辆身份识别方法、装置和存储介质 | |
CN108319972B (zh) | 一种针对图像语义分割的端到端差异网络学习方法 | |
CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
CN109784333A (zh) | 基于点云带权通道特征的三维目标检测方法及系统 | |
CN104867137B (zh) | 一种基于改进ransac算法的图像配准方法 | |
CN104715251B (zh) | 一种基于直方图线性拟合的显著目标检测方法 | |
CN109145836A (zh) | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 | |
CN111079518B (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
Carr et al. | Road crack detection using a single stage detector based deep neural network | |
Tang et al. | Multiple-kernel adaptive segmentation and tracking (MAST) for robust object tracking | |
CN109919059A (zh) | 基于深度网络层次化与多任务训练的显著性物体检测方法 | |
CN115719475B (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 | |
Cai et al. | Broken ice circumferential crack estimation via image techniques | |
CN117274774A (zh) | 一种基于YOLOv7的X射线安检图像危险品检测算法 | |
Fan et al. | Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects | |
Zhang et al. | An automatic fault detection method of freight train images based on BD-YOLO | |
CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
CN107644203A (zh) | 一种形状自适应分类的特征点检测方法 | |
CN110598711A (zh) | 一种结合分类任务的目标分割方法 | |
CN110349209A (zh) | 基于双目视觉的振捣棒定位方法 | |
CN102005056A (zh) | 基于鲁棒pca子空间的目标跟踪方法 | |
CN116630989A (zh) | 智能电表可视故障检测方法、系统、电子设备及存储介质 | |
Croitoru et al. | Monocular right-angle building hypothesis generation in regularized urban areas by pose clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191001 |
|
RJ01 | Rejection of invention patent application after publication |