CN105424330B - 一种货车轴端螺栓故障检测方法及装置 - Google Patents

Abstract

本发明公开了一种货车轴端螺栓故障检测方法，包括：通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器；通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域；通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域；根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果。本发明还同时公开了一种货车轴端螺栓故障检测装置。

Description

一种货车轴端螺栓故障检测方法及装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种货车轴端螺栓故障检测方法及装置。

背景技术

中国是一个幅员辽阔的国家，铁路是重要的交通运输基础设施之一，随着社会经济的高速发展，对铁路的运行速度和承载能力的要求也越来越高。为了创造更大的运输经济效益，铁路列车不断向高速、重载两个方向发展。截止2009年，中国铁路货车已实现载重60t向70t的升级换代，货车的速度已超过100km/h，有的已达到120km/h。因此，铁路高效安全的运营对国家经济的发展和人民生命财产的安全具有重要意义。

传统铁路列车的运行维修主要由人工完成，列检效率低而且质量很难保证，为了提高列检质量，相关部门推广了一套自动安检系统，即货车运行故障图像动态检测系统(TFDS，Trouble of moving Freight car Detection System)。TFDS是一套集高速数字图像采集、大容量图像数据实时处理和精确定位模式识别技术于一体的智能系统。TFDS利用电荷耦合元件(Charge-coupled Device，CCD)高速数字摄像机自动抓拍列车基础制动装置、车钩缓冲装置、转向架、车体、底架、空气制动装置等部位的全部图像。采集的图像直接传至列车检测中心，采取人机结合方式进行故障的判别，并及时通知室外检车人员进行处理，可实现对列车关键部位的故障检测和监控。

在实际应用中，列车转向架需要承受和传递车辆在运行中的各种动载荷及轮轨间的作用力，保证列车在规定速度范围内安全地在直线和曲线区段上运行，是机车车辆的核心部件。重载列车的运用产生较大的轮轨动作用力，造成车轮与钢轨的严重磨损，同时也加快了转向架零部件如轴端螺栓的磨损与故障。具体的，轴端螺栓故障包括螺栓丢失、折断和轴承盖丢失三种状况，一旦轴端螺栓故障，则不能起到应有的紧固作用，进而会导致重大行车事故的发生。

但是，现有TFDS系统的故障识别模块能判定的故障类别有限，对轴端螺栓故障的识别率较低，不能满足现场应用中的要求。

发明内容

有鉴于此，本发明实施例期望提供一种货车轴端螺栓故障检测方法及装置，至少能解决现有技术存在的对轴端螺栓故障的识别率很低的缺陷。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种货车轴端螺栓故障检测方法，所述方法包括：

通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器；

通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域；

通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域；

根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果。

优选地，所述通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器包括：

从所述货车轴端螺栓图像数据库中提取轴端正样本图像和轴端负样本图像；

根据所述轴端正样本图像和轴端负样本图像分别得到轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征；

将所述轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成兴趣区域定位分类器。

优选地，所述通过货车轴端螺栓图像数据库中的样本图像得到螺栓子区域定位分类器包括：

从所述货车轴端螺栓图像数据库中提取螺栓正样本图像和螺栓负样本图像；

根据所述螺栓正样本图像和螺栓负样本图像分别得到螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征；

将所述螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成螺栓子区域定位分类器。

优选地，所述通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域包括：

读取货车轴端螺栓图像；

截取所述货车轴端螺栓图像中的设定区域，所述设定区域包括轴端螺栓的图像；

根据所述设定区域确定第一检测窗口；

提取所述第一检测窗口在所述设定区域的水平方向和垂直方向滑动得到的第一检测窗口图像局部二值模式编码直方图特征；

将所述第一检测窗口图像局部二值模式编码直方图特征输入到所述兴趣区域定位分类器得到兴趣区域。

优选地，所述通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域包括：

通过所述螺栓子区域定位分类器确定第一个螺栓的位置；

通过所述螺栓子区域定位分类器确定第二个螺栓的位置；

根据所述第一个螺栓的位置和第二个螺栓的位置确定第三个螺栓的位置。

优选地，所述通过所述螺栓子区域定位分类器确定第一个螺栓的位置包括：

根据所述兴趣区域确定第二检测窗口；

从所述第二检测窗口中提取第二检测窗口图像局部二值模式编码直方图特征；

将所述第二检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器得到标记点；

根据所述标记点确定第三检测窗口；

从所述第三检测窗口中提取第三检测窗口图像局部二值模式编码直方图特征；

将所述第三检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器确定第一个螺栓的位置。

优选地，所述根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果包括：

根据所述螺栓区域分别计算每个螺栓的特征向量；

计算特征向量之间的欧氏距离；

判断所述欧氏距离的最大值与最小值的差是否小于设定阈值，若是，则输出螺栓正常；否则，提取所述螺栓区域内的直线段特征生成直线段输出列表，从所述直线段输出列表中查找满足螺栓形状约束的直线段特征，若存在满足螺栓形状约束的直线段特征，则输出螺栓正常；否则，输出螺栓故障。

本发明实施例还提供了一种货车轴端螺栓故障检测装置，所述装置包括：

分类器生成单元，用于通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器；

兴趣区域定位单元，用于通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域；

螺栓区域定位单元，用于通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域；

螺栓故障判别单元，用于根据所述螺栓区域计算螺栓的欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果。

优选地，所述分类器生成单元包括：

兴趣区域定位分类模块，用于从所述货车轴端螺栓图像数据库中提取轴端正样本图像和轴端负样本图像；根据所述轴端正样本图像和轴端负样本图像分别得到轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征；将所述轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成兴趣区域定位分类器；

螺栓子区域定位分类模块，用于从所述货车轴端螺栓图像数据库中提取螺栓正样本图像和螺栓负样本图像；根据所述螺栓正样本图像和螺栓负样本图像分别得到螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征；将所述螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成螺栓子区域定位分类器。

优选地，所述兴趣区域定位单元包括：

图像读取模块，用于读取货车轴端螺栓图像；

图像选择模块，用于截取所述货车轴端螺栓图像中的设定区域，所述设定区域包括轴端螺栓的图像；

第一检测窗口模块，用于根据所述设定区域确定第一检测窗口；

特征提取单元，用于提取所述第一检测窗口在所述设定区域的水平方向和垂直方向滑动得到的第一检测窗口图像局部二值模式编码直方图特征；

兴趣区域定位模块，用于将所述第一检测窗口图像局部二值模式编码直方图特征输入到所述兴趣区域定位分类器得到兴趣区域。

优选地，所述螺栓区域定位单元包括：

第一定位模块，用于通过所述螺栓子区域定位分类器确定第一个螺栓的位置；

第二定位模块，用于通过所述螺栓子区域定位分类器确定第二个螺栓的位置；

第三定位模块，用于根据所述第一个螺栓的位置和第二个螺栓的位置确定第三个螺栓的位置。

优选地，所述第一定位模块包括：

第二检测窗口器，用于根据所述兴趣区域确定第二检测窗口；

第一特征提取器，用于从所述第二检测窗口中提取第二检测窗口图像局部二值模式编码直方图特征；

标记点定位器，用于将所述第二检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器得到标记点；

第三检测窗口器，用于根据所述标记点确定第三检测窗口；

第二特征提取器，用于从所述第三检测窗口中提取第三检测窗口图像局部二值模式编码直方图特征；

螺栓定位器，用于将所述第三检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器确定第一个螺栓的位置。

优选地，所述螺栓故障判别单元包括：

特征向量计算模块，用于根据所述螺栓区域分别计算每个螺栓的特征向量；

欧氏距离计算模块，用于计算特征向量之间的欧氏距离；

螺栓故障判别模块，用于判断所述欧氏距离的最大值与最小值的差是否小于设定阈值，若是，则输出螺栓正常；否则，提取所述螺栓区域内的直线段特征生成直线段输出列表，从所述直线段输出列表中查找满足螺栓形状约束的直线段特征，若存在满足螺栓形状约束的直线段特征，则输出螺栓正常；否则，输出螺栓故障。

本发明实施例所提供的货车轴端螺栓故障检测方法及装置，通过货车轴端螺栓数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器，能大大提高兴趣区域和螺栓子区域的定位精度；通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域，能提高兴趣区域的识别精度；通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓位置，可提高识别螺栓位置的速度；根据所述螺栓位置计算欧氏距离，并根据所述欧氏距离输出货车轴端螺栓故障检测结果，使得货车轴端螺栓的故障识别率大大提高。

附图说明

图1为本发明实施例1货车轴端螺栓故障检测方法的实现流程示意图；

图2为本发明实施例2货车轴端螺栓故障检测装置的组成结构示意图；

图3为本发明实施例2货车轴端螺栓故障检测系统的组成结构示意图；

图4为ROI定位示意图；

图5为4邻域LBP编码过程示意图；

图6为LBP特征向量的提取示意图；

图7为HOG特征区域划分方式示意图；

图8为旋转滑动搜索的过程图；

图9为样本自助更新算法流程图；

图10为通过六边形约束进行螺栓故障判别的示意图；

图11为4张图片的ROI定位的效果图；

图12为通过欧氏距离对故障图片和正常图片进行螺栓故障判别的效果图；

图13为通过六边形约束对故障图片和正常图片进行螺栓故障判别的效果图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

实施例1

为了解决现有技术存在的技术问题，本实施例提供了一种货车轴端螺栓故障检测方法，如图1所示，该方法包括以下步骤：

S101：通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器；

这里，货车轴端螺栓图像数据库中的样本图像为铁路货车中轴端螺栓的历史图像；并且，样本图像是通过TFDS的高速摄像机在与火车固定距离处拍摄的，所以，样本图像中的货车轴端螺栓图像也在样本图像的固定图像区域，这就为兴趣区域定位分类器和螺栓子区域定位分类器的识别速度提供了很好的前提条件。

S102：通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域；

本步骤中，基于步骤S101的兴趣区域定位分类器，就能够从一幅新的货车轴端螺栓图像中快速识别出轴端螺栓图像的兴趣区域。

S103：通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域；

本步骤中，货车轴端螺栓的数量和相对位置是固定的，根据这一特性，利用螺栓子区域定位分类器就能在兴趣区域中快速识别出螺栓区域。

S104：根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果。

本步骤中，由于正常情况下货车轴端的螺栓具有相似性，通过计算螺栓的欧氏距离，可以找出疑似故障。通过螺栓形状约束把疑似故障中的正常图片排除，就可以识别测试图片是否存在螺栓丢失、折断和轴承盖丢失等故障情况，实现对螺栓故障的快速、准确的识别。

本发明实施例通过货车轴端螺栓数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器，能大大提高兴趣区域和螺栓子区域的定位精度；通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域，能提高兴趣区域的识别精度；通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓位置，可提高识别螺栓位置的速度；根据所述螺栓位置计算欧氏距离，并根据所述欧氏距离输出货车轴端螺栓故障检测结果，使得货车轴端螺栓的故障识别率大大提高。

具体地，步骤S101中通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器，包括：

S1011：从所述货车轴端螺栓图像数据库中提取轴端正样本图像和轴端负样本图像；

这里，所述轴端正样本图像为包含需要特征(轴端)图像的样本图像；轴端负样本图像为不包含需要特征(轴端)图像的样本图像。

S1012：根据所述轴端正样本图像和轴端负样本图像分别得到轴端正样本局部二值模式(Local Binary Pattern，LBP)编码直方图特征和轴端负样本局部二值模式编码直方图特征；

其中，所述局部二值模式(LBP)是一种灰度范围内的纹理度量，它从一种纹理局部近邻定义中衍生出来，最初由Ojala等人为了辅助性地度量图像的局部对比度在文献“Multiresolution gray scale and rotation invariant texture classificationwith local binary patterns”中提出。LBP对于任何灰度范围内的单调变换具有不变性，这使得它对于光照变化极为鲁棒，这一特点很好的统一了在不同光照下螺栓的形态。在特征计算方面，采用模板操作，直方图统计，计算速度快，符合了铁路故障检测对算法运行速度的要求。

S1013：将所述轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成兴趣区域定位分类器。

这里，支持向量机建立在统计学习理论与结构风险最小原理基础上，主要思想是建立一个超平面作为决策曲面，最大化正样本和负样本之间的几何边缘。多项式核函数支持向量机是指，在训练样本线性不可分时，通过多项式函数将训练数据映射到高维线性特征空间。

此处，利用多项式核函数支持向量机得到初始的兴趣区域定位分类器后，还要对得到的初始的兴趣区域定位分类器进行进一步处理，对轴端负样本图像进行更新，通过对初始的兴趣区域定位分类器多次训练后，使得初始的兴趣区域定位分类器对感兴趣区域的识别精度达到设定值，才将其确定为最终的兴趣区域定位分类器。

其中，所述通过货车轴端螺栓图像数据库中的样本图像得到螺栓子区域定位分类器，包括：

S1014：从所述货车轴端螺栓图像数据库中提取螺栓正样本图像和螺栓负样本图像；

S1015：根据所述螺栓正样本图像和螺栓负样本图像分别得到螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征；

S1016：将所述螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成螺栓子区域定位分类器。

这里，得到螺栓子区域定位分类器的步骤和得到兴趣区域定位分类器的步骤类似，此处不再赘述。

步骤S102所述通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域，包括：

S1021：读取货车轴端螺栓图像；

此处的货车轴端螺栓图像不是样本图像，而是需要通过兴趣区域定位分类器进行螺栓故障识别的测试图像；

S1022：截取所述货车轴端螺栓图像中的设定区域，所述设定区域包括轴端螺栓的图像；

本步骤中，因为货车轴端螺栓图像是通过TFDS的高速摄像机在与火车固定距离处拍摄的，且螺栓位于货车的车轮上，所以螺栓只可能出现在货车轴端螺栓图像的特定区域内，所以，可以对货车轴端螺栓图像进行预处理，截取所述货车轴端螺栓图像中的设定区域。

S1023：根据所述设定区域确定第一检测窗口；

本步骤中，为了保证对螺栓故障检测的准确率，在得到包含轴端螺栓的图像的设定区域后，通过设定区域中轴端区域的大小来确定第一检测窗口。

S1024：提取所述第一检测窗口在所述设定区域的水平方向和垂直方向滑动得到的第一检测窗口图像局部二值模式编码直方图特征；

S1025：将所述第一检测窗口图像局部二值模式编码直方图特征输入到所述兴趣区域定位分类器得到兴趣区域。

步骤S103所述通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域，包括：

S1031：通过所述螺栓子区域定位分类器确定第一个螺栓的位置；

步骤S1031进一步包括：

S10311：根据所述兴趣区域确定第二检测窗口；

为了在兴趣区域快速找到螺栓，采用旋转滑动检测窗口的方法，此处为第二检测窗口。以兴趣区域的中心位置为圆心，设定的长度为半径，通过所述螺栓子区域定位分类器对螺栓进行第一次搜索。

S10312：从所述第二检测窗口中提取第二检测窗口图像局部二值模式编码直方图特征；

本步骤中，提取所述第二检测窗口以所述兴趣区域的中心，第一设定长度为半径，旋转得到的第二检测窗口图像局部二值模式编码直方图特征；

S10313：将所述第二检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器得到标记点；

本步骤中，标记点能够表明螺栓的大概位置，但无法确定螺栓的精确位置，因此还需要后续步骤的处理。

S10314：根据所述标记点确定第三检测窗口；

用于对螺栓进行精确定位。

S10315：从所述第三检测窗口中提取第三检测窗口图像局部二值模式编码直方图特征；

在设定的区域得到的第三检测窗口图像局部二值模式编码直方图特征；

S10316：将所述第三检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器确定第一个螺栓的位置。

S1032：通过所述螺栓子区域定位分类器确定第二个螺栓的位置；

本步骤中，得到第二个螺栓的位置的步骤和上述步骤S1031得到第一个螺栓的位置的步骤相同，此处不再赘述。

S1033：根据所述第一个螺栓的位置和第二个螺栓的位置确定第三个螺栓的位置。

这里，由于螺栓的位置为规则的几何图形，且螺栓的数量固定，通过第一个螺栓的位置和第二个螺栓的位置就能得到第三个螺栓的位置。

步骤S104所述根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果包括：

S1041：根据所述螺栓区域分别计算每个螺栓的特征向量；

此处的特征向量包括判断螺栓之间的相似性。

S1042：计算特征向量之间的欧氏距离；

这里，所述欧氏距离指在m维空间中两个点之间的真实距离。在二维和三维空间中的欧氏距离的就是两点之间的实际距离。所述欧式距离用于度量m维空间中两个点之间的距离的相似度。由于螺栓的相对位置固定，通过计算螺栓之间欧氏距离的差值就能排除正常图片，找出疑似故障。

S1043：判断所述欧氏距离的最大值与最小值的差是否小于设定阈值，若是，则输出螺栓正常；否则，提取所述螺栓区域内的直线段特征生成直线段输出列表，从所述直线段输出列表中查找满足螺栓形状约束的直线段特征。

本步骤中，当由于实际中螺栓的光照角度或螺栓沾染了其他颜色等原因，导致通过欧氏距离输出的疑似故障图片中含有一些正常图片，为了减少把正常图片判为故障的情况，还可以通过对螺栓直线段特征的提取得到直线段输出列表，以进一步分析螺栓区域。

具体的，如果螺栓无故障，则能够通过螺栓形状约束从直线段输出列表中找出符合螺栓形状的线条；若存在满足螺栓形状约束的直线段特征，则说明螺栓无故障，输出螺栓正常；否则，输出螺栓故障。

实施例2

本实施例和实施例1属于同一发明构思。本实施例提供了一种货车轴端螺栓故障检测装置，本实施例的装置结构如图2所示，该装置包括：

分类器生成单元201，用于通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器；

所述分类器生成单元201进一步包括：

兴趣区域定位分类模块，用于从所述货车轴端螺栓图像数据库中提取轴端正样本图像和轴端负样本图像；根据所述轴端正样本图像和轴端负样本图像分别得到轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征；将所述轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成兴趣区域定位分类器；

螺栓子区域定位分类模块，用于从所述货车轴端螺栓图像数据库中提取螺栓正样本图像和螺栓负样本图像；根据所述螺栓正样本图像和螺栓负样本图像分别得到螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征；将所述螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成螺栓子区域定位分类器。

兴趣区域定位单元202，用于通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域；

所述兴趣区域定位单元202进一步包括：

图像读取模块，用于读取货车轴端螺栓图像；

图像选择模块，用于截取所述货车轴端螺栓图像中的设定区域，所述设定区域包括轴端螺栓的图像；

第一检测窗口模块，用于根据所述设定区域确定第一检测窗口；

特征提取单元，用于提取所述第一检测窗口在所述设定区域的水平方向和垂直方向滑动得到的第一检测窗口图像局部二值模式编码直方图特征；

兴趣区域定位模块，用于将所述第一检测窗口图像局部二值模式编码直方图特征输入到所述兴趣区域定位分类器得到兴趣区域。

螺栓区域定位单元203，用于通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓位置；

所述螺栓区域定位单元203进一步包括：

第一定位模块，用于通过所述螺栓子区域定位分类器确定第一个螺栓的位置。

第二定位模块，用于通过所述螺栓子区域定位分类器确定第二个螺栓的位置。

第三定位模块，用于根据所述第一个螺栓的位置和第二个螺栓的位置确定第三个螺栓的位置。

具体的，通过第一定位模块得到的第一个螺栓的位置和第二定位模块得到的第二个螺栓的位置，结合螺栓的几何图形，可以得到第三个螺栓的位置。

其中，所述第一定位模块、第二定位模块均包括：

第二检测窗口器，用于根据所述兴趣区域确定第二检测窗口；

第一特征提取器，用于从所述第二检测窗口中提取第二检测窗口图像局部二值模式编码直方图特征；

标记点定位器，用于将所述第二检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器得到标记点；

第三检测窗口器，用于根据所述标记点确定第三检测窗口；

第二特征提取器，用于从所述第三检测窗口中提取第三检测窗口图像局部二值模式编码直方图特征；

这里，提取所述第三检测窗口以所述标记点的中心为圆心，第二设定长度为半径，旋转得到的第三检测窗口图像局部二值模式编码直方图特征；

螺栓定位器，用于将所述第三检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器确定第一个螺栓的位置。

螺栓故障判别单元204，用于根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果；

所述螺栓故障判别单元204进一步包括：

特征向量计算模块，用于根据所述螺栓区域分别计算每个螺栓的特征向量；

欧氏距离计算模块，用于计算特征向量之间的欧氏距离；

螺栓故障判别模块，用于判断所述欧氏距离的最大值与最小值的差是否小于设定阈值，若是，则输出螺栓正常；否则，提取所述螺栓区域内的直线段特征生成直线段输出列表，从所述直线段输出列表中查找满足螺栓形状约束的直线段特征，若存在满足螺栓形状约束的直线段特征，则输出螺栓正常；否则，输出螺栓故障。

实施例3

本实施例通过一个实际的场景对本发明进行详细说明。

本实施例针对现有铁路故障检测方式存在的不足，提供一种货车轴端螺栓故障检测系统，如图3所示，包括：轨边图像采集传输模块、轴端螺栓故障检测模块、故障图片上传模块。其中，轨边图像采集传输模块利用高速摄像机采集货车关键部位的图像，通过高速光纤网络传送到远程服务器；轴端螺栓故障检测模块在列检站的故障识别计算机上进行，从远程服务器上读取相关图片，通过感兴趣区域(Region Of Interest，ROI)定位、螺栓子区域定位和螺栓故障判别检测出带有故障螺栓的图片；故障图片上传模块把检测到故障图片上传到服务器。

铁路现场高速摄像机采集到货车侧面车轮图片，螺栓区域只占整张图片中很小的部分。由于现场环境、车型的原因，螺栓在形态上存在很多且复杂的差异。为了完成螺栓故障的快速精确识别，需要设计合适的图像识别方法，研究内容包括以下几个方面。

1)建立轴端螺栓图像数据库，包括无故障图像和故障图像，能充分反映螺栓在不同拍摄地点、不同车型、不同光照条件下的形态。

2)设计快速准确的轴端ROI定位方法。

3)设计快速准确的螺栓子区域定位方法。

其中，提出了旋转扫描策略，可以快速准确地定位3个螺栓子区域；提出了适合铁路现场使用的离线正负样本自助更新策略。

4)设计螺栓故障识别方法，通过疑似故障处理和六边形约束正确区分正常螺栓和故障螺栓。

5)在现场运行算法，识别正确率大于93％，平均识别速度10帧/秒。

本实施例的实现过程具体包括：

A1、ROI定位

TFDS高速摄像机与火车之间的距离是固定的，因此其采集到的图像中轴端区域的大小一定，且不同图像之间的目标区域仅仅存在着水平方向上的移动。最初采用先验知识结合模板匹配的方法来完成轴端区域的定位，但是由于不同地点轴端区域的位置和形态差异，通过先验知识设定的粗定位范围无法适应所有地点。并且，单一的模板无法完成大量图片轴端区域的准确匹配。

为了使算法具有更广泛的适用性，采用机器学习的思路定位ROI。统计原始图片轴端区域的大小，采用紧凑的200×200像素大小的矩形作为检测窗口，在水平和垂直方向滑动，利用事先训练好的分类器模型判定滑动窗口的标签，从而确定目标区域的位置。为了加快定位速度，采用滑动窗口前可先对图片进行裁剪，把图像的长宽缩放到原图的1/4。图4是ROI定位示意图。

ROI定位分类器的设计：利用大量轴端和非轴端图像样本，提取图片的LBP编码直方图特征作为输入数据，采用多项式支持向量机的学习方法对LBP编码直方图特征分类，训练得到定位分类器。

LBP算子是一种灰度范围内的纹理度量，它从一种纹理局部近邻定义中衍生出来，最初由Ojala等人为了辅助性地度量图像的局部对比度在文献“Multiresolution grayscale and rotation invariant texture classification with local binarypatterns”中提出。

ROI定位模块采用的LBP算子定义在3×3像素的窗口内，以窗口中心像素为阈值，将相邻的四个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；四邻域LBP编码过程如图5所示。这样，3×3像素领域内的四个点可产生4比特的无符号数(中心点的LBP值)，可用该值来反映区域的纹理信息。

实际应用中，对正负样本缩小到50×50像素后采用如上所述的LBP编码方式，对样本等分4块统计直方图形成64维的特征向量；这些特征向量作为支持向量机的输入，经过训练后形成分类器模型，用于检测过程中对ROI的定位。

ROI的准确提取和有效的训练密切相关，在训练之前，先建立200×200像素正样本训练集P，负样本训练集N从不包含轴端的图片中随机提取200×200像素的图像块。为了减少虚警率，采用自举法更新负样本。

其中，训练过程如下：从正样本集中随机选取2500个正样本长宽缩小4倍后构成正样本集P₁，随机选取2300个负样本长宽缩小4倍后构成负样本集N₁，利用样本集X₁＝P₁∪N₁训练多项式核函数SVM分类器，通过交叉检验确定合适的多项式参数，形成分类器H₁。用分类器H₁对数据库中的图片进行ROI定位，收集分类错误的负样本图像块加入N₁生成一个新的负样本集N₂，利用样本集X₂＝P₁∪N₂重新训练多项式核函数SVM分类器，形成分类器H₂。重复以上步骤直到ROI的定位精度达到99.9％以上，把此时的分类器H_k作为最终的ROI定位分类器。

A2、ROI中螺栓子区域的定位

LBP作为图像纹理表示的一种有效方法，不仅能够描述出图像中的一些微小特征，而且能够反映出这些特征的分布情况。螺栓图像具有一定的纹理，由许多微型模式(边缘，角点)组成，这些微型模式可以利用LBP算子探测，再经过统计得知各种模式的数量，从而很好的表达螺栓的特点。

另一方面，LBP对于任何灰度范围内的单调变换具有不变性，这使得它对于光照变化极为鲁棒，这一特点很好的统一了在不同光照下螺栓的形态。在特征计算方面，采用模板操作，直方图统计，计算速度快，符合了铁路故障检测对算法运行速度的要求。以上分析表明，采用LBP特征描述螺栓具有很好的性能。

根据原始图像中螺栓的大小，采用非常紧凑的60×60像素大小的矩形作为检测窗口。同时为更精确地描述检测窗口中目标物体的结构特征，60×60像素大小的图像采用两种LBP编码方式。其中，4领域编码图划分为4×4个子小块(cell)，将任何相邻的2×2个小子块组成一个大区块(block)分别统计直方图，8领域编码图则直接统计整个区域的直方图，最终检测窗口中图像块的特征向量有16×9+256＝400维，经过主成分分析后降到100维，LBP特征向量的提取如图6所示。

在样本自动更新模块，还使用了方向梯度直方图(Histogram of OrientedGradient，HOG)特征构建螺栓分类器。HOG特征描述在2005年由Dalal等人在论文“Histograms of Oriented Gradients for Human Detection”中提出，是目前使用最广泛的特征描述符之一，主要应用在静态图像中的行人检测上。

HOG特征区域划分方式如图7所示。鉴于HOG特征在亮度变化下仍有很好的轮廓表达能力，首次把它应用在螺栓的特征描述上，达到了不错的效果。采用的区域划分方式如下，特征向量为900维，经过主成分分析后降到100维。虽然在计算时间上，HOG特征比LBP慢很多，但是实验结果显示了其良好的性能。

A3、旋转滑动方案

定位分类器的作用是判断ROI中三个螺栓区域的位置，通常采用滑动窗口的方案来实现。滑动窗口是一项从图像中抽取对象的技术，首先用许多固定尺寸的图片来训练一个能够准确识别螺栓的模型，然后用和模型大小相同的窗口在图片中滑动并裁剪，将剪裁得到的图像块交给模型，让模型判断是否为螺栓，如此循环直至将图片全部检测完，然后根据判定的结果确定螺栓的位置。

然而，采用传统的滑动方案在图像的水平垂直方向搜索，需要判定的窗口数量较多。于是提出旋转滑动的搜索策略。旋转滑动搜索的前提是准确定位轴心，设置合适的半径和角度步长。统计现有图片中货车转向架的类型，目标区域根据轴的大小，可分为两类。大轴上螺栓大小为60×60像素；小轴上螺栓大小为50×50像素。它们各自离轴心的距离分别为60像素和50像素。根据统计得到的这些尺寸特点，旋转滑动窗口的半径范围设为40-60像素，步长4像素，角度步长0.3弧度。

设定半径和角度步长后，旋转滑动窗口的搜索步骤如下：

(1)取ROI定位模块输出的图片中心为圆心，在半径范围内，旋转角度顺时针从0到180度变化，搜索到第一个使螺栓子区域定位分类器输出为1的点A，记录此时的半径位置r。

(2)以A为中心在16×16像素的范围内取25个检测窗口用螺栓子区域定位分类器模型判定是否有螺栓，最后判定结果的质心为第一个螺栓的位置。其中，质心为螺栓子区域定位分类器输出为1的点的横坐标均值和纵坐标均值。

(3)旋转半径为r，角度逆时针从0到π弧度变化，找到第一个使分类器输出为1的点B。

(4)以B为中心在16×16像素的范围内取25个检测窗口用分类器模型判定是否有螺栓，判定结果的质心为第二个螺栓的位置。

(5)已知前两个螺栓的位置，通过等边三角形约束，可找到第三个螺栓的位置，在16×16像素的范围内取25个检测窗口用分类器模型判定是否有螺栓，判定结果的质心为第三个螺栓的位置。

图8为旋转滑动搜索的过程图，图8的中点表示旋转窗口开始的搜索位置，当搜到第一个使螺栓子区域定位分类器输出为1的位置时停止，由输出1的点组成了16×16像素的判定范围，以这个判定范围内输出1的点构成的区域的质心作为螺栓的位置。图8(a)、(b)和(c)分别表示搜索出第一个螺栓、第二个螺栓和第三个螺栓的过程。

A4、TFDS现场轴端螺栓样本自助更新策略

从铁路现场采集到的图片，由于环境和螺栓本身等因素的影响，螺栓的外观会不断发生变化。应对定位过程中的这种变化，可以在特征的提取、分类器的改进和训练样本的选择三个方面下功夫。鉴于铁路故障检测的特点(数据量大，检测时间要求高)，在选用合适的特征描述和分类器的基础上，重点关注于通过训练集样本的更新来提高定位模块的性能。

通常，自举法是一种很好的样本更新手段，可以为训练样本集添入更具针对性的样本，然而手动标记那些被错分样本的标签耗时耗力，在现场使用也不现实。于是，本实施例提出了一种采用分类器嵌套的策略来自动地完成训练样本更新的方法，利用铁路故障检测现场的空闲时间(没有货车经过)实现对样本库的自助离线更新，满足实际工程的要求。

样本自助更新策略借鉴了半监督学习中的自学习思想，是一种基于可靠、少量的标记数据和大量的未标记数据的学习方法。整个过程通过对前后两个分类器的组合达到提高螺栓子区域定位精度的目标。分类器L作用于故障检测模块，分类器H对分类器L的错判图像块进行重标记后加入正负样本训练集，然后对更新后的训练集性能进行评估，最后做出决策是否采纳此次更新。

样本自助更新算法流程图如图9所示，具体步骤包括：

①初始化。设定阈值T₁,T₂，定义初始的带标签样本集Set₀，用LBP特征构建初始分类器L₀，HOG特征构建初始分类器H₀。其中，T₁,T₂(T₂>0)是表示更新效率的阈值，T₁,T₂越大，对样本的更新越保守。

②检测第k列货车(k≥1)，用分类器L_k-1定位螺栓区域，统计定位准确率，若大于等于93％，转到第⑥步，小于93％，则在定位失败的ROI中采用滑动窗口找出使分类器L_k-1输出为1的图像块并存入未标记数据集unlabelSet_k。

③用分类器H₀对未标记数据集内的图像块重新标记类别后加入Set_k-1形成新的训练样本集Set_k。

④用样本集Set_k构建螺栓子区域定位分类器L_k，用分类器L_k对第k-n,k-n+1,...,k列车重新检测(当k≤n时，令n＝k)，对每列车统计定位失败图片的减少量d_k-n,d_k-n+1,...,d_k。

⑤若d_i>T₁(i＝k-n,k-n+1,...,k)且d_k-n+d_k-n+1+...+d_k>T₂，则采纳更新，否则拒绝更新。

⑥令k＝k+1，返回②。

A5、螺栓故障判别

受拍摄环境，天气，车型的影响，TFDS的高速摄像机采集的图片除了有质量上的差异，还有很大的形态上的差异，这给故障的识别带来了很大的困难。本实施例设计的轴端螺栓故障也不例外，螺栓呈各种各样不同的形态，而且系统每天都在不停地采集图片，数据量很大；另一方面，由于轴端螺栓故障属于重大事故，一般很少出现，实际中的故障图片很少，只能通过对现有故障的认识来预测真正发生故障时的大致形态，必须抓住故障图的特点来完成故障的判别。

首先，比较轴端三个螺栓之间的差异，通过设计的11个特征参数值来完成，这些参数要具有代表性，能够体现出故障存在与否时的差异，分别是螺栓区域内采用Hough变换检测到的圆的半径、圆内切矩形区域灰度平均值、最大值、最小值、最大最小差值、方差、圆外接矩形区域灰度平均值、最大值、最小值、最大最小差值、方差。这11个特征参数值用于判定轴端三个螺栓的相似性。经过归一化后，计算两两之间的欧式距离，正常情况下，得到的3个欧式距离相差不大，螺栓异常时欧式距离差异大，设定一个阈值可以把正常情况排除，异常情况作为疑似故障，进入下一阶段的判别。这一过程的处理可以有效地鉴别正常螺栓，快速找到异常螺栓，减少故障确认模块的判断数量，在加快整体识别速度的同时降低误检率。

考虑到正常螺栓独有的六边形特征，设计六边形约束完成故障判别。如图10所示，直线段1、2、3满足六边形规则，图10a中，直线1、2、3满足六边形约束，判别为正常螺栓；图10b中，直线1、2、3、4都满足六边形约束，但是直线4是一条干扰直线，不是正常螺栓的边缘，算法中通过加入距离约束排除。算法伪代码如下：

下面对本实施例做详细说明，实施方式和具体的操作过程如下：

B1、轴端螺栓故障检测的操作过程

1)ROI定位分类器的训练：在已有的图片数据库中裁剪2500张200×200像素的包含轴端的图像作为正样本，从不包含轴端的背景图像中随机提取2500张200×200像素的图像作为负样本。所有正负样本图像长宽缩小到50×50像素，采用自举法更新负样本，负样本数目达到2797个。计算正负样本的LBP编码直方图特征作为输入数据，采用多项式核函数支持向量机学习方法生成ROI定位分类器。

2)ROI定位：读入一张1024×1400像素的图片，裁剪纵坐标385<y<685的区域后缩小到75×350像素的图像，对此图像在x方向间隔15个像素滑动，y方向间隔4个像素滑动，截取50×50像素的窗口，并提取LBP编码直方图特征输入ROI定位分类器。对判定结果为1的滑动窗口坐标计算质心，也就是ROI的位置。

3)螺栓子区域定位分类器的训练：在已有的图片数据库中裁剪3900张60×60像素的包含螺栓的图像作为正样本，从不包含轴端的背景图像中随机提取3700张60×60像素的图像作为负样本。采用自举法更新负样本，负样本数目达到3992个。计算正负样本的LBP编码直方图特征作为输入数据，采用多项式核函数支持向量机学习方法生成螺栓子区域定位分类器。

4)螺栓子区域的定位：在第2)步中获得的200×200像素的ROI图片中，取图片的中心为圆心，采用旋转滑动的方法定位3个螺栓在图片中的位置。

5)在第4步中得到的3个60×60像素的区域中，利用Hough变化提取圆，计算圆内切矩形灰度平均值、最大值、最小值、最大最小差值、方差、圆外接矩形区域灰度平均值、最大值、最小值、最大最小差值、方差这11个特征参数值形成各自的特征向量。计算两两特征向量之间的3个欧式距离，若最大欧氏距离和最小欧式距离的差大于0.25，则进入第6)步，否则输出“螺栓正常”的结果。

6)参考Rafael Grompone von Gioi等人于2010年在《Pattern Analysis andMachine Intelligence》(模式分析与机器智能)期刊第32卷第4期722页至732页上发表的论文“LSD:A fast line segment detector with a false detection control”(LSD：具有误差检测控制的一种快速直线段检测器)，并采用其提出的快速直线段检测算法，在第4)步中得到的3个60×60像素的区域中提取螺栓的直线段特征，生成直线段输出列表Line。在每个直线段输出列表中寻找六边形约束，若3个直线段输出列表中都能找到螺栓子区域，则输出“螺栓正常”的结果，否则输出“存在故障螺栓”的结果。

依据上述步骤，对铁路现场采集的5000幅1024×1400像素的正常轴端螺栓图像和55张故障螺栓图像进行检测。图11是其中4张图片的ROI定位效果图；图12是通过欧氏距离对故障图片和正常图片进行螺栓故障识别的效果图；图12a中，最大欧式距离和最小欧式距离的差小于指定阈值，识别为正常图片；图12b中，最大欧式距离和最小欧式距离的差大于指定阈值，需要经过六边形约束做进一步判定；图13是通过六边形约束对故障图片和正常图片进行螺栓故障识别的效果图。图13a中，3个螺栓都检测到六边形约束，识别为正常图片；图13b中，1个螺栓未检测到六边形约束，识别为故障图片。

B2、TFDS现场轴端螺栓样本自助更新的操作过程

1)构建ROI定位分类器，方法同上。

2)依次读入序号为1392货车的所有轴端图片，ROI定位，方法同上。

3)螺栓子区域定位分类器L的训练：在已有的图片数据库中裁剪995张60×60像素的包含螺栓的图像作为正样本，从不包含轴端的背景图像中随机提取995张60×60像素的图像作为负样本。计算正样本和负样本的LBP编码直方图特征作为输入数据，采用多项式核函数支持向量机学习方法生成螺栓子区域定位分类器L₀。

4)螺栓子区域的定位：在第2)步中获得的200×200像素的ROI图片中，取图片的中心为圆心，采用旋转滑动的方法，利用分类器L₀定位3个螺栓在图片中的位置。

5)统计1392货车螺栓子区域定位失败28张，准确率为92.4％，进入样本自助更新模块，设定阈值T₁＝-5，T₂＝4。

a.在定位失败的ROI中滑动窗口，把使L₀输出为1的图像块存入到本地未标记数据集1。

b.样本更新分类器H的训练：用第3)步用到的样本，计算HOG特征作为输入数据，采用多项式核函数支持向量机学习方法生成样本更新分类器H₀。

c.用H₀对未标记数据集1中的图像重新分类，和当前训练集中的样本一起训练生成螺栓子区域定位分类器L₁。

d.用L₁重新对1392列货车进行螺栓子区域定位，统计定位失败24张，准确率为93.5％，d₁＝4。满足d₁>T₁,d₁>T₂，采纳此次更新。

6)用分类器L₁对下一列序号为1390的货车定位轴端区域，统计定位失败53张，准确率为90.0％，进入样本自助更新模块。

a.在定位失败的ROI中滑动窗口，把使L₁输出为1的图像块存入到本地未标记数据集2。

b.样本更新分类器H的训练：用第3)步用到的样本，计算HOG特征作为输入数据，采用多项式核函数支持向量机学习方法生成样本更新分类器H₀。

c.用H₀对未标记数据集2中的图像重新分类，和当前训练集中的样本一起训练生成螺栓子区域定位分类器L₁。

d.用L₁重新对1392列货车进行螺栓子区域定位，统计定位失败23张，d₁＝1。用L₁重新对1390列货车进行螺栓子区域定位，统计定位失败43张，准确率为91.9％，d₂＝10。满足d₁>T₁,d₂>T₁,d₁+d₂>T₂，采纳此次更新。

7)用分类器L₂对下一列序号为1203的货车定位轴端区域，统计定位失败43张，准确率为91.3％，进入样本自助更新模块，步骤同上，得出d₁＝5,d₂＝2,d₃＝7。满足阈值条件，采纳此次更新。

8)用分类器L₃对下一列序号为1202的货车定位轴端区域，统计定位失败28张，准确率为93.0％。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种货车轴端螺栓故障检测方法，其特征在于，所述方法包括：

通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器；

通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域；

通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域；

根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果；

所述通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器包括：

从所述货车轴端螺栓图像数据库中提取轴端正样本图像和轴端负样本图像；

根据所述轴端正样本图像和轴端负样本图像分别得到轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征；

将所述轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成兴趣区域定位分类器；

所述通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域包括：

读取货车轴端螺栓图像；

截取所述货车轴端螺栓图像中的设定区域，所述设定区域包括轴端螺栓的图像；

根据所述设定区域确定第一检测窗口；

提取所述第一检测窗口在所述设定区域的水平方向和垂直方向滑动得到的第一检测窗口图像局部二值模式编码直方图特征；

将所述第一检测窗口图像局部二值模式编码直方图特征输入到所述兴趣区域定位分类器得到兴趣区域；

所述通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域包括：

通过所述螺栓子区域定位分类器确定第一个螺栓的位置；

通过所述螺栓子区域定位分类器确定第二个螺栓的位置；

根据所述第一个螺栓的位置和第二个螺栓的位置确定第三个螺栓的位置。

2.根据权利要求1所述的方法，其特征在于，所述通过货车轴端螺栓图像数据库中的样本图像得到螺栓子区域定位分类器包括：

从所述货车轴端螺栓图像数据库中提取螺栓正样本图像和螺栓负样本图像；

根据所述螺栓正样本图像和螺栓负样本图像分别得到螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征；

将所述螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成螺栓子区域定位分类器。

3.根据权利要求1所述的方法，其特征在于，所述通过所述螺栓子区域定位分类器确定第一个螺栓的位置包括：

根据所述兴趣区域确定第二检测窗口；

从所述第二检测窗口中提取第二检测窗口图像局部二值模式编码直方图特征；

将所述第二检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器得到标记点；

根据所述标记点确定第三检测窗口；

从所述第三检测窗口中提取第三检测窗口图像局部二值模式编码直方图特征；

将所述第三检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器确定第一个螺栓的位置。

4.根据权利要求1所述的方法，其特征在于，所述根据所述螺栓区域计算欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果包括：

根据所述螺栓区域分别计算每个螺栓的特征向量；

计算特征向量之间的欧氏距离；

判断所述欧氏距离的最大值与最小值的差是否小于设定阈值，若是，则输出螺栓正常；否则，提取所述螺栓区域内的直线段特征生成直线段输出列表，从所述直线段输出列表中查找满足螺栓形状约束的直线段特征，若存在满足螺栓形状约束的直线段特征，则输出螺栓正常；否则，输出螺栓故障。

5.一种货车轴端螺栓故障检测装置，其特征在于，所述装置包括：

分类器生成单元，用于通过货车轴端螺栓图像数据库中的样本图像得到兴趣区域定位分类器和螺栓子区域定位分类器；

兴趣区域定位单元，用于通过所述兴趣区域定位分类器确定货车轴端螺栓图像的兴趣区域；

螺栓区域定位单元，用于通过所述螺栓子区域定位分类器确定所述兴趣区域内的螺栓区域；

螺栓故障判别单元，用于根据所述螺栓区域计算螺栓的欧氏距离，并根据所述欧氏距离及螺栓形状约束输出货车轴端螺栓故障检测结果；

所述分类器生成单元包括：

兴趣区域定位分类模块，用于从所述货车轴端螺栓图像数据库中提取轴端正样本图像和轴端负样本图像；根据所述轴端正样本图像和轴端负样本图像分别得到轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征；将所述轴端正样本局部二值模式编码直方图特征和轴端负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成兴趣区域定位分类器；

所述兴趣区域定位单元包括：

图像读取模块，用于读取货车轴端螺栓图像；

图像选择模块，用于截取所述货车轴端螺栓图像中的设定区域，所述设定区域包括轴端螺栓的图像；

第一检测窗口模块，用于根据所述设定区域确定第一检测窗口；

特征提取单元，用于提取所述第一检测窗口在所述设定区域的水平方向和垂直方向滑动得到的第一检测窗口图像局部二值模式编码直方图特征；

兴趣区域定位模块，用于将所述第一检测窗口图像局部二值模式编码直方图特征输入到所述兴趣区域定位分类器得到兴趣区域；

所述螺栓区域定位单元包括：

第一定位模块，用于通过所述螺栓子区域定位分类器确定第一个螺栓的位置；

第二定位模块，用于通过所述螺栓子区域定位分类器确定第二个螺栓的位置；

第三定位模块，用于根据所述第一个螺栓的位置和第二个螺栓的位置确定第三个螺栓的位置。

6.根据权利要求5所述的装置，其特征在于，所述分类器生成单元包括：

螺栓子区域定位分类模块，用于从所述货车轴端螺栓图像数据库中提取螺栓正样本图像和螺栓负样本图像；根据所述螺栓正样本图像和螺栓负样本图像分别得到螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征；将所述螺栓正样本局部二值模式编码直方图特征和螺栓负样本局部二值模式编码直方图特征输入到多项式核函数支持向量机生成螺栓子区域定位分类器。

7.根据权利要求5所述的装置，其特征在于，所述第一定位模块包括：

第二检测窗口器，用于根据所述兴趣区域确定第二检测窗口；

第一特征提取器，用于从所述第二检测窗口中提取第二检测窗口图像局部二值模式编码直方图特征；

标记点定位器，用于将所述第二检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器得到标记点；

第三检测窗口器，用于根据所述标记点确定第三检测窗口；

第二特征提取器，用于从所述第三检测窗口中提取第三检测窗口图像局部二值模式编码直方图特征；

螺栓定位器，用于将所述第三检测窗口图像局部二值模式编码直方图特征输入到所述螺栓子区域定位分类器确定第一个螺栓的位置。

8.根据权利要求5所述的装置，其特征在于，所述螺栓故障判别单元包括：

特征向量计算模块，用于根据所述螺栓区域分别计算每个螺栓的特征向量；

欧氏距离计算模块，用于计算特征向量之间的欧氏距离；

螺栓故障判别模块，用于判断所述欧氏距离的最大值与最小值的差是否小于设定阈值，若是，则输出螺栓正常；否则，提取所述螺栓区域内的直线段特征生成直线段输出列表，从所述直线段输出列表中查找满足螺栓形状约束的直线段特征，若存在满足螺栓形状约束的直线段特征，则输出螺栓正常；否则，输出螺栓故障。