CN112733940A - 一种截断塞门手把关闭故障图像识别方法 - Google Patents

Abstract

一种截断塞门手把关闭故障图像识别方法，属于图像识别领域。本发明解决了人工对货车进行检测时检测人员容易出现疲劳而导致检测效率低的问题。本发明获取截断塞门部件图像和不包含截断塞门部件的图像，并对应标记，将正负样本和标记文件分为训练集和测试集；对训练集进行HOG特征提取，并利用提取的特征图及SVM进行截断塞门部件特征模型的训练，通过训练好的模型定位出截断塞门具体位置，从截断塞门部件图像中截取手把位置子图像，并判断手把位置子图像中手把是否存在，存在手把即为截断塞门手把关闭故障，不存在手把则为正常。本发明用于截断塞门手把关闭故障检测。

Description

一种截断塞门手把关闭故障图像识别方法

技术领域

本发明属于图像检测技术领域，具体涉及一种截断塞门手把关闭故障图像识别方法。

背景技术

截断塞门手把是货车运行过程中制动系统的重要部件，位于货车底部，它安装在制动支管上，用来开通和关闭分配阀与列车管间压力空气通路，正常时手把处于开放位置，在相机拍摄的图像上看不到手把，是藏在截断塞门部件后面。塞门在制动时手把必须打开，当制动机发生故障时，为了截断制动主管的压缩空气送风通路才将其关闭。如果塞门手把关闭，导致制动管路不与主管路相通，此时货车就丧失了制动能力，就不能起到制动的作用，容易引发严重的安全故障。

传统的货车故障检测方式是动态检车人员对所有过车图像进行一一查看，若发现部件异常，则进行标记并处理。这种检车方式具有一定的局限性，需要检车人员具有高度的责任心，熟练掌握车辆的构造理论知识，熟知各部位常见故障形态及重要性，在人工检车过程中，由于货车底部区域较大，拍摄到的图像较多，工作量很大，长时间工作会导致疲劳、检车效率下降，因此通过图像自动识别技术识别故障，能提高识别效率，降低人员成本，货车运行安全得到强有力的保证。

由于货车车身底部区域较大，截断塞门部件相对整个底部区域占比较小，并且不同车型的截断塞门部件位置差异较大，不能从车厢底部图像中直接提取出截断塞门子图像，因此采用机器学习算法定位部件位置是关键，定位到部件的具体位置后才能继续进行手把故障的图像判定，为了解决定位问题，采用近些年日趋成熟的图像处理技术和机器学习算法对故障进行检测，节省人力、时间成本、提高了工作效率，促使铁路安全运行检测系统更加完善，具有广阔的应用前景。

发明内容

本发明的目的是为了现有技术中人工对货车进行检测时检测人员容易出现疲劳而导致检测效率低的问题，而提出了一种截断塞门手把关闭故障图像识别方法。

具体的，该方法包括：

步骤一、获取截断塞门部件图像和不包含截断塞门部件的图像，以截断塞门部件图像作为正样本，标记为1，不包含截断塞门部件的图像作为负样本，标记为0，将正负样本和对应的标记文件分为训练集和测试集；

步骤二、对步骤一中的训练集进行归一化处理，对归一化处理后的训练集进行HOG特征向量的提取；将提取的HOG特征向量输入到SVM线性分类器中，利用SVM线性分类器训练截断塞门部件特征模型；

步骤三、确定待检测的货车是否存在截断塞门部件，若存在，则通过截断塞门部件特征模型定位出待检测的截断塞门部件位置，获得待检测截断塞门部件图像；从待检测截断塞门部件图像中截取手把位置子图像，并判断手把位置子图像中手把是否存在，存在手把即为截断塞门手把关闭故障，不存在手把则为正常；具体过程为：归一化手把位置子图像，将归一化后的手把位置子图像分为多个子图像块；利用边缘检测算子计算子图像块的边缘，进而得到子图像块边缘点的数量，若边缘点数大于阈值，则认为该子图像块复杂度高，标记为1；子图像块标记为1的数量不超过总子图像块数量的一半，则为正常。

可选的，步骤三还包括：若子图像块标记为1的数量超过总子图像块数量的一半，则进一步计算手把位置子图像水平方向梯度，得到水平方向梯度图，并计算梯度图上边界和下边界的坐标点，分别构成上边界坐标点集合和下边界坐标点集合；分别对上边界坐标点集合和下边界坐标点集合进行直线拟合，拟合出上下边界两条直线；若两条线都存在，则存在手把上下边界轮廓，则计算两条直线间的夹角，若夹角在角度阈值范围内，判定为手把存在，即为手把关闭故障。

可选的，步骤三还包括：若两条线不完全存在或者两条线角度不在角度阈值范围内，则不存在手把上下边界轮廓，进而将手把位置子图像二值化，计算二值图像最大连通区域并根据最大连通区域设定手把结构特征参数范围；满足最大连通区域外轮廓的手把结构特征参数范围，则存在手把，即为手把关闭故障；若不满足手把结构特征参数范围，则不存在手把，即为正常。

可选的，步骤三中的确定待检测的货车是否存在截断塞门部件包括：获取预先建立的截断塞门部件数据库，截断塞门部件数据库包括：车型、车型对应的截断塞门数量和截断塞门的位置信息；确定待检测的货车的车型作为目标车型；从截断塞门部件数据库中确定目标车型所对应的截断塞门数量作为目标截断塞门数量；若目标截断塞门数量大于0，则确定待检测的货车存在截断塞门部件。

可选的，归一化后的手把位置子图像大小为64*128。

可选的，提取HOG特征向量时HOG结构的相关参数包括：HOG结构为矩形HOG、像素块16*16、块滑动增量为以步长为8的像素移动块；细胞单元为8*8的像素、单位特征向量数为每个细胞单元统计9维特征向量。

可选的，步骤三中SVM线性分类器为C类支持向量机，SVM核函数类型为线性内核，惩罚因子为0.01。

可选的，步骤四一中设定的阈值为100。

可选的，步骤三中的角度阈值范围为[0°，30°]。

可选的，手把结构特征参数范围包括：轮廓长宽比大于1.5，轮廓面积大于手把位置子图像面积的1/2，轮廓中心点坐标与手把位置子图像中心点距离小于40像素。

本发明的有益效果是：

1、采用SVM支持向量机算法和图像处理技术相结合的方式检测故障，能够适应不同车型的货车图像在复杂环境下造成的干扰，同时节省人力、时间成本、提高了工作效率，促使铁路安全运行检测系统更加完善，具有广阔的应用前景。

2、由于货车底部图像较大，不同车型截断塞门部件位置差异较大，因此，定位到部件的具体位置是故障识别的关键，采用提取HOG特征并结合SVM支持向量机定位的方式，比使用深度学习定位目标在速度上更快，节省了很多时间，能够满足故障检测的实时性要求。

3、提出了计算截断塞门手把图像轮廓复杂度的方法，通过该方法能够提高故障判定的效率，降低故障判别的误报率。

4、结合手把几何结构特征，设计计算各个结构特征参数的方法，能够进一步精确区分手把与非手把，再一次降低了故障判别的误报率。

5、采用多尺度故障判别方式，将手把子图的复杂度、手把上下边沿线夹角、手把几何结构特征结合来综合判断截断塞门手把是否关闭，提高了故障检测准确率。

附图说明

图1为故障图像识别流程图；

图2a为截断塞门部件示意图；

图2b为截断塞门手把关闭示意图；

图3为模型训练流程图；

图4为截断塞门部件定位结果；

图5为手把位置子图像；

图6为手把位置子图像水平梯度图及边沿线拟合；

图7为手把位置子图像最大连通区域；

图8为手把关闭故障判断流程图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间可以相互组合。

具体实施方式一：结合图1说明本实施方式，本实施方式一种截断塞门手把关闭故障图像识别方法，包括：

步骤一、获取截断塞门部件图像和不包含截断塞门部件的图像，以截断塞门部件图像作为正样本，标记为1，不包含截断塞门部件的图像作为负样本，标记为0，将正负样本和对应的标记文件分为训练集和测试集；

步骤二、对步骤一中的训练集进行归一化处理，对归一化处理后的训练集进行HOG特征向量的提取；将提取的HOG特征向量输入到SVM线性分类器中，利用SVM线性分类器训练截断塞门部件特征模型；

步骤三、确定待检测的货车是否存在截断塞门部件，若存在，则通过截断塞门部件特征模型定位出待检测的截断塞门部件位置，获得待检测截断塞门部件图像；

从待检测截断塞门部件图像中截取手把位置子图像，并判断手把位置子图像中手把是否存在，存在手把即为截断塞门手把关闭故障，不存在手把则为正常，具体过程为：

将归一化后的手把位置子图像分为多个子图像块；利用边缘检测算子计算子图像块的边缘，进而得到子图像块边缘点的数量，若边缘点数大于阈值，则认为该子图像块复杂度高，标记为1，若边缘点数小于阈值，则认为该子图像块复杂度低，标记为0；子图像块标记为1的数量不超过总子图像块数量的一半，则为正常。

在本实施例步骤一中，截断塞门部件图像可以采用以下方式获取：由TFDS-3货车轨边图像采集系统采集过车图像，通过读取服务器上的数据库及货车通过图像，得到完整的货车底部图像，采用自适应直方图均衡化算法处理图像，收集不同时间段、不同环境下、不同车型的货车底部图像；

在本实施例中，可以通过人工手动截取的方式截取出截断塞门部件子图像组成正样本数据集，标签设为1；再截取不包含截断塞门部件的底板图像组成负样本集，标签设为0；将上述正负样本图像对应的标签记录在txt文件中；将选择好的数据分成训练集和测试集；

通过计算图像的局部直方图，然后重新分布亮度来改变图像对比度，以获得更多的图像细节；训练集用来构建特征模型，测试集用来检验特征模型训练的效果表现；

在本实施例中，将正负样本和对应的标记文件分为训练集和测试集之后，还可以包括如下步骤：建立一个基于先验知识的截断塞门部件小型数据库(SQLite_Datebase)，小型数据库中存放车型、车型对应的截断塞门数量、截断塞门坐标信息；截断塞门坐标信息只起到对比作用，即图像定位坐标信息和先验知识坐标信息的比对，图像定位坐标信息是通过调用截断塞门部件特征模型的方式能够定位出一张完整底部图像中截断塞门部件的具体位置，小型数据库中的坐标信息通过先验知识得到，是部件的大致位置；

建立该数据库的目的是为后续识别截断塞门时提供车型数据对比依据；通过TFDS-3系统数据库能够获取运行过程中的货车车型，调用SQLite_Datebase小型数据库，能够搜索到该货车车型对应的截断塞门数量，若该车型无截断塞门部件，则不对该辆车进行塞门手把的判断；若该车型存在截断塞门，则继续进行塞门手把的识别判断；这样使识别算法更精炼，避免做不必要的图像检测，同时也提高了效率。

在本实施例步骤二中，归一化后的手把位置子图像大小为64*128，正样本数量取670个，负样本数量取1680个；

在本实施例中，可以将提取的HOG特征向量输入到SVM线性分类器中，使用SVM线性分类器训练截断塞门部件特征模型；利用测试数据集验证训练后的截断塞门部件特征模型，查看分类效果，即经过训练好的截断塞门部件特征模型验证测试集，判断特征模型是否能够准确的将测试数据集中的所有图像正确分类，若分类准确率达到100％，则认为此时截断塞门部件特征模型完成训练，否则重新训练模型，直至训练出测试数据集的分类准确率达到100％，图3为模型训练的过程。

在本实施方式步骤三中，需要在完整的货车底部图像中定位出截断塞门部件的具体位置，如图4所示；

首先读取TFDS-3服务器存储的货车图像及对应的车型；从截断塞门部件小型数据库(SQLite_Datebase)中搜索该车型对应的截断塞门数量；

若截断塞门数量为0，则该车不检测，直接检测下一辆车；若该辆车截断塞门数量大于0，则继续获取底部完整图像，可以采用网格式方式，将完整图像切割成多个子图像，并提取HOG特征向量；将图像HOG特征向量输入到SVM中，并依据训练好的截断塞门部件特征模型，定位出截断塞门部件的具体位置；将定位到的截断塞门部件坐标信息与小数据库中的先验知识坐标信息进行对比，计算距离差值，差值大于200像素，则说明图像定位截断塞门部件位置异常，不继续进行手把的判断；差值小于200像素，则说明图像定位截断塞门部件位置基本准确，可以继续进行下一步的手把判断。定位截断塞门部件结果如图4中白色框所示。

具体实施方式二：本实施方式与具体实施方式一不同的是，步骤三还包括：

当子图像块记为1的数量超过总图像块数量的一半，则进一步计算手把位置子图像水平方向的梯度，得到水平方向梯度图，梯度图如图6左所示，并计算梯度图的上边界和下边界的坐标点，分别构成上边界坐标点集合与下边界坐标点集合；并分别对这两个集合进行直线拟合，拟合出上下边界两条直线，如图6右所示；若双线存在，则认为存在手把上下边界轮廓，则计算两条直线间的夹角，夹角角度在角度阈值范围内，判定为手把存在，即为手把关闭故障。

在本实施方式中，可以按照从上到下，从左到右的顺序遍历水平方向梯度图，沿着图像边界遍历像素点，记录上边界像素点坐标，组成上边界坐标点集合；并按照从下到上，从左到右的顺序遍历水平方向梯度图，沿着图像边界遍历像素点，记录下边界像素点坐标，组成下边界坐标点集合。

在本实施例中设定的阈值为100。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤三还包括：

若两条直线不完全存在或者两条直线的夹角角度不在角度阈值范围内，则不存在手把上下边界轮廓，进而将手把位置子图像二值化，计算出二值图像的最大连通区域，最大连通区域如图7所示；根据最大连通区域设定手把结构特征参数范围；满足最大连通区域外轮廓的手把结构特征参数范围，则存在手把，即为手把关闭故障；若不满足手把结构特征参数范围，则不存在手把，即为正常。

实践中，为了更为全面、准确地对手把关闭故障进行识别，可以将上述具体实施方式中的判断手把关闭故障的方案相结合，具体的，如图8所示，本申请提供了一种手把关闭故障判断的完整流程图。

在本实施例中，设定的角度阈值范围为：[0°，30°]；最大连通区域外轮廓参数具体包括轮廓长宽比、轮廓面积以及轮廓中心点坐标，构成手把结构特征参数。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，提取HOG特征向量时，HOG结构的一些相关参数包括：

矩形HOG(R-HOG)；块(block)：16*16像素的块；块滑动增量：8*8像素，即以步长8像素移动块；细胞单元(cell)：细胞单元为8*8像素；单位特征向量数：每个细胞单元需要统计9维特征向量。

本实施例中，将样本图像中所有块(block)的HOG特征向量串联起来，即通过这几个参数能够计算出一张样本图像的HOG特征。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，步骤二中所用的SVM线性分类器为C类支持向量机，SVM核函数类型为线性内核，惩罚因子为0.01。

在本实施例中，通过以上参数组成SVM线性分类器SVM迭代训练的终止条件依据经验值可以设定其迭代次数为1000次；

通过大量的试验及理论分析可知，SVM的性能直接受核函数及其参数的影响，因此SVM结构中参数的选择非常重要，参数选取的好坏对SVM的分类精确程度影响很大。

其它步骤及参数与具体实施方式一至四之一相同。具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，步骤三中设定的手把结构特征参数范围包括：

轮廓长宽比大于1.5；

轮廓面积大于手把位置子图像面积的1/2；

轮廓中心点坐标与手把位置子图像中心点距离小于40像素。

其它步骤及参数与具体实施方式一至五之一相同。

需要说明的是，本申请还可包括其它多种实施例，在不背离本申请的精神及其实质的情况下，本领域技术人员可根据本申请作出各种相应的改变和变形，但这些相应的改变和变形都应属于本申请所附的权利要求的保护范围。

Claims (10)

1.一种截断塞门手把关闭故障图像识别方法，其特征在于，包括：

步骤一、获取截断塞门部件图像和不包含截断塞门部件的图像，以截断塞门部件图像作为正样本，标记为1，不包含截断塞门部件的图像作为负样本，标记为0，将正负样本和对应的标记文件分为训练集和测试集；

步骤二、对步骤一中的训练集进行归一化处理，对归一化处理后的训练集进行HOG特征向量的提取；将提取的HOG特征向量输入到SVM线性分类器中，利用SVM线性分类器训练截断塞门部件特征模型；

步骤三、确定待检测的货车是否存在截断塞门部件，若存在，则通过截断塞门部件特征模型定位出待检测截断塞门部件位置，获得待检测截断塞门部件图像；

从待检测截断塞门部件图像中截取手把位置子图像，并判断手把位置子图像中手把是否存在，存在手把即为截断塞门手把关闭故障，不存在手把则为正常；具体过程为：

归一化手把位置子图像，将归一化后的手把位置子图像分为多个子图像块；利用边缘检测算子计算子图像块的边缘，进而得到子图像块边缘点的数量，若边缘点数大于阈值，则认为该子图像块复杂度高，标记为1；子图像块标记为1的数量不超过总子图像块数量的一半，则为正常。

2.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，步骤三还包括：

若子图像块标记为1的数量超过总子图像块数量的一半，则进一步计算手把位置子图像水平方向梯度，得到水平方向梯度图，并计算梯度图上边界和下边界的坐标点，分别构成上边界坐标点集合和下边界坐标点集合；

分别对上边界坐标点集合和下边界坐标点集合进行直线拟合，拟合出上下边界两条直线；

若两条线都存在，则存在手把上下边界轮廓，则计算两条直线间的夹角，若夹角在角度阈值范围内，判定为手把存在，即为手把关闭故障。

3.根据权利要求2所述一种截断塞门手把关闭故障图像识别方法，其特征在于，步骤三还包括：

若两条线不完全存在或者两条线角度不在角度阈值范围内，则不存在手把上下边界轮廓，进而将手把位置子图像二值化，计算二值图像最大连通区域并根据最大连通区域设定手把结构特征参数范围；满足最大连通区域外轮廓的手把结构特征参数范围，则存在手把，即为手把关闭故障；若不满足手把结构特征参数范围，则不存在手把，即为正常。

4.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，所述步骤三中确定待检测的货车是否存在截断塞门部件；具体过程包括：

获取截断塞门部件数据库，所述截断塞门部件数据库包括：车型、车型对应的截断塞门数量和截断塞门的位置信息；

确定待检测的货车的车型作为目标车型；

从所述截断塞门部件数据库中确定所述目标车型所对应的截断塞门数量作为目标截断塞门数量；

若目标截断塞门数量大于0，则确定待检测的货车存在截断塞门部件。

5.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，所述归一化后的手把位置子图像大小为64*128。

6.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，所述提取HOG特征向量时HOG结构的相关参数包括：

HOG结构为矩形HOG、像素块16*16、块滑动增量为以步长为8的像素移动块；细胞单元为8*8的像素、单位特征向量数为每个细胞单元统计9维特征向量。

7.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，所述步骤三中SVM线性分类器为C类支持向量机，SVM核函数类型为线性内核，惩罚因子为0.01。

8.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，所述步骤四一中设定的阈值为100。

9.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，所述步骤三中的角度阈值范围为[0°，30°]。

10.根据权利要求1所述一种截断塞门手把关闭故障图像识别方法，其特征在于，所述手把结构特征参数范围包括：轮廓长宽比大于1.5，轮廓面积大于手把位置子图像面积的1/2，轮廓中心点坐标与手把位置子图像中心点距离小于40像素。

Images