CN115661757A - 一种受电弓拉弧自动检测方法 - Google Patents

Abstract

本发明公开了一种受电弓拉弧自动检测方法，具体为：1)用摄像机拍摄拉弧目标区域的图像；2)使用二值化方法，将图像中像素亮度超过阈值的像素点设置为全白，将未达到阈值的像素点设置为全黑；3)使用基于高斯混合前背景分割法，将图像高差异部分的前景与图像低差异部分的背景进行分离，将前景像素点设置为全白，将背景像素点设置为全黑；4)将步骤2)、步骤3)输出的结果进行“与”运算后，得到的图像为拉弧目标检测轮廓；5)对拉弧目标检测轮廓的图像进行截取后，使用CNN卷积神经网络对检测区域进行判定，对满足判定条件的图片识别为拉弧图像。本发明可提升受电弓拉弧检测的可靠性和准确性，提升了受电弓拉弧检测效率。

Description

一种受电弓拉弧自动检测方法

技术领域

本发明涉及一种轨道交通技术领域，尤其是一种基于计算机视觉和机器学习的受电弓拉弧自动检测方法。

背景技术

随着信息技术的发展，越来越多的设备制造商探索将在线检测设备应用到城市轨道交通行业中，近几年投入运营的电动客车基本都安装了受电弓视频监控装置，但大多数仅能对视频画面进行记录，无法对视频画面中拉弧画面进行检测和识别，只能通过人工回看视频的方式对拉弧画面进行识别，同时受电弓工作状态检测对保障城市轨道交通安全运营具有重要的意义。因此，能够对受电弓监控视频进行准确、高效和智能分析的需求日渐迫切。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种准确性稿、效率高的受电弓拉弧自动检测方法。

为实现上述目的，本发明一种受电弓拉弧自动检测方法，具体为：

1)用摄像机拍摄拉弧目标区域的图像；

2)使用二值化方法，将图像中像素亮度超过阈值的像素点设置为全白，将未达到阈值的像素点设置为全黑，对高亮区域进行强化；

3)使用基于高斯混合前背景分割法，将图像高差异部分的前景与图像低差异部分的背景进行分离，将前景像素点设置为全白，将背景像素点设置为全黑；

4)将步骤2)、步骤3)输出的结果进行“与”运算后，得到的图像为拉弧目标检测轮廓；

5)对拉弧目标检测轮廓的图像进行截取后，使用CNN卷积神经网络对检测区域进行判定，对满足判定条件的图片识别为拉弧图像。

进一步，所述步骤2)中，二值化方法的实现公式为：

其中，dst(x，y)为处理后图像中坐标为x，y像素点的灰度值，value(x，y)为输入图像中作为表x，y像素点的灰度值，thresh为设定的阈值。

进一步，所述阈值为254。

进一步，所述步骤3)中，高斯混合前背景分割法运用混合高斯背景建模，图像的每一个像素点按照不同权值的多个高斯分布的叠加来建模，每种高斯分布模型对应一个可能产生像素点所呈现的颜色状态，各个高斯分布的权值和分布参数随时间更新，设x_t为t时刻的像素样本，其中包含RGB三通道颜色值，使用向量进行表示：

x_t＝[x_tR x_tGx_tB]

其中，x_tR为t时刻的R通道的像素样本，x_tG为t时刻的G通道的像素样本，x_tB为t时刻的B通道的像素样本。

其服从的混合高斯分布概率密度函数为：

其中，K为分布模式总数，η(x_t，μ_i，t，τ_i，t)为t时刻的第i个高斯分布，μ_i，t为其RGB三颜色通道的均值矩阵，τ_i，t为RGB三颜色通道值协方差组成的对角矩阵，w_i，t为t时刻第i个高斯分布的权重。式中涉及到矩阵计算，“T”表示对矩阵进行转置操作，“-1”表示对矩阵的逆运算。

进一步，所述步骤3)的具体步骤为：

A、每个新的像素样本x_t同当前K个模型进行比较，直到找到匹配新的像素样本的分布模型；

B、如果所匹配的模型符合背景要求，则判定该像素属于背景，否则属于前景；

C、如果判断属于背景，计算权值增量后对各模型的权值进行更新，如果判断为前景，则按照新的像素样本x_t建立模型，并赋予较小的权重值；

D、对各模型权重进行归一化；

F、往复步骤A-D，实现动态视频的前背景持续分离。

进一步，所述步骤4)中，对运算后的图像进行滤波处理，滤波方式采用滑动窗口中值滤波法，具体为：

F)取出图像中第1个像素，及以第1个像素为中心周围3x3范围内的像素点颜色值；

G)将取出的9个像素值的颜色值进行排序，取中间数；

H)将中间数的数值赋予第1个像素的颜色值上；

I)对第2个像素采用相同的处理方法，以此类推对图片中所有的像素进行处理。

进一步，所述步骤5)中基于CNN卷积神经网络的机器学习模型，通过CNN卷积提取图片特征，通过神经网络建立识别模型，实现对拉弧图像与非拉弧图像的区分。

进一步，所述CNN卷积神经网络包括3层：

1)卷积层：用于对图像特征的提取；

2)池化层：将卷积层输出的矩阵分割成若干小块，并将每块中的最大值提取；

3)全连接层：经过卷积层和池化层的处理后形成特征值，按照神经元模型设定的权重值对特征值进行求和，对输出结果进行判断。

进一步，所述神经网络建立识别模型，包括：

模型的第一部分：前2个卷积层均是32个3×3的卷积核，滑动步长取1，输出32个特征图，大小为64×64，采用ReLU激活函数激活处理，其次接1个核大小为2×2的最大池化层，特征图大小变为32×32，其次接Dropout层，随机丢弃25％的信息；

模型的第二部分：最后2个卷积层均是64个3×3的卷积核，滑动步长取1，输出64个特征图，大小为32×32，采用ReLU激活函数激活处理，其次接1个最大池化层，核大小为2×2，特征图大小变为16×16，其次接Dropout层，随机丢弃25％的信息；

模型的第三部分：将卷积层的数据经Flatten层处理后，接全连接层，其次接Dropout层，随机丢弃25％的信息后，接全连接层，最终输出二分类的拉弧识别结果。

进一步，所述全连接层中使用2个神经元模型权重。

本发明受电弓拉弧自动检测方法，可提升受电弓拉弧检测的可靠性和准确性，还极大提升了受电弓拉弧检测效率。

附图说明

图1为本发明流程示意图；

图2为经过二值化处理后的图像；

图3为经过高斯混合前背景分割法后的效果图；

图4为拉弧目标检测轮廓示意图；

图5为本发明的机器学习模型；

图6为模型精度及损失变化趋势示意图。

具体实施方式

下面将结合附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明一种受电弓拉弧自动检测方法，将弓网摄像机拍摄的画面进行像素处理，增强高亮弧光的图像特征，当图像特征一定条件时则判定为电弧光，并对画面进行截图保存。

在实际环境中由于地铁电动客车在地下的运行环境太过复杂，运行过程中的灯光以及其他外界光源会对识别结果产生影响，针对此情况，本方法首先对根据发生拉弧时图像的变化规律，对视频图像处理和过滤，检测满足规律的目标，然后对目标图像使用图像识别技术进行识别，判定是否为电弧闪光。流程如图1所示。

通过对大量的拉弧视频进行分析后，发现拉弧图像存在以下特征：

1、弧光的亮度较高，与周围其他光源的差异非常明显；

2、发生拉弧的视频帧较上一段时间内的视频图像差异非常明显。

对于特征1，使用二值化方法，将图像中像素亮度超过阈值的像素点设置为全白，将未达到阈值的像素点设置为全黑，对高亮区域进行强化，具体的实现公式如下：

其中，dst(x,y)为处理后图像中坐标为x,y像素点的灰度值，value(x,y)为输入图像中作为表x,y像素点的灰度值，thresh为设定的阈值，其中像素点的灰度值越高表示其亮度越大，255为全白，0为全黑，为最大程度消除干扰，本方法中thresh值设为254，图2为经过二值化处理后的图像。

对于特征2，使用基于高斯混合前背景分割法，将前景(图像高差异部分)与背景(图像低差异部分)分离，将前景像素点设置为全白，将背景像素点设置为全黑。

混合高斯背景建模是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景，然后使用统计差分进行目标像素判断，可以对复杂动态背景进行建模，对于混合高斯背景建模，图像的每一个像素点按照不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现的颜色状态，各个高斯分布的权值和分布参数随时间更新，设x_t为t时刻的像素样本，其中包含RGB三通道颜色值，使用向量进行表示：

x_t＝[x_tR x_tGx_tB]

其服从的混合高斯分布概率密度函数为：

其中，K为分布模式总数，η(x_t,μ_i,t,τ_i,t)为t时刻的第i个高斯分布，μ_i,t为其RGB三颜色通道的均值矩阵，τ_i,t为RGB三颜色通道值协方差组成的对角矩阵，w_i,t为t时刻第i个高斯分布的权重。式中涉及到矩阵计算，“T”表示对矩阵进行转置操作，“-1”表示对矩阵的逆运算。

图3为经过高斯混合前背景分割法后的效果图，高斯混合前背景分割法，具体为：

1、每个新的像素样本x_t同当前K个模型进行比较，直到找到匹配新的像素样本的分布模型；

2、如果所匹配的模式符合背景要求，则判定该像素属于背景，否则属于前景；

3、如果判断属于背景，计算权值增量后对各模式的权值进行更新，如果判断为前景，则按照新的像素样本x_t建立模型，并赋予较小的权重值；

4、对各模式权重进行归一化；

5、往复上述步骤1-4，实现动态视频的前背景持续分离。

经过二值化及高斯混合前背景分割处理后的图像，已满足上述的特征1、特征2，将二值化方法中输出的结果与高斯混合前背景分割法中输出的结果进行“与”运算后得到的图像即为拉弧目标检测轮廓，如图4所示。

在实际的测试过程中，由于前景检测中存在的一些噪声，需要对运算后的图像进行滤波处理，滤波方式采用滑动窗口中值滤波法，具体流程如下：

1、取出图像中第1个像素，及以第1个像素为中心周围3x3范围内的像素点颜色值；

2、将取出的9个像素值的颜色值进行排序，取中间数；

3、将中间数的数值赋予第1个像素的颜色值上；

4、对第2个像素采用相同的处理方法，以此类推对图片中所有的像素进行处理。

得到拉弧目标检测轮廓图后，使用轮廓检测寻找图中是否存在轮廓，经过前面的处理后画面中白色部分的颜色值为255，黑色部分的颜色值为0，判断轮廓的方法是检测图中的某一个像素点与其周围的像素点是否颜色值不同，如颜色值不同则判定此像素点处于轮廓上，以此类推对整个图片中所有的像素点进行判断后，生成边界像素点集合，此集合包含每个像素点在图像中的坐标位置(x,y)，用x_max表示所有点的x坐标最大值，x_min表示所有点的x坐标最小值，y_max表示所有点的y坐标最大值，y_min表示所有点的y坐标最小值，使用一个中心坐标为

长为x_max-x_min，宽为y_max-y_min的矩形在视频帧中截取一个矩形图像，即可获得拉弧目标检测结果。

经过图像处理后，可获得若干个拉弧目标检测对象，但其中也存在由于强光变化、反光等其他原因导致的非拉弧的图像，对此情况，需要进一步对识别出的目标检测对象进行图像识别，以区别是否为拉弧，此处采用的方法是基于CNN卷积神经网络的机器学习模型，通过CNN卷积提取图片特征，通过神经网络建立识别模型，实现对拉弧图像与非拉弧图像的区分。

本发明中，采用如图5所示的机器学习模型。CCN卷积神经网络中，主要分为3层：

1)卷积层：通过使用特定的卷积核，采用与上述相同的滑动窗口的方式目标图像进行卷积运算，将图像中与卷积核大小相同的像素格内的颜色值与卷积核矩阵进行乘法运算，并将运算结果相加，随着窗口滑动，反复上述过程，并将相加的结果生成一个新的矩阵，采用不同的卷积核，能够强化图像中的特征，因此卷积层用于对图像特征的提取。

2)池化层：经过卷积层运算后特征得到了增强，但也导致了卷积层的输出非常庞大，池化层的作用就是减少数据大小，池化层的工作原理是将卷积层输出的矩阵分割成若干小块，并将每块中的最大值提取，由于强特征的数值在卷积层中得到了增强，因此在池化层处理过后，原有的强特征数据不会丢失，同时也减少的数据大小。

3)全连接层：经过卷积层和池化层的处理后形成特征值，按照神经元模型设定的权重值对特征值进行求和，对输出结果进行判断，由于只需要识别拉弧与非拉弧两种状态，因此只要使用2个神经元模型权重即可。

本方法中的神经网络建立识别模型描述如下：

模型的第一部分：前2个卷积层均是32个3×3的卷积核，滑动步长取1，输出32个特征图，大小为64×64，采用ReLU激活函数激活处理，其次接1个核大小为2×2的最大池化层，特征图大小变为32×32，其次接Dropout层，随机丢弃25％的信息；

模型的第二部分：最后2个卷积层均是64个3×3的卷积核，滑动步长取1，输出64个特征图，大小为32×32，采用ReLU激活函数激活处理，其次接1个最大池化层，核大小为2×2，特征图大小变为16×16，其次接Dropout层，随机丢弃25％的信息；

模型的第三部分：将卷积层的数据经Flatten层处理后，接全连接层(256个神经元)，其次接Dropout层，随机丢弃25％的信息后，接全连接层(2个神经元)，最终输出二分类的拉弧识别结果。

模型训练中，本方法采用成熟的计算机视觉和机器学习软件框架，设定各项参数后，在win10系统，i7系列8核CPU、16G内存的环境中训练，完成一次训练所需时间约为25小时。

模型精度及损失变化趋势如图6所示，可以看出，训练500次后，模型训练精度达到99.23％，验证精度达到99.0％。训练损失最终趋向于1.99％，而验证损失度在训练200次之后，基本都在15％以内。

本发明的技术方案在试验过程中，每日随机下载两列车的受电弓监控视频，使用该项目软件分析，实际应用识别准确率在85％以上。表明本发明提出的受电弓拉弧自动检测方法可满足实际运维需要。

本发明一种基于计算机视觉和机器学习的受电弓拉弧自动检测方法，利用计算机视觉技术，识别出可能存在拉弧的目标区域，然后将该目标区域图像输入到机器学习模型中，最终输出拉弧与否的判别结果。应用该方法，不但可提升受电弓拉弧检测的可靠性和准确性，还极大提升了受电弓拉弧检测效率。

本发明通过研究对受电弓监控视频自动判别是否存在拉弧的可行性，试验及测试分析表明，该方法能有效识别受电弓拉弧，准确率满足实际运维工作需要，可有效提升工作效率。

Claims (10)

1.一种受电弓拉弧自动检测方法，其特征在于，该检测方法具体为：

1)用摄像机拍摄拉弧目标区域的图像；

2)使用二值化方法，将图像中像素亮度超过阈值的像素点设置为全白，将未达到阈值的像素点设置为全黑，对高亮区域进行强化；

3)使用基于高斯混合前背景分割法，将图像高差异部分的前景与图像低差异部分的背景进行分离，将前景像素点设置为全白，将背景像素点设置为全黑；

4)将步骤2)、步骤3)输出的结果进行“与”运算后，得到的图像为拉弧目标检测轮廓；

5)对拉弧目标检测轮廓的图像进行截取后，使用CNN卷积神经网络对检测区域进行判定，对满足判定条件的图片识别为拉弧图像。

2.如权利要求1所述的受电弓拉弧自动检测方法，其特征在于，所述步骤2)中，二值化方法的实现公式为：

其中，dst(x,y)为处理后图像中坐标为x,y像素点的灰度值，value(x,y)为输入图像中作为表x,y像素点的灰度值，thresh为设定的阈值。

3.如权利要求2所述的受电弓拉弧自动检测方法，其特征在于，所述阈值为254。

4.如权利要求1所述的受电弓拉弧自动检测方法，其特征在于，所述步骤3)中，高斯混合前背景分割法运用混合高斯背景建模，图像的每一个像素点按照不同权值的多个高斯分布的叠加来建模，每种高斯分布模型对应一个可能产生像素点所呈现的颜色状态，各个高斯分布的权值和分布参数随时间更新，设x_t为t时刻的像素样本，其中包含RGB三通道颜色值，使用向量进行表示：

x_t＝[x_tR x_tGx_tB]

其服从的混合高斯分布概率密度函数为：

其中，K为分布模式总数，η(x_t,μ_i,t,τ_i,t)为t时刻的第i个高斯分布，μ_i,t为其RGB三颜色通道的均值矩阵，τ_i,t为RGB三颜色通道值协方差组成的对角矩阵，w_i,t为t时刻第i个高斯分布的权重。式中涉及到矩阵计算，“T”表示对矩阵进行转置操作，“-1”表示对矩阵的逆运算。

5.如权利要求1所述的受电弓拉弧自动检测方法，其特征在于，所述步骤3)的具体步骤为：

A、每个新的像素样本x_t同当前K个模型进行比较，直到找到匹配新的像素样本的分布模型；

B、如果所匹配的模型符合背景要求，则判定该像素属于背景，否则属于前景；

C、如果判断属于背景，计算权值增量后对各模型的权值进行更新，如果判断为前景，则按照新的像素样本x_t建立模型，并赋予较小的权重值；

D、对各模型权重进行归一化；

E、往复步骤A-D，实现动态视频的前背景持续分离。

6.如权利要求1所述的受电弓拉弧自动检测方法，其特征在于，所述步骤4)中，对运算后的图像进行滤波处理，滤波方式采用滑动窗口中值滤波法，具体为：

F)取出图像中第1个像素，及以第1个像素为中心周围3x3范围内的像素点颜色值；

G)将取出的9个像素值的颜色值进行排序，取中间数；

H)将中间数的数值赋予第1个像素的颜色值上；

I)对第2个像素采用相同的处理方法，以此类推对图片中所有的像素进行处理。

7.如权利要求1所述的受电弓拉弧自动检测方法，其特征在于，所述步骤5)中基于CNN卷积神经网络的机器学习模型，通过CNN卷积提取图片特征，通过神经网络建立识别模型，实现对拉弧图像与非拉弧图像的区分。

8.如权利要求7所述的受电弓拉弧自动检测方法，其特征在于，所述CNN卷积神经网络包括3层：

1)卷积层：用于对图像特征的提取；

2)池化层：将卷积层输出的矩阵分割成若干小块，并将每块中的最大值提取；

3)全连接层：经过卷积层和池化层的处理后形成特征值，按照神经元模型设定的权重值对特征值进行求和，对输出结果进行判断。

9.如权利要求7所述的受电弓拉弧自动检测方法，其特征在于，所述神经网络建立识别模型，包括：

模型的第一部分：前2个卷积层均是32个3×3的卷积核，滑动步长取1，输出32个特征图，大小为64×64，采用ReLU激活函数激活处理，其次接1个核大小为2×2的最大池化层，特征图大小变为32×32，其次接Dropout层，随机丢弃25％的信息；

模型的第二部分：最后2个卷积层均是64个3×3的卷积核，滑动步长取1，输出64个特征图，大小为32×32，采用ReLU激活函数激活处理，其次接1个最大池化层，核大小为2×2，特征图大小变为16×16，其次接Dropout层，随机丢弃25％的信息；

模型的第三部分：将卷积层的数据经Flatten层处理后，接全连接层，其次接Dropout层，随机丢弃25％的信息后，接全连接层，最终输出二分类的拉弧识别结果。

10.如权利要求8所述的受电弓拉弧自动检测方法，其特征在于，所述全连接层中使用2个神经元模型权重。

Images