CN109117849A - 深度学习技术在车站列车运行监测预警系统的应用 - Google Patents

深度学习技术在车站列车运行监测预警系统的应用 Download PDF

Info

Publication number
CN109117849A
CN109117849A CN201810785045.2A CN201810785045A CN109117849A CN 109117849 A CN109117849 A CN 109117849A CN 201810785045 A CN201810785045 A CN 201810785045A CN 109117849 A CN109117849 A CN 109117849A
Authority
CN
China
Prior art keywords
car door
texture
image
region
door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810785045.2A
Other languages
English (en)
Inventor
洑云海
徐伟
王俊刚
滑志勇
胡洪磊
雷声
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Optical Electrical Gaosi Communication Engineering Technology Co ltd
China Academy of Railway Sciences Corp Ltd CARS
China Railway Beijing Group Co Ltd
Original Assignee
Tianjin Optical Electrical Gaosi Communication Engineering Technology Co ltd
China Academy of Railway Sciences Corp Ltd CARS
China Railway Beijing Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Optical Electrical Gaosi Communication Engineering Technology Co ltd, China Academy of Railway Sciences Corp Ltd CARS, China Railway Beijing Group Co Ltd filed Critical Tianjin Optical Electrical Gaosi Communication Engineering Technology Co ltd
Priority to CN201810785045.2A priority Critical patent/CN109117849A/zh
Publication of CN109117849A publication Critical patent/CN109117849A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明提供了深度学习技术在车站列车运行监测预警系统的应用，涉及图像检测识别技术领域，首先，采集输入图像并进行滤波；其次，提取图像纹理，获得纹理区域，对图像进行二值化，修补纹理；再次，提取车门纹理，建立车门样本空间，并对其进行聚类；然后，识别车门位置，判定车门状态，获取车门开启区域，将车门开启区域图像传送至深度学习服务器；最后，深度学习服务器对图像进行前向传播计算，将计算结果回传并输出，同时输出报警结果。该技术方案采用计算机视觉算法与神经网络二次检测技术相结合，实现了列车车门状态识别，提高了识别率和准确率，缩短了平均检测时间，从而缓解了现有技术存在的列车车门状态识别率低，准确率低的技术问题。

Description

深度学习技术在车站列车运行监测预警系统的应用
技术领域
本发明涉及图像检测识别技术领域，尤其是涉及深度学习技术在车站列车运行监测预警系统的应用。
背景技术
目前，货车车门保持关闭是保证铁路运行安全和货物安全的重要措施。列车运行是在动态状态下的，如果车门未正常关闭则容易引发货物蹿出，或由于气流涌入导致车厢内货物滚动、倾覆或者坠落。用货车运输货物时，容易出现车门开启的安全隐患，因此，保持车门关闭是列车行车安全中最为基础的安全防护手段之一。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现阶段对于车门开启的检测识别只能通过人工检视的方式进行隐患排除，不仅需要很多的人力，增加了工作量，且常常由于列车运行速度过快，容易导致人体的视觉疲劳，进而出现漏检的情况，现有技术无法对列车运行时的车门状态进行快速识别。因此，现有技术存在列车车门状态识别率低，准确率低的技术问题。
发明内容
有鉴于此，本发明的目的在于提供深度学习技术在车站列车运行监测预警系统的应用，以缓解现有技术存在的列车车门状态识别率低，准确率低的技术问题。
本发明实施例提供了深度学习技术在车站列车运行监测预警系统的应用，包括如下步骤：
通过线阵相机或面阵相机采集输入图像；
对输入图像进行滤波；
基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域；
利用纹理区域对图像进行二值化；
对完成二值化的图像进行纹理修补；
对完成纹理修补后的纹理区域进行车门纹理提取；
建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类；
识别车门位置，判定车门状态；
当车门状态为开启时，获取车门开启区域，将车门开启区域的图像传送至深度学习服务器，当传输失败时，输出报警结果；
深度学习服务器采用深度神经网络模型对图像进行前向传播计算；
将深度学习服务器生成的计算结果回传并输出。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，对输入图像进行滤波，具体为：采用高斯滤波器对输入图像进行卷积平滑处理。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域，具体为：
对于完成滤波的图像中的点f(xi,yi)若满足：
给定一个d0∈[dmin,∞]，及x0∈R，对于所有的xi∈[x0,x0+d0]均有
则图像区域R中的区域S(xi,yi)，xi∈[x0,x0+d0]为图像的纹理区域；
其中，R为图像区域，dmin为预设的纹理最短长度，T1为x方向的差分阈值，T2为y方向的差分阈值。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，对完成二值化的图像进行纹理修补，具体为：将二值化后的图像区域进行x方向的闭运算。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，对完成纹理修补后的纹理区域进行车门纹理提取，具体为：
对于修补后纹理区域S(xi,yi)，xi∈[x0,x0+d1]，若满足d1∈[lmin,lmax]，则认为S(xi,yi)处于车门区域；
其中，lmin、lmax分别为车门纹理长度最小经验阈值和车门纹理长度最大经验阈值。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类，具体为：
建立样本空间：
对于提取完毕的车门区域纹理S(xi,yi)，xi∈[x0,x0+d1]，其中，x0表示车门的左侧边缘坐标，x0+d1表示车门的右侧边缘坐标；根据左侧边缘坐标建立左侧车门样本空间，根据右侧边缘坐标建立右侧车门样本空间；
进行样本聚类：
设定左侧车门样本空间和右侧车门样本空间的聚类数量为2，分别选取两个样本空间中的最大值和最小值作为聚类中心；
判断聚类是否收敛；收敛标准为类间方差和其中，Si为此聚类的样本空间，ci为聚类中心，D0为方差经验阈值；且Si中样本数量大于给定值的样本数量N0；
设定聚类空间的半径ri≤r0，r0为半径经验阈值；
计算相邻两次迭代的类间方差和的差值，当差值小于给定值ε0，且不满足收敛标准时，则判定此样本空间中存在噪声，将与聚类中心ci距离最大的样本剔除并重新进行样本聚类。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，识别车门位置，判定车门状态，具体为：
根据车门样本空间聚类得到的左侧车门坐标和右侧车门坐标，计算左侧车门的右坐标和右侧车门的左坐标的差值，将差值与车门缝隙经验阈值相比较，当差值不大于车门缝隙经验阈值时，判定车门为关闭状态，否则，判定车门为开启状态。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，深度神经网络模型包括：卷积层、池化层和全连接层，深度神经网络模型输出结果为二维向量，并对二维向量进行softmax计算，得到车门状态的概率形式。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，深度神经网络模型训练时的神经网络损失函数L为L(Yf(x))＝(Y-f(x))2，反向传播学习率设定为0.001。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，还包括对深度神经网络模型在训练时进行参数正则化，正则化方式为：l1-norm，即损失函数L’为L'(Yf(x))＝(Y-f(x))2+α||ω1。
本发明实施例带来了以下有益效果：本发明实施例所提供的深度学习技术在车站列车运行监测预警系统的应用，首先，通过线阵相机或面阵相机采集输入图像，对输入图像进行滤波；其次，基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域，利用纹理区域对图像进行二值化，对完成二值化的图像进行纹理修补；再次，对完成纹理修补后的纹理区域进行车门纹理提取，建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类；然后，识别车门位置，判定车门状态，当车门状态为开启时，获取车门开启区域，将车门开启区域的图像传送至深度学习服务器，当传输失败时，输出报警结果；最后，深度学习服务器采用深度神经网络模型对图像进行前向传播计算，将深度学习服务器生成的计算结果回传并输出。该技术方案采用计算机视觉算法与神经网络二次检测技术相结合，实现了列车多种运行状态下的车门状态识别，提高了车门状态识别的识别率和准确率，降低了状态识别的误报率，缩短了单节车厢的平均检测时间，提高了列车车门识别的效率，从而缓解了现有技术存在的列车车门状态识别率低，准确率低的技术问题。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用的流程图；
图2为本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S1的状态输出示意图；
图3为本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S4的状态输出示意图；
图4为本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S7中建立样本空间的状态输出示意图；
图5为本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S7中进行样本聚类的状态输出示意图；
图6为本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S10中深度学习过程的特征演示图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现阶段对于车门开启的检测识别只能通过人工检视的方式进行隐患排除，不仅需要很多的人力，增加了工作量，且常常由于列车运行速度过快，容易导致人体的视觉疲劳，进而出现漏检的情况，现有技术无法对列车运行时的车门状态进行快速识别，基于此，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用，可以实现列车车门状态识别，提高了其识别率和准确率，提高了列车车门识别的效率。
参见图1，本发明实施例所提供的深度学习技术在车站列车运行监测预警系统的应用的流程图。本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用，包括如下步骤：
S1：通过线阵相机或面阵相机采集输入图像，输入图像的格式为任意主流图像格式，如jpg、bmp、png等。参见图2，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S1的状态输出示意图。
S2：对输入图像进行滤波。进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，对输入图像进行滤波，具体为：采用标准差较大的高斯滤波器对输入图像进行卷积平滑处理，消除噪声影响，并提高输入图像横向相似度，高斯滤波窗的形状选用横向条形。
S3：基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域。进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域，具体为：
对于完成滤波的图像中的点f(xi,yi)若满足：
给定一个d0∈[dmin,∞]，及x0∈R，对于所有的xi∈[x0,x0+d0]均有
则图像区域R中的区域S(xi,yi)，xi∈[x0,x0+d0]为图像的纹理区域；
其中，R为图像区域，dmin为预设的纹理最短长度，T1为x方向的差分阈值，T2为y方向的差分阈值。
S4：利用纹理区域对图像进行二值化。参见图3，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S4的状态输出示意图。
S5：对完成二值化的图像进行纹理修补，修复因图像质量问题造成的纹理断裂。进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，对完成二值化的图像进行纹理修补，具体为：将二值化后的图像区域进行x方向的闭运算。
S6：对完成纹理修补后的纹理区域进行车门纹理提取。进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，对完成纹理修补后的纹理区域进行车门纹理提取，具体为：
对于修补后纹理区域S(xi,yi)，xi∈[x0,x0+d1]，若满足d1∈[lmin,lmax]，则认为S(xi,yi)处于车门区域；
其中，lmin、lmax分别为车门纹理长度最小经验阈值和车门纹理长度最大经验阈值。
S7：建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类。进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类，具体为：
建立样本空间：对于提取完毕的车门区域纹理S(xi,yi)，xi∈[x0,x0+d1]，其中，x0表示车门的左侧边缘坐标，x0+d1表示车门的右侧边缘坐标；根据左侧边缘坐标建立左侧车门样本空间，根据右侧边缘坐标建立右侧车门样本空间。参见图4，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S7中建立样本空间的状态输出示意图。
进行样本聚类：货车的车门为两扇，因此设定左侧车门样本空间和右侧车门样本空间的聚类数量为2，分别选取两个样本空间中的最大值和最小值作为聚类中心。
判断聚类是否收敛；因车门处提取出的纹理通常较多，且坐标具有区域密集性，因此设定收敛标准为类间方差和其中，Si为此聚类的样本空间，ci为聚类中心，D0为方差经验阈值；且Si中样本数量大于给定值的样本数量N0。
根据车门处纹理坐标区域密集性的特点，为排除一些离散噪声的干扰，设定聚类空间的半径ri≤r0，r0为半径经验阈值。
计算相邻两次迭代的类间方差和的差值，当类间方差和的差值小于给定值ε0，且不满足前述的收敛标准时，则判定此样本空间中存在噪声。将与聚类中心ci距离最大的样本剔除并重新进行样本聚类。此外，若存在与聚类中心距离相等的多个样本，则剔除其位于样本空间的最外侧样本。参见图5，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S7中进行样本聚类的状态输出示意图。
S8：识别车门位置，判定车门状态。进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，识别车门位置，判定车门状态，具体为：
以前述S7中的聚类方法对前述两个样本空间进行聚类后，根据车门样本空间聚类得到的左侧车门坐标和右侧车门坐标，计算左侧车门的右坐标和右侧车门的左坐标的差值，将差值与车门缝隙经验阈值相比较，当差值不大于车门缝隙经验阈值时，判定车门为关闭状态，否则，判定车门为开启状态。
S9：当车门状态为开启时，获取S8中判定为车门开启的区域，将图像以3线性插值方式缩放至250W×500H，通过socket协议通信协议将车门开启区域的图像传送至深度学习服务器，当传输失败时，输出报警结果。
S10：深度学习服务器采用深度神经网络模型对图像进行前向传播计算。进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，深度神经网络模型包括：卷积层、池化层和全连接层，具体的为，神经网络包含21层卷积层，卷积窗大小均为3×3，各层卷积核数分别为(48，96，192，384，384，384，384，384，384，384，384，384，384，384，384，384，1024，1024，512，512，256)；5层池化层，池化方式均为MaxPooling，步长均为2，设置位置分别为第1、2、3、16、18卷积层之后；3层全连接层，位于第21卷积层之后，神经元数量分别为(1024，1024，2)。
深度神经网络模型输出结果为二维向量，并对二维向量进行softmax计算，得到车门状态的概率形式。具体的，softmax计算函数为：
通过softmax函数，可以使得P(i)的范围在[0,1]之间，使最终的二维向量转换为车门是否开启的概率表述形式。参见图6，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，S10中深度学习过程的特征演示图。
进一步的，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，深度神经网络模型训练时的神经网络损失函数L为L(Yf(x))＝(Y-f(x))2，反向传播学习率设定为0.001。
进一步的，因神经网络模型层数较多，参数量大，本发明实施例提供的深度学习技术在车站列车运行监测预警系统的应用中，还包括对深度神经网络模型在训练时进行参数正则化，正则化方式为：l1-norm，即损失函数L’为L'(Y|f(x))＝(Y-f(x))2+α||ω||1。可以推导得出当使用梯度下降方法对网络进行优化时，损失函数中正则项对参数ω的偏导始终为-1或1，即在训练迭代过程中ω会以相对恒定的速率逼近于0，网络收敛后，将会有一定数量的参数被置为极接近于0的数，达到使网络稀疏的目的，从而有效对抗因参数量大造成的过拟合现象。
S11：将深度学习服务器生成的计算结果回传并输出。
本发明的效果可以通过以下仿真实验说明：
1、实验条件
本次模拟中一共选取了3047幅铁路货车车门关闭图片及189幅铁路货车车门开启图片进行了实验，实验的硬件环境：
图像采集设备：线阵CCD，行频不低于28kHz。
算法服务器：Intel(R)Core(TM)i7-8700k CPU@3.70GHz RAM 8.00GB，Windows7桌面版操作系统。
深度学习服务器：Intel(R)Core(TM)i5-2300CPU@2.80GHz RAM 4.00GB，训练端显卡GTX TITAN X 12G显存，部署端显卡GTX 1070 8G显存，运行软件环境Ubuntu16.04，深度学习框架采用Caffe。用C++程序对接caffe接口实现了本发明提出的方法。
2、实验内容与结果
(1)获取图片。利用线阵CCD相机，在铁路现场获得每辆车实时图像，其分辨率不小于7000*2048个像素，每个像素点精度为2mm；图像为单通道JPG格式；
(2)对输入图像进行滤波、提取图像纹理，获得纹理区域并进行二值化，经过纹理修补后提取车门纹理；
(3)为减少计算量，节约程序运行时间开销，将图像缩放，尺度为0.5，执行K-Means算法提取疑似车门开启区域；
(4)截取疑似车门开启区域部分的图像，缩放至250W×500H，通过socket协议传输至深度学习服务器；
(5)如传输超时则直接输出车门开启报警，如传输成功则将图像扩展至3通道，执行神经网络前向传播；
(6)将前向传播结果的二维向量做softmax计算，数据回归至[0,1]区间，取整并得到最终结果，将结果回传并输出报警信息。
选用正确识别率和每幅图片的平均检测识别时间对本次模拟的有效性进行评估。其中：正确识别率定义为正确识别的图片个数与总的车门开启图片数目之比；误识率定义为错误识别的图片个数与总的车门关闭图片数目之比；结果如表1所示。
表1为仿真模拟的正确识别率、误识率和平均识别时间的结果
正确识别率 95.24％
误识率 0.197％
平均识别时间(s) 0.22
由表1可得知，正确识别率、误识率和每幅图片的平均检测识别时间三个评价指标均表明了本算法的有效性。
本发明实施例带来了以下有益效果：本发明实施例所提供的深度学习技术在车站列车运行监测预警系统的应用，首先，通过线阵相机或面阵相机采集输入图像，对输入图像进行滤波；其次，基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域，利用纹理区域对图像进行二值化，对完成二值化的图像进行纹理修补；再次，对完成纹理修补后的纹理区域进行车门纹理提取，建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类；然后，识别车门位置，判定车门状态，当车门状态为开启时，获取车门开启区域，将车门开启区域的图像传送至深度学习服务器，当传输失败时，输出报警结果；最后，深度学习服务器采用深度神经网络模型对图像进行前向传播计算，将深度学习服务器生成的计算结果回传并输出。该技术方案采用计算机视觉算法与神经网络二次检测技术相结合，实现了列车多种运行状态下的车门状态识别，提高了车门状态识别的识别率和准确率，降低了状态识别的误报率，缩短了单节车厢的平均检测时间，提高了列车车门识别的效率，从而缓解了现有技术存在的列车车门状态识别率低，准确率低的技术问题。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.深度学习技术在车站列车运行监测预警系统的应用，其特征在于，包括如下步骤：
通过线阵相机或面阵相机采集输入图像；
对所述输入图像进行滤波；
基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域；
利用所述纹理区域对图像进行二值化；
对完成二值化的图像进行纹理修补；
对完成纹理修补后的纹理区域进行车门纹理提取；
建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类；
识别车门位置，判定车门状态；
当车门状态为开启时，获取车门开启区域，将车门开启区域的图像传送至深度学习服务器，当传输失败时，输出报警结果；
深度学习服务器采用深度神经网络模型对图像进行前向传播计算；
将深度学习服务器生成的计算结果回传并输出。
2.根据权利要求1所述的应用，其特征在于，所述对所述输入图像进行滤波，具体为：采用高斯滤波器对所述输入图像进行卷积平滑处理。
3.根据权利要求1所述的应用，其特征在于，所述基于完成滤波的图像的横向相似度提取图像纹理，获得纹理区域，具体为：
对于完成滤波的图像中的点f(xi,yi)若满足：
给定一个d0∈[dmin,∞]，及x0∈R，对于所有的xi∈[x0,x0+d0]均有
则图像区域R中的区域S(xi,yi)，xi∈[x0,x0+d0]为图像的纹理区域；
其中，R为图像区域，dmin为预设的纹理最短长度，T1为x方向的差分阈值，T2为y方向的差分阈值。
4.根据权利要求1所述的应用，其特征在于，所述对完成二值化的图像进行纹理修补，具体为：将二值化后的图像区域进行x方向的闭运算。
5.根据权利要求1所述的应用，其特征在于，所述对完成纹理修补后的纹理区域进行车门纹理提取，具体为：
对于修补后纹理区域S(xi,yi)，xi∈[x0,x0+d1]，若满足d1∈[lmin,lmax]，则认为S(xi,yi)处于车门区域；
其中，lmin、lmax分别为车门纹理长度最小经验阈值和车门纹理长度最大经验阈值。
6.根据权利要求1所述的应用，其特征在于，所述建立车门样本空间，基于K-Means分类方法对车门样本空间进行聚类，具体为：
建立样本空间：
对于提取完毕的车门区域纹理S(xi,yi)，xi∈[x0,x0+d1]，其中，x0表示车门的左侧边缘坐标，x0+d1表示车门的右侧边缘坐标；根据左侧边缘坐标建立左侧车门样本空间，根据右侧边缘坐标建立右侧车门样本空间；
进行样本聚类：
设定左侧车门样本空间和右侧车门样本空间的聚类数量为2，分别选取两个样本空间中的最大值和最小值作为聚类中心；
判断聚类是否收敛；收敛标准为类间方差和其中，Si为此聚类的样本空间，ci为聚类中心，D0为方差经验阈值；且Si中样本数量大于给定值的样本数量N0；
设定聚类空间的半径ri≤r0，r0为半径经验阈值；
计算相邻两次迭代的类间方差和的差值，当差值小于给定值ε0，且不满足收敛标准时，则判定此样本空间中存在噪声，将与聚类中心ci距离最大的样本剔除并重新进行样本聚类。
7.根据权利要求1所述的应用，其特征在于，所述识别车门位置，判定车门状态，具体为：
根据车门样本空间聚类得到的左侧车门坐标和右侧车门坐标，计算左侧车门的右坐标和右侧车门的左坐标的差值，将差值与车门缝隙经验阈值相比较，当差值不大于车门缝隙经验阈值时，判定车门为关闭状态，否则，判定车门为开启状态。
8.根据权利要求1所述的应用，其特征在于，所述深度神经网络模型包括：卷积层、池化层和全连接层，所述深度神经网络模型输出结果为二维向量，并对所述二维向量进行softmax计算，得到车门状态的概率形式。
9.根据权利要求1所述的应用，其特征在于，所述深度神经网络模型训练时的神经网络损失函数L为L(Y|f(x))＝(Y-f(x))2，反向传播学习率设定为0.001。
10.根据权利要求1所述的应用，其特征在于，还包括对所述深度神经网络模型在训练时进行参数正则化，正则化方式为：l1-norm，即损失函数L’为L'(Y|f(x))＝(Y-f(x))2+α||ω||1。
CN201810785045.2A 2018-07-17 2018-07-17 深度学习技术在车站列车运行监测预警系统的应用 Withdrawn CN109117849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810785045.2A CN109117849A (zh) 2018-07-17 2018-07-17 深度学习技术在车站列车运行监测预警系统的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810785045.2A CN109117849A (zh) 2018-07-17 2018-07-17 深度学习技术在车站列车运行监测预警系统的应用

Publications (1)

Publication Number Publication Date
CN109117849A true CN109117849A (zh) 2019-01-01

Family

ID=64862805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785045.2A Withdrawn CN109117849A (zh) 2018-07-17 2018-07-17 深度学习技术在车站列车运行监测预警系统的应用

Country Status (1)

Country Link
CN (1) CN109117849A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046778A (zh) * 2019-12-06 2020-04-21 北京路通天元科技有限公司 一种c80车门状态智能识别及安全风险自动报警方法
CN111523472A (zh) * 2020-04-23 2020-08-11 杭州海康威视系统技术有限公司 基于机器视觉的活动目标计数方法和设备
CN111832496A (zh) * 2020-07-17 2020-10-27 南京康尼机电股份有限公司 一种轨道车门开关状态判断方法、装置及存储介质
CN111932626A (zh) * 2020-09-09 2020-11-13 成都唐源电气股份有限公司 基于线阵图像变比例恢复的列车车门定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340011A (zh) * 2016-08-23 2017-01-18 天津光电高斯通信工程技术股份有限公司 一种铁路货车车门开启的自动检测识别方法
WO2017028587A1 (zh) * 2015-08-14 2017-02-23 杭州海康威视数字技术股份有限公司 车辆监控的方法和装置、处理器、图像采集设备
CN106845408A (zh) * 2017-01-21 2017-06-13 浙江联运知慧科技有限公司 一种复杂环境下的街道垃圾识别方法
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
US20180189581A1 (en) * 2010-06-07 2018-07-05 Affectiva, Inc. Vehicle manipulation using convolutional image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180189581A1 (en) * 2010-06-07 2018-07-05 Affectiva, Inc. Vehicle manipulation using convolutional image processing
WO2017028587A1 (zh) * 2015-08-14 2017-02-23 杭州海康威视数字技术股份有限公司 车辆监控的方法和装置、处理器、图像采集设备
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
CN106340011A (zh) * 2016-08-23 2017-01-18 天津光电高斯通信工程技术股份有限公司 一种铁路货车车门开启的自动检测识别方法
CN106845408A (zh) * 2017-01-21 2017-06-13 浙江联运知慧科技有限公司 一种复杂环境下的街道垃圾识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046778A (zh) * 2019-12-06 2020-04-21 北京路通天元科技有限公司 一种c80车门状态智能识别及安全风险自动报警方法
CN111046778B (zh) * 2019-12-06 2023-07-04 北京路通天元科技有限公司 一种c80车门状态智能识别及安全风险自动报警方法
CN111523472A (zh) * 2020-04-23 2020-08-11 杭州海康威视系统技术有限公司 基于机器视觉的活动目标计数方法和设备
CN111832496A (zh) * 2020-07-17 2020-10-27 南京康尼机电股份有限公司 一种轨道车门开关状态判断方法、装置及存储介质
CN111832496B (zh) * 2020-07-17 2023-11-03 南京康尼机电股份有限公司 一种轨道车门开关状态判断方法、装置及存储介质
CN111932626A (zh) * 2020-09-09 2020-11-13 成都唐源电气股份有限公司 基于线阵图像变比例恢复的列车车门定位方法及系统

Similar Documents

Publication Publication Date Title
CN109117849A (zh) 深度学习技术在车站列车运行监测预警系统的应用
CN106778668B (zh) 一种联合ransac和cnn的鲁棒的车道线检测方法
CN105975913B (zh) 一种基于自适应聚类学习的道路网提取的方法
WO2019228063A1 (zh) 商品检测终端、方法、系统以及计算机设备、可读介质
US8055018B2 (en) Object image detection method
CN104156693B (zh) 一种基于多模态序列融合的动作识别方法
CN102902967B (zh) 基于人眼结构分类的虹膜和瞳孔的定位方法
CN104050471A (zh) 一种自然场景文字检测方法及系统
CN106340011B (zh) 一种铁路货车车门开启的自动检测识别方法
CN108304816B (zh) 身份识别方法、装置、存储介质及电子设备
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
CN110082821A (zh) 一种无标签框微地震信号检测方法及装置
CN105447503A (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN101727570A (zh) 跟踪方法、检测跟踪处理设备和监控系统
CN111815609B (zh) 基于情境感知及多模型融合的病理图像分类方法及系统
CN107194393A (zh) 一种检测临时车牌的方法及装置
CN103679184A (zh) 一种基于相关向量机的白细胞自动识别方法
CN109145843A (zh) 一种卡口高清相机全车信息识别系统及方法
CN101231745A (zh) 一种对图像初始分割边界进行优化的自动分割方法
CN101604384A (zh) 个性化指纹识别方法
CN104680185B (zh) 基于边界点重分类的高光谱图像分类方法
CN111932510A (zh) 一种图像清晰度的确定方法及装置
EP3767582A1 (en) Inspection system, discrimination system, and learning data generator
CN104951795A (zh) 图像分类识别判断方法
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190101