CN114005097A - 基于图像语义分割的列车运行环境实时检测方法及系统 - Google Patents
基于图像语义分割的列车运行环境实时检测方法及系统 Download PDFInfo
- Publication number
- CN114005097A CN114005097A CN202010739976.6A CN202010739976A CN114005097A CN 114005097 A CN114005097 A CN 114005097A CN 202010739976 A CN202010739976 A CN 202010739976A CN 114005097 A CN114005097 A CN 114005097A
- Authority
- CN
- China
- Prior art keywords
- image
- train
- semantic segmentation
- real
- running environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000011897 real-time detection Methods 0.000 title claims abstract description 25
- 238000003709 image segmentation Methods 0.000 claims abstract description 56
- 238000013135 deep learning Methods 0.000 claims abstract description 23
- 230000007613 environmental effect Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 8
- 238000013145 classification model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000003137 locomotive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明公开了一种基于图像语义分割的列车运行环境实时检测方法及系统，方法包括：实时采集列车的运行环境图像，将实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。本发明能够基于深度学习框架的图像语义分割算法，实现准确率高、鲁棒性强、不受环境因素影响的列车运行环境实时检测。
Description
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种基于图像语义分割的列车运行环境实时检测方法及系统。
背景技术
目前，随着汽车自动驾驶的快速发展，轨道交通领域也在不断开展列车辅助及自动驾驶的研究。列车尤其是货运机车有着载重量大、运输线路长等特点，列车辅助及自动驾驶对保障其驾驶安全、提高驾驶效率具有重要的作用，而列车运行环境的实时检测是实现列车辅助及自动驾驶的基础。
列车运行环境检测包括列车运行过程中轨道区域识别、道岔识别、交通信号灯识别、轨旁标识牌识别等功能。传统视觉辅助进行列车运行环境检测通常采用图像处理的方法实现，例如传统轨道区域检测算法通常先对轨道图片进行边缘检测，然后通过霍夫变换直线检测的方法识别直线轨道，或采用曲线拟合的方法识别弯道。虽然算法的逻辑简单且易实现，但在实际应用中存在以下局限性：1、一般列车运行环境的背景相对复杂，采集的轨道图像中经常存在虚假边缘的情况，此时采用边缘检测结合霍夫变换的方法得到的直线轨道误检率很高；2、传统方法一般采用透视变换结合曲线拟合的方法实现弯道的检测，不同的弯道使用同一拟合函数得到的结果误差较大，且存在道岔时无法使用曲线拟合的方法准确的检测出道岔；3、由于传统方法需要依赖于图像边缘特征，而远距离(100米以上)轨道边缘特征会逐渐弱化，识别效果较差；4、传统图像处理方法受光照、部分遮挡等环境因素的变化影响较大，导致系统的鲁棒性较差。采用传统图像处理方法进行轨旁信号灯、标识牌的检测同样存在识别精度低、速度慢、鲁棒性低等缺点。
因此，如何有效的对列车运行的环境进行实时检测，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于图像语义分割的列车运行环境实时检测方法，能够基于深度学习框架的图像语义分割算法，实现准确率高、鲁棒性强、不受环境因素影响的列车运行环境实时检测。
本发明提供了一种基于图像语义分割的列车运行环境实时检测方法，包括：
实时采集列车的运行环境图像；
将所述实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；
对所述图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
优选地，所述获取构建的图像语义分割模型后，还包括：
采用推理加速器对所述构建的图像语义分割模型进行转换及加速；
相应的，将所述实时采集的列车的运行环境图像输入所述构建的图像语义分割模型进行推理运算，输出图像分割结果，包括：
将所述实时采集的列车的运行环境图像输入经过转换及加速后的图像语义分割模型进行推理运算，输出图像分割结果。
优选地，所述实时采集列车的运行环境图像前，还包括：
获取列车运行过程中的环境视频数据；
对所述视频数据进行筛选、清洗及标注，得到模型训练所需的样本数据；
采用基于深度学习框架的图像语义分割算法对所述样本数据进行训练，得到所述图像语义分割模型。
优选地，所述方法还包括：
基于所述图像分割结果扩充样本数据，以提高图像语义分割模型精度。
优选地，所述实时采集列车的运行环境图像，包括：
采用列车车载摄像头实时采集列车的运行环境图像。
一种基于图像语义分割的列车运行环境实时检测系统，包括：
采集模块，用于实时采集列车的运行环境图像；
图像分割模块，用于将所述实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；
分类识别模块，用于对所述图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
优选地，所述系统还包括：
推理加速器，用于对所述构建的图像语义分割模型进行转换及加速；
相应的，所述图像分割模块在执行将所述实时采集的列车的运行环境图像输入所述图像语义分割模型进行推理运算，输出图像分割结果时，具体用于：
将所述实时采集的列车的运行环境图像输入经过转换及加速后的图像语义分割模型进行推理运算，输出图像分割结果。
优选地，所述采集模块，还用于获取列车运行过程中的环境视频数据；所述系统，还包括：
视频数据处理模块，用于对所述视频数据进行筛选、清洗及标注，得到模型训练所需的样本数据；
训练模块，用于采用基于深度学习框架的图像语义分割算法对所述样本数据进行训练，得到所述图像语义分割模型。
优选地，所述系统还包括：
扩充模块，用于基于所述图像分割结果扩充样本数据，以提高图像语义分割模型精度。
优选地，所述采集模块包括：列车车载摄像头；其中：
所述列车车载摄像头，用于实时采集列车的运行环境图像。
综上所述，本发明公开了一种基于图像语义分割的列车运行环境实时检测方法，当需要对列车的运行环境进行实时检测时，首先实时采集列车的运行环境图像，然后将实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；最后对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。本发明能够基于深度学习框架的图像语义分割算法，实现准确率高、鲁棒性强、不受环境因素影响的列车运行环境实时检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种基于图像语义分割的列车运行环境实时检测方法实施例1的方法流程图；
图2为本发明公开的一种基于图像语义分割的列车运行环境实时检测方法实施例2的方法流程图；
图3为本发明公开的一种基于图像语义分割的列车运行环境实时检测系统实施例1的结构示意图；
图4为本发明公开的一种基于图像语义分割的列车运行环境实时检测系统实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种基于图像语义分割的列车运行环境实时检测方法实施例1的方法流程图，所述方法可以包括以下步骤：
S101、实时采集列车的运行环境图像；
当需要对列车运行的环境进行实时检测时，首先实时获取列车运行环境图像，并对获取到的运行环境图像进行相应的预处理操作。
S102、将实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；
然后将实时采集到的列车的运行环境图像输入图像语义分割模型，对采集到的列车的运行环境图像进行推理运算，得到图像分割结果。
S103、对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
最后对图像分割结果产生的感兴趣区域内的目标进行分类识别，得到当前列车运行过程中轨道、轨道旁信号灯及标识牌的状态，从而实现对列车运行环境的实时检测。
综上所述，在上述实施例中，当需要对列车的运行环境进行实时检测时，首先实时采集列车的运行环境图像，然后将实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；最后对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。本发明能够基于深度学习框架的图像语义分割算法，实现准确率高、鲁棒性强、不受环境因素影响的列车运行环境实时检测。
如图2所示，为本发明公开的一种基于图像语义分割的列车运行环境实时检测方法实施例2的方法流程图，所述方法可以包括以下步骤：
S201、采用列车车载摄像头获取列车运行过程中的环境视频数据；
首先采用列车车载摄像头获取列车运行过程中的环境视频数据。其中，列车车载摄像头可以由一个或多个车载摄像头组成，根据列车车型\运行环境和客户需求的不同，摄像头模组可安装于列车司机室内部和外部，但需保证能够最大视野获取列车运行前方轨道、轨旁信号灯、轨旁标识牌等区域，且获取的视频覆盖列车不同运行时间段、不同运行场景的环境信息。
S202、对视频数据进行筛选、清洗及标注，得到模型训练所需的样本数据；
然后，对获得的视频数据进行筛选、抽帧等操作，得到列车运行环境的图像数据，选取其中有代表的一部分图像数据用于样本数据的标注，标注完成将获得与原图像相对应的标签数据图像，并将标注好的样本数据按照一定的比例分为训练集和验证集。其中，清洗后获得的图片样本数据包含直轨道、弯轨道、道岔等多种轨道状态，同时包含轨旁交通信号灯、轨旁标识牌等待检测区域。所述数据的标注功能对清洗后的样本数据进行像素级的标注，采用图像语义分割标注工具箱对原图像的待检测区域进行标定。
S203、采用基于深度学习框架的图像语义分割算法对样本数据进行训练，得到图像语义分割模型；
然后，使用基于深度学习Pytorch框架及语义分割算法RefineNet网络对样本数据进行训练，通过多次训练优化学习率、分割的类别数量、不同类别的训练权重等参数，编码阶段的网络可选用resnet18、mobilenet等小型网络提高算法运行效率，模型训练过程在装载GPU的服务器上实现，训练完成将生成相应的图像语义分割模型。
S204、采用推理加速器对构建的图像语义分割模型进行转换及加速；
采用推理加速器对训练好的图像语义分割模型进行转换及加速，可以使用NVIDIA的高性能深度学习支持引擎TensorRT进行模型加速的测试和验证工作。首先采用开放神经网络交换工具ONNX将训练好的图像语义分割模型进行转换；然后使用TensorRT对转换后的模型进行序列化并保存序列化的模型，从而加速后续代码执行的效率。需要说明的是，本发明提供的推理加速器包括但不限于NVIDIA的高性能深度学习支持引擎TensorRT、FPGA计算加速引擎、Intel深度学习加速工具OpenVino以及地平线公司提供的BPU等低功耗高效率的深度学习工程化设备。
S205、采用列车车载摄像头实时采集列车的运行环境图像；
当需要对列车运行的环境进行实时检测时，采用列车车载摄像头实时获取列车运行环境图像，并对获取到的运行环境图像进行相应的预处理操作。
S206、将实时采集的列车的运行环境图像输入经过转换及加速后的图像语义分割模型进行推理运算，输出图像分割结果；
然后将实时采集到的列车的运行环境图像输入经过转换及加速后的图像语义分割模型，对采集到的列车的运行环境图像进行推理运算，得到图像分割结果。
S207、基于图像分割结果扩充样本数据，以提高图像语义分割模型精度；
在对视频数据进行标注时，需要精确到像素级，标注过程相对复杂，本发明为了进一步扩充样本数据，进一步对得到的图像分割结果进行相应的图像处理操作，可以实现原始图像的自动标注，通过自动标注的结果不断扩充样本，从而进一步提高图像语义分割模型的精度。
S208、对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
本发明需要将识别出来的轨旁交通信号灯、标识牌区域继续采用分类模型进行分类识别处理，从而确定信号灯的颜色及标识牌的示意，其中，本发明中的分类模型可以选取轻量化的resnet18网络。对于轨道道岔的检测通过轨道连续区域宽度判别实现，可以通过设置相应的阈值区分出正常轨道与道岔区域。最后对得到的识别结果进行汇总，输出当前列车运行环境的轨道区域，是否存在道岔、轨旁交通信号灯及标识牌，若存在，输出信号灯及标识牌的当前状态信息。
需要说明的是，本发明不仅适用于检测轨道区域、道岔、轨旁信号灯及标识牌，还适用于轨道障碍物、公里标、脱轨器、前方列车、行人等其它列车运行环境的检测；不仅适用于客运、货运机车的辅助及自动驾驶，同样适用于地铁、城轨、高铁等列车的辅助及自动驾驶。
综上所述，本发明应用深度学习框架的语义分割算法，相比传统图像处理算法，大大提高了检测的精度及鲁棒性。本发明使用深度学习模型推理加速器实现对图像语义分割模型的加速，使得本发明可以在嵌入式设备上部署实现，促进了列车轨道环境检测算法的工程化应用。本发明提出对图像语义分割结果进行相应的图像处理操作，可以实现语义分割训练图像的自动标定，缩减了标注的人工成本。本发明提出的基于视觉的列车运行环境实时检测，采用车载摄像头及嵌入式设备实现了对轨道区域、道岔、轨旁信号灯及标识牌的实时检测，为列车的辅助及自动驾驶提供了技术基础。
如图3所示，为本发明公开的一种基于图像语义分割的列车运行环境实时检测系统实施例1的结构示意图，所述系统可以包括：
采集模块301，用于实时采集列车的运行环境图像；
当需要对列车运行的环境进行实时检测时，首先实时获取列车运行环境图像，并对获取到的运行环境图像进行相应的预处理操作。
图像分割模块302，用于将实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；
然后将实时采集到的列车的运行环境图像输入图像语义分割模型，对采集到的列车的运行环境图像进行推理运算，得到图像分割结果。
分类识别模块303，用于对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
最后对图像分割结果产生的感兴趣区域内的目标进行分类识别，得到当前列车运行过程中轨道、轨道旁信号灯及标识牌的状态，从而实现对列车运行环境的实时检测。
综上所述，在上述实施例中，当需要对列车的运行环境进行实时检测时，首先实时采集列车的运行环境图像，然后将实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；最后对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。本发明能够基于深度学习框架的图像语义分割算法，实现准确率高、鲁棒性强、不受环境因素影响的列车运行环境实时检测。
如图4所示，为本发明公开的一种基于图像语义分割的列车运行环境实时检测系统实施例2的结构示意图，所述系统可以包括：
列车车载摄像头401，用于获取列车运行过程中的环境视频数据；
首先采用列车车载摄像头获取列车运行过程中的环境视频数据。其中，列车车载摄像头可以由一个或多个车载摄像头组成，根据列车车型\运行环境和客户需求的不同，摄像头模组可安装于列车司机室内部和外部，但需保证能够最大视野获取列车运行前方轨道、轨旁信号灯、轨旁标识牌等区域，且获取的视频覆盖列车不同运行时间段、不同运行场景的环境信息。
视频数据处理模块402，用于对视频数据进行筛选、清洗及标注，得到模型训练所需的样本数据；
然后，对获得的视频数据进行筛选、抽帧等操作，得到列车运行环境的图像数据，选取其中有代表的一部分图像数据用于样本数据的标注，标注完成将获得与原图像相对应的标签数据图像，并将标注好的样本数据按照一定的比例分为训练集和验证集。其中，清洗后获得的图片样本数据包含直轨道、弯轨道、道岔等多种轨道状态，同时包含轨旁交通信号灯、轨旁标识牌等待检测区域。所述数据的标注功能对清洗后的样本数据进行像素级的标注，采用图像语义分割标注工具箱对原图像的待检测区域进行标定。
训练模块403，用于采用基于深度学习框架的图像语义分割算法对样本数据进行训练，得到图像语义分割模型；
然后，使用基于深度学习Pytorch框架及语义分割算法RefineNet网络对样本数据进行训练，通过多次训练优化学习率、分割的类别数量、不同类别的训练权重等参数，编码阶段的网络可选用resnet18、mobilenet等小型网络提高算法运行效率，模型训练过程在装载GPU的服务器上实现，训练完成将生成相应的图像语义分割模型。
推理加速器404，用于对构建的图像语义分割模型进行转换及加速；
采用推理加速器对训练好的图像语义分割模型进行转换及加速，可以使用NVIDIA的高性能深度学习支持引擎TensorRT进行模型加速的测试和验证工作。首先采用开放神经网络交换工具ONNX将训练好的图像语义分割模型进行转换；然后使用TensorRT对转换后的模型进行序列化并保存序列化的模型，从而加速后续代码执行的效率。需要说明的是，本发明提供的推理加速器包括但不限于NVIDIA的高性能深度学习支持引擎TensorRT、FPGA计算加速引擎、Intel深度学习加速工具OpenVino以及地平线公司提供的BPU等低功耗高效率的深度学习工程化设备。
列车车载摄像头401，还用于实时采集列车的运行环境图像；
当需要对列车运行的环境进行实时检测时，采用列车车载摄像头实时获取列车运行环境图像，并对获取到的运行环境图像进行相应的预处理操作。
图像分割模块405，用于将实时采集的列车的运行环境图像输入经过转换及加速后的图像语义分割模型进行推理运算，输出图像分割结果；
然后将实时采集到的列车的运行环境图像输入经过转换及加速后的图像语义分割模型，对采集到的列车的运行环境图像进行推理运算，得到图像分割结果。
扩充模块406，用于基于图像分割结果扩充样本数据，以提高图像语义分割模型精度；
在对视频数据进行标注时，需要精确到像素级，标注过程相对复杂，本发明为了进一步扩充样本数据，进一步对得到的图像分割结果进行相应的图像处理操作，可以实现原始图像的自动标注，通过自动标注的结果不断扩充样本，从而进一步提高图像语义分割模型的精度。
分类识别模块407，用于对图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
本发明需要将识别出来的轨旁交通信号灯、标识牌区域继续采用分类模型进行分类识别处理，从而确定信号灯的颜色及标识牌的示意，其中，本发明中的分类模型可以选取轻量化的resnet18网络。对于轨道道岔的检测通过轨道连续区域宽度判别实现，可以通过设置相应的阈值区分出正常轨道与道岔区域。最后对得到的识别结果进行汇总，输出当前列车运行环境的轨道区域，是否存在道岔、轨旁交通信号灯及标识牌，若存在，输出信号灯及标识牌的当前状态信息。
需要说明的是，本发明不仅适用于检测轨道区域、道岔、轨旁信号灯及标识牌，还适用于轨道障碍物、公里标、脱轨器、前方列车、行人等其它列车运行环境的检测；不仅适用于客运、货运机车的辅助及自动驾驶，同样适用于地铁、城轨、高铁等列车的辅助及自动驾驶。
综上所述，本发明应用深度学习框架的语义分割算法，相比传统图像处理算法，大大提高了检测的精度及鲁棒性。本发明使用深度学习模型推理加速器实现对图像语义分割模型的加速，使得本发明可以在嵌入式设备上部署实现，促进了列车轨道环境检测算法的工程化应用。本发明提出对图像语义分割结果进行相应的图像处理操作，可以实现语义分割训练图像的自动标定，缩减了标注的人工成本。本发明提出的基于视觉的列车运行环境实时检测，采用车载摄像头及嵌入式设备实现了对轨道区域、道岔、轨旁信号灯及标识牌的实时检测，为列车的辅助及自动驾驶提供了技术基础。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于图像语义分割的列车运行环境实时检测方法，其特征在于，包括：
实时采集列车的运行环境图像；
将所述实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；
对所述图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
2.根据权利要求1所述的方法，其特征在于，所述获取构建的图像语义分割模型后，还包括：
采用推理加速器对所述构建的图像语义分割模型进行转换及加速；
相应的，将所述实时采集的列车的运行环境图像输入所述构建的图像语义分割模型进行推理运算，输出图像分割结果，包括：
将所述实时采集的列车的运行环境图像输入经过转换及加速后的图像语义分割模型进行推理运算，输出图像分割结果。
3.根据权利要求1所述的方法，其特征在于，所述实时采集列车的运行环境图像前，还包括：
获取列车运行过程中的环境视频数据；
对所述视频数据进行筛选、清洗及标注，得到模型训练所需的样本数据；
采用基于深度学习框架的图像语义分割算法对所述样本数据进行训练，得到所述图像语义分割模型。
4.根据权利要求3所述的方法，其特征在于，还包括：
基于所述图像分割结果扩充样本数据，以提高图像语义分割模型精度。
5.根据权利要求1所述的方法，其特征在于，所述实时采集列车的运行环境图像，包括：
采用列车车载摄像头实时采集列车的运行环境图像。
6.一种基于图像语义分割的列车运行环境实时检测系统，其特征在于，包括：
采集模块，用于实时采集列车的运行环境图像；
图像分割模块，用于将所述实时采集的列车的运行环境图像输入图像语义分割模型进行推理运算，输出图像分割结果；
分类识别模块，用于对所述图像分割结果产生的感兴趣区域内的目标进行分类识别，输出识别结果。
7.根据权利要求6所述的系统，其特征在于，还包括：
推理加速器，用于对所述构建的图像语义分割模型进行转换及加速；
相应的，所述图像分割模块在执行将所述实时采集的列车的运行环境图像输入所述图像语义分割模型进行推理运算，输出图像分割结果时，具体用于：
将所述实时采集的列车的运行环境图像输入经过转换及加速后的图像语义分割模型进行推理运算，输出图像分割结果。
8.根据权利要求6所述的系统，其特征在于，所述采集模块，还用于获取列车运行过程中的环境视频数据；所述系统，还包括：
视频数据处理模块，用于对所述视频数据进行筛选、清洗及标注，得到模型训练所需的样本数据；
训练模块，用于采用基于深度学习框架的图像语义分割算法对所述样本数据进行训练，得到所述图像语义分割模型。
9.根据权利要求8所述的系统，其特征在于，还包括：
扩充模块，用于基于所述图像分割结果扩充样本数据，以提高图像语义分割模型精度。
10.根据权利要求6所述的系统，其特征在于，所述采集模块包括：列车车载摄像头；其中：
所述列车车载摄像头，用于实时采集列车的运行环境图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739976.6A CN114005097A (zh) | 2020-07-28 | 2020-07-28 | 基于图像语义分割的列车运行环境实时检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010739976.6A CN114005097A (zh) | 2020-07-28 | 2020-07-28 | 基于图像语义分割的列车运行环境实时检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114005097A true CN114005097A (zh) | 2022-02-01 |
Family
ID=79920678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010739976.6A Pending CN114005097A (zh) | 2020-07-28 | 2020-07-28 | 基于图像语义分割的列车运行环境实时检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114005097A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882452A (zh) * | 2022-05-17 | 2022-08-09 | 张弛 | 轨道线路安全监测方法、列车运行控制方法及控制系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784265A (zh) * | 2019-01-09 | 2019-05-21 | 银河水滴科技（北京）有限公司 | 一种轨面语义分割方法及装置 |
| CN110006435A (zh) * | 2019-04-23 | 2019-07-12 | 西南科技大学 | 一种基于残差网络的变电站巡检机器人视觉辅助导航方法 |
| CN110363769A (zh) * | 2019-06-19 | 2019-10-22 | 西南交通大学 | 一种高铁接触网支撑装置腕臂系统图像分割方法 |
| CN110415792A (zh) * | 2019-05-31 | 2019-11-05 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| CN111091542A (zh) * | 2019-12-12 | 2020-05-01 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车转向架弹簧托板折断故障图像识别方法 |
| WO2020107687A1 (zh) * | 2018-11-27 | 2020-06-04 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
| CN111445449A (zh) * | 2020-03-19 | 2020-07-24 | 上海联影智能医疗科技有限公司 | 感兴趣区域的分类方法、装置、计算机设备和存储介质 |
-
2020
- 2020-07-28 CN CN202010739976.6A patent/CN114005097A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020107687A1 (zh) * | 2018-11-27 | 2020-06-04 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉的工作区域边界的检测系统、方法及机器设备 |
| CN109784265A (zh) * | 2019-01-09 | 2019-05-21 | 银河水滴科技（北京）有限公司 | 一种轨面语义分割方法及装置 |
| CN110006435A (zh) * | 2019-04-23 | 2019-07-12 | 西南科技大学 | 一种基于残差网络的变电站巡检机器人视觉辅助导航方法 |
| CN110415792A (zh) * | 2019-05-31 | 2019-11-05 | 上海联影智能医疗科技有限公司 | 图像检测方法、装置、计算机设备和存储介质 |
| CN110363769A (zh) * | 2019-06-19 | 2019-10-22 | 西南交通大学 | 一种高铁接触网支撑装置腕臂系统图像分割方法 |
| CN111091542A (zh) * | 2019-12-12 | 2020-05-01 | 哈尔滨市科佳通用机电股份有限公司 | 一种铁路货车转向架弹簧托板折断故障图像识别方法 |
| CN111445449A (zh) * | 2020-03-19 | 2020-07-24 | 上海联影智能医疗科技有限公司 | 感兴趣区域的分类方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 姚巍巍: "基于模型剪枝和半精度加速改进YOLOv3-tiny算法的实时司机违章行为检测", 《计算机系统应用》, no. 4, 15 April 2020 (2020-04-15), pages 41 - 47 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882452A (zh) * | 2022-05-17 | 2022-08-09 | 张弛 | 轨道线路安全监测方法、列车运行控制方法及控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| CN108986465B (zh) | 一种车流量检测的方法、系统及终端设备 | |
| Siriborvornratanakul | An automatic road distress visual inspection system using an onboard in‐car camera | |
| CN103971097B (zh) | 一种基于多尺度笔画模型的车牌识别方法与系统 | |
| CN111260629A (zh) | 基于图像处理的受电弓结构异常检测算法 | |
| CN103279756A (zh) | 基于集成分类器的车辆检测分析系统及其检测分析方法 | |
| CN111080608A (zh) | 铁路货车脱轨自动制动阀塞门手把关闭故障图像识别方法 | |
| CN102538762A (zh) | 一种高铁接触网在线巡检装置、巡检方法以及其构成的高铁接触网检测系统 | |
| CN111080612B (zh) | 一种货车轴承破损检测方法 | |
| CN113553916B (zh) | 一种基于卷积神经网络的轨道危险区域障碍物检测方法 | |
| Azad et al. | A novel and robust method for automatic license plate recognition system based on pattern recognition | |
| CN111079629A (zh) | 铁路货车心盘脱出故障图像识别方法 | |
| CN111964763B (zh) | 一种动态平板秤称重区域汽车断续行驶行为检测方法 | |
| CN113788051A (zh) | 列车在站运行状态监测分析系统 | |
| CN114627437A (zh) | 一种交通目标识别方法及系统 | |
| CN113657305B (zh) | 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法 | |
| CN112289022A (zh) | 基于时空背景比对的黑烟车检测判定及系统 | |
| Ismail | License plate Recognition for moving vehicles case: At night and under rain condition | |
| Sahu et al. | A comparative analysis of deep learning approach for automatic number plate recognition | |
| CN113487561B (zh) | 基于灰度梯度异常投票的受电弓异物检测方法及装置 | |
| CN114005097A (zh) | 基于图像语义分割的列车运行环境实时检测方法及系统 | |
| CN102637362B (zh) | 一种基于视频的隧道车型识别方法 | |
| CN116311157A (zh) | 障碍物识别方法、障碍物识别模型训练方法 | |
| CN101577052B (zh) | 俯空车辆检测装置和方法 | |
| CN114743166A (zh) | 一种铁路货车的制动机检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |