CN116520351A - 一种列车状态监测方法、系统、存储介质及终端 - Google Patents

一种列车状态监测方法、系统、存储介质及终端 Download PDF

Info

Publication number
CN116520351A
CN116520351A CN202310496443.3A CN202310496443A CN116520351A CN 116520351 A CN116520351 A CN 116520351A CN 202310496443 A CN202310496443 A CN 202310496443A CN 116520351 A CN116520351 A CN 116520351A
Authority
CN
China
Prior art keywords
train
point cloud
cloud data
dimensional
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310496443.3A
Other languages
English (en)
Inventor
邓卫东
李用
张晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Railway Science And Technology Co ltd
Original Assignee
Chengdu Railway Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Railway Science And Technology Co ltd filed Critical Chengdu Railway Science And Technology Co ltd
Priority to CN202310496443.3A priority Critical patent/CN116520351A/zh
Publication of CN116520351A publication Critical patent/CN116520351A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种列车状态监测方法、系统、存储介质及终端，包括：实时采集列车行进场景内的几何形态信息，其中包括采用多个固定视角的激光雷达实时采集列车行进视场内的三维点云数据；检测出包含列车的图像帧，并提取列车特定视角的三维点云数据；对连续帧多视角的列车三维点云数据进行配准融合，恢复出高分辨率的列车点云数据；根据恢复的高精度列车点云数据计算列车几何信息，并根据计算结果判断列车装载状态。本发明通过空间成像算法对货运列车的装载状态进行实时监测，能够捕获精细化的货运列车局部特征，为工作人员货运监测工作提供技术支持。

Description

一种列车状态监测方法、系统、存储介质及终端
技术领域
本发明涉及货运监测领域，尤其涉及一种列车状态监测方法、系统、存储介质及终端。
背景技术
我国作为以铁路运输为主的国家，为了保障铁路运输安全，铁路系统应用了大量的视频监控系统，比如综合视频、火车装载状态监测等。一方面，铁路运输物资的重要性，另一方面，铁路系统应用了综合视频、火车装载状态监测等视频监控系统，现有的视频监控设备均采用传统相机，依赖人工监视、检索发现异常情况，列车状态无法快速有效的检测，及时产生经济效益。基于以上两方面因素，铁路安全运输对货运列车装载监测的要求越来越高。
目前，铁路运输作为我国骨干运输业，一定程度上保障社会的必要生产生活和经济发展，铁路运输安全是现代化经济建设的必要保证。然而，运输物资大多具有大宗且笨重的体积特性，以及运输过程中可能受运行线路、车辆状况和货物装载加固方案等因素的影响，使得货运列车在运行过程中充满不确定性，任何的异常状态都可能危及铁路行车安全，严重甚至造成重大事故。其次，铁路局货运列车涉及区域广、列车类型多，导致针对其货运列车的管理难度较大。此外，为了解决传统检测货运列车状态手段单一、检测方法复杂的问题，提高检测时效性和效率，采用“3D场景重建”模式，将更为有效管理列车货运系统，通过统一管理、统一检测，有望显著提升铁路货物运输效益。同时，降低了人工成本，很大程度解除了工作人员无法及时获取货运列车状态信息，工作人员任务繁重等多种因素的制约。
近年来，随着人工智能的快速发展，基于图像精确识别的铁路运输监控方法成为可能，极大地提高了安全运营的效率。然而，当前检测方法大都基于二维图像信息，其精确度受限于场景几何信息的丢失，且无法满足实时计算的要求。
发明内容
本发明的目的在于克服现有列车监测存在的不足，提供了一种列车状态监测方法、系统、存储介质及终端。探究空间成像算法解决货运列车装载监测任务，将激光雷达应用于铁路运输监控，综合运用三维计算机视觉的相关理论和方法，解决货运列车检测、列车装载状态检测、异常状态检测等任务。同时，研究三维视觉监控算法在嵌入式平台上的移植，研发一套面向铁路运输监控的三维视觉平台系统，采用成熟的目标检测算法与空间成像算法，能够快速准确识别货运列车以及监测装载状态，有效保障货运列车的安全性。
本发明的目的是通过以下技术方案来实现的：
在第一方面，主要提供一种列车状态监测方法，所述方法包括以下步骤：
S1、实时采集列车行进场景内的几何形态信息，其中包括采用多个固定视角的激光雷达实时采集列车行进视场内的三维点云数据；
S2、检测出包含列车的图像帧，并提取列车特定视角的三维点云数据；
S3、对连续帧多视角的列车三维点云数据进行配准融合，恢复出高分辨率的列车点云数据；
S4、根据恢复的高精度列车点云数据计算列车几何信息，并根据计算结果判断列车装载状态。
作为一优选项，一种列车状态监测方法，所述实时采集列车行进视场内的几何形态信息，还包括：
采用深度摄像头采集列车行进场景的深度视频流。
作为一优选项，一种列车状态监测方法，所述检测出包含列车的图像帧，包括：
将深度视频流中的深度图转换为点云数据。
作为一优选项，一种列车状态监测方法，所述方法还包括：
对步骤S2中所述三维点云数据进行预处理，包括异值点剔除、降噪以及平滑处理。
作为一优选项，一种列车状态监测方法，所述方法还包括：
根据步骤S2中三维点云数据，构建目标检测模型，通过深度学习方法检测出目标列车。
作为一优选项，一种列车状态监测方法，构建目标检测模型时，将三维点云数据转换成前景图。
作为一优选项，一种列车状态监测方法，所述配准融合的方法为迭代最近点配准算法。
在第二方面，提供一种列车状态监测系统，所述系统包括：
数据采集模块，配置为实时采集列车行进场景内的几何形态信息，其中包括采用多个固定视角的激光雷达实时采集列车行进视场内的三维点云数据；
目标检测模块，配置为检测出包含列车的图像帧，并提取列车特定视角的三维点云数据；
目标三维重建模块，配置为对连续帧多视角的列车三维点云数据进行配准融合，恢复出高分辨率的列车点云数据；
目标尺寸计算模块，配置为根据恢复的高精度列车点云数据计算列车几何信息，并根据计算结果判断列车装载状态。
在第三方面，提供一种计算机存储介质，其上存储有计算机指令，所述计算机指令运行时执行任意一项所述一种列车状态监测方法中相关步骤。
在第四方面，提供一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，处理器运行计算机指令时执行任意一项所述一种列车状态监测方法中相关步骤。
需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。
与现有技术相比，本发明有益效果是：
(1)本发明面向铁路货物运输场景，研究空间成像算法在货运监测任务的应用，对于列车行进的动态场景，固定视角的激光雷达实时采集视场内的三维点云数据，检测出包含列车的图像帧，并提取列车特定视角的三维点云数据用于后续的精细化三维重建和货运列车装载状态监测任务；对连续帧的多视角列车三维点云数据进行配准、融合，恢复出高分辨率的列车点云数据，捕获精细化的货运列车局部特征。通过列车几何信息的计算实现列车装载状态监测、异常状态检测；同时根据问题场景类型定义异常检测任务，从重建的高精度列车三维点云中精确检测出不符合规范的货运列车装载情况。同时，激光雷达采集的点云数据描述场景的几何形态信息，且受环境的影响相对较小，不容易受光照、天气变化的影响，更适用于货运状态监测中货物装载加固状态、车体状况检测等任务。
(2)在一个示例中，借助激光雷达采集场景的几何形态信息，激光雷达捕获场景的几何形态信息，描述的是场景中目标距离传感器的远近，能够直观地描述货运列车的装载状态。
(3)在一个示例中，由于激光雷达采集的货运场景实时数据受场景反射率等的影响可能包含噪声，对捕获的点云数据进行包括异值点剔除、降噪以及平滑等预处理，提高后续算法的精确性。
(4)在一个示例中，本发明的三维目标检测采用深度学习方法，采集真实场景数据，采用高效的数据标注工具标记多种型号货运列车的三维数据制作数据集，包括其在不同视角、不同尺度下几何形态的变化，为深度三维目标检测模型训练提供数据。激光雷达采集的点云数据具有稀疏性、无序性等特点，无法直接将二维卷积神经网络应用于三维点云数据，与二维图片相比，激光雷达采集的大场景点云数据规模较大，直接作用于点云的深度神经网络时空复杂度较高，本发明将激光雷达采集的点云数据转换成前景图，显著地降低数据量，通过控制前景图的分辨率尽可能地保留场景的几何形态信息；同时，在二维卷积神经网络的基础上，设计面向货运列车检测的轻质三维目标检测深度模型，满足实时、高效的要求。
(5)在一个示例中，本发明对三维目标检测模块提取的多视角(连续帧或多摄像头)货车点云数据进行配准、融合，重建出高精度货车三维模型，考虑到货运列车装载监测任务对货物、车门、门栓等货车部件检测的需求，能够捕获目标精细化的局部特征。
(6)在一个示例中，本发明对于恢复的三维模型，采用形态学方法计算目标各部件的尺寸。面向货运列车装载状态的监测主要针对特定目标，包括货车车门、门栓、车厢等，而激光雷达采集的点云数据描述场景的几何形态信息，捕获了货运列车相关组件的固有尺寸，因而具有更好的运载状态监测性能。
附图说明
图1为本发明实施例示出的一种列车状态监测方法的流程图；
图2为本发明实施例示出的具有列车监测展示的业务流程图；
图3为本发明实施例示出的列车状态监测系统的示意图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明主要结合铁路行业特点，搭建室内铁路线路、车辆三维模拟实景，研究采用3D相机采集车辆和线路等图像信息；模拟铁路各类场景(车辆，线路、隧道等)，采集3D图像信息，运用图像处理技术进行图像拼接、分割处理，合成完整的车辆、隧道等场景图像，进行外形轮廓建模以及图像深度测量；同时研究机器学习技术，对图像数据进行智能处理，实现车辆类型判别，装载状态检测，行为识别等功能。
参照图1，在一示例性实施例中，提供一种列车状态监测方法，所述方法包括以下步骤：
S1、实时采集列车行进场景内的几何形态信息，其中包括采用多个固定视角的激光雷达实时采集列车行进视场内的三维点云数据；
S2、检测出包含列车的图像帧，并提取列车特定视角的三维点云数据；
S3、对连续帧多视角的列车三维点云数据进行配准融合，恢复出高分辨率的列车点云数据；
S4、根据恢复的高精度列车点云数据计算列车几何信息，并根据计算结果判断列车装载状态。
具体地，本发明面向铁路货物运输场景，研究空间成像算法在货运监测任务的应用，对于列车行进的动态场景，固定视角的激光雷达实时采集视场内的三维点云数据，前端嵌入式设备将采集的场景点云数据实时传输至PC服务器后端，通过空间成像算法对货运列车的装载状态进行实时监测。然后检测出包含列车的图像帧，并提取列车特定视角的三维点云数据用于后续的精细化三维重建和货运列车装载状态监测任务。接着对连续帧的多视角列车三维点云数据进行配准、融合，恢复出高分辨率的列车点云数据，捕获精细化的货运列车局部特征。进一步地，测量各个组件的尺寸大小，根据问题场景类型定义异常检测任务，从重建的高精度列车三维点云中检测出不符合规范的货运列车装载问题。
进一步地，参照图2，本发明展示重建的精细化列车点云数据和列车的装载状态，为工作人员货运监测工作提供技术支持。
进一步地，所述实时采集列车行进视场内的几何形态信息，还包括：
采用深度摄像头采集列车行进场景的深度视频流。具体地，在前端布置摄像头进行数据采集，借助激光雷达采集场景的几何形态信息，采用激光雷达采集货运场景的实时信息，用于后续的算法分析。激光雷达捕获场景的几何形态信息，描述的是场景中目标距离传感器的远近，能够直观地描述货运列车的装载状态。本发明采用维感科技DCAM550-P工业TOF深度摄像头，配合官方的Vzense SDK，在前端嵌入式设备采集场景的深度视频流。
进一步地，将激光雷达采集的数据传输至后端服务器，用于后续的空间成像算法分析。本发明采用NVIDIA的Jetson Nano开发板，通过以太网将货运场景深度视频流实时传输至PC服务器。
进一步地，所述检测出包含列车的图像帧，包括：
将深度视频流中的深度图转换为点云数据。具体地，给定深度图I，其像素点(u,v)∈I在世界坐标系中的坐标值p＝(x,y,z)计算如下：
其中，u0、v0、fx、fy是激光雷达传感器的参数，(u0,v0)表示光学中心，fx、fy表示焦距，d为(u,v)处的深度值。与深度图对应的点云数据是一系列点p的集合。
进一步地，所述方法还包括：
对步骤S2中所述三维点云数据进行预处理，具体地，激光雷达采集的货运场景实时数据受场景反射率等的影响可能包含噪声，需要对其进行预处理以提高后续算法的精确性。预处理包括异值点剔除、降噪以及平滑等处理。
进一步地，所述方法还包括：
根据步骤S2中三维点云数据，构建目标检测模型，通过深度学习方法检测出目标列车。具体地，从捕获的场景数据中检测出感兴趣的货运列车目标。为了满足货运列车装载监测的要求，三维目标检测需要应对货运列车几何形态、视角和尺寸的变化。同时，考虑到对实时计算的要求，需严格控制算法时空复杂度的约束。
本发明的三维目标检测采用深度学习方法，采集真实场景数据，采用高效的数据标注工具标记多种型号货运列车的三维数据制作数据集，包括其在不同视角、不同尺度下几何形态的变化，为深度三维目标检测模型训练提供数据。激光雷达采集的点云数据具有稀疏性、无序性等特点，无法直接将二维卷积神经网络应用于三维点云数据。与二维图片相比，激光雷达采集的大场景点云数据规模较大，直接作用于点云的深度神经网络时空复杂度较高。本发明将激光雷达采集的点云数据转换成前景图，显著地降低数据量，通过控制前景图的分辨率尽可能地保留场景的几何形态信息；同时，在二维卷积神经网络的基础上，设计面向货运列车检测的轻质三维目标检测深度模型，满足实时、高效的要求。
进一步地，针对连续帧捕获的货运列车目标点云数据，通过采用配准、融合算法恢复出精细的目标三维模型。应用于开放场景的激光雷达设备，其采集的三维点云数据具有稀疏性的特点，无法捕获目标精细化的局部特征。考虑到货运列车装载监测任务对货物、车门、门栓等货车部件检测的需求，本发明对提取的多视角(连续帧或多摄像头)货车点云数据进行配准、融合，重建出高精度货车三维模型，以支持后续的异常检测任务。
通过迭代最近点配准算法(Iterative Closest Point,ICP)，计算不同视角点云之间的刚性变换，通过旋转和平移操作将点云转换到统一坐标系下，完成点云配准融合。随着数据帧的加入，重建的三维模型能够精确地捕获货运列车的局部特征。
进一步地，对于恢复的三维模型，采用形态学方法计算目标各部件的尺寸。面向货运列车装载状态的监测主要针对特定目标，包括货车车门、门栓、车厢等，而激光雷达采集的点云数据描述场景的几何形态信息，捕获了货运列车相关组件的固有尺寸，因而具有更好的运载状态监测性能。首先，通过激光雷达所采集到的深度图数据进行筛选，选取数据信息较为丰富的关键帧进行装载状态检测，在获取到关键帧后对深度图像素进行特殊处理，增加近似深度之间的差异性，便于目标检测与异常检测。在此基础上通过深度值差异，根据深度图上下左右四个方向的维度进行搜索，找到深度图中的货运列车信息。在得到货运列车信息基础上，对此部分进行异常状态检测，通过对深度图中特殊处理的深度值，采用边缘检测算法对车厢进行检测，并对算法所得到的连通域进行进行过滤，降噪与异常值剔除，最终得到较为准确的异常凸起与凹陷的区域。
其次，在上述步骤基础上，根据相机内置参数与深度图中的坐标差异进行计算，最终得到物体具体尺寸。坐标计算过程如下：
x＝z*(u-cx)/fx；y＝z*(u-cy)/fy；z＝d，其中，fx,fy,cx,cy为相机内置参数，u代表深度图中横轴坐标，v代表纵轴坐标，d代表深度值，(x，y，z)为现实世界中，以摄像头为原点建立的三维直角坐标系的坐标值。通过计算向量范数得到两点之间距离。
同时，目标尺寸计算模块分析铁路货运作业标准，抽象归纳检查对象，采用深度学习的方法实现装载状态异常检测。针对检查对象，以重建的货运列车三维模型为基础，标注正常、异常对象作为正负样本，为货运列车异常检测模型的训练提供数据。为了满足前端嵌入式设备对算法时空复杂度的要求，本发明将重建的货车三维模型投影为多视角图，引入二维卷积神经网络，设计轻质、高精度的目标检测算法完成异常检测。
进一步地，通过点云配准技术实现列车行进速度的计算，具体地，通过关键帧的选取，得到具体两帧深度图和其采集的时间，随后对点云依次进行下采样、估计法线，最后计算每个点的FPFH特征。FPFH特征是一个33维向量，描述了一个点的局部几何特性。得到处理后的点云数据便采取融合算法，采用粗匹配进行整体融合，采用细匹配进行局部修正，通过该方法得到偏移矩阵，获取偏移矩阵中的位移量，最后利用范式计算出空间位移量，与采集到的两帧深度图时间差进行除法运算，得到速度结果。
参照图3，在另一示例性实施例中，提供一种列车状态监测系统，所述系统包括：
数据采集模块，配置为实时采集列车行进场景内的几何形态信息，其中包括采用多个固定视角的激光雷达实时采集列车行进视场内的三维点云数据；
目标检测模块，配置为检测出包含列车的图像帧，并提取列车特定视角的三维点云数据；
目标三维重建模块，配置为对连续帧多视角的列车三维点云数据进行配准融合，恢复出高分辨率的列车点云数据；
目标尺寸计算模块，配置为根据恢复的高精度列车点云数据计算列车几何信息，并根据计算结果判断列车装载状态。
具体地，数据采集模块部署于前端嵌入式设备，借助激光雷达采集场景的几何形态信息。本发明研究空间成像算法解决货运列车装载状态监测问题，采用激光雷达采集货运场景的实时信息，用于后续的算法分析。激光雷达捕获场景的几何形态信息，描述的是场景中目标距离传感器的远近，能够直观地描述货运列车的装载状态。本发明采用维感科技DCAM550-P工业TOF深度摄像头，配合官方的Vzense SDK，在前端嵌入式设备采集场景的深度视频流。
目标检测模块部署于后端服务器，从捕获的场景数据中检测出感兴趣的货运列车目标。为了满足货运列车装载监测的要求，三维目标检测需要应对货运列车几何形态、视角和尺寸的变化。同时，考虑到对实时计算的要求，需严格控制算法时空复杂度的约束。
本发明的三维目标检测模块采用深度学习方法，采集真实场景数据，采用高效的数据标注工具标记多种型号货运列车的三维数据，包括其在不同视角、不同尺度下几何形态的变化，为深度三维目标检测模型训练提供数据。激光雷达采集的点云数据具有稀疏性、无序性等特点，无法直接将二维卷积神经网络应用于三维点云数据。与二维图片相比，激光雷达采集的大场景点云数据规模较大，直接作用于点云的深度神经网络时空复杂度较高。本发明将激光雷达采集的点云数据转换成前景图，显著地降低数据量，通过控制前景图的分辨率尽可能地保留场景的几何形态信息；同时，在二维卷积神经网络的基础上，设计面向货运列车检测的轻质三维目标检测深度模型，满足实时、高效的要求。
目标三维重建模块部署于后端服务器，针对连续帧捕获的货运列车目标点云数据，通过采用配准、融合算法恢复出精细的目标三维模型。应用于开放场景的激光雷达设备，其采集的三维点云数据具有稀疏性的特点，无法捕获目标精细化的局部特征。考虑到货运列车装载监测任务对货物、车门、门栓等货车部件检测的需求，本发明对三维目标检测模块提取的多视角(连续帧或多摄像头)货车点云数据进行配准、融合，重建出高精度货车三维模型，以支持后续的异常检测任务。
目标尺寸计算模块部署于后端PC服务器，对于恢复的三维模型，采用形态学方法计算目标各部件的尺寸。面向货运列车装载状态的监测主要针对特定目标，包括货车车门、门栓、车厢等，而激光雷达采集的点云数据描述场景的几何形态信息，捕获了货运列车相关组件的固有尺寸，因而具有更好的运载状态监测性能。
同时，目标尺寸计算模块分析铁路货运作业标准，抽象归纳检查对象，采用深度学习的方法实现装载状态异常检测。针对检查对象，以重建的货运列车三维模型为基础，标注正常、异常对象作为正负样本，为货运列车异常检测模型的训练提供数据。为了满足前端嵌入式设备对算法时空复杂度的要求，本发明将重建的货车三维模型投影为多视角图，引入二维卷积神经网络，设计轻质、高精度的目标检测算法完成异常检测。
进一步地，本系统还包括点云数据计算模块以及数据预处理模块，其中，点云数据计算模块部署于后端服务器，将前端嵌入式设备采集的深度图转换为点云数据。给定深度图I，其像素点(u,v)∈I在世界坐标系中的坐标值p＝(x,y,z)计算如下：
其中，u0、v0、fx、fy是激光雷达传感器的参数，(u0,v0)表示光学中心，fx、fy表示焦距，d为(u,v)处的深度值。与深度图对应的点云数据是一系列点p的集合。
激光雷达采集的货运场景实时数据受场景反射率等的影响可能包含噪声，需要对其进行预处理以提高后续算法的精确性。数据预处理模块部署于后端服务器，对捕获的点云数据进行预处理，包括异值点剔除、降噪、平滑等。
在另一示例性实施例中，本发明提供一种计算机存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述一种列车状态监测方法的相关步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在另一示例性实施例中，本发明提供一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，处理器运行计算机指令时执行所述一种列车状态监测方法的相关步骤。
处理器可以是单核或者多核中央处理单元或者特定的集成电路，或者配置成实施本发明的一个或者多个集成电路。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的处理器包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。

Claims (10)

1.一种列车状态监测方法，其特征在于，所述方法包括以下步骤：
S1、实时采集列车行进场景内的几何形态信息，其中包括采用多个固定视角的激光雷达实时采集列车行进视场内的三维点云数据；
S2、检测出包含列车的图像帧，并提取列车特定视角的三维点云数据；
S3、对连续帧多视角的列车三维点云数据进行配准融合，恢复出高分辨率的列车点云数据；
S4、根据恢复的高精度列车点云数据计算列车几何信息，并根据计算结果判断列车装载状态。
2.根据权利要求1所述的一种列车状态监测方法,其特征在于，所述实时采集列车行进视场内的几何形态信息，还包括：
采用深度摄像头采集列车行进场景的深度视频流。
3.根据权利要求2所述的一种列车状态监测方法，其特征在于，所述检测出包含列车的图像帧，包括：
将深度视频流中的深度图转换为点云数据。
4.根据权利要求1所述的一种列车状态监测方法,其特征在于，所述方法还包括：
对步骤S2中所述三维点云数据进行预处理，包括异值点剔除、降噪以及平滑处理。
5.根据权利要求1所述的一种列车状态监测方法，其特征在于，所述方法还包括：
根据步骤S2中三维点云数据，构建目标检测模型，通过深度学习方法检测出目标列车。
6.根据权利要求5所述的一种列车状态监测方法，其特征在于，构建目标检测模型时，将三维点云数据转换成前景图。
7.根据权利要求1所述的一种列车状态监测方法，其特征在于，所述配准融合的方法为迭代最近点配准算法。
8.一种列车状态监测系统，其特征在于，所述系统包括：
数据采集模块，配置为实时采集列车行进场景内的几何形态信息，其中包括采用多个固定视角的激光雷达实时采集列车行进视场内的三维点云数据；
目标检测模块，配置为检测出包含列车的图像帧，并提取列车特定视角的三维点云数据；
目标三维重建模块，配置为对连续帧多视角的列车三维点云数据进行配准融合，恢复出高分辨率的列车点云数据；
目标尺寸计算模块，配置为根据恢复的高精度列车点云数据计算列车几何信息，并根据计算结果判断列车装载状态。
9.一种计算机存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1-7中任意一项所述一种列车状态监测方法中相关步骤。
10.一种终端，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机指令，其特征在于，处理器运行计算机指令时执行权利要求1-7中任意一项所述一种列车状态监测方法中相关步骤。
CN202310496443.3A 2023-05-05 2023-05-05 一种列车状态监测方法、系统、存储介质及终端 Pending CN116520351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310496443.3A CN116520351A (zh) 2023-05-05 2023-05-05 一种列车状态监测方法、系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310496443.3A CN116520351A (zh) 2023-05-05 2023-05-05 一种列车状态监测方法、系统、存储介质及终端

Publications (1)

Publication Number Publication Date
CN116520351A true CN116520351A (zh) 2023-08-01

Family

ID=87398985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310496443.3A Pending CN116520351A (zh) 2023-05-05 2023-05-05 一种列车状态监测方法、系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN116520351A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117744907A (zh) * 2024-02-19 2024-03-22 天津小铁马科技有限公司 一种货源路线规划方法、装置、电子设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117744907A (zh) * 2024-02-19 2024-03-22 天津小铁马科技有限公司 一种货源路线规划方法、装置、电子设备以及存储介质
CN117744907B (zh) * 2024-02-19 2024-04-26 天津小铁马科技有限公司 一种货源路线规划方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
Liu et al. A review of applications of visual inspection technology based on image processing in the railway industry
Dhiman et al. Pothole detection using computer vision and learning
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
Geiger et al. Are we ready for autonomous driving? the kitti vision benchmark suite
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in-car camera
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
US20140147032A1 (en) Method and System for Recovery of 3D Scene Structure and Camera Motion From a Video Sequence
CN107169401B (zh) 基于轨道视觉特征谱的轨道入侵物检测方法
CN112154454A (zh) 目标对象的检测方法、系统、设备及存储介质
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
Palaniappan et al. Moving object detection for vehicle tracking in wide area motion imagery using 4d filtering
CN111768417B (zh) 基于单目视觉3d重建技术的铁路货车超限检测方法
CN112731440A (zh) 高速铁路边坡形变检测方法及装置
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN116520351A (zh) 一种列车状态监测方法、系统、存储介质及终端
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN117492026B (zh) 结合激光雷达扫描的铁路货车装载状态检测方法及系统
Kruber et al. Vehicle position estimation with aerial imagery from unmanned aerial vehicles
CN107767366B (zh) 一种输电线路拟合方法及装置
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas
CN110660113A (zh) 特征地图的建立方法、装置、采集设备和存储介质
CN108615028A (zh) 港口重型车辆的细粒度检测识别方法
Jiang et al. Study on a real-time vehicle speed measuring method at highway toll station

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination