CN110524553A - 一种铁路货检机器人智能图像分析系统 - Google Patents

Abstract

本发明公开了一种铁路货检机器人智能图像分析系统，通过架设在铁路轨道旁的机器人在定制轨道上滑行巡检，实时采集货运棚车外观状态和货物装载状态，如：外观损伤、物理形变、施封状态等视频图像数据，利用站场WIFI、5G技术或者有线传输方式，传输到车站智能分析终端上，实时呈现货检过程中的检查内容和检查结果，结合货检专业检查规范、货运棚车正常外观状态等信息，通过后端图像分析软件，利用机器学习算法和模型比对，实现货运棚车外观状态和货物装载状态的自动化检查、故障告警和预警等功能。

Description

一种铁路货检机器人智能图像分析系统

技术领域

本发明涉及铁路货运的安全检测技术领域，尤其涉及一种铁路货检机器人智能图像分析系统，上述系统能实现货运棚车外观状态和货物装载状态的自动化检查、故障告警、预警和统一信息发布等功能。

背景技术

铁路货检管理是确保铁路行车安全和货物安全的重要环节，是铁路货运安全管理的重要组成，传统人工货检作业方式货检员劳动强度较高，效率低下，占用大量工作人员，一旦疏忽容易遗漏问题，现有的铁路货检管理存在如下问题：检查方式单一：当前铁路货检作业一般以人工巡检，徒步完成，效率低，工作强度大，工作环境恶劣；检查精度不高：检测结果依赖个人经验，容易发生漏检和误检的情况，且检测结果与巡检工人的积极性和责任心强相关；检查装备不先进：当前货检的工具比较落后，停留在人眼查看，缺陷问题手持终端拍照上传，处置决策判断依赖个人经验；检查过程记录不完整：货检作业过程的检测结果，以手工录入纸质表单为主，缺陷图像数据为辅，过程记录不足，不能有效支撑事后数据分析。

对此，研发人员相继开发了多种解决上述人工巡检所带来的缺陷的自动监控系统，比如中国专利CN201310061598.0，其公开了一种通过设置的车轮传感器获取车辆到达信息，从而触发视频系统采集通过车辆的视频信息；并且通过车号识别系统获取通过车辆的车号数据；将车辆视频信息和车号数据进行匹配，形成过车报文；然后通过系统通讯模块将获取的信息传输到中心服务器上，实现了实时获取货检信息，通过采集的视频录像能清晰直观查询安全监测信息，实现了全自动无人值守、全天候稳定运行，提供铁路货运安全进行监测的效率，降低了劳动强度；以及中国专利CN200620036175.9，其公开了能够自动记录全列车货车现状图像资料并能充分利用铁路TMIS系统数据共享，具备强大的台帐报表的综合管理能力，最大限度的满足了货检管理的需要，能保证区段负责制的落实和铁路运输安全的要求。可见，虽然上述文献中均解决了人工巡检效率低下的问题，系统能实时、清晰直观、自动地对铁路货运安全进行监测，但是，其仅仅是对于铁路货运进行自动化数据采集以便于监控和查询车辆的信息，其并未解决如何提高检修效率以及如何增强货车检查的针对性。

为了解决上述问题，本申请提出了一种铁路货检机器人智能图像分析系统，上述系统能实现货运棚车外观状态和货物装载状态的自动化检查、故障告警和预警、统一信息发布等功能；货检机器人智能图像分析系统的应用，在货检作业环节实现了人机结合的货检作业模式，利用系统对货车装载状态进行智能分析，发现疑似问题有人工进行复检，重点把控，增强了货车检查的针对性，降低了外勤人员的劳动强度，大大提高了工作效率。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种铁路货检机器人智能图像分析系统；货检机器人智能图像分析系统的应用，在货检作业环节实现了人机结合的货检作业模式，利用系统对货车装载状态进行智能分析，发现疑似问题有人工进行复检，重点把控，增强了货车检查的针对性，降低了外勤人员的劳动强度，大大提高了工作效率。

为实现上述发明目的，本发明采用如下的技术方案：

一种铁路货检机器人智能图像分析系统，包括前端智能视频图像采集子系统、后端人工智能图像分析处理子系统、网络通信及电力供应子系统；其中，智能视频图像采集子系统将采集到的货运棚车外观状态和货物装载状态的视频图像数据，利用站场通信系统传输到人工智能图像分析处理子系统中；人工智能图像分析处理子系统将获取的视频图像数据处理成能识别的数据格式并进行信息匹配、图像智能分析、信息标注和信息发布，根据不同车型，得到相关区域的特征信息后，根据不同的用户需求，采用不同的检测逻辑算法，对图像上的各个区域进行检测和识别，当判断出有问题出现的情况时，对发生问题的车辆信息，区域信息，问题位置和范围进行汇总并将这些结果返回给预警平台；前端智能视频图像采集子系统、后端人工智能图像分析处理子系统均与网络通信及电力供应子系统相连。

优选，智能视频图像采集子系统包括轨道机器人、工业相机、3D激光扫描仪、智能补光光源、速度控制模块、核心处理模块、人机交互模块；工业相机、3D激光扫描仪、智能补光光源均与核心处理模块的信号输入端相连，速度控制模块与核心处理模块相连，速度控制模块控制轨道机器人的运动状态；人机交互模块与核心处理模块相连。

优选，人机交互模块与工作人员手持终端无线连接，通过手持终端向人机交互模块发送控制指令，并通过核心处理模块将指令发送到相应的执行部件中，用于现场调整工业相机和3D激光扫描仪拍摄角度以及轨道机器人运行速度等参数的调整。

优选，其中，轨道机器人的轨道为定制化轨道，所述的定制化轨道采用单轨跨座式设计，3D激光扫描仪设置在轨道机器人靠近货运棚车的一侧，工业相机设置在轨道机器人的顶部。

优选，其中，工业相机可增加云台，根据检查需求，反方向完成相邻轨道货运棚车的拍摄需求。

优选，智能视频图像采集子系统中还包括无线通信模块，无线通信模块与核心处理模块相连，核心处理模块通过无线通信模块将采集到的视频图像数据传输到人工智能图像分析处理子系统中。

优选，人工智能图像分析处理子系统包括机柜、GPU工作站、通信单元、服务器、交换机、显示终端。

优选，图像智能分析包括棚车外观图像查看、棚车外观图像分析、棚车外观状态自动研判、棚车外观状态自动预警、缺陷问题，图像条件检索、棚车外观状态人工复核、缺陷问题数据分析、报表输出等步骤，通过系统智能分析软件将最新采集图像数据自动分析故障情况，并将数据进行分类存储。

优选，信息标注过程中，针对疑似故障图像，货检员可以在图像上进行发现问题的标记及输入相关注释信息。

优选，信息发布过程中，将系统扫描的列车图形信息及相关信息接入货检平台统一发布，或通过自建服务器进行单独的本地和远程发布，以便于第一时间对故障棚车进行人工复查、扣车、甩车等人工干预措施。

本发明与现有技术相比具有以下优点：相对于传统的检测系统，本申请中的铁路货检机器人智能图像分析系统综合运用多种图像采集技术和机器人技术、多种传输技术、实时呈现检查过程和结果，检查结果自动标记和识别、数据分析和报警预警；利用机器视觉技术、3D激光扫描技术在视频图像采集上的综合运用；

新型轨道机器人的综合运用,轨道机器人采用单轨跨座式设计，占用空间小，适用性强；轨道机器人额定运行速度高，最高运行速度40km/h，可短时间内完成巡视检查任务，巡检速度可调可控；轨道机器人可靠的制动系统，采用三级制动系统设计，能满足多种制动需求；轨道机器人防护等级高，适用于全天候户外作业环境；系统无线通信稳定可靠，传输距离远，可覆盖整个站场，带宽高，实现大带宽高度下载和上传；模块化智能图像分析，视频图像数据自动分析、归类、疑似问题标注和报警预警；重点区域和相关区域的特征提取和智能识别；通过实时采集货运棚车外观状态和货物装载状态，如：外观损伤、物理形变、施封状态等视频图像数据，利用站场WIFI、5G技术或者有线传输方式，传输到车站智能分析终端上，实时呈现货检过程中的检查内容和检查结果，结合货检工作人员既往经验、专业检查规范、货运棚车正常外观状态等信息，通过后端图像分析软件，利用机器学习算法和模型比对，实现货运棚车外观状态和货物装载状态的自动化检查、故障告警和预警等功能。

附图说明

图1为本发明中各子系统在车站的布置示意图；

图2为本发明中的视频图像采集结构的示意图；

图3为本发明中的系统组成示意图；

图4为本发明中的图像分析系统工作原理图。

附图标记说明：

1-工业相机，2-3D激光扫描仪，3-货运棚车，4-轨道机器人，5-单轨跨座式轨道，6-基站充电箱，7-值班室。

具体实施方式

下面结合图1-4与具体实施方式对本发明做进一步的说明。

一种铁路货检机器人智能图像分析系统，包括前端智能视频图像采集子系统、后端人工智能图像分析处理子系统、网络通信及电力供应子系统；其中，智能视频图像采集子系统将采集到的货运棚车外观状态和货物装载状态的视频图像数据，利用站场通信系统传输到人工智能图像分析处理子系统中；人工智能图像分析处理子系统将获取的视频图像数据处理成能识别的数据格式并进行信息匹配、图像智能分析、信息标注和信息发布，根据不同车型，得到相关区域的特征信息后，根据不同的用户需求，采用不同的检测逻辑算法，对图像上的各个区域进行检测和识别，当判断出有问题出现的情况时，对发生问题的车辆信息，区域信息，问题位置和范围进行汇总并将这些结果返回给预警平台；前端智能视频图像采集子系统、后端人工智能图像分析处理子系统均与网络通信及电力供应子系统相连；如图1所示，前端智能视频图像采集子系统是通过充电基站箱6充电的，后端人工智能图像分析处理子系统设置在车站机房里面，车站机房位于值班室7内，后端人工智能图像分析处理子系统设置有单独的供电系统，不与充电基站连接，本申请中把网络传输和充电基站、供电系统统一归为：“通信及电力供应部分”；

作为优选，如图2所示，智能视频图像采集子系统包括轨道机器人4、工业相机1、3D激光扫描仪2、智能补光光源、速度控制模块、核心处理模块、人机交互模块；工业相机、3D激光扫描仪、智能补光光源均与核心处理模块的信号输入端相连，速度控制模块与核心处理模块相连，速度控制模块控制轨道机器人的运动状态；人机交互模块与核心处理模块相连；

优选，人机交互模块与工作人员手持终端无线连接，通过手持终端向人机交互模块发送控制指令，并通过核心处理模块将指令发送到相应的执行部件中，用于现场调整工业相机和3D激光扫描仪拍摄角度以及轨道机器人运行速度等参数的调整。

优选，其中，轨道机器人的轨道为定制化轨道，所述的定制化轨道采用单轨跨座式设计，3D激光扫描仪设置在轨道机器人靠近货运棚车的一侧，工业相机设置在轨道机器人的顶部。

优选，其中，工业相机可增加云台，根据检查需求，反方向完成相邻轨道货运棚车的拍摄需求。

优选，智能视频图像采集子系统中还包括无线通信模块，无线通信模块与核心处理模块相连，核心处理模块通过无线通信模块将采集到的视频图像数据传输到人工智能图像分析处理子系统中。

优选，人工智能图像分析处理子系统包括机柜、GPU工作站、通信单元、服务器、交换机、显示终端。

优选，图像智能分析包括棚车外观图像查看、棚车外观图像分析、棚车外观状态自动研判、棚车外观状态自动预警、缺陷问题，图像条件检索、棚车外观状态人工复核、缺陷问题数据分析、报表输出等步骤，通过系统智能分析软件将最新采集图像数据自动分析故障情况，并将数据进行分类存储。

优选，信息标注过程中，针对疑似故障图像，货检员可以在图像上进行发现问题的标记及输入相关注释信息。

优选，信息发布过程中，将系统扫描的列车图形信息及相关信息接入货检平台统一发布，或通过自建服务器进行单独的本地和远程发布，以便于第一时间对故障棚车进行人工复查、扣车、甩车等人工干预措施。

本申请中的铁路货检机器人智能图像分析系统，所述系统利用机器视觉技术、视觉导航技术、3D激光扫描技术，通过架设在铁路轨道旁的机器人在定制轨道上滑行巡检，完成货运列车发车前的货车外观状态自动检查工作；铁路货运棚车检查举例，检查内容包括但不限于下表所列内容：

如图3所示，该系统由前端智能视频图像采集子系统、后端人工智能图像分析处理子系统、网络通信及电力供应三大部分组成；其中智能视频图像采集子系统包含：轨道机器人(含定制化轨道)、工业相机、3D激光扫描仪、智能补光光源、速度控制模块、核心处理模块、无线通信模块；人工智能图像分析处理子系统包括：机柜、工业级电源设备、GPU工作站、通信单元、服务器、交换机、显示终端；通信及电力供应部分包括：充电基站、光电缆、光电缆保护钢管、钢筋混凝土槽、光电缆标桩、网络传输设备、电气控制设备、线缆终端制作材料等；如图4所示，以货车棚车车辆为单位对整列棚车外观及装载规范性进行图像采集，通过对图像数据进行智能分析，结合其他系统汇集来的数据进行匹配，按车号、车型等信息输出分析结果，人工复示、报警管理、信息查询、统计分析等：

一、信息采集功能

(1)通过在始发站列车轨道两侧布设轨道机器人，自动获取一辆车左、右两侧状态各采集一整幅图像，其图像的像素点可达到2048×7000，分辨率达到2mm/点；

(2)通过激光扫描技术，完成车厢外观的扫描检测；(3)采集列车车号、顺位等数据信息(通过现有系统实时获取)；(4)可接收预确报等系统信息。

二、数据处理功能

(1)信息匹配：扫描的列车图像可叠加显示列车信息：车号、顺位、时间等；

(2)图像智能分析：系统智能分析软件将最新采集图像数据自动分析故障情况，并将数据进行分类存储；(3)信息标注：针对疑似故障图像，货检员可以在图像上进行发现问题的标记及输入相关注释信息；(3)信息发布：系统扫描的列车图形信息及相关信息可接入货检平台统一发布，也可通过自建服务器进行单独的本地和远程发布；(4)可实现制定天数的循环存储。

三、系统智能识别功能

根据不同车型，得到其相关区域的特征信息后，根据不同的用户需求，研发了相关的检测逻辑算法，对图像上的各个区域进行检测和识别。当判断出有问题出现的情况是，对发生问题的车辆信息，区域信息，问题位置和范围进行汇总并将这些结果返回给预警平台。

本发明的具体工作过程和工作原理为：通过实时采集货运棚车外观状态和货物装载状态，如：外观损伤、物理形变、施封状态等视频图像数据，利用站场WIFI、5G技术或者有线传输方式，传输到车站智能分析终端上，实时呈现货检过程中的检查内容和检查结果，结合货检工作人员既往经验、专业检查规范、货运棚车正常外观状态等信息，通过后端图像分析软件，利用机器学习算法和模型比对，实现货运棚车外观状态和货物装载状态的自动化检查、故障告警和预警等功能。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明型的保护范围之内。

综上所述仅体现了本发明的优选技术方案，本领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，都应为本发明的技术范畴。

Claims (10)

1.一种铁路货检机器人智能图像分析系统，其特征在于：包括前端智能视频图像采集子系统、后端人工智能图像分析处理子系统、网络通信及电力供应子系统；其中，智能视频图像采集子系统将采集到的货运棚车外观状态和货物装载状态的视频图像数据，利用站场通信系统传输到人工智能图像分析处理子系统中；人工智能图像分析处理子系统将获取的视频图像数据处理成能识别的数据格式并进行信息匹配、图像智能分析、信息标注和信息发布，根据不同车型，得到相关区域的特征信息后，根据不同的用户需求，采用不同的检测逻辑算法，对图像上的各个区域进行检测和识别，当判断出有问题出现的情况时，对发生问题的车辆信息，区域信息，问题位置和范围进行汇总并将这些结果返回给预警平台；前端智能视频图像采集子系统、后端人工智能图像分析处理子系统均与网络通信及电力供应子系统相连。

2.如权利要求1所述的一种铁路货检机器人智能图像分析系统，其特征在于：智能视频图像采集子系统包括轨道机器人、工业相机、3D激光扫描仪、智能补光光源、速度控制模块、核心处理模块、人机交互模块；工业相机、3D激光扫描仪、智能补光光源均与核心处理模块的信号输入端相连，速度控制模块与核心处理模块相连，速度控制模块控制轨道机器人的运动状态；人机交互模块与核心处理模块相连。

3.如权利要求2所述的一种铁路货检机器人智能图像分析系统，其特征在于：人机交互模块与工作人员手持终端无线连接，通过手持终端向人机交互模块发送控制指令，并通过核心处理模块将指令发送到相应的执行部件中，用于现场调整工业相机和3D激光扫描仪拍摄角度以及轨道机器人运行速度等参数的调整。

4.如权利要求2所述的一种铁路货检机器人智能图像分析系统，其特征在于：其中，轨道机器人的轨道为定制化轨道，所述的定制化轨道采用单轨跨座式设计，3D激光扫描仪设置在轨道机器人靠近货运棚车的一侧，工业相机设置在轨道机器人的顶部。

5.如权利要求4所述的一种铁路货检机器人智能图像分析系统，其特征在于：其中，工业相机可增加云台，根据检查需求，反方向完成相邻轨道货运棚车的拍摄需求。

6.如权利要求2所述的一种铁路货检机器人智能图像分析系统，其特征在于：智能视频图像采集子系统中还包括无线通信模块，无线通信模块与核心处理模块相连，核心处理模块通过无线通信模块将采集到的视频图像数据传输到人工智能图像分析处理子系统中。

7.如权利要求1所述的一种铁路货检机器人智能图像分析系统，其特征在于：人工智能图像分析处理子系统包括机柜、GPU工作站、通信单元、服务器、交换机、显示终端。

8.如权利要求7所述的一种铁路货检机器人智能图像分析系统，其特征在于：图像智能分析包括棚车外观图像查看、棚车外观图像分析、棚车外观状态自动研判、棚车外观状态自动预警、缺陷问题，图像条件检索、棚车外观状态人工复核、缺陷问题数据分析、报表输出等步骤，通过系统智能分析软件将最新采集图像数据自动分析故障情况，并将数据进行分类存储。

9.如权利要求7所述的一种铁路货检机器人智能图像分析系统，其特征在于：信息标注过程中，针对疑似故障图像，货检员可以在图像上进行发现问题的标记及输入相关注释信息。

10.如权利要求7所述的一种铁路货检机器人智能图像分析系统，其特征在于：信息发布过程中，将系统扫描的列车图形信息及相关信息接入货检平台统一发布，或通过自建服务器进行单独的本地和远程发布，以便于第一时间对故障棚车进行人工复查、扣车、甩车等人工干预措施。