CN111898460A - 机车辅助挂车系统、方法、装置、设备以及存储介质 - Google Patents

机车辅助挂车系统、方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111898460A
CN111898460A CN202010651421.6A CN202010651421A CN111898460A CN 111898460 A CN111898460 A CN 111898460A CN 202010651421 A CN202010651421 A CN 202010651421A CN 111898460 A CN111898460 A CN 111898460A
Authority
CN
China
Prior art keywords
trailer
locomotive
coupler
road condition
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010651421.6A
Other languages
English (en)
Inventor
贺佳
单俊强
王志波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenshuo Railway Branch of China Shenhua Energy Co Ltd
Original Assignee
Shenshuo Railway Branch of China Shenhua Energy Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenshuo Railway Branch of China Shenhua Energy Co Ltd filed Critical Shenshuo Railway Branch of China Shenhua Energy Co Ltd
Priority to CN202010651421.6A priority Critical patent/CN111898460A/zh
Publication of CN111898460A publication Critical patent/CN111898460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61GCOUPLINGS; DRAUGHT AND BUFFING APPLIANCES
    • B61G1/00Couplings comprising interengaging parts of different shape or form and having links, bars, pins, shackles, or hooks as coupling means
    • B61G1/36Couplings comprising interengaging parts of different shape or form and having links, bars, pins, shackles, or hooks as coupling means with shackles and hooks, e.g. specially adapted for mine cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61GCOUPLINGS; DRAUGHT AND BUFFING APPLIANCES
    • B61G7/00Details or accessories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种机车辅助挂车系统、方法、装置、设备以及存储介质。所述系统包括:路况传感器,获取机车前方的运行路况图像信息;车钩传感器,获取机车以及被挂车的车钩图像信息;雷达传感器,获取路况点云数据;中央处理器,分别连接路况传感器、车钩传感器以及雷达传感器;中央处理器根据被挂车图像,识别被挂车类型,并根据车钩图像信息,识别车钩状态以及车钩间距,且根据路况点云数据,确定机车与被挂车的车距,将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统。基于上述系统,司机或智能驾驶系统可在机车辅助挂车系统判断车钩状态满足挂车要求时,控制机车向被挂车靠近直到车钩为已连挂,提高智能化程度。

Description

机车辅助挂车系统、方法、装置、设备以及存储介质
技术领域
本申请涉及列车监控技术领域,特别是涉及一种机车辅助挂车系统、方法、装置、设备以及存储介质。
背景技术
随着智能驾驶技术的发展,机车的挂车作业是需要重点解决的问题之一。目前,挂车作业需要司机进行瞭望判断行走安全,通过信号旗或者车钩视频监视进行距离判断,进而通过司机经验进行挂车操作,操作过程全程需要依赖司机经验,智能化程度低。
即,目前的挂车作业,存在智能化程度低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高挂车作业智能化程度的机车辅助挂车系统、方法、装置、设备以及存储介质。
一种机车辅助挂车系统,包括:
路况传感器,用于获取机车前方的运行路况图像信息;运行路况图像信息包括同股道内的被挂车图像;
车钩传感器,用于获取机车以及被挂车的车钩图像信息;
雷达传感器,设于机车的车头,用于获取路况点云数据;
中央处理器,分别连接路况传感器、车钩传感器以及雷达传感器;中央处理器根据被挂车图像,识别被挂车类型,并根据车钩图像信息,识别车钩状态以及车钩间距,且根据路况点云数据,确定机车与被挂车的车距,将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。
在其中一个实施例中,雷达传感器包括毫米波雷达和激光雷达,毫米波雷达和激光雷达均设于机车的车头,毫米波雷达用于获取第一路况点云数据,激光雷达用于获取第二路况点云数据;
中央处理器根据第一路况点云数据,得到第一识别结果,并根据第二路况点云数据,得到第二识别结果,且基于被挂车类型、第一识别结果和第二识别结果确定机车与被挂车的车距。
在其中一个实施例中,运行路况图像信息还包括脱轨器图像;
中央处理器将脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器位置以及脱轨器状态,并根据脱轨器状态生成第一辅助指令;第一辅助指令用于指示车载终端进行提示或指示智能驾驶系统控制机车的行驶。
在其中一个实施例中,车钩状态包括车钩连挂状态;
中央处理器,在挂车作业时,将车钩图像信息输入预设的车钩视觉模型,进行车钩连挂状态识别,并根据对应的车钩连挂状态生成第二辅助指令;第二辅助指令用于指示车载终端进行提示或指示智能驾驶系统完成挂车作业。
一种机车辅助挂车方法,包括:
获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;运行路况图像信息包括同股道内的被挂车图像;
根据被挂车图像,识别被挂车类型;
根据车钩图像信息,识别车钩状态以及车钩间距;
根据路况点云数据,确定机车与被挂车的车距;
将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。
在其中一个实施例中,路况点云数据包括第一路况点云数据和第二路况点云数据;
根据路况点云数据,确定机车与被挂车的车距的步骤中,包括步骤:
根据第一路况点云数据,得到第一识别结果,并根据第二路况点云数据,得到第二识别结果,且基于被挂车类型、第一识别结果和第二识别结果确定机车与被挂车的车距。
在其中一个实施例中,运行路况图像信息还包括脱轨器图像;
获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据的步骤之后,还包括步骤:
将脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器位置以及脱轨器状态,并根据脱轨器状态生成第一辅助指令;第一辅助指令用于指示车载终端进行提示或指示智能驾驶系统控制机车的行驶。
在其中一个实施例中,车钩状态包括车钩连挂状态;
将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车的步骤中,还包括步骤:
在挂车作业时,将车钩图像信息输入预设的车钩视觉模型,进行车钩连挂状态识别,并根据对应的车钩连挂状态生成第二辅助指令;第二辅助指令用于指示车载终端进行提示或指示智能驾驶系统完成挂车作业。
一种机车辅助挂车装置,包括:
获取模块,用于获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;运行路况图像信息包括同股道内的被挂车图像;
被挂车类型识别模块,用于根据被挂车图像,识别被挂车类型;
车钩识别模块,用于根据车钩图像信息,识别车钩状态以及车钩间距;
车距识别模块,用于根据路况点云数据,确定机车与被挂车的车距;
辅助模块,将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法的步骤。
上述技术方案中的一个技术方案具有如下优点和有益效果:
机车辅助挂车系统包括路况传感器、车钩传感器、雷达传感器以及中央处理器,中央处理器根据被挂车图像,识别被挂车类型,并根据车钩图像信息,识别车钩状态以及车钩间距,且根据路况点云数据,确定机车与被挂车的车距,将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。从而,司机或智能驾驶系统可根据接收到的被挂车类型和车距控制机车,在距离被挂车一定距离停车,然后根据获取到的车钩状态和车钩间距,在机车辅助挂车系统判断车钩状态满足挂车要求时,控制机车向被挂车靠近直到机车辅助挂车系统确定车钩为已连挂状态,实现挂车作业,有效降低人工驾驶瞭望工作强度,提高智能化程度。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中机车辅助挂车系统的结构示意图;
图2为一个实施例中雷达传感器的结构示意图;
图3为一个实施例中机车辅助挂车方法的第一示意性流程示意图;
图4为一个实施例中确定机车与被挂车的车距的步骤的流程示意图;
图5为一个实施例中机车辅助挂车方法的第二示意性流程示意图;
图6为一个实施例中机车辅助挂车装置的结构框图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
需要说明的是,当一个元件被认为是“连接”另一个元件时,它可以是直接连接到另一个元件,或者通过居中元件连接另一个元件。此外,以下实施例中的“连接”,如果被连接的对象之间具有电信号或数据的传递,则应理解为“电连接”、“通信连接”等。
在此使用时,单数形式的“一”、“一个”和“所述/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时,在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。
在一个实施例中,如图1所示,提供了一种机车辅助挂车系统,包括:
路况传感器,用于获取机车前方的运行路况图像信息;运行路况图像信息包括同股道内的被挂车图像;
车钩传感器,用于获取机车以及被挂车的车钩图像信息;
雷达传感器,设于机车的车头,用于获取路况点云数据;
中央处理器,分别连接路况传感器、车钩传感器以及雷达传感器;中央处理器根据被挂车图像,识别被挂车类型,并根据车钩图像信息,识别车钩状态以及车钩间距,且根据路况点云数据,确定机车与被挂车的车距,将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。
其中,路况传感器,用于获取机车前方的路况图像信息。运行路况图像信息为实时的机车前方轨道及轨旁的图像信息,包括同股道内的被挂车图像。路况传感器可为一个或多个路况摄像机。一般性地,路况摄像机安装在司机台中间,贴近列车前挡风玻璃。
车钩传感器,用于实时获取机车车钩以及被挂车的车钩图像信息。车钩传感器可包括一个或多个车钩摄像机。一般性地,车钩传感器安装于机车车钩上方,保证车钩像机视野可以覆盖机车车钩及其同股道一定范围内它车的车钩。
雷达传感器,设于机车的车头,将实时获取到的路况点云数据传输给中央处理器以便中央处理器探测本车与被挂车之间的车距。雷达传感器可包括毫米波雷达、激光雷达等,以便覆盖盲区。应当理解,可根据系统鲁棒性需要配置多种雷达传感器,可配置的雷达探测距离应不小于100米。
中央处理器为具有数据处理和控制功能的设备或器件,分别连接路况传感器、车钩传感器和雷达传感器。中央处理器还用于连接车载终端,以便将处理结果通过车载终端对司机进行提示,辅助司机进行挂车作业;或中央处理处理器还用于连接智能驾驶系统,直接输出辅助结果信息以便辅助智能驾驶系统进行作业。车载终端为影音设备,具有提醒功能。中央处理器可通过车载终端以语音、文字以及图片等方式提示司机进行下一步操作。
具体地,中央处理器可根据被挂车图像识别当前机车同股道内被挂车类型,并根据路况点云数据,确定当前机车与被挂车的车距。中央处理器识别得到的被挂车类型以及机车与被挂车的车距发送给车载终端或智能驾驶系统,以便引导机车在被挂车一定范围车距停车。同时,通过车钩摄像机检测被挂车车钩,一旦被挂车车钩进入车钩传感器视场范围机车辅助挂车系统以车钩传感器识别的状态和测距为主要检测依据。中央处理器根据机车以及被挂车的车钩图像信息,检测车钩状态以及两车的车钩间隔,并将识别结果传输给车载终端或智能驾驶系统。车钩状态可包括车钩受力状态以及车钩连挂状态等。车钩连挂状态包括车钩开合状态以及车钩是否为已连挂状态(即本车车钩连挂它车车钩)等。在两车的车钩开合状态满足挂车要求时,车钩具备连挂条件信息传输到外部设备,引导司机或智能驾驶系统控制机车向被挂车靠近进行挂车。进而,在机车向被挂车靠近过程中,机车辅助挂车系统通过车钩传感器实时监测两个车钩间距和车钩状态,对外输出连挂中的车钩状态信息和距离信息;当识别到车钩为已连挂状态后,中央处理器对外发送已连挂信息,完成辅助挂车。
上述机车辅助挂车系统中,包括路况传感器、车钩传感器、雷达传感器和中央处理器。其中,中央处理器,分别连接路况传感器、车钩传感器和雷达传感器,还用于连接车载终端或智能驾驶系统。中央处理器,将识别到的挂车类型、车钩状态、车钩间距和/或两车车距实时发送至外部,以便引导机车在距离被挂车一定范围内停车,同时系统中通过车钩传感器检测被挂车与本车车钩,识别两车的车钩状态和车钩间距,在车钩开合状态满足挂车要求时,通过车载终端或智能驾驶系统引导机车向被挂车靠近,并在靠近过程中,实时监测车钩间距以及车钩状态,直到检测到车钩挂上时,对外发送已连挂信息,完成辅助挂车,无需人工全程确认车钩状态、车钩连接状态、被挂车类型和车距等,智能化辅助挂车作业。本系统能够有效降低挂车作业难度,尤其是对挂车作业经验欠缺的工作人员。
在一个实施例中,在机车辅助挂车系统安装完成后,由于路况传感器和车钩传感器安装位置的差异,需要进行标定,将路况传感器和雷达传感器的坐标系进行统一,以便后续便于数据计算和目标融合;对于车钩传感器,根据相机内外参数、车钩类型和尺寸、在相机中的位置,进行标定,为车钩状态检测、车钩间距离判断提供基础参数。
在一个实施例中,如图2所示,雷达传感器包括毫米波雷达和激光雷达,毫米波雷达和激光雷达均设于机车的车头,毫米波雷达用于获取第一路况点云数据,激光雷达用于获取第二路况点云数据;
中央处理器根据第一路况点云数据,得到第一识别结果,并根据第二路况点云数据,得到第二识别结果,且基于被挂车类型、第一识别结果和第二识别结果确定机车与被挂车的车距。
其中,雷达传感器包括毫米波雷达和激光雷达,毫米波雷达和激光雷达均设于机车的车头。毫米波雷达发射一束电磁波,中央处理器通过发射出去的电磁波以及反射回来电磁波之间的差异来计算当前机车与目标障碍物的距离。激光雷达与中央处理器配合时,中央处理器可根据发出去的激光和反射回来的激光之间的时间长短、光的传播速度以及当前车速,计算出机车与被挂车的车距。
具体地,毫米波雷达用于获取第一路况点云数据,激光雷达用于获取第二路况点云数据。
中央处理器根据第一路况点云数据,通过第一点云数据提取车辆点云和轨道特征,针对轨道和点云特征对点云进行分割、聚类,检测运行前方障碍物目标并测距,得到第一识别结果;同时根据第二路况点云数据,通过第二点云数据提取车辆点云和轨道特征,针对轨道和点云特征对点云进行分割、聚类,检测运行前方障碍物目标并测距,得到第二识别结果。进而,中央处理器根据识别得到的被挂车类型、第一识别结果和第二识别结果通过时间和空间的匹配,融合确定被挂车类型、机车与被挂车的车距,将机车与被挂车的车距结果通过车载终端传输给司机进行提醒或传输给智能驾驶系统进行辅助作业。
在本申请实施例中,雷达传感器包括毫米波雷达和激光雷达,通过第一路况点云数据以及第二点云数据确定当前机车与被挂车的车距,能够有效避免单一雷达受天气等因素干扰影响车距识别结果的情况,提高识别准确性。
在一个实施例中,运行路况图像信息还包括脱轨器图像;
中央处理器将脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器位置以及脱轨器状态,并根据脱轨器状态生成第一辅助指令;第一辅助指令用于指示车载终端进行提示或指示智能驾驶系统控制机车的行驶。
由于脱轨器目标较小,目前现有技术中不具备控制机车在进行过程中识别脱轨器状态进而启停机车的功能。机车连挂作业的要求为机车在脱轨器前一定距离前停车,脱轨器的作用是上脱(红色)标识前方存车线正在作业,机车不能进入,避免发生安全事故;脱轨器为下脱(绿色)标识时,表明前方存车线无作业,机车可以进入进行连挂作业。
具体地,运行路况图像信息还包括脱轨器图像,脱轨器图像中包括脱轨器状态信息。中央处理器将脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器图像中脱轨器位置以及脱轨器状态。进而,根据脱轨器状态生成第一辅助指令控制车载终端进行提示或指示智能驾驶系统控制机车继续行驶。司机或智能驾驶系统基于接收到的第一辅助指令,在确认脱轨器为下脱状态后,控制机车继续行驶以保证安全。进而,机车辅助挂车系统中的路况传感器检测当前行驶股道内被挂车,通过雷达传感器检测机车与被挂车的车距,且通过车钩传感器检测车钩状态以及车钩间距,以辅助司机或智能驾驶系统进行挂车作业。
在一个实施例中,预设的脱轨器视觉模型通过以下步骤得到:
获取多张脱轨器图像,对脱轨器图像中脱轨器进行标注和提取后,构建训练集以及测试集;
输入训练集对脱轨器深度学习模型进行训练,得到训练后的脱轨器深度学习模型;
通过测试集对训练后的脱轨器深度学习模型进行测试,得到预设的脱轨器视觉模型。
具体地,在通过训练集对脱轨器深度学习模型进行训练后,得到训练后的模型,使用测试集进行测试,根据测试效果针对性补充样本训练,此过程递归执行,直至测试结果满足应用指标,得到预设的脱轨器视觉模型,以便准确识别脱轨器为上脱或下脱状态。需要说明的是,训练集和测试集需覆盖不同季节、气象条件和时段的脱轨器图像。且训练集与测试集独立采集,不重叠。
在一个实施例中,车钩状态包括车钩连挂状态;
中央处理器,在挂车作业时,将车钩图像信息输入预设的车钩视觉模型,进行车钩连挂状态识别,并根据对应的车钩连挂状态生成第二辅助指令;第二辅助指令用于指示车载终端进行提示或指示智能驾驶系统完成挂车作业。
具体地,中央处理器,将被挂车类型和车距信息发送给车载终端或智能驾驶系统后,进行挂车作业时,将车钩传感器传输的车钩图像信息输入预设的车钩视觉模型进行车钩连挂状态识别,并根据对应的车钩连挂状态生成第二辅助指令。车钩连挂状态包括车钩开合状态以及车钩是否为已连挂状态。当识别到车钩开合状态满足挂车要求时,生成第二辅助指令用于指示车载终端提示司机或指示智能驾驶系统控制机车向被挂车靠近。当根据车钩图像信息,识别到车钩已连挂时,生成对应的第二辅助指令以提醒司机或告知智能驾驶系统、完成辅助挂车,有效提高挂车效率,提高挂车智能化程度。
在一个实施例中,通过以下步骤获取预设的车钩视觉模型:
获取多张车钩图像信息,对车钩图像信息中车钩进行标注和提取,构建训练集以及测试集;
输入训练集对车钩深度学习模型进行训练,得到训练后的车钩深度学习模型;
通过测试集对训练后的车钩深度学习模型进行测试,得到预设的车钩视觉模型。
具体而言,通过车钩传感器采集车钩图像信息,将车钩图像信息中车钩的状态进行标注和提取,通过提取后的训练集样本对车钩深度学习模型进行训练,训练得到模型使用测试集进行测试,根据测试效果针对性补充样本训练,此过程递归执行,直至测试结果满足应用指标,得到预设的车钩视觉模型。训练集和测试集需覆盖不同时段,且训练集与测试集独立采集,不重叠;中央处理器通过车钩机器视觉模型完成车钩位置识别、车钩开合状态识别或车钩是否为连挂状态识别。
在一个实施例中,如图3所示,提供了一种机车辅助挂车方法,包括:
步骤S120、获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;运行路况图像信息包括同股道内的被挂车图像;
步骤S140、根据被挂车图像,识别被挂车类型;
步骤S160、根据车钩图像信息,识别车钩状态以及车钩间距;
步骤S180、根据路况点云数据,确定机车与被挂车的车距;
步骤S200、将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。
其中,运行路况图像信息为实时的机车前方轨道及轨旁的图像信息,包括同股道内的被挂车图像。运行路况图像信息可由路况传感器获取。机车以及被挂车的车钩图像信息包括机车以及被挂车的车钩图像,可由车钩传感器获取。路况点云数据为雷达传感器采集到的机车前方的点云数据。
具体而言,根据被挂车图像识别当前机车同股道内被挂车类型,并根据路况点云数据,确定当前机车与被挂车的车距,将识别得到的被挂车类型以及机车与被挂车的车距发送给车载终端或智能驾驶系统,以便引导机车在被挂车一定范围车距停车。同时,根据机车以及被挂车的车钩图像信息,检测车钩状态以及两车的车钩间隔,并将识别结果传输给车载终端或智能驾驶系统。车钩状态可包括车钩受力状态以及车钩连挂状态等。车钩连挂状态包括车钩开合状态以及车钩是否为已连挂状态(即本车车钩连挂它车车钩)等。在两车的车钩开合状态满足挂车要求时,将车钩具备连挂条件信息传输到外部设备,引导司机或智能驾驶系统控制机车向被挂车靠近进行挂车。进而,在机车向被挂车靠近过程中,通过车钩传感器实时监测的车钩图像信息识别两个车钩间距和车钩状态,输出车钩状态信息和距离信息;当识别到车钩为已连挂状态后,对车载终端或智能驾驶系统发送已连挂信息,完成辅助挂车,有效提高挂车作业过程中智能化程度。
在本申请实施例中,提供了一种机车辅助挂车方法,能够有效提高挂车作业效率,有助于提高作业智能化程度。需要说明的是,上述机车辅助挂车方法可由上述实施例中的中央处理器执行,也可以由其他设备执行,此处不做具体限定。
在一个实施例中,路况点云数据包括第一路况点云数据和第二路况点云数据;
如图4所示,根据路况点云数据,确定机车与被挂车的车距的步骤中,包括步骤:
步骤S182、根据第一路况点云数据,得到第一识别结果,并根据第二路况点云数据,得到第二识别结果,且基于被挂车类型、第一识别结果和第二识别结果确定机车与被挂车的车距。
具体而言,第一点云数据由毫米波雷达实时获取,第二点云数据由激光雷达实时获取。根据第一路况点云数据,通过第一点云数据提取车辆点云和轨道特征,针对轨道和点云特征对第一点云数据进行分割、聚类进行测距,得到第一识别结果;同时根据第二路况点云数据,通过第二点云数据提取车辆点云和轨道特征,针对轨道和点云特征对第二点云数据进行分割、聚类,检测机车前方障碍物目标并测距,得到第二识别结果。进而,根据识别得到的被挂车类型、第一识别结果和第二识别结果通过时间和空间的匹配,融合确定被挂车类型、机车与被挂车的车距,将机车与被挂车的车距结果通过车载终端传输给车载终端进行提醒或传输给智能驾驶系统进行辅助作业,通过将第一点云数据和第二点云数据进行融合提高识别准确性。
在一个实施例中,运行路况图像信息还包括脱轨器图像;
如图5所示,获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据的步骤之后,还包括步骤:
步骤S130、将脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器位置以及脱轨器状态,并根据脱轨器状态生成第一辅助指令;第一辅助指令用于指示车载终端进行提示或指示智能驾驶系统控制机车的行驶。
具体而言,运行路况图像信息还包括脱轨器图像,脱轨器图像中包括脱轨器状态信息。将脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器图像中脱轨器位置以及脱轨器状态。进而,根据脱轨器状态生成第一辅助指令控制车载终端进行提示或指示智能驾驶系统控制机车继续行驶。司机或智能驾驶系统基于接收到的第一辅助指令,在确认脱轨器为下脱状态后,控制机车继续行驶以保证安全。后续根据路况传感器检测到的运行路况图像信息识别当前行驶股道内被挂车类型,通过路况点云数据检测机车与被挂车的车距,且通过车钩图像信息检测车钩状态以及车钩间距,以辅助司机或智能驾驶系统进行挂车作业。
在一个实施例中,预设的脱轨器视觉模型通过以下步骤得到:
获取多张脱轨器图像,对脱轨器图像中脱轨器进行标注和提取后,构建训练集以及测试集;
输入训练集对脱轨器深度学习模型进行训练,得到训练后的脱轨器深度学习模型;
通过测试集对训练后的脱轨器深度学习模型进行测试,得到预设的脱轨器视觉模型。
具体地,在通过训练集对脱轨器深度学习模型进行训练后,得到训练后的模型,使用测试集进行测试,根据测试效果针对性补充样本训练,此过程递归执行,直至测试结果满足应用指标,得到预设的脱轨器视觉模型,以便准确识别脱轨器为上脱或下脱状态。需要说明的是,训练集和测试集需覆盖不同季节、气象条件和时段的脱轨器图像。且训练集与测试集独立采集,不重叠。
在一个实施例中,车钩状态包括车钩连挂状态;
将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车的步骤中,还包括步骤:
在挂车作业时,将车钩图像信息输入预设的车钩视觉模型,进行车钩连挂状态识别,并根据对应的车钩连挂状态生成第二辅助指令;第二辅助指令用于指示车载终端进行提示或指示智能驾驶系统完成挂车作业。
具体而言,将车钩传感器传输的车钩图像信息输入预设的车钩视觉模型进行车钩连挂状态识别,并根据对应的车钩连挂状态生成第二辅助指令。车钩连挂状态包括车钩开合状态以及车钩是否为已连挂状态。当识别到车钩开合状态满足挂车要求时,生成第二辅助指令用于指示车载终端提示司机或指示智能驾驶系统控制机车向被挂车靠近。当根据车钩图像信息,识别到车钩已连挂时,生成对应的第二辅助指令以提醒司机或告知智能驾驶系统、完成辅助挂车,有效提高挂车效率,提高挂车智能化程度。
在一个实施例中,通过以下步骤获取预设的车钩视觉模型:
获取多张车钩图像信息,对车钩图像信息中车钩进行标注和提取,构建训练集以及测试集;
输入训练集对车钩深度学习模型进行训练,得到训练后的车钩深度学习模型;
通过测试集对训练后的车钩深度学习模型进行测试,得到预设的车钩视觉模型。
具体而言,通过车钩传感器采集车钩图像信息,将车钩图像信息中车钩的状态进行标注和提取,通过提取后的训练集样本对车钩深度学习模型进行训练,训练得到模型使用测试集进行测试,根据测试效果针对性补充样本训练,此过程递归执行,直至测试结果满足应用指标,得到预设的车钩视觉模型。训练集和测试集需覆盖不同时段,且训练集与测试集独立采集,不重叠;中央处理器通过车钩机器视觉模型完成车钩位置识别、车钩开合状态识别或车钩是否为连挂状态识别。
应该理解的是,虽然图3-图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3-图5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种机车辅助挂车装置,包括:获取模块、被挂车类型识别模块、车钩识别模块、车距识别模块以及辅助模块,其中:
获取模块,用于获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;所述运行路况图像信息包括同股道内的被挂车图像;
被挂车类型识别模块,用于根据所述被挂车图像,识别被挂车类型;
车钩识别模块,用于根据所述车钩图像信息,识别车钩状态以及车钩间距;
车距识别模块,用于根据所述路况点云数据,确定所述机车与所述被挂车的车距;
辅助模块,将所述被挂车类型、所述车钩状态、所述车钩间距和/或所述车距发送给车载终端或智能驾驶系统、辅助所述机车进行挂车。
关于机车辅助挂车装置的具体限定可以参见上文中对于机车辅助挂车方法的限定,在此不再赘述。上述机车辅助挂车装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;运行路况图像信息包括同股道内的被挂车图像;
根据被挂车图像,识别被挂车类型;
根据车钩图像信息,识别车钩状态以及车钩间距;
根据路况点云数据,确定机车与被挂车的车距;
将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;运行路况图像信息包括同股道内的被挂车图像;
根据被挂车图像,识别被挂车类型;
根据车钩图像信息,识别车钩状态以及车钩间距;
根据路况点云数据,确定机车与被挂车的车距;
将被挂车类型、车钩状态、车钩间距和/或车距发送给车载终端或智能驾驶系统、辅助机车进行挂车。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
在本说明书的描述中,参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种机车辅助挂车系统,其特征在于,包括:
路况传感器,用于获取机车前方的运行路况图像信息;所述运行路况图像信息包括同股道内的被挂车图像;
车钩传感器,用于获取机车以及被挂车的车钩图像信息;
雷达传感器,设于所述机车的车头,用于获取路况点云数据;
中央处理器,分别连接所述路况传感器、所述车钩传感器以及所述雷达传感器;所述中央处理器根据所述被挂车图像,识别被挂车类型,并根据所述车钩图像信息,识别车钩状态以及车钩间距,且根据所述路况点云数据,确定所述机车与所述被挂车的车距,将所述被挂车类型、所述车钩状态、所述车钩间距和/或所述车距发送给车载终端或智能驾驶系统、辅助所述机车进行挂车。
2.根据权利要求1所述的机车辅助挂车系统,其特征在于,所述雷达传感器包括毫米波雷达和激光雷达,所述毫米波雷达和所述激光雷达均设于所述机车的车头,所述毫米波雷达用于获取第一路况点云数据,所述激光雷达用于获取第二路况点云数据;
所述中央处理器根据所述第一路况点云数据,得到第一识别结果,并根据所述第二路况点云数据,得到第二识别结果,且基于所述被挂车类型、所述第一识别结果和所述第二识别结果确定所述机车与被挂车的车距。
3.根据权利要求2所述的机车辅助挂车系统,其特征在于,所述运行路况图像信息还包括脱轨器图像;
所述中央处理器将所述脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器位置以及脱轨器状态,并根据所述脱轨器状态生成第一辅助指令;所述第一辅助指令用于指示所述车载终端进行提示或指示所述智能驾驶系统控制所述机车的行驶。
4.根据权利要求1至3任意一项所述的机车辅助挂车系统,其特征在于,所述车钩状态包括车钩连挂状态;
所述中央处理器,在挂车作业时,将所述车钩图像信息输入预设的车钩视觉模型,进行车钩连挂状态识别,并根据对应的所述车钩连挂状态生成第二辅助指令;所述第二辅助指令用于指示所述车载终端进行提示或指示所述智能驾驶系统完成挂车作业。
5.一种机车辅助挂车方法,其特征在于,包括:
获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;所述运行路况图像信息包括同股道内的被挂车图像;
根据所述被挂车图像,识别被挂车类型;
根据所述车钩图像信息,识别车钩状态以及车钩间距;
根据所述路况点云数据,确定所述机车与所述被挂车的车距;
将所述被挂车类型、所述车钩状态、所述车钩间距和/或所述车距发送给车载终端或智能驾驶系统、辅助所述机车进行挂车。
6.根据权利要求5所述的机车辅助挂车方法,其特征在于,所述路况点云数据包括第一路况点云数据和第二路况点云数据;
所述根据所述路况点云数据,确定所述机车与所述被挂车的车距的步骤中,包括步骤:
根据所述第一路况点云数据,得到第一识别结果,并根据所述第二路况点云数据,得到第二识别结果,且基于所述被挂车类型、所述第一识别结果和所述第二识别结果确定所述机车与被挂车的车距。
7.根据权利要求6所述的机车辅助挂车方法,其特征在于,所述运行路况图像信息还包括脱轨器图像;
所述获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据的步骤之后,还包括步骤:
将所述脱轨器图像输入预设的脱轨器视觉模型中,确定脱轨器位置以及脱轨器状态,并根据所述脱轨器状态生成第一辅助指令;所述第一辅助指令用于指示所述车载终端进行提示或指示所述智能驾驶系统控制所述机车的行驶。
8.根据权利要求5至7任意一项所述的机车辅助挂车方法,其特征在于,所述车钩状态包括车钩连挂状态;
所述将所述被挂车类型、所述车钩状态、所述车钩间距和/或所述车距发送给车载终端或智能驾驶系统、辅助所述机车进行挂车的步骤中,还包括步骤:
在挂车作业时,将所述车钩图像信息输入预设的车钩视觉模型,进行车钩连挂状态识别,并根据对应的所述车钩连挂状态生成第二辅助指令;所述第二辅助指令用于指示所述车载终端进行提示或指示所述智能驾驶系统完成挂车作业。
9.一种机车辅助挂车装置,其特征在于,包括:
获取模块,用于获取机车前方的运行路况图像信息、机车以及被挂车的车钩图像信息以及路况点云数据;所述运行路况图像信息包括同股道内的被挂车图像;
被挂车类型识别模块,用于根据所述被挂车图像,识别被挂车类型;
车钩识别模块,用于根据所述车钩图像信息,识别车钩状态以及车钩间距;
车距识别模块,用于根据所述路况点云数据,确定所述机车与所述被挂车的车距;
辅助模块,将所述被挂车类型、所述车钩状态、所述车钩间距和/或所述车距发送给车载终端或智能驾驶系统、辅助所述机车进行挂车。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求5至7中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求5至7中任一项所述的方法的步骤。
CN202010651421.6A 2020-07-08 2020-07-08 机车辅助挂车系统、方法、装置、设备以及存储介质 Pending CN111898460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010651421.6A CN111898460A (zh) 2020-07-08 2020-07-08 机车辅助挂车系统、方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010651421.6A CN111898460A (zh) 2020-07-08 2020-07-08 机车辅助挂车系统、方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN111898460A true CN111898460A (zh) 2020-11-06

Family

ID=73192015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010651421.6A Pending CN111898460A (zh) 2020-07-08 2020-07-08 机车辅助挂车系统、方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN111898460A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112550343A (zh) * 2020-11-16 2021-03-26 卡斯柯信号有限公司 一种适用于货运列车的自动挂车方法及装置
CN113415318A (zh) * 2021-07-09 2021-09-21 北京埃福瑞科技有限公司 一种列车连挂编组辅助防护系统及防护方法
CN114973159A (zh) * 2022-05-16 2022-08-30 北京轨道交通技术装备集团有限公司 一种车钩连挂状态检测方法、系统及装置
CN115503787A (zh) * 2022-09-20 2022-12-23 中车南京浦镇车辆有限公司 一种轨道交通车钩连挂检测装置及方法
CN115973217A (zh) * 2023-03-20 2023-04-18 中车长春轨道客车股份有限公司 一种实现列车曲线自动连挂的装置和自动连挂方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104908782A (zh) * 2015-07-02 2015-09-16 株洲高新技术产业开发区壹星科技有限公司 一种机车调车作业安全预警方法及系统装置
CN107685743A (zh) * 2017-09-04 2018-02-13 上海稳得新能源科技有限公司 智能车钩系统
US20200039306A1 (en) * 2018-08-06 2020-02-06 Ford Global Technologies, Llc Hitch assist system
US20200073398A1 (en) * 2018-08-30 2020-03-05 Ford Global Technologies, Llc System and methods for reverse braking during automated hitch alignment
US20200079165A1 (en) * 2018-09-10 2020-03-12 Ford Global Technologies, Llc Hitch assist system
US20200183008A1 (en) * 2018-12-10 2020-06-11 Waymo Llc Lidar-based Trailer Tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104908782A (zh) * 2015-07-02 2015-09-16 株洲高新技术产业开发区壹星科技有限公司 一种机车调车作业安全预警方法及系统装置
CN107685743A (zh) * 2017-09-04 2018-02-13 上海稳得新能源科技有限公司 智能车钩系统
US20200039306A1 (en) * 2018-08-06 2020-02-06 Ford Global Technologies, Llc Hitch assist system
US20200073398A1 (en) * 2018-08-30 2020-03-05 Ford Global Technologies, Llc System and methods for reverse braking during automated hitch alignment
US20200079165A1 (en) * 2018-09-10 2020-03-12 Ford Global Technologies, Llc Hitch assist system
US20200183008A1 (en) * 2018-12-10 2020-06-11 Waymo Llc Lidar-based Trailer Tracking

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
迟学力;: "视频图像处理技术在保障机车调车作业安全方面的研究与实践", 铁道通信信号, no. 10, 17 October 2015 (2015-10-17), pages 2 *
阎三军: "《韶山3型电力机车操纵与保养》", 30 September 1993, 中国铁道出版社, pages: 76 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112550343A (zh) * 2020-11-16 2021-03-26 卡斯柯信号有限公司 一种适用于货运列车的自动挂车方法及装置
CN113415318A (zh) * 2021-07-09 2021-09-21 北京埃福瑞科技有限公司 一种列车连挂编组辅助防护系统及防护方法
CN114973159A (zh) * 2022-05-16 2022-08-30 北京轨道交通技术装备集团有限公司 一种车钩连挂状态检测方法、系统及装置
CN115503787A (zh) * 2022-09-20 2022-12-23 中车南京浦镇车辆有限公司 一种轨道交通车钩连挂检测装置及方法
CN115973217A (zh) * 2023-03-20 2023-04-18 中车长春轨道客车股份有限公司 一种实现列车曲线自动连挂的装置和自动连挂方法

Similar Documents

Publication Publication Date Title
CN111898460A (zh) 机车辅助挂车系统、方法、装置、设备以及存储介质
US10032085B2 (en) Method and system to identify traffic lights by an autonomous vehicle
CN103253263B (zh) 障碍物检测及碰撞报警装置及其方法
CN111060904B (zh) 一种基于毫米波与视觉融合感知的盲区监测方法
CN105620489A (zh) 驾驶辅助系统及车辆实时预警提醒方法
CN108615383B (zh) 基于车间通信的汽车交通路口辅助通行系统及其控制方法
CN112700470A (zh) 一种基于交通视频流的目标检测和轨迹提取方法
KR20090130977A (ko) 영상처리기법을 이용한 신호교차로의 교통상충 판단 시스템및 방법
CN103568947A (zh) 后侧方警报系统及方法
CN104567725A (zh) 车辆运行故障检测系统及方法
CN103021182B (zh) 机动车闯红灯违章监测方法及装置
KR101991067B1 (ko) 자율 주행 차량의 제어 장치 및 방법
CN112419773A (zh) 一种基于云控平台的车路协同无人驾驶控制系统
CN102303563B (zh) 前车碰撞预警系统及方法
CN113378741A (zh) 一种基于多源传感器的飞机牵引车辅助感知方法及其系统
CN112489383A (zh) 一种基于机器视觉的预防闯红灯事故预警系统、方法
CN111610191B (zh) 一种道路检测与修复系统
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
CN108162867A (zh) 一种车道识别系统及车道识别方法
CN113257036A (zh) 一种车辆碰撞预警方法、装置、设备和存储介质
CN115527395B (zh) 用于辅助判断的智能交通安全鉴定装置
CN111427063A (zh) 一种移动装置通行控制方法、装置、设备、系统及介质
CN109895694B (zh) 一种车道偏离预警方法、装置及车辆
CN104442756A (zh) 用于车辆的自动预警系统及方法
CN104408942A (zh) 车辆智能测速装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination