CN109094580B - 基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质 - Google Patents

基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN109094580B
CN109094580B CN201810731644.6A CN201810731644A CN109094580B CN 109094580 B CN109094580 B CN 109094580B CN 201810731644 A CN201810731644 A CN 201810731644A CN 109094580 B CN109094580 B CN 109094580B
Authority
CN
China
Prior art keywords
traffic lights
image
train
acquisition
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810731644.6A
Other languages
English (en)
Other versions
CN109094580A (zh
Inventor
霍芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Vocational College of Railway Technology
Original Assignee
Hunan Vocational College of Railway Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Vocational College of Railway Technology filed Critical Hunan Vocational College of Railway Technology
Priority to CN201810731644.6A priority Critical patent/CN109094580B/zh
Publication of CN109094580A publication Critical patent/CN109094580A/zh
Application granted granted Critical
Publication of CN109094580B publication Critical patent/CN109094580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61C—LOCOMOTIVES; MOTOR RAILCARS
    • B61C17/00—Arrangement or disposition of parts; Details or accessories not otherwise provided for; Use of control gear and control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Abstract

本发明涉及智能驾驶技术领域，公开一种基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质，以提高辅助驾驶的实时性、精确性和智能性。本发明方法包括：预先设置列车的运行轨迹和相应的红绿灯坐标及安装属性，并在该运行轨迹上设置对应各红绿灯的红绿灯图像采集区段；实时监测列车的运行轨迹，并在列车运行至任一红绿灯图像采集区段时，执行红绿灯图像采集，并根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时计算各采集图像中的红绿灯区域；从车载的LKJ系统中获取列车当前的轨道或道岔数据，并根据该红绿灯安装属性在该红绿灯区域提取当前轨道或道岔所对应的红绿灯信息，并根据所确定的红绿灯信息执行辅助驾驶。

Description

基于图像识别的列车辅助驾驶方法、系统及计算机可读存储 介质
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质。
背景技术
在由互联网时代到人工智能时代过程中，智能驾驶是研究热点。智能驾驶的本质是机器帮助人进行驾驶，以及在特殊情况下完全取代人驾驶的技术。
智能驾驶的时代已经来到。比如说，很多车有自动刹车装置，其技术原理非常简单，就是在汽车前部装上雷达和红外线探头，当探知前方有异物或者行人时，会自动帮助驾驶员刹车。另一种技术与此非常类似，即在路况稳定的高速公路上实现自适应性巡航，也就是与前车保持一定距离,前车加速时本车也加速，前车减速时本车也减速。
在国铁领域，由于机车运行都有确定的轨道和LKJ等周密的监控系统，机车智能驾驶相比汽车来说简单很多，更适合智能驾驶。与此同时，随着人工智能，尤其是深度学习技术的发展，图像识别能力大为提升。而且，国铁运营里程长，对驾驶员的精力消耗比较大，将图像识别应用于列车辅助驾驶能进一步提高列车系统的安全性。
发明内容
本发明目的在于公开一种基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质，以提高辅助驾驶的实时性、精确性和智能性。
为实现上述目的，本发明公开了一种基于图像识别的列车辅助驾驶方法，包括：
预先设置列车的运行轨迹和相应的红绿灯坐标及安装属性，并在所述运行轨迹上设置对应各红绿灯的红绿灯图像采集区段；
实时监测列车的运行轨迹，并在列车运行至任一红绿灯图像采集区段时，执行红绿灯图像采集，并根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时计算各采集图像中的红绿灯区域；
从车载的LKJ系统中获取列车当前的轨道或道岔数据，并根据所述红绿灯安装属性在所述红绿灯区域提取当前轨道或道岔所对应的红绿灯信息，并根据所确定的红绿灯信息执行辅助驾驶。
为实现上述目的，本发明公开了一种基于图像识别的列车辅助驾驶系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法的步骤。
本发明具有以下有益效果：
按需启动红绿灯图像采集，并能在所采集图像中从一个大图像区域中，根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时计算精确定位一小范围的红绿灯区域，能有效过滤掉非红绿灯区域图像对辅助驾驶所产生的图像噪音，快速筛选出有效图像数据的同时也提高了数据处理的效率；之后，根据车载的LKJ系统中获取列车当前的轨道或道岔数据，然后再根据红绿灯安装属性在红绿灯区域提取当前轨道或道岔所对应的红绿灯信息，充分整合了现有资源并提高辅助驾驶的实时性、精确性和智能性。
下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例的基于图像识别的列车辅助驾驶方法流程图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
本实施例公开一种基于图像识别的列车辅助驾驶方法，如图1所示，包括：
步骤S1、预先设置列车的运行轨迹和相应的红绿灯坐标及安装属性，并在所述运行轨迹上设置对应各红绿灯的红绿灯图像采集区段。
在该步骤中，各个红绿灯图像采集区段可预先标定。相关红绿灯的安装属性包括但不限于：安绿灯的数量及排列信息、信号灯的显示形状(如圆形或箭头形状)、及灯框结构等。
步骤S2、实时监测列车的运行轨迹，并在列车运行至任一红绿灯图像采集区段时，执行红绿灯图像采集，并根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时计算各采集图像中的红绿灯区域。
该步骤即：在一个标准像素的图像采集图像中，根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时进行几何计算以精确定位一小范围的红绿灯区域，能有效过滤掉非红绿灯区域图像对辅助驾驶所产生的图像噪音，快速筛选出有效图像数据的同时也提高了数据处理的效率。优选地，为进一步提高计算精度，在具体的几何计算前，可以根据摄像装备的内外畸变参数从二维图像中还原三维信息；相关内外畸变参数的确定包括但不限于张正友标定法等。进一步地，在本实施例图像的预处理过程中，根据实时的运行轨迹获取图像采集位置的雾霾指数信息，并根据所述雾霾指数信息对所采集的图像进行去雾霾处理。
步骤S3、从车载的LKJ系统中获取列车当前的轨道或道岔数据，并根据所述红绿灯安装属性在所述红绿灯区域提取当前轨道或道岔所对应的红绿灯信息，并根据所确定的红绿灯信息执行辅助驾驶。
在该步骤中，考虑到不同线段红绿灯的安装位置不一样，同时考虑到某些区域有多条线路导致同时有多个红绿灯并列情况，需要根据步骤S1预先设定的红绿灯安装属性和道岔数据进行识别，防止错误操作。其中，相关的图像识别为现有技术，包括但不限于边缘提取、中值滤波处理等，不做赘述。
进一步的，本实施例方法还包括：以车载的图像采集设备辅助识别危险源。常见的危险源包括但不限于：线路上的人、动物、巨石、前方列车等危险源。基于本发明特定的应用场景，相关危险源还包括驾驶窗前的飞鸟。其中，本实施例飞鸟危险源的辅助识别步骤包括：
预先通过训练建立驾驶窗前危险距离内的飞鸟模型，并根据所述危险距离和图像采集设备的视角参数设定识别危险源的矩形窗大小；在实时的采集图像中，以窗口滑移的方式遍历是否存在与所述飞鸟模型对应的图像特征，如果有，输出告警。其中，窗口滑移的方式通常采用从左到右、从上到下的方式。相关数据处理所采用的算法包括但不限于神经网络算法等。
进一步的，本实施例方法还包括：以图像采集设备实时的采集图像辅助分析列车当前位置的环境特征，基于图像的深度学习以判断列车是否进入隧道、桥梁或爬坡，实时纠正GPS定位的偏差。藉此，基于本实施例图像识别与GPS定位相结合实现的融合定位，也能避免局部地区GPS信号弱所导致的无法定位或定位延时等问题。
进一步的，本实施例方法还包括：结合时刻表，开展运行曲线控制。例如，通过实时对比地理位置与时间，如果列车晚点，在限速条件下提高列车速度；反之，降低列车速度。又例如：将列车的加速度与其晚点、早点的时刻相对应。以及诸如：碰到红灯时，提前降速控制；碰到红灯变绿灯后，启动机车驾驶。此外，优选地，在紧急情况下，本实施例还可以进一步将采集的图像信息及相应的图像分析结论数据，通过无线连接发送给远程调度室以供进行远程干预。
综上，本实施例公开的基于图像识别的列车辅助驾驶方法，按需启动红绿灯图像采集，并能在所采集图像中从一个大图像区域中，根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时计算精确定位一小范围的红绿灯区域，能有效过滤掉非红绿灯区域图像对辅助驾驶所产生的图像噪音，快速筛选出有效图像数据的同时也提高了数据处理的效率；之后，根据车载的LKJ系统中获取列车当前的轨道或道岔数据，然后再根据红绿灯安装属性在红绿灯区域提取当前轨道或道岔所对应的红绿灯信息，充分整合了现有资源并提高辅助驾驶的实时性、精确性和智能性。
实施例2
与上述方法实施例想都应的，本实施例公开一种基于图像识别的列车辅助驾驶系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例的方法步骤。
实施例3
本实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例的方法步骤。
同理，基于本实施例系统及计算机可读存储介质，具有下述有益效果：
按需启动红绿灯图像采集，并能在所采集图像中从一个大图像区域中，根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时计算精确定位一小范围的红绿灯区域，能有效过滤掉非红绿灯区域图像对辅助驾驶所产生的图像噪音，快速筛选出有效图像数据的同时也提高了数据处理的效率；之后，根据车载的LKJ系统中获取列车当前的轨道或道岔数据，然后再根据红绿灯安装属性在红绿灯区域提取当前轨道或道岔所对应的红绿灯信息，充分整合了现有资源并提高辅助驾驶的实时性、精确性和智能性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像识别的列车辅助驾驶方法，其特征在于，包括：
预先设置列车的运行轨迹和相应的红绿灯坐标及安装属性，并在所述运行轨迹上设置对应各红绿灯的红绿灯图像采集区段；
实时监测列车的运行轨迹，并在列车运行至任一红绿灯图像采集区段时，执行红绿灯图像采集，并根据车载的图像采集设备在采集时刻的坐标、视角参数和红绿灯坐标实时计算各采集图像中的红绿灯区域；
从车载的LKJ系统中获取列车当前的轨道或道岔数据，并根据所述红绿灯安装属性在所述红绿灯区域提取当前轨道或道岔所对应的红绿灯信息，并根据所确定的红绿灯信息执行辅助驾驶。
2.根据权利要求1所述的基于图像识别的列车辅助驾驶方法，其特征在于，还包括：
以所述车载的图像采集设备辅助识别危险源；和/或
以图像采集设备实时的采集图像辅助分析列车当前位置的环境特征，基于图像的深度学习以判断列车是否进入隧道、桥梁或爬坡，实时纠正GPS定位的偏差。
3.根据权利要求2所述的基于图像识别的列车辅助驾驶方法，其特征在于，所述危险源包括驾驶窗前的飞鸟，飞鸟危险源的辅助识别步骤包括：
预先通过训练建立驾驶窗前危险距离内的飞鸟模型，并根据所述危险距离和图像采集设备的视角参数设定识别危险源的矩形窗大小；
在实时的采集图像中，以窗口滑移的方式遍历是否存在与所述飞鸟模型对应的图像特征，如果有，输出告警。
4.根据权利要求1至3任一所述的基于图像识别的列车辅助驾驶方法，其特征在于，还包括：
在图像的预处理过程中，根据实时的运行轨迹获取图像采集位置的雾霾指数信息，并根据所述雾霾指数信息对所采集的图像进行去雾霾处理。
5.根据权利要求4所述的基于图像识别的列车辅助驾驶方法，其特征在于，还包括：
结合时刻表，开展运行曲线控制；具体包括：
通过实时对比地理位置与时间，如果列车晚点，在限速条件下提高列车速度；反之，降低列车速度。
6.根据权利要求5所述的基于图像识别的列车辅助驾驶方法，其特征在于，还包括：
在紧急情况下，将采集的图像信息及相应的图像分析结论数据，通过无线连接发送给远程调度室以供进行远程干预。
7.一种基于图像识别的列车辅助驾驶系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述权利要求1至6任一所述方法的步骤。
CN201810731644.6A 2018-07-05 2018-07-05 基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质 Active CN109094580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810731644.6A CN109094580B (zh) 2018-07-05 2018-07-05 基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810731644.6A CN109094580B (zh) 2018-07-05 2018-07-05 基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109094580A CN109094580A (zh) 2018-12-28
CN109094580B true CN109094580B (zh) 2019-08-09

Family

ID=64845523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810731644.6A Active CN109094580B (zh) 2018-07-05 2018-07-05 基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109094580B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782692A (zh) * 2019-10-31 2020-02-11 青岛海信网络科技股份有限公司 一种信号灯故障检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014193627A (ja) * 2013-03-28 2014-10-09 Koito Electric Industries Ltd 信号機判別装置
CN204341096U (zh) * 2015-01-14 2015-05-20 四川川煤华荣能源股份有限公司太平煤矿 一种岔口自动信号系统
WO2017003150A1 (ko) * 2015-06-30 2017-01-05 도로교통공단 트램 교차로 영상검지장치 및 방법
CN106837649A (zh) * 2017-03-03 2017-06-13 吉林大学 基于信号灯倒计时识别的自学习智能起停系统
CN107622680A (zh) * 2017-09-25 2018-01-23 中铁二院重庆勘察设计研究院有限责任公司 一种有轨电车平交路口综合控制系统
CN105389993B (zh) * 2015-12-11 2018-02-23 余战秋 视觉交通信号的处理与识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014193627A (ja) * 2013-03-28 2014-10-09 Koito Electric Industries Ltd 信号機判別装置
CN204341096U (zh) * 2015-01-14 2015-05-20 四川川煤华荣能源股份有限公司太平煤矿 一种岔口自动信号系统
WO2017003150A1 (ko) * 2015-06-30 2017-01-05 도로교통공단 트램 교차로 영상검지장치 및 방법
CN105389993B (zh) * 2015-12-11 2018-02-23 余战秋 视觉交通信号的处理与识别方法
CN106837649A (zh) * 2017-03-03 2017-06-13 吉林大学 基于信号灯倒计时识别的自学习智能起停系统
CN107622680A (zh) * 2017-09-25 2018-01-23 中铁二院重庆勘察设计研究院有限责任公司 一种有轨电车平交路口综合控制系统

Also Published As

Publication number Publication date
CN109094580A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN110688992B (zh) 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
CN103105174B (zh) 一种基于ar增强现实技术的车载实景安全导航方法
JP6783949B2 (ja) 交通標識情報を用いた道路検出
US20180181817A1 (en) Vehicular lane line data processing method, apparatus, storage medium, and device
CN110782673A (zh) 一种基于无人机拍摄云端计算的车辆违章识别检测系统
CN108196535A (zh) 基于增强学习和多传感器融合的自动驾驶系统
CN105225478B (zh) 智能车辆行为记录及评价方法
CN105825696A (zh) 基于信号灯信息提示的驾驶辅助系统
KR20220040473A (ko) 긴급 차량들의 검출
CN109537488A (zh) 一种自动驾驶车路协同标识牌、自动驾驶系统及控制方法
DE102017115197A1 (de) Erzeugung von virtuellen sensordaten für die erfassung von polleraufnahmen
DE102008051593B4 (de) Verfahren und System zur Ermittlung der Sichtbarkeit eines Fahrzeugs
WO2022246852A1 (zh) 基于航测数据的自动驾驶系统测试方法、测试系统及存储介质
CN109523787A (zh) 一种基于车辆通行轨迹的疲劳驾驶分析方法
CN107393311B (zh) 一种车牌篡改识别装置及方法
CN103810854B (zh) 一种基于人工标定的智能交通参数检测方法
CN108447305A (zh) 一种新交规下礼让行人预警方法及预警系统
CN109544936A (zh) 基于雷达摄像机的机动车斑马线不礼让行人预警抓拍系统
CN109670431A (zh) 一种行为检测方法及装置
CN110765224A (zh) 电子地图的处理方法、车辆视觉重定位的方法和车载设备
CN109094580B (zh) 基于图像识别的列车辅助驾驶方法、系统及计算机可读存储介质
CN109191492A (zh) 一种基于轮廓分析的智能视频黑烟车检测方法
CN114022862A (zh) 一种交通标牌被遮挡的智能化检测方法及系统
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant