CN114136274A - 基于计算机视觉的站台限界测量方法 - Google Patents
基于计算机视觉的站台限界测量方法 Download PDFInfo
- Publication number
- CN114136274A CN114136274A CN202111277469.6A CN202111277469A CN114136274A CN 114136274 A CN114136274 A CN 114136274A CN 202111277469 A CN202111277469 A CN 202111277469A CN 114136274 A CN114136274 A CN 114136274A
- Authority
- CN
- China
- Prior art keywords
- platform
- image
- line segment
- rail
- edge line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 24
- 239000003550 marker Substances 0.000 claims abstract description 9
- 238000005259 measurement Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000691 measurement method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241001669679 Eleotris Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于计算机视觉的站台限界测量方法。本发明所采用的技术方案是：获取由摄像头采集的包含站台和铁轨的图像；将图像与事先标识出前背景的模板融合；利用训练好的分割网络对融合后的图像进行分割，得到站台区域边缘和铁轨边缘；获取站台区域边缘线段和铁轨边缘线段的坐标位置，利用经图像中已知尺寸的标识物修正过的dx和dy计算出站台区域边缘线段和铁轨边缘线段对应的实际坐标值，通过计算空间中两条线段的最短距离测出站台限界，其中dx为像素在x方向的宽度，dy为像素在y方向的长度。本发明适用于视觉测距领域。
Description
技术领域
本发明涉及一种基于计算机视觉的站台限界测量方法。适用于视觉测距领域。
背景技术
国内外现有的在高铁站台限界测量问题上的研究方法，从测量的工具来看主要有三类，一类是基于激光传感器的站台限界测距，一类是超声波传感器的站台限界测距，还有一类是基于工业相机的站台限界测距。基于激光传感器和超声波传感器的测距方式，虽然精度较高，但是获取信息比较有限，而且多数采用滑轨移动的形式，需要人力额外进行辅助，且测量过程复杂，操作流程繁琐，不利于统一化、自动化的勘测。基于工业相机机器视觉的限界测距，大多数场景是设备固定的，在一定程度上减少了移动带来的精度损失，同时由于目前图像视觉技术和摄像头分辨率日益发展成熟，相机在各行各业中应用也越来越广泛，视觉测距技术也随之逐渐落地于实际场景中。
在各种测距技术中，视觉测距的便利性和重要性逐渐被大多数研究者所认可。具体地:比如说利用车载相机进行图像采样，用单目视觉来对行驶中汽车进行测距。该方法通过传统的相机成像原理和对应的几何关系来测算不同车辆之间的距离。随着目前深度学习的崛起，也有利用深度学习来估计单目视觉图像深度的研究。该研究通过共同探索deepCNN和连续CRF的能力，来进行估计单幅图像的深度。但是在精度方面，尤其是需要高精度的场景，依旧是不能满足要求的。
现有技术中也未能对摄像头高精度测距加以重视，原因大致有以下几点：(1)摄像头测距非常依赖图像中目标的分割精度，但是目前大多数场景下的图像分割算法精度还没有达到较高的水平。(2)视觉测距中大多数场景为估计图像中物体距离摄像头的距离，相当于是一个深度估计，故而精度误差会更大一些。
发明内容
本发明要解决的技术问题是：针对上述存在的问题，提供一种基于计算机视觉的站台限界测量方法。
本发明所采用的技术方案是：一种基于计算机视觉的站台限界测量方法，其特征在于：
获取由摄像头采集的包含站台和铁轨的图像；
将图像与事先标识出前背景的模板融合；
利用训练好的分割网络对融合后的图像进行分割，得到站台区域边缘和铁轨边缘；
获取站台区域边缘线段和铁轨边缘线段的坐标位置，利用经图像中已知尺寸的标识物修正过的dx和dy计算出站台区域边缘线段和铁轨边缘线段对应的实际坐标值，通过计算空间中两条线段的最短距离测出站台限界，其中dx为像素在x方向的宽度，dy为像素在y方向的长度。
所述分割网络采用DeepLabv3+的基础架构，分割网络的输入图像为RGB3个通道加一个前背景标识通道的4通道图像。
一种基于计算机视觉的站台限界测量装置，其特征在于：
图像获取模块，用于获取由摄像头采集的包含站台和铁轨的图像；
图像融合模块，用于将图像与事先标识出前背景的模板融合；
图像分割模块，用于利用训练好的分割网络对融合后的图像进行分割，得到站台区域边缘和铁轨边缘；
限界测量模块，用于获取站台区域边缘线段和铁轨边缘线段的坐标位置，利用经图像中已知尺寸的标识物修正过的dx和dy计算出站台区域边缘线段和铁轨边缘线段对应的实际坐标值，通过计算空间中两条线段的最短距离测出站台限界，其中dx为像素在x方向的宽度，dy为像素在y方向的长度。
所述分割网络采用DeepLabv3+的基础架构，分割网络的输入图像为RGB3个通道加一个前背景标识通道的4通道图像。
一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述基于计算机视觉的站台限界测量方法的步骤。
一种基于计算机视觉的站台限界测量系统，其特征在于，包括：
摄像头，架设固定于站台顶部，用于获取下方包含站台和铁轨的图像；
数据处理设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现权所述基于计算机视觉的站台限界测量方法的步骤。
本发明的有益效果是：目前，业界已经有很多效果已经比较优秀的分割网络了。神经网络的基本模块和主干网络都是可以复用的，以保障模型的普适性。但是针对特定的应用场景，神经网络还需要做额外的修改适配以提高在该场景下的精度。以DeepLabv3+神经网络为例，该网络可以分割出较好的特定目标，但是由于铁路站台边缘和枕木地板之间纹理颜色过于相近，分割效果较差，即使做了标注训练，效果也不是非常理想。本发明通过加一层前背景标识通道，帮助网络联系前背景之间的关系，从而达到更加精确的分割效果。
本发明中摄像头安装固定，致使成像画面中具体元素位置变化不大的特性，事先标定一些前背景的模板，然后对新采集到的图像做一个预处理，消除掉一些明显的干扰，通过对模板和处理后图像的融合，形成新的四通道图像作为输入图像，利用训练好的分割网络对图像进行分割，得到站台区域边缘和铁轨边缘，最后利用相机参数对比图像上像素比例尺，得到站台限界距离。
本发明提出的站台限界测量算法通过自带模板的分割网络解决了站台边缘分割精度低的问题，在站台边缘分割精度方面具有显著的提高，同时基本框架采用通用的开源框架，保证了本发明的兼容性和普适性。
附图说明
图1为实施例中摄像头的布置示意图。
图2为实施例的流程图。
具体实施方式
本实施例为一种基于计算机视觉的站台限界测量方法，具体包括以下步骤：
S1、获取由摄像头采集的包含站台和铁轨的图像。
S2、对步骤S1新采集的做一个预处理，消除掉一些明显的干扰，将图像与事先标识出前背景(站台、铁轨等)的模板融合，形成新的四通道图像作为分割网络的输入图像。
由于摄像头固定安装于站台上方顶部，使摄像头成像画面中具体元素位置变化不大，故模板中标识出的前背景基本与步骤S1新采集的图像中相应元素对应。
S3、利用训练好的分割网络对融合后的图像进行分割，得到站台区域边缘和铁轨边缘。
本实施例中分割网络采用DeepLabv3+的基础架构，其输入图像是由RGB3个通道加一个前背景标识通道的4通道图像，其后的网络层数也随之改变。该网络具有以下特征：(1)可以通过历史图像中学习到画面中各元素的波动情况。(2)能够准确分割出前背景区域。
网络的训练需要用到大量的历史数据，同时需要对这些历史数据的站台区域边缘和铁轨边缘进行标注，以便机器进行进一步训练。训练数据需保证不同的天气光线条件下样本数据的丰富性。
S4、根据步骤3得到的站台区域边缘和铁轨边缘，获取站台区域边缘线段和铁轨边缘线段的坐标位置，利用经图像中已知尺寸的标识物修正过的dx和dy计算出站台区域边缘线段和铁轨边缘线段对应的实际坐标值，通过计算空间中两条线段的最短距离测出站台限界，其中dx为像素在x方向的宽度，dy为像素在y方向的长度。
由于摄像头固有光学属性的畸变偏差，需要对摄像头进行畸变校准。同时利用棋盘格标定板进行相机标定得到相机的内参以确定图像中一个像素对应实际世界坐标系下的尺寸。内参矩阵如下：
上述矩阵中，f为相机焦距，单位为毫米；dx为像素x方向的宽度，单位毫米；
为x方向1毫米内由多少个像素点；dy为像素y方向的宽度，单位毫米；
表示用像素来描述x轴方向焦距的长度；
表示用像素来描述y轴方向焦距的长度；(u0,v0)表示相机光心的偏移量。
但是往往利用标定出来的内参矩阵来计算，精度还不够高，本实施例借助地面上实际尺寸已知的标识物来对相机的测算精度做一个进一步的辅助优化。如标识物实际长为1200毫米，宽为400毫米，结合相机内参，便可以对相机成像中一个像素的代表长度、宽度做一个优化改进。
本实施例还提供一种基于计算机视觉的站台限界测量装置，包括图像获取模块、图像融合模块、图像分割模块和限界测量模块。
本例中图像获取模块用于获取由摄像头采集的包含站台和铁轨的图像；图像融合模块用于将图像与事先标识出前背景的模板融合；图像分割模块用于利用训练好的分割网络对融合后的图像进行分割，得到站台区域边缘和铁轨边缘；限界测量模块用于获取站台区域边缘线段和铁轨边缘线段的坐标位置，利用经图像中已知尺寸的标识物修正过的dx和dy计算出站台区域边缘线段和铁轨边缘线段对应的实际坐标值，通过计算空间中两条线段的最短距离测出站台限界，其中dx为像素在x方向的宽度，dy为像素在y方向的长度。
本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中基于计算机视觉的站台限界测量方法的步骤。
本实施例还提供一种基于计算机视觉的站台限界测量系统，包括摄像头和数据处理设备，其中摄像头架设固定于站台顶部，用于获取下方包含站台和铁轨的图像；数据处理设备具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中基于计算机视觉的站台限界测量方法的步骤。
Claims (6)
1.一种基于计算机视觉的站台限界测量方法，其特征在于：
获取由摄像头采集的包含站台和铁轨的图像；
将图像与事先标识出前背景的模板融合；
利用训练好的分割网络对融合后的图像进行分割，得到站台区域边缘和铁轨边缘；
获取站台区域边缘线段和铁轨边缘线段的坐标位置，利用经图像中已知尺寸的标识物修正过的dx和dy计算出站台区域边缘线段和铁轨边缘线段对应的实际坐标值，通过计算空间中两条线段的最短距离测出站台限界，其中dx为像素在x方向的宽度，dy为像素在y方向的长度。
2.根据权利要求1所述的基于计算机视觉的站台限界测量方法，其特征在于：所述分割网络采用DeepLabv3+的基础架构，分割网络的输入图像为RGB3个通道加一个前背景标识通道的4通道图像。
3.一种基于计算机视觉的站台限界测量装置，其特征在于：
图像获取模块，用于获取由摄像头采集的包含站台和铁轨的图像；
图像融合模块，用于将图像与事先标识出前背景的模板融合；
图像分割模块，用于利用训练好的分割网络对融合后的图像进行分割，得到站台区域边缘和铁轨边缘；
限界测量模块，用于获取站台区域边缘线段和铁轨边缘线段的坐标位置，利用经图像中已知尺寸的标识物修正过的dx和dy计算出站台区域边缘线段和铁轨边缘线段对应的实际坐标值，通过计算空间中两条线段的最短距离测出站台限界，其中dx为像素在x方向的宽度，dy为像素在y方向的长度。
4.根据权利要求3所述的基于计算机视觉的站台限界测量装置，其特征在于：所述分割网络采用DeepLabv3+的基础架构，分割网络的输入图像为RGB3个通道加一个前背景标识通道的4通道图像。
5.一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1或2所述基于计算机视觉的站台限界测量方法的步骤。
6.一种基于计算机视觉的站台限界测量系统，其特征在于，包括：
摄像头，架设固定于站台顶部，用于获取下方包含站台和铁轨的图像；
数据处理设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现权利要求1或2所述基于计算机视觉的站台限界测量方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111277469.6A CN114136274A (zh) | 2021-10-29 | 2021-10-29 | 基于计算机视觉的站台限界测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111277469.6A CN114136274A (zh) | 2021-10-29 | 2021-10-29 | 基于计算机视觉的站台限界测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114136274A true CN114136274A (zh) | 2022-03-04 |
Family
ID=80391975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111277469.6A Pending CN114136274A (zh) | 2021-10-29 | 2021-10-29 | 基于计算机视觉的站台限界测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114136274A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115265487A (zh) * | 2022-07-28 | 2022-11-01 | 宁波市特种设备检验研究院 | 一种基于摄影测量原理的站台限界仪及测量方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002082181A1 (en) * | 2001-04-04 | 2002-10-17 | Commonwealth Scientific And Industrial Research Organisation | Corridor mapping system and method |
| CN110110617A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、电子设备和存储介质 |
| CN110992381A (zh) * | 2019-12-17 | 2020-04-10 | 嘉兴学院 | 一种基于改进Vibe+算法的运动目标背景分割方法 |
| CN112381837A (zh) * | 2020-11-12 | 2021-02-19 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
| WO2021143739A1 (zh) * | 2020-01-19 | 2021-07-22 | 上海商汤临港智能科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
-
2021
- 2021-10-29 CN CN202111277469.6A patent/CN114136274A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002082181A1 (en) * | 2001-04-04 | 2002-10-17 | Commonwealth Scientific And Industrial Research Organisation | Corridor mapping system and method |
| CN110110617A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 医学影像分割方法、装置、电子设备和存储介质 |
| CN110992381A (zh) * | 2019-12-17 | 2020-04-10 | 嘉兴学院 | 一种基于改进Vibe+算法的运动目标背景分割方法 |
| WO2021143739A1 (zh) * | 2020-01-19 | 2021-07-22 | 上海商汤临港智能科技有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
| CN112381837A (zh) * | 2020-11-12 | 2021-02-19 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| 史佳锋: "FCN与CNN在铁路入侵目标识别中的应用研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, 15 March 2021 (2021-03-15) * |
| 徐建勇;丰文胜;薛强;: "基于图像识别和多感知融合的列车自动防护方案", 铁道通信信号, no. 10, 17 October 2019 (2019-10-17) * |
| 李兴鑫;朱力强;余祖俊;: "自适应铁路场景前景目标检测", 交通运输系统工程与信息, no. 02, 15 April 2020 (2020-04-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115265487A (zh) * | 2022-07-28 | 2022-11-01 | 宁波市特种设备检验研究院 | 一种基于摄影测量原理的站台限界仪及测量方法 |
| CN115265487B (zh) * | 2022-07-28 | 2023-03-31 | 宁波市特种设备检验研究院 | 一种基于摄影测量原理的站台限界仪及测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| WO2020097840A1 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
| CN108597009B (zh) | 一种基于方向角信息进行三维目标检测的方法 | |
| CN109685858B (zh) | 一种单目摄像头在线标定方法 | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN109752701A (zh) | 一种基于激光点云的道路边沿检测方法 | |
| CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
| CN105511462B (zh) | 一种基于视觉的agv导航方法 | |
| CN110288659B (zh) | 一种基于双目视觉的深度成像及信息获取方法 | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN111723778B (zh) | 基于MobileNet-SSD的车辆测距系统及方法 | |
| US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
| CN106996748A (zh) | 一种基于双目视觉的轮径测量方法 | |
| CN111164648B (zh) | 移动体的位置推断装置及位置推断方法 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
| CN110728720B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN112489106A (zh) | 基于视频的车辆尺寸测量方法、装置、终端及存储介质 | |
| CN112819711A (zh) | 一种基于单目视觉的利用道路车道线的车辆反向定位方法 | |
| CN114136274A (zh) | 基于计算机视觉的站台限界测量方法 | |
| CN115239822A (zh) | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 | |
| CN114037762A (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
| CN113920150A (zh) | 一种资源受限下的行星车简化双目视觉里程定位方法 | |
| CN112116644B (zh) | 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置 | |
| CN111598177A (zh) | 面向低重叠图像匹配的自适应最大滑动窗口匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |