CN109981980B - 超视距实时显示方法、系统、存储介质及计算机设备 - Google Patents

超视距实时显示方法、系统、存储介质及计算机设备 Download PDF

Info

Publication number
CN109981980B
CN109981980B CN201910184548.9A CN201910184548A CN109981980B CN 109981980 B CN109981980 B CN 109981980B CN 201910184548 A CN201910184548 A CN 201910184548A CN 109981980 B CN109981980 B CN 109981980B
Authority
CN
China
Prior art keywords
image
image acquisition
images
train
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910184548.9A
Other languages
English (en)
Other versions
CN109981980A (zh
Inventor
金强
孙红芳
李海波
朱玺
柳永飞
李小龙
冯亚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TANGSHAN BAICHUAN INTELLIGENT MACHINE CO Ltd
Original Assignee
TANGSHAN BAICHUAN INTELLIGENT MACHINE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TANGSHAN BAICHUAN INTELLIGENT MACHINE CO Ltd filed Critical TANGSHAN BAICHUAN INTELLIGENT MACHINE CO Ltd
Priority to CN201910184548.9A priority Critical patent/CN109981980B/zh
Publication of CN109981980A publication Critical patent/CN109981980A/zh
Application granted granted Critical
Publication of CN109981980B publication Critical patent/CN109981980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/42—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for mass transport vehicles, e.g. buses, trains or aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超视距实时显示方法、系统、存储介质及计算机设备，其中方法步骤为：根据列车的当前位置、速度以及预设的超视距的距离范围，确定即将进行图像采集的多个图像采集装置的位置，根据图像采集装置的位置确定对应的每个图像采集装置编号；对从各个图像采集装置获取的多张带有相应编号的图像进行预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1张图像；对拼接后的图像进行透视变换后在驾驶室内的显示器上进行显示。本发明具有实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别更明显的效果，具有很高的实用性。

Description

超视距实时显示方法、系统、存储介质及计算机设备
技术领域
本发明涉及铁路安全技术领域，特别涉及一种超视距实时显示方法、系统、 存储介质及计算机设备。
背景技术
随着我国经济的蓬勃发展，以及铁路运输具有运输成本低、运输量大、运 输安全可靠、速度快、准确性和连续性强、无污染等优点，在我国交通运输方 面以及国民经济发展中发挥着极其重要的作用。我国铁路路线里程长，地势复 杂多变，比如山体滑坡、滞留的人或动物等随机异物造成高速运行列车前方出 现障碍物，列车的行车安全构成了严重的威胁。并且我们只有两只眼睛，它们 反应太慢而无法详细看到快速移动的物体，而且它们只对光谱的有限部分敏感， 眩光和反射也妨碍了长时间专注前方视野的能力。现在的动车、高铁运行速度 在200-350千米/时，惯性大，制动距离超出人眼的视距，所以在前方出现紧急 状况时，动车是1.5千米安全制动距离。高铁制动初速度为350千米/时，紧急 制动距离为6.5千米。如前方有不容易瞭望的地方，如曲线、隧道、岔口等。天 气不好时，如下雨、下雾、下雪的时候，还有夜间能见度极低的情况下，列车 运行都是极其危险的。在高速铁路飞跃发展的今天，仅靠人为检测、固定点安 装监测点以及现有技术中的高速列车前障碍物的智能检测也不能保证意外情况 的出现，因为软件算法再发达也达不到人脑的高度，至少目前是这样的。并且， 基于现有技术的网络传输系统，对视频文件的传输达不到实时性，也是致命缺 点。
发明内容
针对上述技术问题，本发明提供一种使用方便，能够充分保证行车安全的 超视距实时显示方法、系统、存储介质及计算机设备。
为解决上述技术问题，本发明所采取的技术方案是：提供一种超视距实时 显示方法，包括以下步骤：
根据列车的当前位置、速度以及预设的超视距的距离范围，确定即将进行 图像采集多个图像采集装置的位置，根据所述图像采集装置的位置确定对应的 每个图像采集装置编号；
对从所述各个图像采集装置获取的多张带有相应所述编号的图像进行预处 理，将预处理后的图像按照编号顺序依次进行实时拼接为1张图像；
对拼接后的图像进行透视变换，形成特定视角的图后在驾驶室内的显示器 上进行显示。
本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采 集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置 相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作， 实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测 的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别 更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路段的路 况，发现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉的和驾驶 员应变能力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有 很高的实用性。
本发明还提供了一种超视距实时显示系统，包括：
图像采集系统，包括沿铁路轨道等间距设置的与轨道成预设角度的的多个 具有唯一编号的图像采集装置，用于进行图像采集，并将图像发送至图像处理 系统；
图像处理系统，用于根据列车的当前位置及速度，确定即将进行图像采集、 且等间距设置的多个图像采集装置的位置，根据所述图像采集装置的位置确定 对应的每个图像采集装置编号；
用于对从所述各个图像采集装置获取的多张带有相应所述编号的图像进行 预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1帧图像；
显示系统，用于以预设频率对所述图像处理系统传递来的图像进行显示更 新。
本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采 集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置 相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作， 实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测 的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别 更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路况，发 现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉的和驾驶员应变 能力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有很高的 实用性。
本发明还提供了一种计算机可读存储介质，包括指令，当所述指令在计算 机上运行时，使所述计算机执行上述方法。
本发明还一种计算机设备，包括存储器、处理器及存储在所述存储器上的 并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
附图说明
下面结合附图对本发明作进一步说明：
图1是本发明提供的超视距实时显示方法一实施例的示意性流程图；
图2是本发明提供的超视距实时显示方法另一实施例的示意性流程图；
图3是本发明提供的司机视角图像的拼接示意图；
图4是本发明提供的鸟瞰视角图像的拼接示意图；
图5是本发明提供的超视距实时显示系统的示意性框架图；
图6为图5中超视距实时显示系统的应用场景图；
图7是图6中图像采集装置的应用场景图。
具体实施方式
如图1所示，本发明提供的超视距实时显示方法，包括以下步骤：
步骤10：根据列车的当前位置、速度以及预设的超视距的距离范围，确定 即将进行图像采集的多个图像采集装置的位置，根据图像采集装置的位置确定 对应的每个图像采集装置编号；
步骤20：对从各个图像采集装置获取的多张带有相应编号的图像进行预处 理，将预处理后的图像按照编号顺序依次进行实时拼接为1张图像；
步骤30：对拼接后的图像进行透视变换后在驾驶室内的显示器上进行显示。
本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采 集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置 相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作， 实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测 的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别 更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路况，发 现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉的和驾驶员应变 能力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有很高的 实用性。
在图1对应实施例的基础上，还进行了以下改进：
相邻编号的图像采集装置拍摄的图像部分重叠。
图像采集装置以间隔相等距离的方式，均以离轨道相同距离的位置放置于 轨道的上方，图像采集装置的镜头方向与轨道成一定角度排列，相邻图像采集 装置的视场有重叠部分，并将图像采集装置依次排序，对应的序号，图像采集 装置完成标定以后，以一定的帧率采集图像，并根据图像采集装置的编号生成 特定的序号，并通过数据链路(网线、光线、4g、5g等通讯链路)实时上传至 图像处理系统。
驾驶员驾驶室设置超视距的距离范围值，即限定图像采集装置所在的范围 值，这样驾驶员就可以观看布有该系统沿线任何路况图像。此值可以是车头到 铁路沿线任何位置处的区域。位于列车或站点的图像处理系统根据图像的编号 生成所对应的轨道路段的位置信息。
图像处理系统根据GPS定位系统获得列车的当前位置，通过驾驶室获得速 度值，根据驾驶员设置的超视距的距离范围，确定即将进行图像采集在所设超 视距范围内的多个图像采集装置的位置。图像处理系统通过计算采集到的图像、 图像编号和设置的距离值，处理所设超视距范围内的多个图像采集装置对应生 成的多个图，将同一时间多个图像采集装置采集到的多张序列图像传输至图像 处理系统，图像处理系统对获取的多张带有编号的图像进行畸变校正；对处理 后图像的进行边缘检测处理，得到边缘特征；根据特征匹配算法，提取相邻编 号图像中的共同特征，将相邻编号图像中的共同特征进行融合，直至所有获取 的带有编号的图像都完成拼接重构；对重构图进行透视变换，生成1帧驾驶员视角图像或鸟瞰图。将生成的图像按一定帧率传输并更新到驾驶室的显示器上。
通常情况下：列车未启动时，根据GPS定位系统获得的列车位置，显示位 于车头前第一个图像采集装置到安全制动距离之间的所有图像采集装置所采集 到的图像的拼合图像；当列车启动时，图像处理系统根据列车的位置和速度， 获取到距车头一定距离处以外的图像采集装置所采集到的图像，并实时合成图 像，按照一定的帧率更新显示，从而保证列车在行驶方向上无死角和充分模拟 列车速度同步的驾驶员视角的超视距实时观测图像。
驾驶员通过显示器，看到了距离车头前方一定距离之外的轨道及其周围环 境的实时图像。当驾驶员发现轨道上有障碍物时，点击障碍物所处的画面位置， 控制系统即可显示出拍摄此处的图像采集装置的编号。每个图像采集装置拍摄 的图片都会进行障碍物检测，检测到有障碍物的图片，图像处理系统会根据图 像的编号(图片的编号含有图像采集装置的编号)得知图片来源图像采集装置， 并从分屏中放大显示该图像采集装置采集到的图像，以便于驾驶员进一步判断 此处障碍物详细信息，做出对列车下一步动作的判断。
上述方案针对的是列车员视角视图的确定，还可以实现对列车上方鸟瞰图 的确定。具体为：提供的多幅图像重构的超视距实时观测系统中图像采集装置 的固定方式和鸟瞰时图像采集装置固定方式一致，但是计算方法不同。该实施 例提供了鸟瞰图像的计算方法。
固定方式，如图6，图像采集装置的固定方式采用固定于轨道两侧的安装方 式。计算方法为：
根据GPS定位系统，计算出查看列车车身的所需图像采集装置的位置；
位于左侧的图像采集装置采集到的图像经过畸变校正、边缘检测、特征匹 配、图像拼接、透视变换等技术手段生成车顶左侧到车身左侧的图像，右侧图 像采集装置采集到的图像经过同样的方法，生成车顶右侧到车身右侧的图像；
左右两侧图像拼合，生成车顶上方鸟瞰图像，实现整列列车的车身的实时 观测。
如图2所示，作为一种可实施方式，对获取的多张带有编号的图像进行预 处理，对预处理后的图像按照编号顺序依次进行实时拼接，具体包括以下步骤：
步骤21：对获取的多张带有编号的图像进行畸变校正；
步骤22：对处理后图像进行边缘检测，得到边缘特征；
步骤23：根据特征匹配算法，提取相邻编号图像中的特征点，对相邻编号 图像中的特征点进行匹配，并进行图像配准；
步骤24：将相邻编号图像中的后者图像拷贝至于在先图像边缘区域对应的 位置，根据边缘特征进行边界重叠，直至所有获取的带有编号的图像都完成拼 接重构；
其中：对应位置即为相邻编号图像中后者图像边缘特征与在先图像边缘特 征相互贴合的位置，目的是为了后续图像的拼接；
步骤25：对重构图进行透视变换，生成鸟瞰图或司机远视视角的图像。
进一步的，重构图不仅可以生成鸟瞰图或司机远视视角的图像，还可以生 成任何其他视角的图像。
其中：特征匹配(FBM)，就是指将从影像中提取的特征作为共轭实体,而将 所提特征属性或描述参数，实际上是特征的特征，也可以认为是影像的特征， 作为匹配实体，通过计算匹配实体之间的相似性测度以实现共轭实体配准的影 像匹配方法。是一比较成熟的算法，并非本申请要保护的技术。
透视变换(Perspective Transformation)是指利用透视中心、像点、目标点三 点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某 一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分 式线性变换。透视变换常用于，例如在移动机器人视觉导航研究中，由于摄像 机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)，有时希望将图象 校正成正投影的形式，就需要利用透视变换。把空问坐标系中的三维物体或对 象转变为二维图像表示的过程称为投影变换。根据视点(投影中心)与投影平 面之间距离的不同，投影可分为平行投影和透视投影，透视投影即透视变换。 平行投影的视点(投影中心)与投影平面之间的距离为无穷大，而对透视投影 (变换)，此距离是有限的。透视投影具有透视缩小效应的特点，即三维物体或对象透视投影的大小与形体到视点(投影中心)的距离成反比。例如，等长 的两直线段都平行于投影面。但离投影中心近的线段透视投影大，而离投影中 心远的线段透视投影小。该效应所产生的视觉效果与人的视觉系统类似。与平 行投影相比，透视投影的深度感更强，看上去更真实，但透视投影图不能真实 地反映物体的精确尺寸和形状。
在进行图像生成时，图像采集装置采集到的图像通过数据链路传输到图像 处理系统。图像处理系统，将同一时间多个图像采集装置采集到的多张序列图 像，进行畸变校正预处理，然后对处理后的图像进行边缘检测、特征匹配、图 像拼接生成1张拼接图像，拼接成功后，再使用透视变换，生成司机视角的图 像。图3中视角图1表示拍摄到的第n帧图，视角图2表示拍摄到的第1帧图， 共n个视角图，通过图像处理系统处理后，可以生成图像3，并对生成的图像3 进行展示。此处生成的是司机远视视角的图像，鸟瞰视角图像与司机远视视角 的图像生成类似，不再进行重复论述。具体为：图4中视角图1表示拍摄到的 第n帧图，视角图2表示拍摄到的第1帧图，共n个视角图，通过图像处理系 统处理后，可以生成图像3，并对生成的图像3进行展示。
通过对图像的畸变校正、边缘处理以及特征提取等操作，确保了最终得到 拼接图像的完整性和准确性。使得最终图像显示更加的直观，障碍物识别更加 的明显。
作为一种可实施方式，在根据列车的当前位置及速度，确定即将进行图像 采集、且与轨道成预设角度的的等间距设置的多个图像采集装置的位置，根据 图像采集装置的位置确定对应的每个图像采集装置编号之前，还包括以下步骤：
根据对应列车始发站至终点站间铁轨路线长以及相邻电线杆间的距离，确 定需要的图像采集装置的数量，并为所有的图像采集装置分配编号；
其中，确定需要的图像采集装置的数量，具体为：
N＝(A/b)+1；
其中：N为图像采集装置个数，A为铁轨路线的沿线长度，b为每个电线杆 间隔距离。
较优的，在上述技术方案中需要进行图像采集的图像采集装置的编号确定 步骤为：
根据车头距离对应列车始发站的距离以及相邻电线杆间的距离，计算需要 进行图像采集的图像采集装置的编号，具体为：
q＝(p+c)/b；
其中：p为车头当前位置距对应列车始发站的距离值；c为视距值，列车启 动之前，此值为0，随着列车加速启动，此值随之变化，并迅速达到列车匀速时 设定的视距值；则采集图像装置的编号为q，q+1，q+2……q+m-1；采集到的图 像表示为sq，sq+1，sq+2……sq+m-1；q为列车运行时需要进行图像采集的采集 图像装置的起始位置编号；m为合成1帧图像需要的图片的数量。
本发明，如图3至图7所示，还提供了一种超视距实时显示系统，包括：
图像采集系统，包括沿铁路轨道等间距设置的与轨道成预设角度的多个具 有唯一编号的图像采集装置，用于进行图像采集，并将图像发送至图像处理系 统；
图像处理系统，用于根据列车的当前位置及速度，确定即将进行图像采集、 且等间距设置的多个图像采集装置的位置，根据图像采集装置的位置确定对应 的每个图像采集装置编号；
用于对从各个图像采集装置获取的多张带有相应编号的图像进行预处理， 将预处理后的图像按照编号顺序依次进行实时拼接为1帧图像；
显示系统，用于以预设频率对图像处理系统传递来的图像进行显示更新。
本发明通过根据列车的位置及速度，可以确定即将进行图像采集的图像采 集装置的编号，仅为实现对图像的采集，并且采集的图像具有与图像采集装置 相同的编号，通过对带有编号图像的预处理以及图像拼接以及透视变换等操作， 实现了列车前图像在显示器上进行显示以及更新。比现有技术中基于视频监测 的技术实时性更好，无死角；生成的图像比激光雷达检测更直观，障碍物识别 更明显；设置的超视距距离值可以使驾驶员看到布有该系统沿线任何路况，发 现意外情况时，能让驾驶员有充分的时间安全制动。机器视觉和驾驶员应变能 力的结合，充分保证行车安全，解决了现有技术中存在的不足，具有很高的实 用性。
作为一种可实施方式，相邻编号的图像采集装置的拍摄图像部分重叠。
图像采集装置以间隔相等距离的方式，均以离轨道相同距离的位置放置于 轨道的上方，图像采集装置的镜头方向与列车行驶方向一致，相邻图像采集装 置的视场有重叠部分，并将图像采集装置依次排序，对应的序号，图像采集装 置完成标定以后，以一定的帧率采集图像，并根据图像采集装置的编号生成特 定的序号，并通过数据链路实时上传至图像处理系统。
作为一种可实施方式，图像处理系统，还用于对获取的多张带有编号的图 像进行畸变校正；
对处理后图像的进行边缘检测处理，得到边缘特征；
根据特征匹配算法，提取相邻编号图像中的共同特征，将相邻编号图像中 的共同特征进行融合，直至所有获取的带有编号的图像都完成拼接重构；
对重构图进行透视变换，生成鸟瞰或司机远视视角的图像。
其中：特征匹配(FBM)，就是指将从影像中提取的特征作为共轭实体,而将 所提特征属性或描述参数，实际上是特征的特征，也可以认为是影像的特征， 作为匹配实体，通过计算匹配实体之间的相似性测度以实现共轭实体配准的影 像匹配方法。是一比较成熟的算法，并非本申请要保护的技术。
透视变换(Perspective Transformation)是指利用透视中心、像点、目标点三 点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某 一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分 式线性变换。透视变换常用于，例如在移动机器人视觉导航研究中，由于摄像 机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)，有时希望将图象 校正成正投影的形式，就需要利用透视变换。把空问坐标系中的三维物体或对 象转变为二维图像表示的过程称为投影变换。根据视点(投影中心)与投影平 面之间距离的不同，投影可分为平行投影和透视投影，透视投影即透视变换。 平行投影的视点(投影中心)与投影平面之间的距离为无穷大，而对透视投影 (变换)，此距离是有限的。透视投影具有透视缩小效应的特点，即三维物体或对象透视投影的大小与形体到视点(投影中心)的距离成反比。例如，等长 的两直线段都平行于投影面。但离投影中心近的线段透视投影大，而离投影中 心远的线段透视投影小。该效应所产生的视觉效果与人的视觉系统类似。与平 行投影相比，透视投影的深度感更强，看上去更真实，但透视投影图不能真实 地反映物体的精确尺寸和形状。
在进行图像生成时，图像采集装置采集到的图像通过数据链路传输到图像 处理系统。图像处理系统，将同一时间多个图像采集装置采集到的多张序列图 像，进行畸变校正预处理，然后对处理后的图像进行边缘检测、特征匹配、图 像拼接生成1张拼接图像，拼接成功后，再使用透视变换，生成司机视角的图 像。图3中视角图1表示拍摄到的第n帧图，视角图2表示拍摄到的第1帧图， 共n个视角图，通过图像处理系统处理后，可以生成图像3，并对生成的图像3 进行展示。此处生成的是司机远视视角的图像，鸟瞰视角图像与司机远视视角 的图像生成类似，不再进行重复论述。具体为：图4中视角图1表示拍摄到的 第n帧图，视角图2表示拍摄到的第1帧图，共n个视角图，通过图像处理系 统处理后，可以生成图像3，并对生成的图像3进行展示。
作为一种可实施方式，图像处理系统，还用于根据对应列车始发站至终点 站间铁轨路线长以及相邻电线杆间的距离，确定需要的图像采集装置的数量， 并为所有的图像采集装置分配编号；
其中，确定需要的图像采集装置的数量，具体为：
N＝(A/b)+1；
其中：N为图像采集装置个数，A为铁轨路线的沿线长度，b为每个电线杆 间隔距离。
作为一种可实施方式，图像处理系统，还用于确定需要进行图像采集的图 像采集装置的编号，具体为：
根据车头距离对应列车始发站的距离以及相邻电线杆间的距离，计算需要 进行图像采集的图像采集装置的编号，具体为：
q＝(p+c)/b；
其中：p为车头当前位置距对应列车始发站的距离值；c为视距值，列车启 动之前，此值为0，随着列车加速启动，此值随之变化，并迅速达到列车匀速时 设定的视距值；则采集图像装置的编号为q，q+1，q+2……q+m-1；采集到的图 像表示为sq，sq+1，sq+2……sq+m-1；q为列车运行时需要进行图像采集的采集 图像装置的起始位置编号；m为合成1帧图像需要的图片的数量。
本发明还提供了一种计算机可读存储介质，包括指令，当指令在计算机上 运行时，使计算机执行上述方法。
本发明一种计算机设备，包括存储器、处理器及存储在存储器上的并可在 处理器上运行的计算机程序，处理器执行程序时实现上述方法。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实 施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施 例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施 例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实 施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多 个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域 的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例 的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描 述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在 此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可 以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例 如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方 式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可 以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元 显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可 以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元 来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元 的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用 时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技 术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部 分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中， 包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网 络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质 包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取 存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序 代码的介质。
上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用， 对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的，故本 发明包括但不限于上述实施方式，任何符合本权利要求书或说明书描述，符合 与本文所公开的原理和新颖性、创造性特点的方法、工艺、产品，均落入本发 明的保护范围之内。

Claims (9)

1.一种超视距实时显示方法，其特征在于，包括以下步骤：
根据列车的当前位置、速度以及预设的超视距的距离范围，确定即将进行图像采集的多个图像采集装置的位置，根据所述图像采集装置的位置确定对应的每个图像采集装置的编号；
对从所述各个图像采集装置获取的多张带有相应所述编号的图像进行预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1张图像；
对拼接后的图像进行透视变换后在驾驶室内的显示器上进行显示；
其中，按如下步骤确定所述每个图像采集装置的编号：
根据车头距离对应列车始发站的距离以及相邻电线杆间的距离，计算需要进行图像采集的图像采集装置的编号，具体为：
q=(p+c)/b；
其中：p为车头当前位置距对应列车始发站的距离值；c为视距值，列车启动之前，此值为0，随着列车加速启动，此值随之变化，并迅速达到列车匀速时设定的视距值；b为每个电线杆间隔距离；则采集图像装置的编号为q，q+1，q+2……q+m-1；采集到的图像表示为sq，sq+1，sq+2……sq+m-1；q为列车运行时需要进行图像采集的图像采集装置的起始位置编号；m为合成1张图像需要的图片的数量。
2.如权利要求1所述的超视距实时显示方法，其特征在于，相邻所述编号的所述图像采集装置拍摄的图像部分重叠。
3.如权利要求1所述的超视距实时显示方法，其特征在于，所述对从所述各个图像采集装置获取的多张带有相应所述编号的图像进行预处理，对预处理后的图像按照编号顺序依次进行实时拼接，具体包括以下步骤：
对获取的多张带有编号的图像进行畸变校正；
对处理后图像进行边缘检测，得到边缘特征；
根据特征匹配算法，提取相邻编号图像中的特征点，对相邻编号图像中的特征点进行匹配，并进行图像配准；
将相邻编号图像中的后者图像拷贝至在先图像边缘区域对应的位置，根据所述边缘特征进行融合，直至所有获取的带有编号的图像都完成拼接重构；
对重构图进行透视变换，生成鸟瞰图或司机远视视角的图像。
4.如权利要求1所述的超视距实时显示方法，其特征在于，在所述的确定对应的每个图像采集装置的编号之前，还包括以下步骤：
根据对应列车始发站至终点站间铁轨路线长以及相邻电线杆间的距离，确定需要的所述图像采集装置的数量，并为所有的所述图像采集装置分配编号；
其中，确定需要的所述图像采集装置的数量，具体为：
N=(A/b)+1；
其中：N为图像采集装置个数，A为铁轨路线的沿线长度，b为每个电线杆间隔距离。
5.一种超视距实时显示系统，其特征在于，包括：
图像采集系统，包括沿铁路轨道等间距设置的与轨道成预设角度的多个具有唯一编号的图像采集装置，用于进行图像采集，并将图像发送至图像处理系统；
图像处理系统，用于根据列车的当前位置、速度以及预设的超视距的距离范围，确定即将进行图像采集多个所述图像采集装置的位置，根据所述图像采集装置的位置确定对应的每个图像采集装置的编号；
用于对从所述各个图像采集装置获取的多张带有相应所述编号的图像进行预处理，将预处理后的图像按照编号顺序依次进行实时拼接为1张图像；
显示系统，用于以预设频率对所述图像处理系统传递来的图像进行显示更新；
其中，所述图像处理系统按如下步骤确定所述每个图像采集装置的编号：
根据车头距离对应列车始发站的距离以及相邻电线杆间的距离，计算需要进行图像采集的图像采集装置的编号，具体为：
q=(p+c)/b；
其中：p为车头当前位置距对应列车始发站的距离值；c为视距值，列车启动之前，此值为0，随着列车加速启动，此值随之变化，并迅速达到列车匀速时设定的视距值；b为每个电线杆间隔距离；则采集图像装置的编号为q，q+1，q+2……q+m-1；采集到的图像表示为sq，sq+1，sq+2……sq+m-1；q为列车运行时需要进行图像采集的图像采集装置的起始位置编号；m为合成1张图像需要的图片的数量。
6.如权利要求5所述的超视距实时显示系统，其特征在于，相邻所述编号的所述图像采集装置的拍摄图像部分重叠。
7.如权利要求5所述的超视距实时显示系统，其特征在于，所述图像处理系统，还用于对获取的多张带有编号的图像进行畸变校正；
对处理后的图像进行边缘检测处理；
根据特征匹配算法，提取相邻编号图像中的共同特征，将相邻编号图像中的共同特征进行融合，直至所有获取的带有编号的图像都完成拼接重构；
对重构图进行透视变换，生成司机远视视角的图像。
8.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-4任一项所述的方法。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的方法。
CN201910184548.9A 2019-03-12 2019-03-12 超视距实时显示方法、系统、存储介质及计算机设备 Active CN109981980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910184548.9A CN109981980B (zh) 2019-03-12 2019-03-12 超视距实时显示方法、系统、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184548.9A CN109981980B (zh) 2019-03-12 2019-03-12 超视距实时显示方法、系统、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN109981980A CN109981980A (zh) 2019-07-05
CN109981980B true CN109981980B (zh) 2021-01-01

Family

ID=67078566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184548.9A Active CN109981980B (zh) 2019-03-12 2019-03-12 超视距实时显示方法、系统、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN109981980B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555460B (zh) * 2019-07-31 2020-11-20 国网江苏省电力有限公司 一种基于图像切片的移动端输电线路鸟类检测方法
CN113556515B (zh) * 2021-07-20 2022-06-14 铜仁市市政公用设施管理处 一种用于园林建筑工程管理的监控装置
CN114043879B (zh) * 2022-01-13 2022-03-29 西南交通大学 基于图像处理的中低速磁悬浮列车过轨道接缝控制系统
CN116605262B (zh) * 2023-07-07 2024-04-05 中国铁道科学研究院集团有限公司电子计算技术研究所 一种列车运行的超视距安全预警方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101020466A (zh) * 2006-02-13 2007-08-22 申朗 铁路列车超视距和曲线观测系统
CN102307299A (zh) * 2011-09-16 2012-01-04 北京交通大学 一种基于图像的轨道交通远程瞭望系统
CN109367483A (zh) * 2017-08-09 2019-02-22 安波福电子(苏州)有限公司 一种角度自适应的车载鸟瞰系统及其实现方法
CN109102464A (zh) * 2018-08-14 2018-12-28 四川易为智行科技有限公司 全景图像拼接方法及装置

Also Published As

Publication number Publication date
CN109981980A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109981980B (zh) 超视距实时显示方法、系统、存储介质及计算机设备
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
DE112015006458B4 (de) Anzeigesteuervorrichtung, Anzeigesystem, Anzeigesteuerverfahren und Anzeigesteuerprogramm
DE102018110971A1 (de) Erweiterte realität für eine fahrzeugspurführung
EP3694206A1 (en) Image processing device and image processing method
CN111460865B (zh) 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
CN107063713A (zh) 应用于无人驾驶汽车的测试方法和装置
US11288777B2 (en) Image processing device, image processing method, and program
CN104272345A (zh) 车辆用显示装置、车辆用显示方法以及车辆用显示程序
CN110068814B (zh) 一种测量障碍物距离的方法及装置
CN108290521A (zh) 一种影像信息处理方法及增强现实ar设备
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
CN111835998B (zh) 超视距全景图像获取方法、装置、介质、设备及系统
CN112896159A (zh) 行车安全预警方法及系统
CN109204144A (zh) 一种车辆周围景象的虚拟现实显示系统及方法
EP3151213A1 (de) Fahrzeugvorrichtung sowie verfahren zur aufzeichnung eines umgebungsbereichs eines kraftfahrzeugs
CN116935281A (zh) 基于雷达和视频的机动车道异常行为在线监测方法及设备
CN111614931B (zh) 车辆周边图像合成方法及系统
CN114240769A (zh) 一种图像处理方法以及装置
CN112562061A (zh) 一种基于激光雷达图像的驾驶视觉增强的系统及方法
CN113126294A (zh) 一种多层次成像系统
Savino et al. Obstacle detection test in real-word traffic contexts for the purposes of motorcycle autonomous emergency braking (MAEB)
CN107292818B (zh) 一种基于环视相机的捕线器自动定位系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant