CN105636853B - 用于障碍物识别和避开的系统和方法 - Google Patents

Abstract

公开了一种系统和方法，该系统和方法用于铁路附近的障碍物识别并且当障碍物对火车构成威胁时用于向火车的操作者提供警报。所述系统包括IR传感器，置于火车的前端，面向火车行驶的方向。IR传感器接收火车前方的铁轨的图像。所述系统包括预存的火车机车的振动概况，该概况用于消除机车振动对于接收到的图像的准确性的影响。基于铁轨和铁轨背景中的诸如轨枕和轨枕下的材料的衬底之间温度的固有差异，在接收到的帧中检测铁轨的存在。

Description

用于障碍物识别和避开的系统和方法

背景技术

世界上许多火车事故发生是由于铁路上或铁路旁的障碍物的存在，该障碍物以机车司机看不见的形式存在或在不允许避免撞上该障碍物的距离范围内可见。避免这样的障碍物的冲击取决于各种因素，包括例如，取决于环境和天气的可见度；取决于铁轨轨道形式(弯曲、隧道等)和地形(遮挡视线的小山、岩石等)的可见度；在意识到障碍物存在的时刻火车的速度和质量(总动能)；以及障碍物的尺寸、位置和颜色(物体具体可见度)。这些因素中的每一个对于为避免障碍物事故而停止正在运行的火车所要求的距离和时间都有直接影响。一些直接影响完全停止距离，一些影响注意到物体并将该物体界定为障碍物的能力。

在很多情况下，机车司机的典型决定时间，正在运行的火车的总质量以及火车典型的行驶速度表明检测到障碍物、确定紧急刹车并使火车停止的距离超过1-2千米。这样的距离表明为了避免障碍物事故，机车司机需要能够看见距离两千米或类似距离的物体，并且能够确定观察到的物体是否确实是必须避开的障碍物，之后能够操作刹车工具——所有都要在刹车距离用尽之前。需要一种系统和方法来帮助并支持机车司机获取沿铁路的物体、评估其存在的危险并且采取操作决定，确定是否需要火车刹车——所有这些都要足够快以允许火车在撞上障碍物之前安全刹车。

发明内容

公开了根据本发明的实施方式的火车障碍物识别的方法，所述方法包括：从安装在火车机车上的红外(IR)传感器接收红外图像，所述IR传感器面对行驶的方向；获取振动概况；基于所述振动概况从所述IR图像过滤掉振动的影响；基于预先准备的规则和参数确定所述IR图像是否包含障碍物图像以及该障碍物是否对所述火车的行驶形成威胁；以及如果所述IR图像包含障碍物的图像，提供警报信号。

根据本发明的实施方式，所述方法进一步包括基于铁轨和它们的背景之间的温度差检测所述IR图像中的铁轨。

根据又进一步的实施方式，在火车行驶之前储存振动概况。

根据又进一步的实施方式，所述方法进一步包括火车机车的振动概况的动态研究。

根据又另外的实施方式，所述方法进一步包括在被检测铁轨的周围界定感兴趣区域并且在所述感兴趣区域内检测物体。

根据又另外的实施方式，所述方法包括：在所述接收到的IR帧中估计移动物体的移动方向；考虑所述火车在所述连续的IR图像的所述获取之间已通过的距离，比较连续的IR图像中的所述移动物体的位置；将所述移动物体在连续的IR图像之间已经移动的所述距离除以所述IR图像的所述获取之间的时间段；以及基于所述移动物体的移动的速度和方向，确定该移动物体是否对所述火车构成威胁。

根据本发明的实施方式的用于铁路障碍物识别的方法进一步包括从全球定位系统(GPS)单元获取位置数据；基于所述位置数据追踪火车的行驶；以及在所述火车靠近具有有限可见度的铁轨路段时提供信息。

所述方法进一步包括，将火车前方的铁轨路段的预存图像与在火车行驶中获取的帧比较以便核实所述铁轨和所述铁轨邻近区域中的变化，并且基于所述比较检测障碍物，。

根据本发明的实施方式的用于铁路障碍物识别的方法，其中，评估铁路条件进一步包括，通过观察在获取的铁路图像中的铁轨的两条轨道之间的距离，检测轨道弯曲。

公开了一种用于铁路障碍物识别的系统，所述系统包括：红外(IR)传感器，面对行驶方向安装，以便获取IR图像；处理和通信单元，被配置为执行前述任意一项权利要求所述的方法的所述步骤；以及机车司机操作单元，被配置为向使用者呈现所述警报信号。

一种用于铁路障碍物识别的系统，其中，所述IR传感器在范围为8-12微米的范围内可操作。

附图说明

在说明书的总结部分具体指出并明显地要求保护被认为是本发明的本主题。但是，在结合附图阅读时，参照下文的具体实施方式可最好地理解就组织和操作方法两者而言的本发明及其物体、特征和优点，在附图中：

图1A和图1B图示地描绘了根据本发明的实施方式的配备有用于铁路障碍物识别和避开的系统的火车；

图2A为根据本发明的实施方式的用于铁路障碍物识别和避开的系统的示意方框图；

图2B为根据本发明的实施方式的处理和通信单元的示意方框图；

图3为描绘了根据本发明的实施方式的SNR、POD和FAR的大小之间的关系的示例性曲线图；

图4示意性地图示了根据本发明的实施方式的MW和LW波长范围内的IR波长的可转移性作为紊动系数；

图5A为根据本发明的实施方式的由IR成像器拍摄的图像，该图像呈现了阴影区的铁轨部分的可见度；

图5B为根据本发明的实施方式的图5A中示出的同一场景的过滤之后的铁轨的图像；

图5C为示出了根据本发明的实施方式的在沿着铁轨的两个不同点上的铁轨的温度变化并示出了铁轨与它们的背景之间的温度差异的图像；

图5D为呈现了根据本发明的实施方式的距离成像器0.5km的位于铁轨之间的障碍物、铁轨之间的背景与铁轨之间的温度差异的图像；

图5E为呈现了根据本发明的实施方式的两个不同的障碍物的高可见度和铁轨及背景的高可见度的图像；

图6为呈现了根据本发明的实施方式的用于铁路障碍物识别和避开的系统操作的示意流程图；

图7为呈现了根据本发明的实施方式的用于驾驶安全性评估的示意流程图；

将理解，出于说明的简化和清楚，在附图中示出的元件不一定按比例绘出。例如，出于清楚一些元件的尺寸可相对于其他元件夸大。进一步地，在认为适合的地方，可在附图中重复参考编号以表明对应的或类似的元件。

具体实施方式

在下面的具体描述中，为了提供对本发明的完全理解，陈述了很多具体细节。但是，本领域的技术人员将理解本发明可没有这些具体细节而被实施。在其他例子中，没有详细描述众所周知的方法、程序和组件，以避免使本发明晦涩。

虽然就这一点而言本发明的实施方式不受限制，讨论使用术语诸如，例如“处理”、“计算”、“估算”、“确定”、“建立”、“分析”、“检查”等可指计算机、计算平台、计算系统或其他电子计算设备的操作和/或处理，这些设备操纵代表为计算机寄存器和/或存储器内的物理(例如电子)量的数据或将该数据转化为同样代表为计算机寄存器和/或存储器或其他信息存储介质内的物理量的其他数据，所述存储介质可储存指令以执行操作和/或过程。

虽然就这一点而言本发明的实施方式不受限制，本文使用的术语“多个”可包括，例如“多个”或“两个或两个以上”。术语“多个”或“多数个”可贯穿整个说明书使用以描述两个或两个以上的组件、设备、元件、单元、参数等。除非清楚地陈述，本文描述的方法实施方式不理解为特定的顺序或序列。另外，描述的方法实施方式或其元件中的一些可在同一时间点发生或被执行。

根据本发明的实施方式，得到作为益处的事实：使用热成像方法，铁路轨道具有可相对容易地区别于其邻近的热足迹。本发明的发明者已经意识到事实是火车铁轨由金属制成并且基于轨枕，轨枕由混凝土材料或通常具有低热导率的其他材料制成。结果，由于铁轨的高热导率，金属铁轨沿着铁路的很长路段趋向维持相对相等的温度，而铁轨附近的地面保持具有比铁轨温度均匀性水平低的均匀性的附近温度。另外，由于火车铁轨和通常包括在地面的材料之间的热导率和比热的不同，很明显，沿着铁路的温度划分和温度水平与其附近的地面至少在两个参数上均有区别。

如发明者所测量的，铁轨和铁轨背景的地面的典型温度差异为15-20度，而沿着铁轨的铁轨温度差异显示为沿着1km小于2度的差异。这可确保由IR传感器拍摄的图像帧内的铁轨的好的可检测性，并且为用于铁路障碍物识别和避开的热成像系统和方法建立具体的基础。如在图5C中可见的(在下文中详细描述)，例如，物体之间的差异为20灰度。在典型的检测器中，单个灰度通常代表全部范围为13比特的50mK度。图5C中的图像由8比特成像装置拍摄，因此图5C中的每一个灰度是2^5*50mK＝1600mK＝1.6℃(为简化讨论忽略伽玛校正)。

现参照图1A和图1B，图1A和图1B图示地描述了根据本发明的实施方式的配备有系统100的火车10，系统100用于铁路障碍物识别和避开。火车10在其前端包括火车机车10A并且可选择地包括一个或多个铁路车厢10B。系统100可安装在火车机车10A上并且可包括处理和通信单元102、机车司机操作单元104、至少一个可选择地通过相机对准基座106A安置的红外(IR)前视传感器106，并且可选择地包括通信天线108。

IR传感器106可安装在机车10A的前端，也就是火车机车的面对火车行驶方向的一端，为更好地执行前视，优选地安装在高的位置，正如图1A中的火车10的侧视图图示地描绘的。IR传感器106可具有竖直的视野116，该视野具有开视角α_v1，其中央光轴116A以相对于水平面以角度α_v2倾斜。

如图1B中的火车10的俯视图可见的，IR传感器106可具有水平视野117，该视野具有开视角β_h1，其中央光轴117A通常沿着机车10A的纵轴引导。可结合IR传感器106的具体目标获取性能而选择所述开角和倾斜角，使得感兴趣的区域(即其中央直接位于火车机车10A的前端的区域)达到距离机车10A约2km，并且其纵向开口和横向开口将确保铁路的铁轨及其直接附近将在所有的铁轨预期轨道变化上保持在IR传感器106的视野内。

根据本发明的一些实施方式，如下文详细解释的，IR传感器106可使用IR成像器体现，以非制冷或低温制冷方式，最好在LWIR(具体而言，波长在8-12毫米范围)波长范围，配备有具有特定性能的透镜或透镜光学组。IR传感器106可安装在传感器稳定和对准基座106A上。可使用任何众所周知的方法和方式达到稳定和对准。可基于从拍摄的图像中测量/提取的振动/不稳定，或基于诸如加速计的移动测量传感器，做出动态稳定环。IR传感器106可进一步配备有工具106B，适合于物理地/化学地/机械地清洁传感器106的光学器件的外表面。IR传感器106可配备有一个或多个摇摄/倾斜/变焦(PTZ)控制装置，由任何众所周知的手段实现(未示出)。

现参照图2A，即根据本发明的一些实施方式的用于铁路障碍物识别和避开的系统100的示意方框图。系统100可包括处理和通信单元102、机车司机操作单元104、至少一个红外(IR)前视传感器106，并且可选择地包括通信天线108。处理和通信单元可包括处理器102A和非易失性存储装置102B。处理器102A可适合于执行储存在存储装置102B中的程序和命令，并且可进一步适合于在存储装置102B上储存和读取值和参数。处理器102A可进一步适合于控制机车司机操作单元104；向单元104提供数据；在单元104处或接近单元104并且与单元104可操作地通信地激活警报信号；以及从单元104的使用者接收命令和数据。IR传感器106与处理和通信单元102可操作地连接以提供IR图像。根据本发明的一些实施方式，系统100可进一步包括天线108，以便使数据能够与外部单元链接以便与外部单元和系统交换与火车10的行驶关联的数据和警报。

根据本发明的一些实施方式，司机操作单元104可适合于使机车司机能够接收和观察IR图像的动态流(其表示出机车前方的视野)，其中热区分的物体以加重的方式呈现。在可选择地操作模式之间选择；激活/撤销选选项(诸如控制从IR传感器106接收的视野图像流的记录)；从远程存储设备等获取参考轨道图像；以及当检测到障碍物时接收警报信号和/或指示。

系统100所需的性能应该很好地确保提前获取并识别在铁路上和/或铁路旁已界定的附近的潜在障碍物，这样使得当已经检测到障碍物事故时，火车10在到达障碍物之前能够安全刹车。对于行驶速度为150Km/h，也就是近似42m/s的火车10，刹车距离约为1.6Km(近似于1英里)。典型的反应时间，其包括10秒的做出决定时间和做出操作时间，要求额外的400米的障碍物识别距离，从而设定检测和识别距离为2km。假定火车10不断减速，可使用基本运动方程，以便计算沿着火车10的减速轨迹的任意一点的距离/时间/瞬间速度。用这种方法，对于上文呈现的附图，恒定的减速度a等于-1.65m/s，全部刹车时间t_B等于26s。本领域的技术人员将理解，为了解出在其轨迹上任意一点的移动参数，可使用其他方程组，例如基于能量的方程组，在该方程组中，可计算减速的火车的任意时刻的动能，以及制动轮以生成热的方法向铁轨及其周围提供的最大能量耗散。

现参照图2B，即根据本发明的一些实施方式的处理和通信单元200的示意方框图。单元200对应图2A的单元102。处理和通信单元200适合于从诸如IR传感器106(图2A)的IR传感器接收IR图像210。假定随着IR图像210的图像信号出现的至少一些噪声是重复的，并且因此是可预测的。这样的噪声可记录并保存在预设的噪声单元260或者可被在线取样。单元200可进一步接收过去的噪声表征260。IR图像信号210和过去的噪声信号260可进入去卷积(de-convolution)单元204，以接收具有更好的信噪比的去噪声图像信号204A。去噪声图像信号204A可在SUB206以减法的方式与先前的图像对比。去噪声图像信号204A可提供去噪声图像，或者根据本发明的实施方式提供平均图像，以储存在单元220中，该单元是非易失性快速随机存取存储器(RAM)。

从图像204A减去先前的图像的减法产生了表明从先前图像到当前图像的衍生图像206A。减法结果206A供给至决定单元DSCN 208。DSCN单元208适合于基于预先准备的规则和参数分析减法结果图像206A并且决定。这样预定定义的规则和参数可考虑到各种论点。例如，被成像和分析的位置的预存图像可使在被分析帧中的物体的核实成为可能。在另一个实例中，在拍摄被分析的图像时可考虑实际天气的影响(例如温度、云量等)，以便提高灵敏度和知觉度。可从由IR传感器拍摄的图像中提取相关天气信息或经由无线链接从外部天气信息来源接收相关天气信息。基于Plank分布，这些规则可适合于提高IR传感器温度测量或评估的准确性。根据一些实施方式，这些规则和参数可被用于例如通过决定单元DSCN208自动识别火车前方轨道的弯曲点，这样他们的图像一致并且看起来像一条单线。在铁轨图像该部分，为了识别看起来像潜在威胁的图像是否真的在一定距离内构成威胁，需要评估物体距离铁轨的距离。由于在这个情况下铁轨之间的横向跨距可能不能直接提取，可基于铁轨的那一部分与IR传感器之间的距离评估和可疑物体到IR传感器之间的距离评估计算被识别的可疑物体和铁轨之间的距离(所述距离评估使用众所周知的方法(诸如基于相关场景中连续的图像的三角测量，这些图像在(多个)时间间隔之后拍摄，所述时间间隔确保火车已经行驶足够长的距离以使物体距离的计算成为可能。这应根据场景、地点和天气调适，这些规则和参数是用于根据Plank分布测量物体温度的可能性，预期的铁轨弯曲——所述算法将检测算法从铁轨上面的主视图切换到侧视图，被分析的图像或连续图像是否包含障碍物的图像以及该障碍物是否对火车的行驶形成威胁。假使已经检测到威胁障碍物，可产生组合信号230A并被提供给司机操作单元，诸如单元104(图2A)。组合信号230A可包括警报信号和障碍物指示覆盖物视频，以便指示从去卷积单元204接收的视频帧上的被识别障碍物。

蜂窝接口单元246适合于管理单元200的蜂窝通信，并且它可被控制、可接收并且可提供来自CPU单元240的信号、命令和/或数据。

全球定位系统(GPS)单元242可管理从接受自GPS卫星的信号中提取的位置数据。位置数据242A可：用于通过火车管理系统(未示出)追踪火车的前进；用于通过接收在相关附近的其他火车的位置指示获取的火车间相对位置数据；并且用于在火车靠近具有(例如小山的弯曲而导致的)有限的可见度的铁轨路段时，提前通知机车司机。位置数据还可用于将在当前铁轨上的过去火车的帧(该帧可通过无线通信信道(诸如蜂窝信道)接收)与当前行驶的帧同步，以便核实铁轨及其附近的变化，

CPU单元240适合于通过提供要求的数据和/或控制命令，并且通过将其他单元的操作同步，控制单元200的至少一些其他单元的操作。单元200的操作所需要的的软件程序、数据和参数可储存在非易失性存储单元244，该单元可以是任何众所周知的读取/写入存储装置。储存在存储器244中的程序在执行时可使单元200执行在本说明书中描述的操作和活动。

单元200是图2A的单元102的实施方式的实例。但是，单元102可以以其他方式体现。单元200(作为其全部或部分)可在分离单元上体现，或者体现为系统的一部分或用户特定的芯片的一部分，或者体现为只在现有的平台上执行以及控制现有的单元的软件。可通过电力供应单元250提供电力给单元200的所有电力消耗件。

根据本发明的一些实施方式，要求的有效视野，以EF表示，被要求覆盖铁轨和铁轨的外部边缘。考虑到铁轨之间1.5m的距离和在2Km距离针对1.5m的开视角等于约1mRad。在市场上可容易发现分辨率范围在256×256到1000×1000像素以及更高的IR成像器。假定2Km距离内的目标障碍物的横向尺寸为0.5m，这样的障碍物占据约0.25mRad，表明2周期(cycle)/mRad取样。根据奈奎斯特采样频率要求表明采样频率f_N＝4周期/mRad。根据由成像器获取的物体识别的约翰逊标准，用于确保识别的采样频率f_REC等于：

f_REC＝f_N*6＝4*6＝24周期/mRad

因此每一个横向像素的视场(FOV)FOV_PIX等于：

FOV_PIX＝I/f_REC＝I/(24*10^-3)≈40μRad

对于在商场上可买到的IR传感器内的具有20μm横向尺寸的典型像素，焦点长度f将是：

20*10^-6＝f*40*10^-6

f＝0.5m

需要0.5m的焦点长度以确保识别2Km距离内的横向尺寸为0.5m的障碍物。自然地，确保更短距离的识别将会施加更弱的约束。例如，500m距离的障碍物将占据4倍数量的像素，这意味着48像素/目标满足约翰逊标准，这反过来允许使用256*256像素的IR成像器(256×256可适合于长于500m的距离)。如果成像错误(诸如来自不准确安装或传感器视线动态的错误)不超过

e_loc/vib＝±40μRad*(256-48)/2＝104*40μRad＝4.16mRad，

将考虑将其忽略；但是，更大的错误将要求更高分辨率的IR成像器，这将增大系统的成本。出于检测的目的，焦点长度只可以是

0.5m/6＝0.0833m

在要求相对短的焦点长度的情况下，可通过减少F#提高灵敏度。

当系统的主要目标是障碍物检测时，为减轻生产并减小尺寸，焦点长度可减少至约150mm。

用于物体检测的热系统通常具有F/2系数(F/2figure)，该系数支持每像素～100mKelvin的噪声等效温差(NETD)区别，这支持长于2Km距离的障碍物检测。在目标障碍物是活体，例如人，的情况下，人体和他图像周围地面之间的温差可在5°K到25°K之间变化。结果，信噪比(SNR)可以是50或更高。

根据本发明的一些实施方式，要求目标障碍物一定范围的检测概率(POD)和一定范围的错误警报率(false alarm ratio FAR)。

现参照图3，即根据本发明的实施方式的描绘SNR、POD和FAR的大小关系的示例性曲线图。SNR以无量纲图表达并且在横轴上呈现，POD以百分数表达并且在纵轴上呈现，对于给定的FAR，以无量纲图表达。如在图3的曲线图可见的，对于给定的FAR值，POD值与SNR值成正比例，对于足够高的SNR值(例如高于12.5)，POD值高于99，甚至FAR等于10^-22，也就是——具有足够高的SNR，FAR的值可忽略。然而即使FAR的值高于上文具体化的值，系统100仍然对机车司机有帮助，因为在单元200调谐为在这个范围提供警报信号时，它会引起他对于警报的关注。对于SNR等于10，FAR的值非常低，对于SNR高于10，很明显FAR的值几乎为零。对于由传感器106获取的单个帧，对于SNR等于10的POD值接近99.99％，当然如果获取两个或两个以上帧，POD值非常接近100％。

一种根据本发明的一些实施方式用于铁路障碍物识别和避开的系统，(例如系统100)可在至少两个不同范围的波长操作。第一波长范围，也被称作中波长红外线(MWIR)是3-8μm，第二范围也称为长波长红外线(LWIR)是8-15μm。这些范围的每一个中的系统的操作涉及其自身的优点和缺点。当需要检测红外(IR)导弹尾焰时，在MWIR范围操作有优点。如本文中所使用的，IR导弹尾焰可指从导弹尾气排出的IR辐射。另外，在好的氛围条件下，MWIR范围具有较好的可转移性，例如在具有低水平空气紊动(turbulence)的环境中。当在具有高水平空气紊动的环境中操作时，在LWIR范围的操作具有大量的优点。当IR能量的波长在LWIR范围时，IR范围的波长的可转移性非常高。可使用参数Cn2来评估紊动(turbulence)对成像器性能的影响，参数Cn2表明目标物体和成像器之间的介质的折射因素的变化水平。这个单元具有物理尺寸【m^-2/3】并且该数字越大，折射数量的变化越大，结果——成像器的性能越低。

现参照图4，即示意性地图示了根据本发明的实施方式的MW和LW波长范围内的IR波长的可转移性作为紊动系数。在MW和LW波长范围的IR波长的可转移性(其作为紊动系数Cn2沿着横轴呈现)，在被观察的物体和物体与成像器之间的介质中，沿着纵轴呈现。如图4可见，在低水平紊动Cn2上的MWIR的可转移性比LWIR的可转移性高。但是，紊动对MWIR的影响远高于对LWIR的影响，并且在2km的范围和高水平的紊动的感兴趣区域中，LWIR的可转移性较好。

根据本发明的实施方式，在IR频谱的LW范围内操作系统(诸如系统100)的优点也适用于在低可见度条件下的操作。成像系统的可转移性可由雷利衍射方程(Rayleighequation)评估：

在该方程中，成分(1/λ)⁴对于坏天气条件下的可转移性最重要，在坏天气条件下使用长波长被证明具有高的可转移性。

根据本发明的一些实施方式，用于铁路障碍物识别和避开的系统，诸如系统100，在图形帧中可自动地聚焦于铁路的铁轨的图像。期望铁轨的图像在所述帧中具有高水平的区分度，这主要由于在所述图像帧中铁轨的温度和其背景的温度之间的差异。铁路铁轨由金属制成，通常是钢，其具有不同于设置该铁轨的地面的热传递系数。铁的热传递系数为50W/m²·k(瓦特每平方米开尔文)而等同的地面(包括岩石、土壤和气穴)的热传递低于1W/m²·k。这种不同确保在全天和所有范围的天气变化中铁轨表面的温度与其背景温度相比的显著差异。

根据本发明的一些实施方式的系统需要能够通过可被污染或具有低可见度的具有折射变化等的介质，识别2km距离或更远的约0.5m宽的障碍物。另外，由于安装在以高速行驶的火车机车上，IR传感器常遭受复杂的振动。这样的复杂振动组包括特定机车的特定振动、来自在铁轨上的行驶的振动。从火车机车引入到IR传感器的振动可引发对于获取的图像的两种不同类型的负面影响。第一种负面影响是获取的图像的振动，第二种负面的影响是图像的模糊。

第一种负面影响的结果是这样的图像，在该图像中，每一个物体在不同的地点在帧中出现几次，在横向和/或纵向上以未知量相对于彼此移动。第二种负面影响是帧中物体的模糊，该效应减小了图像的清晰度。处理第一个负面效应更难，因为很难自动确定哪些像素代表物体，从而排除记录帧中被拍摄物体的确切位置的可能性从而接下来通过减法清除该负面影响。第二种负面影响更容易处理，因为可通过及时平均化模糊的物体提取物体从而接收真实的物体。

根据本发明的一些实施方式，可通过例如为特定机车和/或在各种特定行驶概况中的机车和/或沿着铁路的特定路段行驶的机车储存振动概况，记录、分析和研究特定的火车机车的振动的特定性质。这样的振动数据可储存或随时由诸如系统100的系统使用。根据本发明的可替代或另外的实施方式，为了被使用以使障碍物IR图像清晰，可动态地研究和分析特定机车的振动的特定性质。

根据本发明的又另外的实施方式，通过依靠假定：只要至少一个铁路铁轨在成像器的视线(LOS)内，可更容易提取振动影响，依靠如上文讨论的由于其区分的热特征在图像帧中定位铁轨的容易性，可进一步改善获取的IR图像以克服振动的负面影响。为了改善被拍摄的IR图像，可使用维纳滤波器。维纳滤波器的频率响应可表达为：

其中：

S_ηη(w₁,w₂)为如从具有均匀分散的帧中的位置所取得的噪声频谱，以及

S_uu(w₁,w₂)为起始物体的图像的频谱。

根据本发明的一些实施方式，可储存沿着铁路轨道拍摄的图像以便后面的使用。一个这样的使用可以是用作参考图像。例如就图2B描述的，系统100可提取对应当前由IR传感器(诸如传感器106)观察的铁路路段的预存图像。可基于从(例如)GPS输入单元242接收的连续的位置信息提取预存的图像。预存的图像(假定其具有更高质量)可用于通过例如减法比较。另外或可替代地，可通过诸如蜂窝网络的通信链接从远程存储装置接收预存储的参考轨道图像。

本发明的一些实施方式是当前应用的主题，本发明的发明者(他的一些实施方式是本申请的主题)已经执行实验从而将从由IR传感器在白天和黑夜拍摄的图像进行的铁路铁轨的检测及置于铁轨附近的物体的检测，与由普通的相机在同样时间拍摄的同样的铁轨和物体的图像进行比较。在黑夜中，由普通相机拍摄的图像是是完全看不见的，但是由IR相机在同一时间拍摄的图像是明显看得见的。另外，实验发现即使是在白天，当穿过阴影区域时，由普通相机拍摄的铁轨是完全看不见的，但是用IR传感器是足够看得见的。意识到即使通过阴影区域时铁轨的温度低于暴于阳光下的铁轨的温度，由于铁轨的高的热传递数字，一些热量从暴于阳光下的部分传输，结果，其在阴影部分的温度下降少于其附近的地面的下降，结果在IR帧中保持区别。

现参照图5A到图5E，这些是根据本发明的实施方式进行和处理的火车机车前方场景的图像。

图5A为根据本发明的一些实施方式，由置于火车机车前端的IR成像器拍摄的图像，该图像呈现了如在白色框502内看到的阴影部分内的铁轨500的部分的可见度。可见即使人眼不能区分，位于白色框502内部(阴影部分)的铁路500的部分在IR图像中可区分。

图5B为根据本发明的一些实施方式，与铁轨500在图5A中示出的同一场景经受过滤之后的图像。在图5B的实例中，一阶导数过滤器(也称为一阶差分过滤器)应用于边缘检测。此处在白色框504中的图像的阴影区域中的铁轨500在阴影区域的图案中也是很好区分的。

图5C为示出根据本发明的一些实施方式的沿着铁轨的两个不同点的铁轨500的温度变化以及铁轨和其背景之间的温度差异的图像。位置512和516为铁轨500上互相距离约1km的点。通过灰度级的差值(其为20级)提取点512和516之间的温度的差值，计算出的1Km的差值约为1.6℃。在点514测量的灰度为0，其与铁轨的代表相差约230级——一个巨大的差别。因此，很明显，与铁轨和它们的背景之间的温度差相比，沿着铁轨的温度变化忽略。

图5D为根据本发明的实施方式，的由位于火车机车前方的IR摄像机拍摄的图像，该图像呈现了距离成像器约0.5km距离的位于铁轨500之间的障碍物522、铁轨500之间的背景524和铁轨526之间温度的差异。与图5C中的温度分析相似，在此，在约0.5km的距离处，背景524的温度与障碍物522的温度的区别为246灰度(约80mK*246～20℃)，并且与铁轨526的温度差异为约220灰度(约17.5℃度)。这再次例证了由IR成像器拍摄的铁轨500和障碍物522的可见度。

图5E为根据本发明的实施方式，由位于火车机车前方的IR成像器拍摄的图像，该图像呈现了与背景对比，障碍物530和532以及铁轨500的高可见度。

现参照图6，图6为根据本发明的实施方式的呈现用于铁路障碍物识别和避开的系统的操作的示意流程图。可连续地(或间歇地)从诸如IR成像器106(图1和图2)的IR成像器中接收IR图像，例如LWIR图像。(方框602)。

可对IR图像的流进行过滤以便移除或部分消除振动噪声(方框604)。

可将振动噪声减小的IR图像与预存的图像、相同行驶的先前图像或平均化的先前图像进行比较(方框606)。

基于铁轨和其背景之间的温度差在图像帧中检测铁轨(方框608)。

在被检测的铁轨周围界定感兴趣区域，并且检测感兴趣区域内的物体(方框610)。

评估被检测的物体的潜在危险并且/或者检测潜在危险移动。将被检测的物体和潜在危险移动分别与先前储存的知识进行比较，这些知识可通过无线通信接收或从板上存储装置接收(方框612)。应该注意，不仅静止的物体，移动的物体也可检测到。在检测到移动的物体的情况下，可通过比较连续的图像中移动的物体的位置和尺寸，估计移动的速度和方向。例如，可通过评估物体已经在连续的帧之间移动的距离，同时考虑火车在这些连续的帧之间已经通过的距离并且将所述距离除以获取的帧之间的时间段，估计移动的物体的速度。通过评估移动的速度和方向，可得出结论移动的物体是否对火车构成危险。

例如，如果检测到一辆汽车，并且基于移动方向的分析确定该汽车与火车平行行驶，则可得出结论该汽车不构成危险。但是，如果该汽车的移动方向分析表明该车在靠近轨道，并且移动速度分析表明该车可能穿过轨道，则可得出结论该汽车对火车构成危险。

当检测到潜在碰撞危险时，可发出警报信号并将该信号呈现给机车司机，并且可能地，警报信号和各自的数据无线地发送到中央管理设施(方框614)。

现参照图7，即根据本发明的实施方式的呈现驾驶安全性评估的方法的示意流程图。该驾驶安全性评估的方法相对于系统操作的方框606-614(如图6描绘和上文描述的，用于铁路障碍物识别和避开)可另外地或可替代地执行。

在方框710，获取机车的速度。可基于从IR成像器接收的IR图像计算速度。例如，可通过评估机车在连续的图像间已经通过的距离并将该距离除以获取的帧之间的时间段来计算速度。可通过执行连续帧之间的等级评估机车在连续帧之间已经通过的距离。例如，可在IR图像中定位在感兴趣区域定位的物体或特定标志，并且可通过比较在连续的帧中定位的物体的位置和尺寸，评估机车在连续的图像之间已经通过的距离。另外或可替代地，可直接从机车的速度计获取机车的速度，从通过例如GPS单元242从GPS卫星接收到的信号中提取的位置数据获取机车的速度，或者以任何其他可应用的方式获取该速度。

在方框720，基于从IR成像器接收的IR图像的分析评估铁路条件。可通过观察铁轨的两个轨道之间的距离检测铁轨轨道的弯曲。如果铁轨轨道是直的，没有弯曲，平行轨道之间的距离，在图5E中标为D1，应该以中所周知的模式逐渐减低直到轨道无限汇聚。如果轨道之间的距离以大于期望的速率减小，例如图5E中的位置D2可见，可假定有弯曲。弯曲的锐度或弯曲的半径可通过轨道之间的距离的减小的节奏估计。还可通过观察IR图像上的位置估计距离弯曲的距离，在该IR图像中，轨道之间的距离开始以高于期望的速率减小。可基于距离弯曲的距离和源于方框710的机车的速度估计到弯曲的时间。

在方框730，确定机车的速度对于铁路条件是否合适。例如，在接近弯曲时，机车应该变慢至特定的速度。如方框740所表明的，如果接近弯曲的机车的速度高于所述特定的速度，应给机车司机通知。例如可通过司机操作单元104给司机通知。例如，可警告司机前方有弯曲他应该使火车变慢。另外或可替代地，例如，正如可期望的，可通过蜂窝接口单元246将通知发送至中央管理设施(未示出)。

由用于铁路障碍物识别和避开的系统100收集的数据可由系统100保存以便后面的使用和分析。所述数据可包括与关于铁路条件的信息(诸如弯曲、障碍物的存在等)相匹配的火车的速度，并且包括一些或所有的IR图像。可在线或离线地在正常旅程中以及在事故调查中分析司机的质量和安全。可在存储装置102B中保存数据，并且/或者例如通过蜂窝接口单元246将数据发送并加载至中央管理设施(未示出)。发送数据保存在中央管理设施可减少存储装置102B中要求的存储能力量。

尽管在本文中已经说明并描述了一些特征，对于本领域的技术人员来说，许多修改、替代、改变和等同物可发生。因此，应该明白所附权利要求旨在涵盖所有在本发明真实精神内的这样的修改和改变。

Claims (18)

1.一种用于铁路障碍物识别的方法，所述方法包括：

从安装在火车机车上的红外(IR)传感器接收红外图像，所述红外传感器面对行驶的方向；

获取振动概况；

基于所述振动概况从所述红外图像过滤掉振动的影响；

基于铁轨和所述铁轨的背景之间的温度差在所述红外图像中检测铁轨；

基于预先准备的规则和参数确定所述红外图像是否包含障碍物图像以及该障碍物是否对所述火车的行驶形成威胁；以及

如果所述红外图像包含障碍物的图像，提供警报信号。

2.根据权利要求1所述的方法，包括：

基于所述红外图像中的所述铁轨的图案和位置，提取所述振动概况。

3.根据权利要求1或2所述的方法，其中，所述振动概况是预存储的。

4.根据权利要求1或2所述的方法，包括：

动态地研究所述火车机车的所述振动概况。

5.根据权利要求1或2所述 的方法，包括：

在被检测的所述铁轨的周围界定感兴趣区域；以及

在所述感兴趣区域内检测物体。

6.根据权利要求1或2所述的方法，包括：

在接收到的红外帧中估计移动物体的移动方向；

考虑所述火车在连续的红外图像的获取之间已通过的距离，比较连续的红外图像中的所述移动物体的位置；

通过评估所述移动物体在连续的红外图像之间已经移动的距离并且将所述移动物体在连续的红外图像之间已经移动的所述距离除以所述红外图像的获取之间的时间段，从而估计所述移动物体的速度；以及

基于所述移动物体的移动的速度和方向，确定该移动物体是否对所述火车构成威胁。

7.根据权利要求1或2所述的方法，包括：

从全球定位系统(GPS)单元获取位置数据；

基于所述位置数据追踪所述火车的前进；以及

在所述火车靠近具有有限可见度的铁轨路段时提供信息。

8.根据权利要求1或2所述的方法，包括：

将所述火车前方的铁轨的路段的预先存储的图像与在所述火车行驶中获取的帧比较，以便核实所述铁轨和铁轨邻近区域中的变化；以及

基于所述比较检测障碍物。

9.根据权利要求1或2所述的方法，包括：

获取所述火车的速度；

基于所述红外图像的分析评估铁路条件；以及

确定所述机车的所述速度对于所述铁路条件是否合适。

10.根据权利要求9所述的方法，其中，评估铁路条件包括：

通过在获取的所述铁路的图像中观察所述铁轨的两条轨道之间的距离，检测轨道弯曲。

11.一种用于铁路障碍物识别的系统，所述系统包括：

红外(IR)传感器，面对行驶方向安装，以便获取红外图像；

处理和通信单元，被配置为执行前述任意一项权利要求所述的方法的步骤；以及

机车司机操作单元，被配置为向使用者呈现所述警报信号。

12.根据权利要求11所述的系统，进一步包括稳定和对准基座，以便稳定和对准所述红外传感器。

13.根据权利要求12所述的系统，其中，所述稳定和对准基座包括基于预存储的振动概况的稳定控制环路。

14.根据权利要求11-13中的任一项所述的系统，包括适合于清洁所述红外传感器的光学器件的外表面的装置。

15.根据权利要求11-13中的任一项所述的系统，其中，所述红外传感器具有8-12微米范围的波长。

16.根据权利要求11-13中任一项所述的系统，其中，所述红外传感器的采样频率至少为24周期/mRad，并且所述红外传感器的焦点长度至少为0.5m。

17.根据权利要求11-13中任一项所述的系统，其中，所述红外传感器包括摇摄/倾斜/变焦(PTZ)控制装置。

18.根据权利要求11-13中任一项所述的系统，包括通信天线，以便使数据能够与外部单元链接以交换数据和所述警报信号。