CN114332732A - 一种基于雷视融合的铁路危情监测方法 - Google Patents

Abstract

本发明公开了一种基于雷视融合的铁路危情监测方法，包括：对雷达和相机进行联合标定；雷达获取监测区域当前帧的点云数据，判断是否存在障碍物；若是，则给出障碍物的第一类别和第一置信度；相机根据点云数据中的障碍物位置信息加载标定参数，对障碍物进行拍摄；根据图像数据判断是否存在障碍物；若是，给出障碍物的第二类别和第二置信度；判断第一类别和第二类别是否一致，若是，输出障碍物数据，若否，比较第一置信度和第二置信度的大小，输出较大者对应的障碍物数据。本发明能够在各种复杂恶劣的运营环境中，对侵入线路限界范围内的入侵物进行智能化检测，并提供分类报警输出，在保证产品功能的实用性的同时，也具备了良好的用户体验性。

Description

一种基于雷视融合的铁路危情监测方法

技术领域

本发明涉及一种轨道交通安全技术领域，尤其涉及一种基于雷视融合的铁路危情监测方法。

背景技术

我国幅员辽阔，铁路运营线路长，沿线自然和人文条件十分复杂，而铁路作为最具可持续性的交通运输模式，是我国经济发展的大动脉，也是我国关键基础设施和重要基础产业。铁路危情监测系统对侵入铁路运营线路的目标进行监测，自动识别危及行车安全的目标，对入侵的行为或过程进行记录，以保障铁路安全。

传统的危情监测技术技术已无法满足国铁集团零漏报、低误报、全天候的要求。国铁集团对危情监测系统要求零漏报、低误报，并且能够实现全天候自动监测，目前在铁路运营线路实际使用的产品，无法满足以上要求。

目前铁路周界入侵使用的产品主要包括，振动光纤、电子围栏、红外对射三类产品，以上产品均存在误报率高、无法判断目标入侵之后的行为、无法兼顾对铁轨线路的监测等问题。

双电网采用物理防护+电网检测的方式识别异物入侵，只能应用于公跨铁、桥梁等场景，存在施工成本高、维护困难、对抛入物可能漏报的问题。另外该系统大部分服役时间已经超过十年，部分区域甚至需要中断行车才能维修，维修维护成本极高。

近年来雷达技术和智能视频技术分别开始应用于危情监测，但应用单一技术依然无法解决现有问题，雷达和视频各自的优缺点如下表所示：

另一方面，现在也有将雷达和视频结合起来的雷视融合监测技术的设备和应用，如公开号为CN109164443A的专利，其公开了一种基于雷达及图像分析的铁路线路异物检测方法，其主要公开了利用雷达监测监控范围内是否有移动目标，再通过高清云台摄像机对移动目标进行进一步的识别和处理。其还存在以下的不足之处：

(1)其微波雷达与高清云台摄像机之间的不存在联动关系，依然是两个设备独立的作用再结合后得出结论；

(2)其异物识别单方面的依靠高清云台摄像机拍摄的实时图像，如前所述，当在复杂的环境(如雨、雪、勿)和夜晚等条件下，其识别准确性必然会受较大影响，甚至会出现无法识别的情况。

(3)依赖于单方面的异物识别，不存在核准的操作，必然导致其误报、漏报率较高。

发明内容

为了解决上述现有技术中存在的不足，本发明提供了一种基于雷视融合的铁路危情监测方法，将雷达和视频设备较好的融合，形成较好的联动及互相校准关系，能够在各种复杂恶劣的运营环境下，对侵入线路限界范围内的入侵物进行智能化检测，并提供分类报警输出。

为了实现以上发明目的，本发明的技术方案如下：

一种基于雷视融合的铁路危情监测方法，包括步骤：

步骤S1.对雷达和相机进行联合标定，获取所述雷达和相机在不同姿态下的标定参数；

步骤S2.所述雷达获取监测区域当前帧的点云数据，判断是否存在障碍物；若是，则给出所述障碍物的第一类别和第一置信度；

步骤S3.所述相机根据所述点云数据中的障碍物位置信息加载所述标定参数，以调整所述相机姿态，对障碍物进行拍摄，获取所述障碍物的图像数据；

步骤S4.根据所述图像数据判断是否存在障碍物；若是，则给出所述障碍物的第二类别和第二置信度；

步骤S5.判断所述第一类别和第二类别是否一致，若是，则输出所述障碍物数据，若否，则比较所述第一置信度和第二置信度的大小，输出较大者对应的所述障碍物数据。

在一些较优的实施例中，步骤S1所述标定参数包括：所述相机相对于所述雷达的旋转量和平移量。

在一些较优的实施例中，步骤S1所述获取雷达和相机在不同姿态下的标定参数的方法，包括：

步骤S101.建立转化矩阵M，将所述点云数据(x，y，z)映射为图像数据(u，v)：

其中，f_u、f_v分别为相机在水平和垂直方向的有效焦距；u₀、v₀为相机主点坐标；R为相机旋转矩阵；t为相机相对于雷达的平移矢量；

步骤S102.根据相机在不同姿态下的定标平面，求解上述转化矩阵，获取R、t作为标定参数。

在一些较优的实施例中，所述步骤S4还包括：若否，则以所述雷达的判定结果作为输出。

在一些较优的实施例中，步骤S5在输出所述障碍物数据前还包括：

对所述监测区域的后续若干帧分别执行前述步骤，以判断在若干帧中是否同时存在相同的障碍物，若是，则继续后续步骤；若否，则停止流程，并认定此时不存在障碍物。

在一些较优的实施例中，步骤S2所述雷达获取监测区域当前帧的点云数据，判断是否存在障碍物的方法包括：

将不存在障碍物的帧作为标准帧，提取所述当前帧与标准帧的差异点云；

若所述差异点云为空，则判断不存在障碍物，结束流程；

若所述差异点云不为空，则判断所述点云是否为火车；若是，则判断不存在障碍物，结束流程；若否，则判断存在障碍物，继续流程。

有益效果

本发明融合了雷达和视频系统，在大数据和机器学习分类算法的支持下，能够在各种复杂恶劣的运营环境中，对侵入线路限界范围内的入侵物进行智能化检测，并提供分类报警输出；

雷视融合的多次目标识别校准方法可以对侵入物进行分类，提高识别的准确率；采用多帧对比，自动修正标定、雷视一体坐标系标定等方法增加了系统抵御外界干扰的能力，真正做到雷视一体，零漏报，低误报，全天候保障铁路行车安全。

系统还可以为用户提供现场照片、报警视频片段、点云视图等多种远程研判手段，为远程报警确认提供了必要条件，极大的降低了现场施工成本、后续维护成本、人工研判成本等，让用户对于现场情况不仅能全天候实时监测，对于现场情况的判断更加清晰直观，在保证产品功能的实用性的同时，也具备了良好的用户体验性。

附图说明

图1为本发明一种较优实施例中的方法流程示意图；

图2为本发明另一种较优实施例中实现雷达和相机的联合标定的示意图；

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明提供了一种基于雷视融合的铁路危情监测方法，如图1所示，包括步骤：

步骤S1.对雷达和相机进行联合标定，获取所述雷达和相机在不同姿态下的标定参数；

其中，所述联合标定是指雷达和相机互联系统标定的一部分，所述系统标定还包括：1、监测区域划定；2、轨平面方程计算；3、摄像机内参标定。这三个标定参数的确定属于本领域常用技术，因此本发明不再赘述。而雷达和相机的联合标定主要是指，如图2所示，获取在不同应用状态下，相机相对于雷达的姿态改变参数，优选的是指相机相对于所述雷达的旋转量和平移量。联合标定的目的在于当雷达获取到障碍物信息后，可以根据障碍物位置信息和雷达与相机的映射关系，快速的将相机定位到障碍物物质，相较于现有技术中经常采用的坐标转换和复杂计算方法相比，联合标定后的定位更加快速，节约了相关设备的算力资源。同时也避免了定位算法设置不合理带来的误差问题。

在一些较优的实施例中，给出了一种获取雷达和相机在不同姿态下的标定参数的方法，如图2所示，具体包括：

步骤S101.建立转化矩阵M，将所述雷达获取的三维点云数据(x，y，z)映射为相机获取的二维图像数据(u，v)：

其中，f_u、f_v分别为相机在水平和垂直方向的有效焦距；u₀、v₀为相机主点坐标；R为相机旋转矩阵；t为相机相对于雷达的平移矢量；

步骤S102.根据相机在不同姿态下的定标平面，可以获得一系列线性方程，从而求解上述转化矩阵，获取R、t作为标定参数。其中，获取R、t的过程即联合标定。

步骤S2.所述雷达获取监测区域当前帧的点云数据，判断是否存在障碍物；若是，则给出所述障碍物的第一类别和第一置信度；

步骤S3.所述相机根据所述点云数据中的障碍物位置信息加载所述标定参数，以调整所述相机姿态，对障碍物进行拍摄，获取所述障碍物的图像数据；

应当理解的是，根据点云数据分析是否存在障碍物的方式有很多，例如阈值法、机器学习法等，这方面的研究也较多。在一些较优的实施例中，给出了一种判断是否存在障碍物的方法：

将不存在障碍物的帧作为标准帧，提取所述当前帧与标准帧的差异点云；

若所述差异点云为空，则判断不存在障碍物，结束流程；

若所述差异点云不为空，则判断所述点云是否为火车；若是，则判断不存在障碍物，结束流程；若否，则判断存在障碍物，继续流程。

下面给出该方法的具体示例：

首先提取监测区域的当前帧，利用KNN算法计算当前帧和标定帧的点距离差，并计算差异大的点到轨道平面的距离，利用高度阈值将高于轨平面一定高度的点筛选出来，高于轨面的点记作AbovePoints。

进一步判断AbovePoints是否为空，如果是空，则认为该帧点云既没有障碍物也不是火车。如果不是空，再利用点云的高度和数量判定其是否为火车。如果是火车，那么将该帧的障碍物类别修改为火车，并计算连续N帧的情况，从而推导出火车开始和结束的时间，并同时将这一帧对应的摄像机视频(从发现火车开始的时间点往前推30秒到火车结束时往后推30秒)输出(将列车开始和结束中间时间的那一帧图片也单独输出)；如果不是火车，则将该点云进行聚类计算，筛选出大于一定高度和点数的点云群，即可能的障碍物位置。结合已有的各类障碍物的点云的VFH特征利用KNN算法找到其最可能的类别，并计算置信度系数。

特别的，为了进一步增加相机获取图像与障碍物的相关程度，增加障碍物图像的可识别度，根据相机与雷达的联合标定关系和点云数据中障碍物的位置坐标，调整相机姿态(包括旋转、平移等操作)，并调整焦距，对障碍物进行特写拍照，再根据联合标定关系扣取出障碍物在图片中的扩展区域。应当注意的是，本申请中相机焦距的调整量属于联合标定参数中的一部分，其同样与标定坐标为映射关系，与本领域常用技术不同。本领域一般采用单纯的变焦操作，以使目标在图幅中的大小适宜，此时确定变焦量的具体值依赖于人工或其他额外的算法，这样的缺点在于一方面需要额外的操作或算力资源，另一方面算法的好坏决定了变焦结果的好坏。

步骤S4.根据所述图像数据判断是否存在障碍物；若是，则给出所述障碍物的第二类别和第二置信度；在另一些较优的实施例中，若当前帧的获取时间为夜晚，或获取时的环境条件较为恶劣(如雨、雪、雾天气)，此时根据图像数据得出的判断可能会出现错误，如将本来存在的障碍物误判为不存在，因此，考虑对该步骤增加一个校核的步骤，即当根据所述图像数据判断不存在障碍物时，则以所述雷达的判定结果作为输出。

步骤S5.判断所述第一类别和第二类别是否一致，若是，则输出所述障碍物数据，若否，则比较所述第一置信度和第二置信度的大小，输出较大者对应的所述障碍物数据。应当理解的是，在另一些较优的实施例中，当两者判断的障碍物类别不一致时，为了区别雷达与相机在各自具有优势的环境下的识别可靠程度，考虑根据外界环境的不同来设置不同的阈值对两者进行分别判定，例如建立如下表1所示的阈值选择表，当两者都满足阈值的情况下再比较谁的值更大则置信值更大的一类，如果只有其中一个满足阈值，则将该类作为结果输出。

	白天	雨天	雾、雪	弱光	逆光	夜晚
							雷达置信度阈值	0.5	0.6	0.6	0.4	0.25	0.3
视频置信度阈值	0.5	0.4	0.4	0.6	0.75	0.7

应当理解的是，由于周围环境可能存在噪声，基于单帧的障碍物判断可能存在较大的误差，因此在另一些较优的实施例中，在输出所述障碍物数据前还包括：

对所述监测区域的后续若干帧分别执行前述步骤，以判断在若干帧中是否同时存在相同的障碍物，若是，则继续后续步骤；若否，则停止流程，并认定此时不存在障碍物。

应当理解的是，在获得障碍物信息后具体输出那些障碍物数据，可以由本领域技术人员根据后续系统的需要或相关规章制度的要求确定，在一些较优的实施例中，所述障碍物数据具体包括：障碍物的点云数据、坐标、大小、类别、检测出第一帧对应的图片和该帧图像前、后各30秒的视频等至少一项内容。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于雷视融合的铁路危情监测方法，其特征在于，包括步骤：

步骤S1.对雷达和相机进行联合标定，获取所述雷达和相机在不同姿态下的标定参数；

步骤S2.所述雷达获取监测区域当前帧的点云数据，判断是否存在障碍物；若是，则给出所述障碍物的第一类别和第一置信度；

步骤S3.所述相机根据所述点云数据中的障碍物位置信息加载所述标定参数，以调整所述相机姿态，对障碍物进行拍摄，获取所述障碍物的图像数据；

步骤S4.根据所述图像数据判断是否存在障碍物；若是，则给出所述障碍物的第二类别和第二置信度；

步骤S5.判断所述第一类别和第二类别是否一致，若是，则输出所述障碍物数据，若否，则比较所述第一置信度和第二置信度的大小，输出较大者对应的所述障碍物数据。

2.如权利要求1所述的基于雷视融合的铁路危情监测方法，其特征在于，步骤S1所述标定参数包括：所述相机相对于所述雷达的旋转量和平移量。

3.如权利要求2所述的基于雷视融合的铁路危情监测方法，其特征在于，步骤S1所述获取雷达和相机在不同姿态下的标定参数的方法，包括：

步骤S101.建立转化矩阵M，将所述点云数据(x，y，z)映射为图像数据(u，v)：

其中，f_u、f_v分别为相机在水平和垂直方向的有效焦距；u₀、v₀为相机主点坐标；R为相机旋转矩阵；t为相机相对于雷达的平移矢量；

步骤S102.根据相机在不同姿态下的定标平面，求解上述转化矩阵，获取R、t作为标定参数。

4.如权利要求1所述的基于雷视融合的铁路危情监测方法，其特征在于，所述步骤S4还包括：若否，则以所述雷达的判定结果作为输出。

5.如权利要求1所述的基于雷视融合的铁路危情监测方法，其特征在于，步骤S5在输出所述障碍物数据前还包括：

对所述监测区域的后续若干帧分别执行前述步骤，以判断在若干帧中是否同时存在相同的障碍物，若是，则继续后续步骤；若否，则停止流程，并认定此时不存在障碍物。

6.如权利要求1所述的基于雷视融合的铁路危情监测方法，其特征在于，步骤S2所述雷达获取监测区域当前帧的点云数据，判断是否存在障碍物的方法包括：

将不存在障碍物的帧作为标准帧，提取所述当前帧与标准帧的差异点云；

若所述差异点云为空，则判断不存在障碍物，结束流程；

若所述差异点云不为空，则判断所述点云是否为火车；若是，则判断不存在障碍物，结束流程；若否，则判断存在障碍物，继续流程。

Images