CN114217626B - 一种基于无人机巡检视频的铁路工程检测方法和系统 - Google Patents

一种基于无人机巡检视频的铁路工程检测方法和系统 Download PDF

Info

Publication number
CN114217626B
CN114217626B CN202111531512.7A CN202111531512A CN114217626B CN 114217626 B CN114217626 B CN 114217626B CN 202111531512 A CN202111531512 A CN 202111531512A CN 114217626 B CN114217626 B CN 114217626B
Authority
CN
China
Prior art keywords
target
coordinates
frame
track
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111531512.7A
Other languages
English (en)
Other versions
CN114217626A (zh
Inventor
张乃乐
钱进
刘德军
周艳惠
伍思同
任翔
李洪珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jizhan Tonghang Beijing Technology Co ltd
Original Assignee
Jizhan Tonghang Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jizhan Tonghang Beijing Technology Co ltd filed Critical Jizhan Tonghang Beijing Technology Co ltd
Priority to CN202111531512.7A priority Critical patent/CN114217626B/zh
Publication of CN114217626A publication Critical patent/CN114217626A/zh
Application granted granted Critical
Publication of CN114217626B publication Critical patent/CN114217626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明公开了一种基于无人机巡检视频的铁路工程检测方法和系统，该方法包括：基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；基于目标跟踪算法对各目标检测框进行跟踪并获取各目标构筑物的目标轨迹；根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；根据各估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定巡检视频中出现的各目标构筑物的定位信息；其中，巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，帧数据包括无人机的位置数据和相机的姿态数据，从而实现从无人机巡检视频中自动准确的检测出铁路线上的目标构筑物，进而提升了铁路施工巡检的效率。

Description

一种基于无人机巡检视频的铁路工程检测方法和系统
技术领域
本申请涉及铁路建设工程监测技术领域，更具体地，涉及一种基于无人机巡检视频的铁路工程检测方法和系统。
背景技术
施工监测是铁路施工管理的重要组成部分，近年来，随着高铁在建与计划新建里程的爆发式增长，为高铁全线施工现场的巡检工作带来了更大的挑战。
铁路线路包括多种构筑物，如隧道，桥梁，桥墩，路基，轨道，四电工程(通信工程、信号工程、电力工程、电气化工程)，站场，房建等，在进行铁路线路巡检时需要对每种构筑物的建设情况进行巡检，无人机航拍技术的应用提升了线路巡检的效率，然而目前对无人机巡检数据的利用方式仍然较为原始，大多采用人工整理与判读的形式，并且难以将无人机获取的现场视频与施工计划图纸等信息相对照。
如何从无人机巡检视频中自动准确检测出铁路线上的目标构筑物，进而提升铁路施工巡检的效率，是目前有待解决的技术问题。
发明内容
本发明公开了一种基于无人机巡检视频的铁路工程检测方法，用以解决现有技术中对无人机巡检视频采用人工整理与判读，进行目标构筑物检测时效率低的技术问题。该方法包括：
基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；
基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹；
根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；
根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息；
其中，所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，所述帧数据包括无人机的位置数据和相机的姿态数据，所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程。
在本申请一些实施例中，根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标，具体为：
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标；
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标；
其中，所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
在本申请一些实施例中，所述位置数据包括飞行地理坐标和高程，所述姿态数据包括焦距、航向和俯仰角，根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标，具体为确定：
Figure BDA0003410954040000021
Figure BDA0003410954040000022
其中，XD为所述轨迹帧下目标构筑物的东方向坐标，YD为所述轨迹帧下目标构筑物的北方向坐标，xcam和ycam为所述飞行地理坐标，hcam所述高程，xim和yim为目标构筑物在图像中的位置坐标，单位为像素，以像主点为坐标原点，f为所述焦距，f的单位为像素，βcenter为所述航向，βcenter为所述俯仰角。
在本申请一些实施例中，根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标，具体为：
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标；或，
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标；或，
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
在本申请一些实施例中，在基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹之后，所述方法还包括：
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
在本申请一些实施例中，根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息，具体为：
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据；
根据所述目标设计数据中的标号和设计里程确定所述定位信息；
其中，所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
相应的，本发明还提出了一种基于无人机巡检视频的铁路工程检测系统，所述系统包括：
第一获取模块，用于基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；
第二获取模块，用于基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹；
第一确定模块，用于根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；
第二确定模块，用于根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息；
其中，所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，所述帧数据包括无人机的位置数据和相机的姿态数据，所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程。
在本申请一些实施例中，所述第一确定模块，具体用于：
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标；
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标；
其中，所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
在本申请一些实施例中，所述位置数据包括飞行地理坐标和高程，所述姿态数据包括焦距、航向和俯仰角，所述第一确定模块还具体用于确定：
Figure BDA0003410954040000041
Figure BDA0003410954040000042
其中，XD为所述轨迹帧下目标构筑物的东方向坐标，YD为所述轨迹帧下目标构筑物的北方向坐标，xcam和ycam为所述飞行地理坐标，hcam所述高程，xim和yim为目标构筑物在图像中的位置坐标，单位为像素，以像主点为坐标原点，f为所述焦距，f的单位为像素，βcenter为所述航向，αcenter为所述俯仰角。
在本申请一些实施例中，所述第一确定模块还具体用于：
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标；或，
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标；或，
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
在本申请一些实施例中，所述系统还包括第三确定模块，用于：
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
在本申请一些实施例中，所述第二确定模块，具体用于：
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据；
根据所述目标设计数据中的标号和设计里程确定所述定位信息；
其中，所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
通过应用以上技术方案，基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；基于目标跟踪算法对各目标检测框进行跟踪并获取各目标构筑物的目标轨迹；根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；根据各估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定巡检视频中出现的各目标构筑物的定位信息；其中，巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，帧数据包括无人机的位置数据和相机的姿态数据，设计数据包括各目标构筑物的标号、设计地理坐标和设计里程，从而实现从无人机巡检视频中自动准确的检测出铁路线上的目标构筑物，进而提升了铁路施工巡检的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种基于无人机巡检视频的铁路工程检测方法的流程示意图；
图2示出了本发明实施例提出的一种基于无人机巡检视频的铁路工程检测系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种基于无人机巡检视频的铁路工程检测方法，如图1所示，包括以下步骤：
步骤S101，基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框。
本实施例中，巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，目标构筑物可包括但不限于隧道，桥梁，桥墩，路基，轨道，四电工程(通信工程、信号工程、电力工程、电气化工程)，站场，房建等中的任一种构筑物。
利用目标检测算法对巡检视频进行逐帧检测，可获取多个包括目标构筑物的目标检测框，同一个目标构筑物可与多个目标检测框对应，目标检测算法可包括但不限于Mask-RCNN、YOLO、Faster-RCNN等，本领域技术人员可灵活采用不同的目标检测算法。其中，具体的目标检测过程对于本领域技术人员是显而易见的，在此不再赘述。
步骤S102，基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹。
本实施例中，目标跟踪算法可包括但不限于SORT、Deep-SORT，具体的目标跟踪过程对于本领域技术人员是显而易见的，在此不再赘述。
为了准确的获取出现在巡检视频中的目标构筑物的数量，在本申请一些实施例中，在基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹之后，所述方法还包括：
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
本实施例中，每个目标轨迹代表一个目标构筑物，统计目标轨迹的数量可确定巡检视频中出现的目标构筑物的数量。
步骤S103，根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标。
本实施例中，每个目标轨迹中包括多个轨迹帧，帧数据包括无人机的位置数据和相机的姿态数据，根据各目标轨迹中的每一轨迹帧的帧数据可确定各目标构筑物的估算坐标。
为了可靠的确定估算坐标，在本申请一些实施例中，根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标，具体为：
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标；
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标；
其中，所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
本实施例中，先根据各轨迹帧的帧数据确定各轨迹帧下目标构筑物的轨迹帧坐标，该轨迹帧坐标为轨迹帧下目标构筑物的地理坐标，然后根据目标轨迹下各轨迹帧坐标可确定估算坐标。
需要说明的是，以上实施例的方案仅为本申请所提出的一种具体实现方案，其他根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标的方式均属于本申请的保护范围。
为了准确的确定各轨迹帧坐标，在本申请一些实施例中，所述位置数据包括飞行地理坐标和高程，所述姿态数据包括焦距、航向和俯仰角，根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标，具体为确定：
Figure BDA0003410954040000071
Figure BDA0003410954040000072
其中，XD为所述轨迹帧下目标构筑物的东方向坐标，YD为所述轨迹帧下目标构筑物的北方向坐标，xcam和ycam为所述飞行地理坐标，hcam所述高程，xim和yim为目标构筑物在图像中的位置坐标，单位为像素，以像主点为坐标原点，f为所述焦距，f的单位为像素，βcenter为所述航向，αcenter为所述俯仰角。
本实施例中，根据所述帧数据分别确定XD和YD，将XD和YD作为轨迹帧坐标，其中，飞行地理坐标可基于飞行经度和飞行纬度计算获取，具体的计算过程为现有技术，在此不再赘述。
为了准确的确定估算坐标，在本申请一些实施例中，根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标，具体为：
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标；或，
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标；或，
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
本实施例中，可根据目标轨迹下各轨迹帧坐标的平均值确定估算坐标，为了降低计算量，还可从目标轨迹下各轨迹帧坐标中随机选取部分轨迹帧坐标，根据该部分轨迹帧坐标的平均值确定估算坐标，或者，从目标轨迹下各轨迹帧坐标中选取一个轨迹帧坐标，将该轨迹帧坐标作为估算坐标，也可选取多个轨迹帧坐标，并按照预设筛选规则从选取的多个轨迹帧坐标中确定估算坐标。
步骤S104，根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息。
本实施例中，可从铁路线设计图纸中预先获取设计数据，该设计数据包括各目标构筑物的标号、设计地理坐标和设计里程，根据各估算坐标与设计数据可确定巡检视频中出现的各目标构筑物的定位信息。
为了可靠的确定各目标构筑物的定位信息，在本申请一些实施例中，根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息，具体为：
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据；
根据所述目标设计数据中的标号和设计里程确定所述定位信息；
其中，所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
本实施例中，在确定估算坐标后，将估算坐标与各设计数据进行比较，若设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值，确定该设计数据与估算坐标匹配，将该设计数据作为目标设计数据，根据目标设计数据中的标号和设计里程可确定目标构筑物的定位信息。
为了进一步提高巡检效率，在本申请一些实施例中，所述方法还包括：
在播放所述巡检视频时将所述巡检视频中出现的目标构筑物的数量和各目标构筑物的定位信息发送到前端进行显示。
通过应用以上技术方案，基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；基于目标跟踪算法对各目标检测框进行跟踪并获取各目标构筑物的目标轨迹；根据各目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；根据各估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定巡检视频中出现的各目标构筑物的定位信息；其中，巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，帧数据包括无人机的位置数据和相机的姿态数据，设计数据包括各目标构筑物的标号、设计地理坐标和设计里程，从而实现从无人机巡检视频中自动准确的检测出铁路线上的目标构筑物，进而提升了铁路施工巡检的效率。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本申请实施例提供一种基于无人机巡检视频的铁路工程检测方法，以下以桥墩作为目标构筑物进行检测，具体过程如下：
一、数据导入：
本申请实施例需要三类数据：
1、线路巡检视频数据，即巡检视频；
2、描述视频每一帧拍摄时无人机的位置数据和相机的姿态数据，位置数据包括飞行地理坐标(由飞行经度和飞行纬度确定)和高程，姿态数据包括焦距、航向和俯仰角，如表1所示：
表1
视频帧 飞行经度 飞行纬度 高程 焦距 航向 俯仰角
视频帧1 经度1 纬度1 高程1 焦距1 航向1 俯仰角1
视频帧2 经度2 纬度2 高程2 焦距2 航向2 俯仰角2
视频帧3 经度3 纬度3 高程3 焦距3 航向3 俯仰角3
… …
3、设计数据，包含各桥墩的标号、设计地理坐标(由设计经度和设计纬度确定)和设计里程，如表2所示：
表2
标号 里程 设计经度 设计纬度
桥墩1 里程1 经度1 纬度1
桥墩2 里程2 经度2 纬度2
桥墩3 里程3 经度3 纬度3
… …
二、对桥墩的跟踪与计数：
对桥墩的跟踪计数遵循以下算法：
1、对巡检视频中的每一帧frame1，frame2……通过目标检测算法检测视频帧中的桥墩，目标检测算法包括但不限于Mask-RCNN、YOLO、Faster-RCNN等，得到视频帧中的目标检测框
Figure BDA0003410954040000091
Figure BDA0003410954040000092
2、将所有目标检测框输入目标跟踪算法进行跟踪，目标跟踪算法包括但不限于SORT、Deep-SORT等，得到每个桥墩对应的目标轨迹track1，track2。
3、上述每一条目标轨迹对应现实中的一个桥墩，所有目标轨迹的总数即为巡检视频中出现的桥墩总数。
三、对桥墩的定位与确定里程：
对于每个桥墩(例如桥墩1)对应的轨迹(track1)，运行如下算法：
1、选择包含轨迹track1的所有视频帧(即轨迹帧)
Figure BDA0003410954040000093
Figure BDA0003410954040000094
2、从表1中选择每一帧对应的无人机的位置数据和相机的姿态数据；
3、使用公式
Figure BDA0003410954040000101
Figure BDA0003410954040000102
计算视频帧中桥墩估算坐标，其中XD为轨迹帧下桥墩的东方向坐标，YD为轨迹帧下桥墩的北方向坐标，xcam和ycam为飞行地理坐标，hcam高程，xim和yim为桥墩在图像中的位置坐标，单位为像素；以像主点为坐标原点，f为焦距，f的单位为像素，βcenter为航向，αcenter为俯仰角。
4、对于利用track1中每一帧
Figure BDA0003410954040000103
计算出的该桥墩位置
Figure BDA0003410954040000104
取平均值作为桥墩的估算坐标，如需减少计算量，也可只计算部分帧做平均或只取其中某一单个帧确定估算坐标。
5、在表2中按照上一步得到的估算坐标，查找对应的标号以及里程数，为容许可能的误差，步骤4中计算得到的估算坐标与表2中某一桥墩的设计地理坐标的差值小于某个特定值d时，可认为两者相匹配。
6、通过步骤5匹配得到的标号与设计里程，可以用于与其他相关管理系统对接，传递对应桥墩的相关信息。
可以理解的是，对于其他目标构筑物的检测过程，可以此类推，在此不再赘述。
本申请实施例还提出了一种基于无人机巡检视频的铁路工程检测系统，如图2所示，所述系统包括：
第一获取模块201，用于基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；
第二获取模块202，用于基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹；
第一确定模块203，用于根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；
第二确定模块204，用于根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息；
其中，所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，所述帧数据包括无人机的位置数据和相机的姿态数据，所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程。
在本申请具体的应用场景中，第一确定模块203，具体用于：
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标；
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标；
其中，所述轨迹帧坐标为所述轨迹帧下目标构筑物的经度和纬度。
在本申请具体的应用场景中，所述系统还包括第三确定模块，用于：
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
在本申请具体的应用场景中，第二确定模块204，具体用于：
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据；
根据所述目标设计数据中的标号和设计里程确定所述定位信息；
其中，所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种基于无人机巡检视频的铁路工程检测方法，其特征在于，所述方法包括：
基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；
基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹；
根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；
根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息；
其中，所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，所述帧数据包括无人机的位置数据和相机的姿态数据，所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程；
根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息，具体为：
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据；
根据所述目标设计数据中的标号和设计里程确定所述定位信息；
其中，所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
2.如权利要求1所述的方法，其特征在于，根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标，具体为：
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标；
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标；
其中，所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
3.如权利要求2所述的方法，其特征在于，所述位置数据包括飞行地理坐标和高程，所述姿态数据包括焦距、航向和俯仰角，根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标，具体为确定：
Figure 285244DEST_PATH_IMAGE001
Figure 999122DEST_PATH_IMAGE002
其中，XD为所述轨迹帧下目标构筑物的东方向坐标，YD为所述轨迹帧下目标构筑物的北方向坐标，xcam和ycam为所述飞行地理坐标，hcam所述高程，xim和yim为目标构筑物在图像中的位置坐标，单位为像素，以像主点为坐标原点，f为所述焦距，f的单位为像素，βcenter为所述航向，αcenter为所述俯仰角。
4.如权利要求2所述的方法，其特征在于，根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标，具体为：
根据所述目标轨迹下各所述轨迹帧坐标的平均值确定所述估算坐标；或，
根据所述目标轨迹下部分轨迹帧坐标的平均值确定所述估算坐标；或，
根据从所述目标轨迹下按照预设规律选取的一个或多个轨迹帧坐标确定所述估算坐标。
5.如权利要求1所述的方法，其特征在于，在基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹之后，所述方法还包括：
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
6.一种基于无人机巡检视频的铁路工程检测系统，其特征在于，所述系统包括：
第一获取模块，用于基于目标检测算法对巡检视频进行逐帧检测并获取多个包括目标构筑物的目标检测框；
第二获取模块，用于基于目标跟踪算法对各所述目标检测框进行跟踪并获取各目标构筑物的目标轨迹；
第一确定模块，用于根据各所述目标轨迹中的每一轨迹帧的帧数据分别确定各目标构筑物的估算坐标；
第二确定模块，用于根据各所述估算坐标与铁路线设计图纸中各目标构筑物的设计数据确定所述巡检视频中出现的各目标构筑物的定位信息；
其中，所述巡检视频是基于无人机对预定的铁路线进行全线或部分拍摄后的视频，目标构筑物为在铁路线路上按预设规律重复设置的单一类型的构筑物，所述帧数据包括无人机的位置数据和相机的姿态数据，所述设计数据包括各目标构筑物的标号、设计地理坐标和设计里程；
所述第二确定模块，具体用于：
从各所述设计数据中确定与所述估算坐标匹配的目标设计数据；
根据所述目标设计数据中的标号和设计里程确定所述定位信息；
其中，所述目标设计数据中的设计地理坐标与所述估算坐标的差值小于预设阈值。
7.如权利要求6所述的系统，其特征在于，所述第一确定模块，具体用于：
根据各所述帧数据分别确定各所述轨迹帧下目标构筑物的轨迹帧坐标；
根据所述目标轨迹下各所述轨迹帧坐标确定所述估算坐标；
其中，所述轨迹帧坐标为所述轨迹帧下目标构筑物的地理坐标。
8.如权利要求6所述的系统，其特征在于，所述系统还包括第三确定模块，用于：
根据所述目标轨迹的数量确定所述巡检视频中出现的目标构筑物的数量。
CN202111531512.7A 2021-12-14 2021-12-14 一种基于无人机巡检视频的铁路工程检测方法和系统 Active CN114217626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111531512.7A CN114217626B (zh) 2021-12-14 2021-12-14 一种基于无人机巡检视频的铁路工程检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111531512.7A CN114217626B (zh) 2021-12-14 2021-12-14 一种基于无人机巡检视频的铁路工程检测方法和系统

Publications (2)

Publication Number Publication Date
CN114217626A CN114217626A (zh) 2022-03-22
CN114217626B true CN114217626B (zh) 2022-06-28

Family

ID=80702092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111531512.7A Active CN114217626B (zh) 2021-12-14 2021-12-14 一种基于无人机巡检视频的铁路工程检测方法和系统

Country Status (1)

Country Link
CN (1) CN114217626B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280733A (ja) * 2003-03-19 2004-10-07 Sic:Kk 住宅建築支援情報サービス装置
EP1855263A1 (en) * 2005-03-02 2007-11-14 Navitime Japan Co., Ltd. Map display device and map display method
CN105334862A (zh) * 2015-10-28 2016-02-17 上海同筑信息科技有限公司 基于bim的无人机监控方法及系统
CN109541581A (zh) * 2018-11-27 2019-03-29 安徽四创电子股份有限公司 一种基于无人机监视雷达的杂波抑制目标机动跟踪方法
CN109900208A (zh) * 2019-03-28 2019-06-18 中铁十六局集团北京轨道交通工程建设有限公司 一种矿山法隧道开挖与初支质量检测方法
KR20190099165A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 가상 홈 서비스 장치 및 방법
CN111414518A (zh) * 2020-03-26 2020-07-14 中国铁路设计集团有限公司 一种铁路无人机视频定位方法
CN111681260A (zh) * 2020-06-15 2020-09-18 深延科技(北京)有限公司 一种面向无人机航拍影像的多目标跟踪方法及跟踪系统
CN111736190A (zh) * 2020-07-24 2020-10-02 广东电网有限责任公司 一种无人机机载目标检测系统及方法
KR102167187B1 (ko) * 2020-02-26 2020-10-16 이창주 토목 시공 공정을 위한 설계도 점검 방법
CN112327898A (zh) * 2020-11-06 2021-02-05 日立楼宇技术（广州）有限公司 无人机的井道巡检导航方法、装置和无人机
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN113190040A (zh) * 2021-04-29 2021-07-30 集展通航(北京)科技有限公司 一种基于无人机视频与铁路bim进行线路巡检的方法和系统
CN113377259A (zh) * 2021-05-26 2021-09-10 浙江有色地球物理技术应用研究院有限公司 桥梁智慧检测分析方法、系统、设备及介质
CN113409303A (zh) * 2021-07-14 2021-09-17 湖南工业大学 一种高速铁路接触网目标检测与跟踪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222147B2 (en) * 2018-02-21 2022-01-11 Image Clone, Llc System and method for automated layout of buildings
CN110163889A (zh) * 2018-10-15 2019-08-23 腾讯科技（深圳）有限公司 目标跟踪方法、目标跟踪装置、目标跟踪设备
CN109840600A (zh) * 2018-12-29 2019-06-04 天津大学 Bim辅助的供水渠道无人机在线协同巡检系统
CN109901624A (zh) * 2019-04-11 2019-06-18 株洲时代电子技术有限公司 一种桥梁巡检方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280733A (ja) * 2003-03-19 2004-10-07 Sic:Kk 住宅建築支援情報サービス装置
EP1855263A1 (en) * 2005-03-02 2007-11-14 Navitime Japan Co., Ltd. Map display device and map display method
CN105334862A (zh) * 2015-10-28 2016-02-17 上海同筑信息科技有限公司 基于bim的无人机监控方法及系统
CN109541581A (zh) * 2018-11-27 2019-03-29 安徽四创电子股份有限公司 一种基于无人机监视雷达的杂波抑制目标机动跟踪方法
CN109900208A (zh) * 2019-03-28 2019-06-18 中铁十六局集团北京轨道交通工程建设有限公司 一种矿山法隧道开挖与初支质量检测方法
KR20190099165A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 가상 홈 서비스 장치 및 방법
KR102167187B1 (ko) * 2020-02-26 2020-10-16 이창주 토목 시공 공정을 위한 설계도 점검 방법
CN111414518A (zh) * 2020-03-26 2020-07-14 中国铁路设计集团有限公司 一种铁路无人机视频定位方法
CN111681260A (zh) * 2020-06-15 2020-09-18 深延科技(北京)有限公司 一种面向无人机航拍影像的多目标跟踪方法及跟踪系统
CN111736190A (zh) * 2020-07-24 2020-10-02 广东电网有限责任公司 一种无人机机载目标检测系统及方法
CN112327898A (zh) * 2020-11-06 2021-02-05 日立楼宇技术（广州）有限公司 无人机的井道巡检导航方法、装置和无人机
CN112489032A (zh) * 2020-12-14 2021-03-12 北京科技大学 一种复杂背景下无人机载小目标检测定位方法及系统
CN113190040A (zh) * 2021-04-29 2021-07-30 集展通航(北京)科技有限公司 一种基于无人机视频与铁路bim进行线路巡检的方法和系统
CN113377259A (zh) * 2021-05-26 2021-09-10 浙江有色地球物理技术应用研究院有限公司 桥梁智慧检测分析方法、系统、设备及介质
CN113409303A (zh) * 2021-07-14 2021-09-17 湖南工业大学 一种高速铁路接触网目标检测与跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RAILWAY DETECTION: FROM FILTERING TO SEGMENTATION NETWORKS;B. Le Saux,等;《IGARSS 2018》;20181231;全文 *
客运专线隧道接口施工管理与工程实践;白金林等;《铁道标准设计》;20100120(第01期);全文 *
无人机在铁路工程建设中的应用与思考;胡安富,等;《通信电源技术》;20160430;第33卷(第4期);全文 *
集成GIS/BIM的盾构隧道全寿命管理系统研究;林晓东等;《隧道建设(中英文)》;20180709(第06期);全文 *

Also Published As

Publication number Publication date
CN114217626A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN108109437B (zh) 一种基于地图特征的无人机自主航线提取生成方法
CN107545538B (zh) 一种基于无人机的全景图像拼接方法及装置
CN108267121A (zh) 一种可变场景下多设备的视觉导航方法及系统
CN111899288A (zh) 基于红外和可见光图像融合的隧道渗漏水区域检测与识别方法
WO2020083103A1 (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN109747681A (zh) 一种列车定位装置及方法
CN112488061B (zh) 一种联合ads-b信息的多航空器检测与跟踪方法
CN112711267B (zh) 基于rtk高精度定位与机器视觉融合的无人机自主巡检方法
CN109389056A (zh) 一种空基多视角协同的轨道周边环境检测方法
CN110515378A (zh) 一种应用于无人艇的智能目标搜索方法
EP3849872A2 (en) Vehicle position identification
CN107741233A (zh) 一种三维室外地图的构建方法
CN116301046A (zh) 一种基于电力杆塔识别的无人机航拍安全距离自动定位方法
CN109005349B (zh) 基于智能平台面阵相机采集的机场道面表面图像改进拼接方法
CN109447946B (zh) 一种架空通信光缆异常检测方法
CN114217626B (zh) 一种基于无人机巡检视频的铁路工程检测方法和系统
CN113591643A (zh) 一种基于计算机视觉的地下交通工具进出站检测系统及方法
CN109145905A (zh) 一种基于视觉显著性的输电线路配件检测方法
CN116700356B (zh) 一种无人机指挥控制系统及方法
CN116893685A (zh) 一种无人机航线规划方法及系统
CN116297472A (zh) 一种基于深度学习的无人机桥梁裂缝检测方法及系统
Wang et al. Research on determining the inspection point of multirotor UAV power tower
CN209776454U (zh) 列车定位装置
CN111508067B (zh) 一种基于垂直平面和垂直线的轻量级室内建模方法
CN113850837A (zh) 视频处理方法、装置、电子设备、存储介质及计算机产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant