CN112697064B - 基于视觉和激光雷达的轨道变形智能识别系统 - Google Patents
基于视觉和激光雷达的轨道变形智能识别系统 Download PDFInfo
- Publication number
- CN112697064B CN112697064B CN202110309965.9A CN202110309965A CN112697064B CN 112697064 B CN112697064 B CN 112697064B CN 202110309965 A CN202110309965 A CN 202110309965A CN 112697064 B CN112697064 B CN 112697064B
- Authority
- CN
- China
- Prior art keywords
- track
- image
- visual
- laser radar
- visual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
- B61K9/00—Railway vehicle profile gauges; Detecting or indicating overheating of components; Apparatus on locomotives or cars to indicate bad track sections; General design of track recording vehicles
- B61K9/08—Measuring installations for surveying permanent way
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本公开实施例中提供了一种基于视觉和激光雷达的轨道变形智能识别系统,属于智能设备技术领域,该系统包括:视觉采集模块,所述视觉采集模块用于在所述轨道方向上进行图像拍摄,形成第一视觉图像;激光雷达,形成所述轨道的三维点云数据;无人机设备,所述无人机设备设置有第一支座和第二支座;数据处理模块;识别模块,判定视觉采集模块和激光雷达拍摄的轨道存在变形。通过本公开的处理方案,能够对轨道变形数据进行识别,提高了铁路交通的安全性。
Description
技术领域
本公开涉及智能设备技术领域,尤其涉及一种基于视觉和激光雷达的轨道变形智能识别系统。
背景技术
轨道指用条形的钢材铺成的供火车、电车等行驶的路线。轨道作为铁路线路的重要组成部分,是一个整体性的工程结构,它由钢轨、轨枕、联结零件、道床,防爬设备和道岔等主要部件组成。轨道通常由两条平行的钢轨组成。钢轨固定放在轨枕上,轨枕之下为道床。联结零件在钢轨和钢轨之间以及钢轨和轨枕之间起着一个联结作用。目前,我国铁路正线轨道共分特重型、重型、次重型、中型、轻型五种类型。
当轨道发生变形之后,会对上面行驶的车辆造成较大的危险,传统的方式是通过人工巡检铁路的方式来进行,但是人工巡检的方式一方面消耗较多的人力资源,同时也会导致效率较低,影响了铁路轨道变形检测的及时性和成本。
发明内容
有鉴于此,本公开实施例提供基于视觉和激光雷达的轨道变形智能识别系统,至少部分解决现有技术中存在的问题。
本公开实施例提供了一种基于视觉和激光雷达的轨道变形智能识别系统,包括:
视觉采集模块,所述视觉采集模块用于在所述轨道方向上进行图像拍摄,形成第一视觉图像;
激光雷达,所述激光雷达与所述视觉采集模块设置在一起,用于在所述轨道方向上对所述轨道进行三维扫描,形成所述轨道的三维点云数据;
无人机设备,所述无人机设备设置有第一支座和第二支座,所述第一支座用于放置所述视觉采集模块,所述第二支座用于放置所述激光雷达,以便于通过所述无人机承载所述视觉采集模块和所述激光雷达在轨道方向上进行图像拍摄和三维扫描操作;
数据处理模块,所述数据处理模块实时接收所述激光雷达采集的三维点云数据,将所述点云数据在斜平面上进行投影,形成所述三维点云数据在斜平面上的第二视觉图像;
识别模块,所述识别模块对所述第一视觉图像和所述第二视觉图像进行目标识别,分别得到所述轨道在所述第一视觉图像和所述第二视觉图像中的第一轮廓曲线和第二轮廓曲线,对所述第一轮廓曲线和所述第二轮廓曲线进行相似度计算,当所述第一轮廓曲线与所述第二轮廓曲线之间的相似度小于第一阈值时,判定视觉采集模块和激光雷达拍摄的轨道存在变形。
根据本公开实施例的一种具体实现方式,所述系统还包括:
控制模块,用于当所述第一轮廓曲线与所述第二轮廓曲线之间的相似度大于第一阈值小于第二阈值时,控制所述无人机设备在当前位置处于悬停状态,并通过所述无人机获取当前的位置坐标;
通信模块,所述通信模块将所述位置坐标发送至远程的服务端,以便于查询当前的位置坐标处是否存在设置在轨道两侧的静态拍摄设备;
若当前的位置的坐标处存在静态拍摄设备,则通过所述通信模块查询当前的位置坐标处、分设在轨道两侧的第一静态拍摄设备和第二静态拍摄设备拍摄的第一静态图像和第二静态图像,通过比较第一视觉图像、第二视觉图像、第一静态图像和第二静态图像,确定所述轨道是否发生变形。
根据本公开实施例的一种具体实现方式,其特征在于:
若当前的位置的坐标处不存在静态拍摄设备,则通过所述控制模块控制所述无人机设备在当前位置坐标处的预设球形半径范围的多个不同位置进行飞行操作,以便与得到多个不同位置处视觉采集模块和激光雷达针对所述轨道形成的第一视觉图像序列和第二视觉图像序列,并基于所述第一视觉图像序列和所述第二视觉图像序列确定所述轨道是否变形。
根据本公开实施例的一种具体实现方式,所述识别模块还用于:
对所述第一静态图像和第二静态图像进行目标识别,得到第三轮廓曲线和第四轮廓曲线;
判断所述第三轮廓曲线和所述第四轮廓曲线之间的相似度是否小于所述第一阈值;
若是,则认定所述轨道存在变形。
根据本公开实施例的一种具体实现方式,所述识别模块还用于:
对所述第一视觉图像序列和第二视觉图像序列进行目标识别,得到第一轮廓曲线序列和第二轮廓曲线序列;
判断所述第一轮廓曲线序列和所述第二轮廓曲线序列之间的相似度是否小于所述第一阈值;
若是,则认定所述轨道存在变形。
根据本公开实施例的一种具体实现方式,所述视觉采集模块包括:
左目相机,所述左目相机用于基于左目视角采集左目视频帧;
右目相机,所述右目相机用于基于右目视角采集右目视频帧;
计算单元,所述计算单元基于所述左目视频帧图像和右目视频帧图像,计算当前视野下采集到的目标对象的深度值;
当所述深度值小于预设深度值时,舍弃当前时刻采集到的左目视频帧和右目视频帧;
当所述深度值大于预设深度值时,在基于左目视频帧和右目视频帧生成第一图像之后,生成激活信号,以便于基于所述激活信号,启动所述激光雷达
根据本公开实施例的一种具体实现方式,所述视觉采集设备还包括:
图像预处理模块,所述图像预处理模块用于对获取到的左目视频帧和右目视频帧进行图像预处理操作。
根据本公开实施例的一种具体实现方式,所述视觉采集设备还包括:
存储单元,所述存储单元用于提前存储于所述预设线路相关的视频图像。
根据本公开实施例的一种具体实现方式,所述视觉采集设备还包括:
电源电路,所述电源电路包括第一线路和第二线路;所述第一线路产生固定的预稳压电压第一输出电压,启动核心功能电路并给所述第二线路供电;所述第二线路产生实际电路所需的预稳压电压第二输出电压;
所述第一线路包括预基准端、第一差分放大器、第一晶体管、第二晶体管、第三晶体管、第一电阻和第二电阻;
所述基准端产生预基准端输入至所述第一差分放大器的负输入端,其输出端接第三晶体管的栅端;
所述第三晶体管的源端接地,漏端接第一晶体管漏端;
第一晶体管栅端接第二晶体管栅端,第二晶体管漏端接第二电阻的第一端,第二电阻的第二端接第一电阻的第一端,第一电阻的第二端接地;第一差分放大器的正输入端接第一电阻的第一端。
根据本公开实施例的一种具体实现方式,所述激光雷达,包括:
电源输入端,用于接收所述电源电路输出的第二输出电压;
比较器,所述比较器具有第一输入端、第二输入端和输出端,所述第一输入端耦接到所述激光供电电源,所述第一输入端并通过电容耦接到跨阻放大器的输入端;
所述第二输入端耦接所述激活信号,用以在激活信号的激励下启动所述激光雷达;
开关器件,所述开关器件具有控制端、第一端和第二端,所述控制端耦接到所述比较器的输出端,所述第一端耦接到第二电压源,所述第二端耦接到所述跨阻放大器的输入端或输出端。
本公开实施例中的基于视觉和激光雷达的轨道变形智能识别系统,包括视觉采集模块,所述视觉采集模块用于在所述轨道方向上进行图像拍摄,形成第一视觉图像;激光雷达,所述激光雷达与所述视觉采集模块设置在一起,用于在所述轨道方向上对所述轨道进行三维扫描,形成所述轨道的三维点云数据;无人机设备,所述无人机设备设置有第一支座和第二支座,所述第一支座用于放置所述视觉采集模块,所述第二支座用于放置所述激光雷达,以便于通过所述无人机承载所述视觉采集模块和所述激光雷达在轨道方向上进行图像拍摄和三维扫描操作;数据处理模块,所述数据处理模块实时接收所述激光雷达采集的三维点云数据,将所述点云数据在斜平面上进行投影,形成所述三维点云数据在斜平面上的第二视觉图像;识别模块,所述识别模块对所述第一视觉图像和所述第二视觉图像进行目标识别,分别得到所述轨道在所述第一视觉图像和所述第二视觉图像中的第一轮廓曲线和第二轮廓曲线,对所述第一轮廓曲线和所述第二轮廓曲线进行相似度计算,当所述第一轮廓曲线与所述第二轮廓曲线之间的相似度小于第一阈值时,判定视觉采集模块和激光雷达拍摄的轨道存在变形。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种基于视觉和激光雷达的轨道变形智能识别系统的结构示意图;
图2为本公开实施例提供的另一种基于视觉和激光雷达的轨道变形智能识别系统的结构示意图;
图3为本公开实施例提供的一种图像采集模块的结构示意图;
图4为本公开实施例提供的一种激光雷达的结构示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
参见图1,本公开实施例中的基于视觉和激光雷达的轨道变形智能识别系统,包括视觉采集模块、激光雷达、无人机设备、数据处理模块、识别模块。
所述无人机设备设置有第一支座和第二支座,所述第一支座用于放置所述视觉采集模块,所述第二支座用于放置所述激光雷达,以便于通过所述无人机承载所述视觉采集模块和所述激光雷达在轨道方向上进行图像拍摄和三维扫描操作。无人机设备上设置有定位装置和通信装置,从而可以远程控制无人机沿着预定的轨道路线进行飞行。通过控制无人机飞行的速度和姿态,可以方便视觉采集模块、激光雷达进行图像的拍摄和扫描操作。
所述视觉采集模块用于在所述轨道方向上进行图像拍摄,形成第一视觉图像。
视觉采集模块可以包含一个或多个摄像头,从而在无人机上对轨道进行拍摄,视觉采集模块在拍摄的过程中,可以通过实时拍摄视频的方式对轨道进行图像采集,通过提取拍摄视频中的关键帧,可以得到轨道的图像,进而从这些图像中得到第一视觉图像。
作为一种可选方式,视觉采集模块可以包括左目相机、右目相机和计算单元,所述左目相机用于基于左目视角采集左目视频帧;右目相机,所述右目相机用于基于右目视角采集右目视频帧;计算单元,所述计算单元基于所述左目视频帧图像和右目视频帧图像,计算当前视野下采集到的目标对象的深度值;当所述深度值小于预设深度值时,舍弃当前时刻采集到的左目视频帧和右目视频帧;当所述深度值大于预设深度值时,在基于左目视频帧和右目视频帧生成第一图像之后,生成激活信号,以便于基于所述激活信号,启动所述激光雷达。通过这种方式,能够对拍摄到的目标进行判断,当存在深度值的图像时,认定为有意义的图像,从而进一步的生成第一视觉图像,通过这种方式,进一步提高了图像拍摄的效率。
所述激光雷达与所述视觉采集模块设置在一起,用于在所述轨道方向上对所述轨道进行三维扫描,形成所述轨道的三维点云数据。
激光雷达可以通过自主扫描的方式对轨道对象进行扫描,也可以基于视觉采集模块生成的激活信号来启动扫描操作。通过激光雷达对轨道进行扫描,能够得到轨道的三维图像,从而为轨道是否存在变形提供判断依据。
数据处理模块实时接收所述激光雷达采集的三维点云数据,将所述点云数据在斜平面上进行投影,形成所述三维点云数据在斜平面上的第二视觉图像。具体的,可以选择相对于水平面具有一定斜度(例如45度)的平面对三维点云数据进行投影操作,从而保证形成的第二视觉图像与第一视觉图像具有不同的投影平面,保证从多个不同的角度对轨道是否存在变形进行判断。
所述识别模块对所述第一视觉图像和所述第二视觉图像进行目标识别,分别得到所述轨道在所述第一视觉图像和所述第二视觉图像中的第一轮廓曲线和第二轮廓曲线,对所述第一轮廓曲线和所述第二轮廓曲线进行相似度计算,当所述第一轮廓曲线与所述第二轮廓曲线之间的相似度小于第一阈值时,判定视觉采集模块和激光雷达拍摄的轨道存在变形。识别模块对第一视觉图像和第二视觉图像中的目标进行识别可以采用多种已经存在的目标识别算法,在此不作具体的限定。
第一阈值可以根据实际的需要进行设置,例如,第一阈值可以是80%,由于第一轮廓曲线与第二轮廓曲线分别表示采集到的轨道的形状,在轨道没有发生变形的情况下,第一轮廓曲线与第二轮廓曲线的相似度应该是100%或者接近100%(例如,99%),当轨道发生变形之后,从不同的角度得到的轨道的曲线就会发生变化,从而判断出轨道发生变形。
有的时候,第一轮廓曲线和第二轮廓曲线无法直接判断出轨道是否发生变形,为此,根据本公开实施例的一种具体实现方式,所述系统还包括:控制模块,用于当所述第一轮廓曲线与所述第二轮廓曲线之间的相似度大于第一阈值(例如,80%)小于第二阈值(例如,90%)时,此时无法直接判断出轨道是否发生形变,需要进而二次判断。为此,可以控制所述无人机设备在当前位置处于悬停状态,并通过所述无人机获取当前的位置坐标;通信模块,所述通信模块将所述位置坐标发送至远程的服务端,以便于查询当的位置坐标处是否存在设置在轨道两侧的静态拍摄设备。静态拍摄设备为设置在轨道两侧的监控设备,用于对轨道上的状况进行检测。根据实际的情况,有的位置设置有静态拍摄设备,有的位置没有设置静态拍摄设备,为此,需要基于无人机定位的当前位置向远程服务器端进行查询操作。
若当前的位置的坐标处存在静态拍摄设备,则通过所述通信模块查询当前的位置坐标处、分设在轨道两侧的第一静态拍摄设备和第二静态拍摄设备拍摄的第一静态图像和第二静态图像,通过比较第一视觉图像、第二视觉图像、第一静态图像和第二静态图像,确定所述轨道是否发生变形。
具体的,可以对所述第一静态图像和第二静态图像进行目标识别,得到第三轮廓曲线和第四轮廓曲线;判断所述第三轮廓曲线和所述第四轮廓曲线之间的相似度是否小于所述第一阈值;若是,则认定所述轨道存在变形。
若当前的位置的坐标处不存在静态拍摄设备,则通过所述控制模块控制所述无人机设备在当前位置坐标处的预设球形半径范围的多个不同位置进行飞行操作,以便与得到多个不同位置处视觉采集模块和激光雷达针对所述轨道形成的第一视觉图像序列和第二视觉图像序列,并基于所述第一视觉图像序列和所述第二视觉图像序列确定所述轨道是否变形。
具体的,可以对所述第一视觉图像序列和第二视觉图像序列进行目标识别,得到第一轮廓曲线序列和第二轮廓曲线序列;判断所述第一轮廓曲线序列和所述第二轮廓曲线序列之间的相似度是否小于所述第一阈值;若是,则认定所述轨道存在变形。
根据本公开实施例的一种具体实现方式,所述视觉采集模块包括:
左目相机,所述左目相机用于基于左目视角采集左目视频帧;
右目相机,所述右目相机用于基于右目视角采集右目视频帧;
计算单元,所述计算单元基于所述左目视频帧图像和右目视频帧图像,计算当前视野下采集到的目标对象的深度值;
当所述深度值小于预设深度值时,舍弃当前时刻采集到的左目视频帧和右目视频帧;
当所述深度值大于预设深度值时,在基于左目视频帧和右目视频帧生成第一图像之后,生成激活信号,以便于基于所述激活信号,启动所述激光雷达
根据本公开实施例的一种具体实现方式,所述视觉采集设备还包括:
图像预处理模块,所述图像预处理模块用于对获取到的左目视频帧和右目视频帧进行图像预处理操作。
根据本公开实施例的一种具体实现方式,所述视觉采集设备还包括:
存储单元,所述存储单元用于提前存储于所述预设线路相关的视频图像。
根据本公开实施例的一种具体实现方式,所述视觉采集设备还包括:
电源电路,所述电源电路包括第一线路和第二线路;所述第一线路产生固定的预稳压电压第一输出电压,启动核心功能电路并给所述第二线路供电;所述第二线路产生实际电路所需的预稳压电压第二输出电压;
所述第一线路包括预基准端、第一差分放大器、第一晶体管、第二晶体管、第三晶体管、第一电阻和第二电阻;
所述基准端产生预基准端输入至所述第一差分放大器的负输入端,其输出端接第三晶体管的栅端;
所述第三晶体管的源端接地,漏端接第一晶体管漏端;
第一晶体管栅端接第二晶体管栅端,第二晶体管漏端接第二电阻的第一端,第二电阻的第二端接第一电阻的第一端,第一电阻的第二端接地;第一差分放大器的正输入端接第一电阻的第一端。
根据本公开实施例的一种具体实现方式,所述激光雷达,包括:
电源输入端,用于接收所述电源电路输出的第二输出电压;
比较器,所述比较器具有第一输入端、第二输入端和输出端,所述第一输入端耦接到所述激光供电电源,所述第一输入端并通过电容耦接到跨阻放大器的输入端;
所述第二输入端耦接所述激活信号,用以在激活信号的激励下启动所述激光雷达;
开关器件,所述开关器件具有控制端、第一端和第二端,所述控制端耦接到所述比较器的输出端,所述第一端耦接到第二电压源,所述第二端耦接到所述跨阻放大器的输入端或输出端。
作为另外一种方式,为了提高激光雷达的扫描精度,在激光雷达扫描之前,需要对激光雷达的扫描精度进行调整,具体的,可以采用如下方式,
首先,对激光雷达在扫描区域内形成点云数据进行目标识别,获得雷达扫描区域内的静态目标和动态目标。静态的目标可以是轨道等处于静止状态的目标,而动态目标可以是火车等处于运动状态的目标,通过设置两种不同的目标,可以分别计算静态目标和动态目标的反射率,从而进行比较。
其次,基于所述静态目标的回波信号强度及距离信息,确定所述静态目标所对应的第一相对反射率。具体的,可以确定静态目标所述在的平面与激光雷达发出探测光束光轴间所存在相对角度;通过所述相对角度、静态目标的回波信号强度及距离信息之间的数学对应关系,计算出所述第一相对反射率,上述计算过程可以采用通用的计算公式,在此不作限定。
其次,基于所述动态目标在扫描区域内不同位置的回波信号强度及距离信息,对所述第一相对反射率进行修正,形成第二相对反射率。基于类似的方法,可以计算动态目标的反射率,最后通过加权的方式,将静态目标的第一相对反射率与动态目标的反射率进行合并,加权值形成第二相对反射率。最终通过第二相对反射率来确定激光雷达的最终反射率。通过这种方式,能够提高雷达的反射精度,从而保证了扫描的三维点云数据的准确性。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于视觉和激光雷达的轨道变形智能识别系统,其特征在于,包括:
视觉采集模块,所述视觉采集模块用于在所述轨道方向上进行图像拍摄,形成第一视觉图像;
激光雷达,所述激光雷达与所述视觉采集模块设置在一起,用于在所述轨道方向上对所述轨道进行三维扫描,形成所述轨道的三维点云数据;
无人机设备,所述无人机设备设置有第一支座和第二支座,所述第一支座用于放置所述视觉采集模块,所述第二支座用于放置所述激光雷达,以便于通过所述无人机设备承载所述视觉采集模块和所述激光雷达在轨道方向上进行图像拍摄和三维扫描操作;
数据处理模块,所述数据处理模块实时接收所述激光雷达采集的三维点云数据,将所述点云数据在斜平面上进行投影,形成所述三维点云数据在斜平面上的第二视觉图像;
识别模块,所述识别模块对所述第一视觉图像和所述第二视觉图像进行目标识别,分别得到所述轨道在所述第一视觉图像和所述第二视觉图像中的第一轮廓曲线和第二轮廓曲线,对所述第一轮廓曲线和所述第二轮廓曲线进行相似度计算,当所述第一轮廓曲线与所述第二轮廓曲线之间的相似度小于第一阈值时,判定视觉采集模块和激光雷达拍摄的轨道存在变形。
2.根据权利要求1所述的系统,其特征在于,所述系统还包括:
控制模块,用于当所述第一轮廓曲线与所述第二轮廓曲线之间的相似度大于第一阈值小于第二阈值时,控制所述无人机设备在当前位置处于悬停状态,并通过所述无人机设备获取当前的位置坐标;
通信模块,所述通信模块将所述位置坐标发送至远程的服务端,以便于查询当前的位置坐标处是否存在设置在轨道两侧的静态拍摄设备;
若当前的位置坐标处存在静态拍摄设备,则通过所述通信模块查询当前的位置坐标处、分设在轨道两侧的第一静态拍摄设备和第二静态拍摄设备拍摄的第一静态图像和第二静态图像,通过比较第一视觉图像、第二视觉图像、第一静态图像和第二静态图像,确定所述轨道是否发生变形。
3.根据权利要求2所述的系统,其特征在于:
若当前的位置坐标处不存在静态拍摄设备,则通过所述控制模块控制所述无人机设备在当前位置坐标处的预设球形半径范围的多个不同位置进行飞行操作,以便于得到多个不同位置处视觉采集模块和激光雷达针对所述轨道形成的第一视觉图像序列和第二视觉图像序列,并基于所述第一视觉图像序列和所述第二视觉图像序列确定所述轨道是否变形。
4.根据权利要求2所述的系统,其特征在于,所述识别模块还用于:
对所述第一静态图像和第二静态图像进行目标识别,得到第三轮廓曲线和第四轮廓曲线;
判断所述第三轮廓曲线和所述第四轮廓曲线之间的相似度是否小于所述第一阈值;
若是,则认定所述轨道存在变形。
5.根据权利要求3所述的系统,其特征在于,所述识别模块还用于:
对所述第一视觉图像序列和第二视觉图像序列进行目标识别,得到第一轮廓曲线序列和第二轮廓曲线序列;
判断所述第一轮廓曲线序列和所述第二轮廓曲线序列之间的相似度是否小于所述第一阈值;
若是,则认定所述轨道存在变形。
6.根据权利要求1所述的系统,其特征在于,所述视觉采集模块包括:
左目相机,所述左目相机用于基于左目视角采集左目视频帧;
右目相机,所述右目相机用于基于右目视角采集右目视频帧;
计算单元,所述计算单元基于所述左目视频帧图像和右目视频帧图像,计算当前视野下采集到的目标对象的深度值;
当所述深度值小于预设深度值时,舍弃当前时刻采集到的左目视频帧和右目视频帧;
当所述深度值大于预设深度值时,在基于左目视频帧和右目视频帧生成第一视觉图像之后,生成激活信号,以便于基于所述激活信号,启动所述激光雷达。
7.根据权利要求6所述的系统,其特征在于,所述视觉采集模块还包括:
图像预处理模块,所述图像预处理模块用于对获取到的左目视频帧和右目视频帧进行图像预处理操作。
8.根据权利要求7所述的系统,其特征在于,所述视觉采集模块还包括:
存储单元,所述存储单元用于提前存储与预设线路相关的视频图像。
9.根据权利要求8所述的系统,其特征在于,所述视觉采集模块还包括:
电源电路,所述电源电路包括第一线路和第二线路;所述第一线路产生固定的预稳压电压第一输出电压,启动核心功能电路并给所述第二线路供电;所述第二线路产生实际电路所需的预稳压电压第二输出电压;
所述第一线路包括预基准端、第一差分放大器、第一晶体管、第二晶体管、第三晶体管、第一电阻和第二电阻;
所述预基准端产生预基准端输入至所述第一差分放大器的负输入端,其输出端接第三晶体管的栅端;
所述第三晶体管的源端接地,漏端接第一晶体管漏端;
第一晶体管栅端接第二晶体管栅端,第二晶体管漏端接第二电阻的第一端,第二电阻的第二端接第一电阻的第一端,第一电阻的第二端接地;第一差分放大器的正输入端接第一电阻的第一端。
10.根据权利要求9所述的系统,其特征在于,所述激光雷达,包括:
电源输入端,用于接收所述电源电路输出的第二输出电压;
比较器,所述比较器具有第一输入端、第二输入端和输出端,所述第一输入端耦接到激光供电电源,所述第一输入端并通过电容耦接到跨阻放大器的输入端;
所述第二输入端耦接所述激活信号,用以在激活信号的激励下启动所述激光雷达;
开关器件,所述开关器件具有控制端、第一端和第二端,所述控制端耦接到所述比较器的输出端,所述第一端耦接到第二电压源,所述第二端耦接到所述跨阻放大器的输入端或输出端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110309965.9A CN112697064B (zh) | 2021-03-24 | 2021-03-24 | 基于视觉和激光雷达的轨道变形智能识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110309965.9A CN112697064B (zh) | 2021-03-24 | 2021-03-24 | 基于视觉和激光雷达的轨道变形智能识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112697064A CN112697064A (zh) | 2021-04-23 |
CN112697064B true CN112697064B (zh) | 2021-06-18 |
Family
ID=75515441
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110309965.9A Active CN112697064B (zh) | 2021-03-24 | 2021-03-24 | 基于视觉和激光雷达的轨道变形智能识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112697064B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115189A (zh) * | 2023-07-10 | 2023-11-24 | 中铁第一勘察设计院集团有限公司 | 基于机器视觉的轨道3d几何形态监测方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105783878A (zh) * | 2016-03-11 | 2016-07-20 | 三峡大学 | 一种基于小型无人机遥感的边坡变形检测及量算方法 |
KR20170116610A (ko) * | 2016-04-11 | 2017-10-20 | 주식회사 로브아이 | 레이더와 반사체를 이용한 구조물 변형 감지 시스템 |
CN109030510A (zh) * | 2018-07-05 | 2018-12-18 | 武汉捷特航空科技有限公司 | 一种无人机公路弯沉测量系统 |
CN109297428A (zh) * | 2018-11-21 | 2019-02-01 | 武汉珈鹰智能科技有限公司 | 一种基于无人机的高精度变形巡测技术方法 |
CN109901625A (zh) * | 2019-04-11 | 2019-06-18 | 株洲时代电子技术有限公司 | 一种桥梁巡检系统 |
CN110514133A (zh) * | 2019-09-30 | 2019-11-29 | 西南石油大学 | 一种基于摄影测量的无人机隧道变形检测方法 |
CN111442736A (zh) * | 2020-04-29 | 2020-07-24 | 安徽国钜工程机械科技有限公司 | 一种基于激光扫描仪的铁路隧道变形检测方法及其装置 |
CN112325785A (zh) * | 2020-10-09 | 2021-02-05 | 国家电网公司西北分部 | 基于顶部平面拟合的铁塔变形监测方法及系统 |
CN112347840A (zh) * | 2020-08-25 | 2021-02-09 | 天津大学 | 视觉传感器激光雷达融合无人机定位与建图装置和方法 |
CN112414309A (zh) * | 2020-11-25 | 2021-02-26 | 北京交通大学 | 基于机载激光雷达的高铁接触线导高及拉出值巡检方法 |
-
2021
- 2021-03-24 CN CN202110309965.9A patent/CN112697064B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105783878A (zh) * | 2016-03-11 | 2016-07-20 | 三峡大学 | 一种基于小型无人机遥感的边坡变形检测及量算方法 |
KR20170116610A (ko) * | 2016-04-11 | 2017-10-20 | 주식회사 로브아이 | 레이더와 반사체를 이용한 구조물 변형 감지 시스템 |
CN109030510A (zh) * | 2018-07-05 | 2018-12-18 | 武汉捷特航空科技有限公司 | 一种无人机公路弯沉测量系统 |
CN109297428A (zh) * | 2018-11-21 | 2019-02-01 | 武汉珈鹰智能科技有限公司 | 一种基于无人机的高精度变形巡测技术方法 |
CN109901625A (zh) * | 2019-04-11 | 2019-06-18 | 株洲时代电子技术有限公司 | 一种桥梁巡检系统 |
CN110514133A (zh) * | 2019-09-30 | 2019-11-29 | 西南石油大学 | 一种基于摄影测量的无人机隧道变形检测方法 |
CN111442736A (zh) * | 2020-04-29 | 2020-07-24 | 安徽国钜工程机械科技有限公司 | 一种基于激光扫描仪的铁路隧道变形检测方法及其装置 |
CN112347840A (zh) * | 2020-08-25 | 2021-02-09 | 天津大学 | 视觉传感器激光雷达融合无人机定位与建图装置和方法 |
CN112325785A (zh) * | 2020-10-09 | 2021-02-05 | 国家电网公司西北分部 | 基于顶部平面拟合的铁塔变形监测方法及系统 |
CN112414309A (zh) * | 2020-11-25 | 2021-02-26 | 北京交通大学 | 基于机载激光雷达的高铁接触线导高及拉出值巡检方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112697064A (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105302151B (zh) | 一种飞机入坞引导和机型识别的系统及方法 | |
CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
CN105329457B (zh) | 一种基于激光扫描的飞机入坞引导系统及方法 | |
CN109856643B (zh) | 基于3d激光的可移动式无感全景感知方法 | |
CN103419944A (zh) | 一种登机桥及其自动靠接方法 | |
CN105758397A (zh) | 一种飞行器摄像定位方法 | |
CN109146919A (zh) | 一种结合图像识别与激光引导的跟瞄系统及方法 | |
CN109242035B (zh) | 车底故障检测装置及方法 | |
CN108398672A (zh) | 基于前倾2d激光雷达移动扫描的路面与障碍检测方法 | |
CN110514133A (zh) | 一种基于摄影测量的无人机隧道变形检测方法 | |
CN110579771A (zh) | 一种基于激光点云的飞机泊位引导方法 | |
CN112697064B (zh) | 基于视觉和激光雷达的轨道变形智能识别系统 | |
CN104369742A (zh) | 一种基于图像处理的隧道表面裂缝快速智能检测车 | |
CN110806411A (zh) | 基于线结构光的无人机铁轨检测系统 | |
CN117589129A (zh) | 一种车载式柔性接触网定位器坡度测量方法及系统 | |
CN109785431A (zh) | 一种基于激光网格的道路地面三维特征采集方法及装置 | |
CN115166769A (zh) | 探测方法、激光雷达、车辆及计算机可读存储介质 | |
Yang et al. | Discretization–filtering–reconstruction: railway detection in images for navigation of inspection UAV | |
JPH11266450A (ja) | 物体領域追跡装置および物体領域追跡方法 | |
CN109859235A (zh) | 一种夜间移动车灯跟踪检测系统、方法及设备 | |
Espino et al. | Rail and turnout detection using gradient information and template matching | |
CN112001971A (zh) | 一种物体识别方法及系统 | |
JP4305073B2 (ja) | パンタグラフ支障物検出方法及び装置 | |
CN114909990B (zh) | 一种车载非接触式的接触线磨耗测量方法、装置与系统 | |
KR101784584B1 (ko) | 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 102206 room 503, building 6, No.97, Changping Road, Changping District, Beijing Patentee after: Beijing Dacheng Guoce Technology Co.,Ltd. Address before: 102206 room 503, building 6, No.97, Changping Road, Changping District, Beijing Patentee before: BEIJING DACHENG GUOCE SCIENCE AND TECHNOLOGY CO.,LTD. |