CN109785377A - 弓网状态的检测方法 - Google Patents

弓网状态的检测方法 Download PDF

Info

Publication number
CN109785377A
CN109785377A CN201910021366.XA CN201910021366A CN109785377A CN 109785377 A CN109785377 A CN 109785377A CN 201910021366 A CN201910021366 A CN 201910021366A CN 109785377 A CN109785377 A CN 109785377A
Authority
CN
China
Prior art keywords
image
bow net
straight line
detection method
pantograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910021366.XA
Other languages
English (en)
Other versions
CN109785377B (zh
Inventor
陈利利
王康如
明伟
黄乔中
吴丽
付凤杰
郭远博
王司东
李嘉茂
张晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN201910021366.XA priority Critical patent/CN109785377B/zh
Publication of CN109785377A publication Critical patent/CN109785377A/zh
Application granted granted Critical
Publication of CN109785377B publication Critical patent/CN109785377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种弓网状态的检测方法,由双目视频同步采集设备获取所述接触线与所述受电弓之相交区域的第一图像和第二图像,进而将第一图像和第二图像对准,进行立体匹配,获取匹配的对应点,通过计算所述对应点的视差,获得视差信息和视差图,而后计算得到深度信息并进行三维重建,进而获得所述弓网的状态。与现有技术相比,弓网状态的检测仅采用双目视频同步采集设备,可不安装其它补偿传感器,如激光雷达等,即可实现准确获得弓网的状态,装置结构简单,成本低且效果好。此外,通过本发明提供的弓网状态的检测方法和检测装置可实现连续且不间断地对弓网状态进行自动检测,能有效降低工作人员劳动强度,提高工作效率。

Description

弓网状态的检测方法
技术领域
本发明涉及智能化全自动弓网视频监视技术领域,特别涉及一种弓网状态的检测方法。
背景技术
在我国电气化铁路停电、停运事故中,弓网事故占总事故的80%左右,因此,保证受电弓的正常运行一直是当下研究的一大课题。消灭弓网事故被列为轨道交通的四大攻坚战之一。为了改进接触网的维护工作,除了增加零部件的使用寿命,提高设备管理水平外,增加对弓网状态的监视和诊断技术非常有必要。接触网作为地铁轨道工程中的主要组成部分,具体包括用于与受电弓摩擦接触的接触线,接触线沿着轨道上空按“之”字形架设,供装设在地铁列车上的受电弓取电流使用。而由于施工质量不高或日常检修不及时,其中受电弓、接触网或者弓网关系(也即弓网系统的接触点)都有可能出现问题,比如受电弓滑板偏磨、羊角缺损、羊角变形,接触网异物脱落、接触网磨损等,一旦发生,将造成严重的弓网事故,因此实时监测接触网的状态是非常关键的。
国内外弓网状态检测从发展以来主要有四种方式:
(1)早期的人工现场巡检
此类方式属于静态测量,不能反应接触网运行时的真实状态,同时效率低、速度慢,并且耗费大量的人力物力;
(2)定点检测
设定一些固定的监测点,对弓网进行检测;定点检测拖延现象比较严重,另外定点检测只能单方面检测受电弓状态,且不具备实时性;
(3)检测车现场检测
相较于人工现场巡检,此类方式可从一定程度上做到动态测量,检测速度有所提高,但由于受检测时间和行车计划安排的限制,只能定期检测,不能满足轨道交通频繁检测的需要,另外对检测人员的目测水平要求较高,受人为因素干扰很强;此外,由于检测车的巡检与列车正式运营工况不同,检测车只能单方面监测接触网,不能检测受电弓,也不能检测弓网关系;
(4)利用“弓网状态在线监测系统”进行实时监测
此类系统直接安装在车顶,可实时监视弓网运行状态并检测接触网拉出值、导高值等参数。但目前现有的技术大部分采用激光发射器,用激光发射激光在接触线上形成光斑,然后通过特征提取和图像匹配的方式,计算出图像对应点的位置偏差,从而获取接触网的位置参数,但是其缺点是设备成本高昂。
此外,也有采用单目摄像机对弓网进行拍摄并计算接触网参数,但传统单目相机由于无法准确获得深度信息,因此存在无法区分复杂背景下的接触网线的视觉处理上的瓶颈问题,如无法分辨一些与接触线类似的电缆等。针对受电弓完整性监测、接触网动态几何参数监测、跨距内接触线高低差及导线坡度监测等,现有普遍采用的激光雷达技术、激光三角测量技术需要对车体做改造。激光雷达技术不具备智能化,仅实现接触网动态几何参数检测;激光三角测量技术对前期标定,后期定期维护要求很高,激光三角测量也只能针对接触网动态几何参数监测,且范围小,精度不高,功能实现不完整。另外,随着监测功能的增加,针对不同功能,弓网在线网监测系统的设备数量就会相应增加,车顶监测设备的安装数量多,工序繁琐,控制难度高,能耗大。车厢内安装的车载服务器的硬件配置要求增高,集成困难,检测算法复杂,很难实现高精度监测,容易出现误报警、漏报警。
发明内容
本发明的目的在于提供一种弓网状态的检测方法,以解决现有弓网状态监测结构复杂、设备成本高昂,以及单目相机无法准确获得深度信息,无法区分复杂背景下的接触网线而容易出现误报警、漏报警等问题。
为解决上述技术问题,本发明提供了一种弓网状态的检测方法,所述弓网包括接触线与受电弓,所述弓网状态的检测方法包括:
获取所述接触线与所述受电弓之相交区域的原始图像,所述原始图像至少包括视角相对且同步采集的第一图像和第二图像;
针对所述第一图像与所述第二图像,进行立体匹配,并获得所述原始图像中多个对应点的视差信息;
根据多个所述对应点的视差信息,获得多个所述对应点的深度信息;
根据多个所述对应点的深度信息进行三维重建,创建所述接触线与所述受电弓之相交区域的虚拟三维模型;
根据所述接触线与所述受电弓之相交区域的虚拟三维模型,获取所述弓网的状态。
可选的,获取所述接触网与所述受电弓之相交区域的原始图像之后,所述检测方法还包括:对所述原始图像进行实时在线校准和畸变校正。
可选的,所述对所述原始图像进行实时在线校准和畸变校正的步骤包括:通过检测特征点的方法计算得到一实时校准参数,以及,基于所述实时校准参数通过极线约束的方法,使所述第一图像和所述第二图像水平对准。
可选的,所述第一图像和所述第二图像水平对准之后,获取水平对准的所述第一图像与所述第二图像上多个相匹配点以作为多个所述对应点。
可选的,每个所述对应点的视差信息的获取步骤包括:
计算每个所述对应点在所述第一图像中的水平坐标值与其在所述第二图像中的水平坐标值的差值;
根据所述差值,获得所述对应点的所述视差信息。
可选的,所述根据多个所述对应点的深度信息进行三维重建,创建所述接触线与所述受电弓之相交区域的虚拟三维模型的步骤包括:
在所述第一图像和所述第二图像中,分别通过霍夫变换将多个所述对应点变换为一直线;
将所述第一图像和所述第二图像中的直线进行基于双目立体匹配的直线配对,根据匹配后的深度信息删除配对错误的直线;
将配对成功的直线与预定数据进行匹配,删除与预定数据不匹配的直线;
根据所述与预定数据相匹配的直线的深度信息,创建所述接触线的虚拟三维模型。
可选的,所述预定数据包括配对成功的直线相对于地平面的平行状态,且所述将配对成功的直线与预定数据进行匹配的步骤包括:将配对成功的直线与地平面进行比较;若配对成功的直线相对于地平面不平行,则删除该直线。
可选的,所述将配对成功的直线与地平面进行比较的步骤包括:
计算配对成功的直线与地平面之法向量的夹角;
若所述夹角在预设的第一阈值范围外,则确定配对成功的直线相对于地平面不平行,即删除该直线。
可选的,所述预定数据还包括配对成功的直线相对于地平面的高度,且所述将配对成功的直线与预定数据进行匹配的步骤还包括:
计算配对成功的直线相对于地平面的高度,
若该高度在预设的第二阈值范围外,则删除该直线。
可选的,在获取与预定数据匹配成功的直线之后,所述检测方法还包括:针对连续多帧的所述原始图像,检测跟踪与预定数据匹配成功的直线,并删除位置偏离的直线。
可选的,所述针对连续多帧的所述原始图像,检测跟踪与预定数据匹配成功的所述直线之后,所述检测方法还包括:预测下一帧的所述原始图像中的所述直线的预定位置,删除与所述预定位置不匹配的直线。
可选的,所述根据所述接触线与所述受电弓之相交区域的虚拟三维模型,获取所述弓网的状态的具体步骤包括:
计算多个所述对应点的深度信息,得到所述弓网的几何参数;
根据所述弓网的几何参数与所述虚拟三维模型,获取所述弓网的状态。
可选的,所述弓网的几何参数包括:所述接触线的导高值、所述接触线的拉出值、一预设跨距内所述接触线的高低差、所述接触线的导线坡度、所述受电弓的完整度、所述受电弓的变形度以及所述弓网的异物侵入度中的任一项或多项的组合。
在本发明提供的弓网状态的检测方法中,由双目视频同步采集设备获取所述接触线与所述受电弓之相交区域的第一图像和第二图像,进而将第一图像和第二图像对准,进行立体匹配,获取匹配的对应点,通过计算所述对应点的视差,获得视差信息和视差图,而后计算得到深度信息并进行三维重建,进而获得所述弓网的状态。与现有技术相比,弓网状态的检测仅采用双目视频同步采集设备,可不安装其它补偿传感器,如激光雷达等,即可实现准确获得弓网的状态,装置结构简单,成本低且效果好。此外,通过本发明提供的弓网状态的检测方法可实现连续且不间断地对弓网状态进行自动检测,能有效降低工作人员劳动强度,提高工作效率。
附图说明
本领域的普通技术人员将会理解,提供的附图用于更好地理解本发明,而不对本发明的范围构成任何限定。其中:
图1是本发明一实施例提供的双目视频同步采集设备的俯视示意图;
图2是本发明一实施例提供的双目立体视觉检测装置的标定过程的流程图;
图3是本发明一实施例提供的弓网状态检测的流程图;
图4是本发明一实施例提供的检测和计算接触线及受电弓之相交区域的流程图;
图5是本发明一实施例提供的检测装置中实时图像处理、三维建模及几何参数输出的示意图,其中左侧为虚拟三维模型图,右侧为弓网的几何参数;
图6是本发明一实施例提供的输出接触线导高值的示意图;
图7是本发明一实施例提供的输出接触线拉出值的示意图;
图8是本发明一实施例提供的同时输出接触线拉出值和导高值的示意图;
图9是本发明一实施例提供的双目视频同步采集设备的工作原理图;
图10是本发明一实施例提供的双目视频同步采集设备之监测范围的示意图;
图11是本发明一实施例提供的双目视频同步采集设备的主视结构示意图;
图12是图11提供的双目视频同步采集设备的侧视结构示意图;
图13是图11提供的双目视频同步采集设备的主视结构示意图(其中卸除密封盖板);
图14是图11所示的双目视频同步采集设备侧视方向的剖面图;
图15是图14所示的双目视频同步采集模块和补光模块的放大图;
图16是本发明一实施例提供的弓网状态的检测装置的结构框图;
图17是本发明一实施例提供的车载服务器的内部结构的示意图。
附图中:
700-双目视频同步采集设备;710-双目视频同步采集模块;711-镜头模组;720-补光模块;721-红外补光灯;730-隔离装置;740-透射防护层;750-壳体; 751-腔体;752-安装防护体;753-密封盖板;760-安装底座;771-连接器;780-导热装置;
800-三维建模模块;810-显示器;811-实时视频流;
900-车载服务器;910-图形处理器;920-中央处理器;921-在线校准模块; 922-故障日志;923-计算模块;931-电源管理模块;932-散热系统;933-接口。
具体实施方式
为使本发明的目的、优点和特征更加清楚,以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是,附图均采用非常简化的形式且未按比例绘制,仅用以方便、明晰地辅助说明本发明实施例的目的。此外,附图所展示的结构往往是实际结构的一部分。特别的,各附图需要展示的侧重点不同,有时会采用不同的比例。
如在本说明书和所附权利要求书中所使用的,单数形式“一”、“一个”以及“该”包括复数对象,除非内容另外明确指出外。如在本说明书和所附权利要求中所使用的,术语“或”通常是以包括“和/或”的含义而进行使用的,除非内容另外明确指出外,术语“前”或“后”通常指按时间顺序的前后。
正如背景技术所述,现有单目相机无法准确获得准确的深度信息。进而发明人发现,双目立体视觉可以克服单目相机所存在的局限性。
双目立体视觉是计算机视觉研究领域的重要分支之一,通过直接模拟人类视觉系统的方式感知客观世界。双目立体匹配算法就是在两幅图像的匹配基元之间建立对应关系的过程,它是双目立体视觉系统的核心和关键。由双目从不同角度对同一场景同步获取两幅图像,并基于视差原理和三角测量原理,从获得的图像信息中提取出拍摄对象到成像系统的深度信息,重建拍摄对象的三维状态和位置。
基于双目立体视觉所具有的优点,经过进一步研究,在一个实施例中,本发明提供了一种弓网状态的检测方法,获取所述接触线与所述受电弓之相交区域的原始图像,所述原始图像至少包括同步采集且视角相对的第一图像和第二图像;
针对所述第一图像与所述第二图像,进行立体匹配,并获得所述原始图像中多个对应点的视差信息;
根据多个所述对应点的视差信息,获得多个所述对应点的深度信息;
根据多个所述对应点的深度信息进行三维重建,创建所述接触线与所述受电弓之相交区域的虚拟三维模型;
根据所述接触线与所述受电弓之相交区域的虚拟三维模型,获取所述弓网的状态;需理解,这里所述弓网的状态指所述弓网的正常工作与否的状态,包括正常状态及故障状态。
进一步的,本发明还提供了一种弓网状态的检测装置,包括:一双目视频同步采集设备;一车载服务器;一计算模块;以及一在线校准模块;其中:
所述双目视频同步采集设备用于获取所述接触线与所述受电弓之相交区域的原始图像,所述原始图像包括视角相对且同步采集的第一图像和第二图像;
所述车载服务器用于利用所述第一图像与所述第二图像上多个相匹配的对应点,获得多个所述对应点的视差信息,进而根据多个所述对应点的视差信息和所述双目视频同步采集设备的内外参数,获得多个所述对应点的深度信息;
所述计算模块用于利用多个所述对应点的深度信息,计算得到所述弓网的几何参数,进而所述车载服务器利用所述弓网的几何参数,获得所述弓网的状态;
所述在线校准模块用于发现所述双目视频同步采集设备的内部参数和/或外部参数发生的变化,并根据变化后的内部参数和/或外部参数计算并修正所述原始图像或所述弓网之几何参数的计算过程。
应知晓的是,本发明实施例中,弓网包括按预定位置连接的接触线与受电弓,优选的,本发明提供的弓网状态的检测方法和检测装置主要应用于电气化铁路的柔性接触网。
为使本发明的上述目的、特征和优点能够更为明显易懂,以下参考附图进行描述。
其中:图1是本发明一实施例提供的双目视频同步采集设备的俯视示意图,图2是本发明一实施例提供的双目立体视觉检测装置的标定过程的流程图,图3 是本发明一实施例提供的弓网状态的检测方法的流程图,图4是本发明一实施例提供的弓网状态的检测方法中,接触线及受电弓的检测和计算的流程图,图5 是本发明一实施例提供的实时图像处理、三维建模及几何参数输出的示意图,其中左侧为虚拟三维模型图,右侧为弓网的几何参数,图6是本发明一实施例提供的输出导高值的示意图,图7是本发明一实施例提供的输出拉出值的示意图,图8是本发明一实施例提供的输出的拉出值和导高值的示意图,图9是本发明一实施例提供的双目视频同步采集设备的工作原理图,图10是本发明一实施例提供的双目视频同步采集设备之监测范围的示意图,图11是本发明一实施例提供的双目视频同步采集设备的主视结构示意图,图12是图11提供的双目视频同步采集设备的侧视结构示意图,图13是图11提供的双目视频同步采集设备的主视结构示意图(其中卸除密封盖板),图14是图11所示的双目视频同步采集设备侧视方向的剖面图,图15是图14中,双目视频同步采集模块和补光模块的放大图,图16是本发明一实施例提供的弓网状态的检测装置的系统结构示意图,图17是本发明一实施例提供的车载服务器的内部结构的示意图。
首先请参考图1和图3,本发明实施例提供一种弓网状态的检测方法,其优选包括以下步骤:
步骤一100,采集双目原始图像:具体的,由一双目视频同步采集设备同步获取轨道上空一接触线与列车上一受电弓之相交区域的原始图像,所述原始图像至少包括视角相对的第一图像(左视图监视图像)和第二图像(右视图监视图像);这里,应当理解,相对于被拍摄对象而言,在拍摄对象一侧进行拍摄的为左,在拍摄对象之相对另一侧进行拍摄的为右,左右的具体方位根据观察装置的方向来定;视角相对是指,左右两个视图监视图像的视角大小相同,且双目视频同步采集设备的两个镜头模组中心点位置相距一定的距离,并分布于被拍摄对象的两侧。需理解,在一些其它的实施例中,原始图像不限于两幅,还可以是多幅,如采用三目视频同步采集设备同步获取三幅视角不同的图像等。
步骤二200,实时在线校准和畸变校正:将所述第一图像和所述第二图像进行水平对准,这里的对准,是指将左右两个视图监视图像中,具有相同或类似特征的点进行配对,从而依据这些点为基点,将左右两个视图监视图像对齐;
步骤三300,进行双目立体匹配:将所述第一图像和所述第二图像进行水平对准后,获取多个匹配的对应点,并计算多个所述对应点的视差,以获得多个所述对应点的视差信息和视差图;这里“匹配的对应点”,是指在左右两个视图监视图像中均出现的某一目标点,该目标点在左右两个视图监视图像中具有相同或类似特征,该目标点即视为相匹配的对应点。
步骤四400,检测和计算接触线及受电弓之相交区域:根据多个所述对应点的视差信息或视差图,采用投影模型中三角测量原理计算得到所述对应点的深度信息;
步骤五500,创建接触线及受电弓之相交区域的虚拟三维模型:根据多个对应点的深度信息进行三维重建,创建多个所述对应点的虚拟三维模型,以获得所述接触线和受电弓之相交区域的虚拟三维模型;
步骤六600,获得所述弓网的状态:根据所述接触线和受电弓之相交区域的虚拟三维模型,获得所述弓网的状态。
进一步的,为实现本发明的弓网状态的检测,请参考图16和图1,本实施例还提供一种弓网状态的检测装置。所述弓网状态的检测装置包括:一个双目视频同步采集设备700;以及与所述双目视频同步采集设备700连接的车载服务器 900。
其中,所述双目视频同步采集设备700包括双目视频同步采集模块710,所述双目视频同步采集模块710用于同步获取轨道上空一接触线与列车上一受电弓之相交区域(即目标区域)的视角相对的第一图像和第二图像(请参考图9),这里的视角相对,是指:双目视频同步采集模块710的两组镜头模组711用于采集目标区域的视场角是相重叠的,采集的时间上是同步的,且两组镜头模组 711具有一定的基线长度(两组镜头模组711的光心距离),如此,双目视频同步采集设备700所获取的第一图像和第二图像即为视角相对。所述车载服务器 900用于根据双目视频同步采集模块710采集到的所述第一图像和所述第二图像,以及第一图像和第二图像中对应点的深度信息,获得所述弓网的状态。
需理解,在某一时刻,双目视频同步采集模块710获取一帧原始图像(包括第一图像和第二图像),而当该双目视频同步采集模块710连续工作时,则获取得到连续的多帧原始图像,即构成视频。车载服务器900根据所述第一图像和所述第二图像,所获得所述弓网的状态,是一时刻的弓网的即时状态,车载服务器900连续工作时,即可获取弓网的连续工作状态,亦即形成对弓网的在线连续监测。
具体的,请参考图1和图11,所述双目视频同步采集模块710包括左右两组镜头模组711,两组镜头模组711设置于同一平面上,且间隔分布,分别用于采集所述第一图像和所述第二图像。如此配置,即可用于同步获取目标区域的视角相对的第一图像和第二图像。应当理解,这里的“左右”亦是相对于被拍摄对象而言,并不限定绝对方位。
进而,步骤二200可通过所述双目视频同步采集设备700或所述车载服务器900得以实现。一般的,为了使双目视频同步采集模块710能更好地覆盖目标区域,所述双目视频同步采集模块710采用的镜头模组711具有较大的视场角,也即具有比较明显的镜头畸变。为消除图像的畸变,以使第一图像和第二图像能得以对准和匹配,需对所获取的原始图像进行实时在线校准和畸变校正。优选的,可对双目视频同步采集模块710进行标定,请参考图2,标定的过程包括如下步骤:
步骤210:准备原始图像(包括第一图像和第二图像);
步骤220:分别对第一图像和第二图像进行单目标定,此处的单目标定为本领域技术人员的常规技术手段;
步骤230:获得双目视频同步采集模块710的内参及畸变参数;此处的内参及畸变参数指镜头模组711的属性,本领域技术人员可通过镜头模组711的具体配置获得,优选的,两组镜头模组711的内参及畸变参数相同,即优选选择两组相同的镜头模组711。
步骤240:消除第一图像和第二图像中的畸变;
完成双目摄像机的标定后,即把该目标点在第一图像和第二图像上两个对应的像点(即对应点)相匹配。然而,在二维空间上匹配对应点是非常耗时的,为了减少匹配搜索范围,优选通过检测特征点的方法计算双目视频同步采集设备700的实时校准参数,进而基于所述实时校准参数利用极线约束的方法使得对应点的匹配由二维搜索降为一维搜索。即对采集到的原始图像进行双目极线校正,消除第一图像和第二图像中的水平畸变,并且使得同一物体在第一图像和第二图像中实现完全严格的水平对准,这样一副图像上任意一点与其在另一幅图像上的对应点在同一水平线上,从而只需在该行进行一维搜索即可匹配到对应点。
步骤三300和步骤四400亦可通过所述双目视频同步采集设备700或所述车载服务器900得以实现。当第一图像和第二图像实现完全水平对准后,即可从第一图像和第二图像中找到匹配的对应点(即弓网工作范围内,亦即双目视频同步采集模块710的观察范围内的任一物点P,在第一图像和第二图像中分别所成的相匹配的像点),通过计算这些对应点在第一图像和第二图像中的水平坐标的差值来计算这些对应点的视差,得到视差信息,并输出视差图。进而根据多个所述对应点的视差信息和双目视频同步采集设备700的内外参数,获得多个所述对应点的深度信息。这里的内外参数,包括但不限于两组镜头模组711的基线L、聚焦中心OL和OR以及焦距f等。具体的,同一物点P在左右两组镜头模组 711中的投影位置之间的位置差异为视差。如图9所示,优选的,两组镜头模组 711的光轴平行并且与透视投影平面垂直,两组镜头模组711的光心则落在同一个相机坐标系(XY轴所形成的平面坐标系)之X轴上的不同位置,左右光心之间的距离称为基线L,OL和OR分别为左右镜头模组711的聚焦中心,L为左右镜头模组711的基线,即OL和OR之间在X轴方向的距离,Z轴为三维坐标中镜头模组711之光轴的方向,弓网工作范围内(即双目视频同步采集模块710的观察范围内)的任一物点P(其坐标为X,Y,Z),相机坐标原点到物成像面的距离为f,即镜头模组711的焦距,P点在左右镜头模组711的成像平面点分别为 P’(xl,yl)和P”(xr,yr),根据投影模型中三角测量原理可得出:
其中,d是物点P的视差信息,Z是物点P的深度信息,指物点P距离相机坐标系的垂直距离。在获得视差信息d后,根据投影模型即可得到原始图像中物点P的深度信息Z(即物点P的三维坐标为X,Y,Z),该X坐标和Y坐标为前述相机坐标系(XY轴所形成的平面坐标系)上的坐标,根据P点的三维信息,即可获知该点P在空间中的具体位置,从而对整个受电弓和接触网进行三维重建提供条件。
进一步,如图16所示,所述弓网状态的检测装置还包括一三维建模模块800,所述三维建模模块800分别与所述双目视频同步采集设备700和所述车载服务器900连接,用于根据所述第一图像和所述第二图像,获得一虚拟三维模型,所述车载服务器900用于通过所述虚拟三维模型,获得所述弓网的状态。
步骤五500可通过所述三维建模模块800得以实现,所述三维建模模块800 优选与双目视频同步采集模块710集成设计,可实现图像和视频信号的无衰减高频处理。双目视频同步采集模块710所采集的原始图像,直接传输至集成设计的三维建模模块800,免除两者之间的通讯连接线,可避免原始图像受到干扰和衰减。当然在其它一些实施例中,所述三维建模模块800也可以与所述车载服务器900集成设计,或者三维建模模块800独立设置,本发明对此不作限制。具体而言,在步骤五500中,根据步骤四400中所得到的若干个物点的深度信息Z(坐标X,Y,Z),创建一虚拟三维模型,而这些物点是经过选取和匹配的目标点,实际中,即为接触线及受电弓之相交区域在原始图像中所成的像点。如此,根据多个目标点的深度信息,即可获得所述接触线和受电弓之相交区域的虚拟三维模型。需理解,在一些实施例中,该步骤五500为可选步骤,即在步骤四 400后可跳过步骤五500和步骤六600,根据多个对应点的深度信息,可不进行三维重建而仅根据对应点的深度信息进行计算,得到所述弓网的几何参数,进而根据所述弓网的几何参数,直接获得所述弓网的状态。
更进一步,如图16所示,所述弓网状态的检测装置还包括一计算模块923,该计算模块923用于通过多个所述对应点的深度信息,计算得到所述弓网之几何参数,进而所述车载服务器900通过所述弓网之几何参数,获得所述弓网的状态。在一些实施例中,所述车载服务器900包括一图形处理器910以及一中央处理器920,所述图形处理器910即作为所述计算模块923,用于通过多个对应点的深度信息,或者通过多个对应点的深度信息及接触线及受电弓之相交区域的虚拟三维模型,计算得到所述弓网的几何参数,所述中央处理器920用于根据所述几何参数,获得所述弓网的状态,具体的,图形处理器910可包含一套计算软件,以实现对应点之深度信息的计算。在其它的一些实施例中,计算模块 923也可以是一套装置,独立设置于车载服务器900外并与车载服务器900通信连接。优选的,所述弓网的几何参数包括:接触线的导高值、接触线的拉出值、一预设跨距内接触线的高低差、接触线的导线坡度、受电弓的完整度、受电弓的变形度以及所述弓网的异物侵入度(即弓网区域内是否有异物侵入)中的任一项或多项的组合。所述计算模块923可通过多个所述对应点的深度信息,算出接触线在一坐标系下的方程式,并根据该方程式求出接触线的对应所定坐标系的移动范围,如此即可得到包含接触线的导高值和拉出值在内的弓网之几何参数。
请参考图16,步骤六600可通过所述车载服务器900得以实现,前述步骤五500中所获得的虚拟三维模型,也可进一步通过所述计算模块923进行计算,得到所述弓网的几何参数,而后中央处理器920对所述几何参数进行处理和计算,当所述几何参数在一预设阈值内,则所述中央处理器920确定所述弓网的状态为正常状态;当所述几何参数不在所述预设阈值内,则所述中央处理器920 确定所述弓网的状态为故障状态。具体的,可对接触线的导高值、接触线的拉出值、一预设跨距内接触线的高低差、接触线的导线坡度、受电弓的完整度、受电弓的变形度以及弓网区域内侵入之异物的大小等分别设定不同的预设阈值。
优选的,如图16所示,所述弓网状态的检测装置还包括一在线校准模块921,所述在线校准模块921用于发现所述双目视频同步采集设备700的内部参数和/ 或外部参数发生的变化,并根据变化后的内部参数和/或外部参数计算并修正所述原始图像或所述弓网之几何参数的计算过程。该在线校准模块921可集成于所述车载服务器900中(如可为一套在线校准软件),亦或者作为独立的装置设置于车载服务器900外并与车载服务器900通信连接。所述在线校准模块921 对双目视频同步采集设备700的内部参数和外部参数进行实时检测,一旦双目视频同步采集设备700的内外参数发生了变化,即可及时检测到,并通过计算及时修正所采集的原始图像或计算模块923的计算过程,如修正计算方程式等。当然在线校准模块921不限于必须对双目视频同步采集设备700的内部参数和外部参数同时进行实时检测,还可以只对其中之一进行实时检测。进一步,所述计算模块923计算得到的几何参数还可传输至所述在线校准模块921,由所述在线校准模块921根据前述几何参数与预设阈值的比较并进行在线数据诊断,做出异物入侵、受电弓完整性以及几何参数是否正常等判断结果。此外,该在线校准模块921还可以用于对所述原始图像进行实时在线校准。
优选的,所述中央处理器920还用于记录储存以及还原所述几何参数,例如可将故障状态时的几何参数形成故障日志922并加以记录储存,同时,还可以记录该几何参数相对应的原始图像数据或视频数据、虚拟三维模型数据等,在需要的时候,可还原并重现,以便相关工作人员查询。另外,中央处理器920还优选具有交互功能,以便相关工作人员对相关设定进行操作,如对预设阈值进行调整,或对记录储存的视频数据等进行点播等。更优选的,当弓网处于故障状态时,还可实时报警,通过发送报警信号,及时通知相关人员。
优选的,所述弓网状态的检测装置还包括与所述车载服务器900通讯连接的显示器810,所述显示器810用于显示所述第一图像和所述第二图像、所述弓网之几何参数、所述接触线及受电弓之相交区域的虚拟三维模型和所述弓网的状态中的一种或多种。实际中,显示器810不仅可显示原始图像(包括连续多帧的原始图像所形成的实时视频流811),还可以显示三维建模模块800所创建的虚拟三维模型(包括连续多帧的虚拟三维模型图像所形成的实时视频流811),也可以显示所述弓网的几何参数,在线校准模块921的判断结果,以及记录的故障日志922和储存的历史视频数据等多种信息。相关工作人员可通过显示器810对弓网的状态进行实时查看、监控和交互。车载服务器900可实现视频数据的实时存储、实时交换和实时处理。优选的,车载服务器900可通过车载网络获取定位信息和时钟同步信号,因此通过车载服务器900可以将带定位和时间信息的视频流传输到显示器810上,同时,通过在线校准模块921获得的在线数据诊断结果也可上传到显示器810,以备工作人员随时调用和查看。优选的,车载服务器900还可以将弓网状态的检测装置获取的实时视频流811(包括连续多帧的原始图像,或者连续多帧的虚拟三维模型的图像等)、受电弓完整性监测、接触网动态几何参数、在线数据诊断结果、报警数据统计及分析等信息传输至地面服务器,可实现获取视频数据及诊断数据的统计、分析、管理、检索、查询、上传、下载等功能。
请参考图17,更优选的,所述车载服务器900还包括电源管理模块931、散热系统932和接口933中的一种或多种,所述电源管理模块931可将列车的直流供电电源转换成系统需求的稳定电源;所述散热系统932用于对车载服务器 900的整机温度进行控制;所述接口933优选采用M12列车通用型接口,接口定义按照列车标准设计,并备用升级扩展接口。接口933主要分为电源接口、数据交互接口、调试接口和功能扩展接口,通过电源接口可以为并为各个子模块供电及功率分配,通过数据交互接口可以获取并传输不同的数据信息,通过调试接口可以进行软硬件系统调试、优化、升级,通过功能扩展接口可以对整个弓网状态的检测装置进行功能升级,比如:增加温度检测、燃弧检测、接触网磨耗检测等功能。
请参考图1、图10至图15,所述双目视频同步采集设备700包括:壳体 750、透射防护层740、双目视频同步采集模块710以及补光模块720,所述壳体 750的内部形成一腔体751。优选的,所述补光模块720用于向所述接触线与所述受电弓之相交区域补光,其补光范围与所述双目视频同步采集模块710的视角范围相匹配,如图10所示,双目视频同步采集设备700安装在列车顶部,双目视频同步采集设备700主要对整个弓网进行高清视频监视和采集,为了保证采集范围和后续三维重建的高精度,双目视频同步采集设备700优选安装在MP车(带受电弓动车)上受电弓之弓头的前方,在满足安全要求的前提下,发明人发现,距离受电弓之弓头的距离越近,则双目监测的精度越高,距离确定后,双目的最大视场角>(θ12),双目的工作视场角>(δ12)。补光模块720的补光范围与双目监测的视场角相一致或略大于双目监测的视场角(θ12)。更优选的,所述补光模块720为红外补光模块,所述红外补光模块包括多个红外补光灯721,所述双目视频同步采集模块710包括两组镜头模组711,所述红外补光灯721与所述镜头模组711之间设有隔离装置730,所述隔离装置730用于光学隔离所述红外补光灯721与所述镜头模组711。一般的,在地铁的隧道中,光照较弱,需采用补光设备对弓网的监测区域补光以便视频采集设备能对其进行监控。而图像和视频的采集质量受制于光照条件,因此需要对双目视频同步采集模块进行高效补光。补光方式可以在双目视频同步采集设备内部增加补光装置,也可以在双目视频同步采集设备外部增加补光装置。若在双目视频同步采集设备的外部增加补光装置,会导致车顶组装设备增多。若要保证较好的补光效果,必然会在多处设置补光装置,造成补光光源的浪费,且若补光强度过强,也会对后台图像处理造成影响。补光装置有可见光补光装置和红外补光装置,可见光补光装置照射在车顶金属或沿线金属材料的物体上,易产生反光,而反光会严重影响图像处理。因此补光装置在小范围内补光的情况下,优选采用红外补光装置,更优选为与镜头模组711相集成设计的红外补光模块。本实施例中,所述红外补光灯721及所述镜头模组711均设置于所述腔体751内,且所述红外补光灯721的补光范围及所述镜头模组711的视角范围均朝向所述透射防护层740。本实施例将红外补光模块集成设计在双目视频同步采集设备700的内部。为了不造成补光光源的浪费,红外补光模块优选采用大视角、大功率、低热阻的多个红外补光灯721 环形排布于镜头模组711的周围,形成高强度补光效果(如图11和图13所示)。双目视频同步采集模块710和补光模块720是同轴线、紧凑集成设计模式,因此补光模块720的补光范围与双目视频同步采集模块710的视频采集范围优选具有一致性。且红外补光灯721与双目视频同步采集模块710之间优选为同步控制。如此配置,可使双目视频同步采集设备700的整体结构大大减小,实现小型化、轻量级的设计目的。但是,采用红外补光灯721会出现一个问题:即红外光晕/红外反射现象,当红外补光灯721开启时,镜头模组711所采集的视频图像的周围会出现光晕,因此需要在双目视频同步采集模块710和补光模块720之间设置隔离装置730(请参考图14和图15),由此消除红外光晕现象,以实现高清晰度的视频数据采集。
请参考图11至图14,壳体750包括安装防护体752和密封盖板753,安装防护体752为具有开口的盒体,密封盖板753则盖设于所述开口,两者配合以形成内腔751,密封盖板753开设有两个通孔,并在通孔上装设有透射防护层 740,以供双目视频同步采集模块710光学透过而采集图像和视频。如此设置,一方面保证设备的组装精度,进一步保证弓网三维重建的精度,一方面为整个设备提供防护,保证列车在恶劣环境运行时,设备的正常工作。壳体750优选采用耐腐蚀性能、抗风压性能、装配性能好的的铝合金材料,表面处理方式采用阳极氧化(氧化层>47μm)和氟碳烤漆,这样的表面处理具有很好的耐腐蚀,耐氧化,耐高温。壳体750上所有螺纹孔位(安装孔)均优选为盲孔,安装防护体752还设计有止口和密封圈(或垫)安装槽,所述密封盖板753通过止口和密封圈(或垫)安装槽与安装防护体752连接,保证安装防护体752和密封盖板753组装时,密封性能达到IP67以上。此外,所述双目视频同步采集设备700优选采用三层密封设计,包括:结构部分的止口设计、整体设备外密封垫片和子模块内密封圈以及整体结构用工业软胶封闭。
如图12所示,壳体750设置于一安装底座760上,壳体750与安装底座760 呈α角,是为了保证双目视频同步采集设备700的视频采集在垂直方向上能覆盖整个受电弓和接触网的工作区域。壳体750可与安装底座760的安装空间完全闭合,且螺钉连接件藏于安装底座760内部,大大减少了连接部分受恶劣环境和腐蚀性清洗的影响。进一步,安装底座760的设计方案,可将双目视频同步采集设备的整体高度减小,以使壳体750与安装底座760装配完之后,满足列车限高及车顶尺寸要求。进一步,安装底座760的α角设计,保证了双目视频同步采集设备的通用型。对于列车车型或者列车受电弓安装位的不同,仅需要调整安装底座的α角来调整双目视频同步采集设备的工作范围,而不需要对双目视频同步采集设备进行定制化生产。双目视频同步采集设备可通过调整两组镜头模组711之间的基线长度,控制其水平视场范围,最终确定双目视频同步采集设备700的整体视频采集范围。安装底座上的螺钉连接,用于与车体固定连接,保证安装工序简单,安装稳定好。
如图12和图13所示,双目视频同步采集设备的电源线缆和视频数据传输线缆优选通过连接器771连接,连接器771为一组插拔自锁连接器,均布排在壳体750上,连接器本身具有IP67等级的密封性,且进行连接器选型时,需避免连接器771对视频数据的传输衰减造成影响,以及连接器771需满足数据回路或者屏蔽层的要求,以免造成数据传输的衰减或者出现接触不良等现象。电源线缆和视频数据线缆从双目视频同步采集设备700经车顶到车内的布线,连接到车载服务器900(优选与接口933连接)。当三维建模模块800与双目视频同步采集模块710集成设计时,双目视频同步采集设备700中的双目视频同步采集模块710、补光模块720、三维建模模块800优选集中供电,仅采用一束电源线缆通过连接器771传输到车顶即可;双目视频同步采集模块710所采集的图像和视频克直接在双目视频同步采集设备700的内部做前期三维重建的预处理,如此,可仅用两根数据传输线缆传输到车载服务器900上,整个车顶布线简单明了。优选的,双目视频同步采集设备700内部的数据传输和电源做成线束,线束排布在走线槽内,走线槽保护线束不受温升或者其他模块的干扰,便于检查维护,方便模块拆卸。
如图13和图14所示,所述双目视频同步采集设备还包括导热装置780,该导热装置780用于控制内部温度场,实际中,双目视频同步采集设备700中的补光模块720为一发热源,导热装置780可通过散热部分、石墨烯片和散热硅胶将多余热量快速扩散到壳体750的外表面,实现双目视频同步采集设备700 的结构均温和控温状态。即使列车运行在高寒地带,内外温差大,也不会造成透射防护层740凝结水雾现象,导热装置780与红外补光灯721,镜头模组711、隔离装置730、透射防护层740以及壳体750都有装配连接关系,且导热装置780与其它组件之间都设有散热硅胶片,以实现所述透射防护层740、所述红外补光灯721、所述镜头模组711以及所述壳体750均温及散热。当设备启动后,热量可由双目视频同步采集设备700的各个部件通过导热装置780导通,形成均温状态,如此配置,透射防护层740在均温状态下不会出现内部凝露现象。导热装置780的设置可以在一定的条件下,免除专门用来消除透射防护层740水雾现象的加热装置。双目视频同步采集设备700在装配时,可对环境湿度和温度进行控制,例如可在安装过程中,采用热风枪对腔内进行热风处理,如此可有效保证双目视频同步采集设备700内部的低湿度,因此不需要对双目视频同步采集设备700额外增加湿度控制。
一般的,列车运行路段包括露天和隧道,运行时间有白天(强自然光和弱自然光)和晚上,运行天气有风、雨、雾、冰、霜、沙尘等,运行地域有不同海拔高度、风力、年降雨量等。因此在诸多条件下,保证双目视频同步采集设备700 的正常工作很重要。图14和图15示出了一种双目视频同步采集设备700的结构,其中,双目视频同步采集模块710包括镜头模组711,补光模块720包括红外补光灯721,透射防护层740包括镜头防护玻璃741和补光灯防护玻璃742,其材料优选为玻璃。所述红外补光灯721优选围绕所述镜头模组711之光轴分布,即围绕每个所述镜头模组711之光轴,分布有多个所述红外补光灯721。镜头防护玻璃741设置于镜头模组711用于采集的视角所朝向的方向(图15中的上方),并通过隔离装置730与镜头模组711连接,隔离装置730沿所述镜头防护玻璃741的外周设置,用于光学隔离镜头模组711与红外补光灯721;补光灯防护玻璃742设置于红外补光灯721之补光方向(图15中的上方),补光灯防护玻璃742与一补光灯安装板连接,红外补光灯721则安装于补光灯安装板上,补光灯安装板另通过导热装置780与壳体750连接。镜头模组711优选采用大视场角镜头,保证在与受电弓的近距离监测过程中,覆盖受电弓和接触网的整个工作范围。镜头模组711的结构优选由多组玻璃镜片组成,通过CMOS Senser 进行视频数据采集。
优选的,镜头防护玻璃741和补光灯防护玻璃742,可以采用钠钙玻璃、铝硅玻璃或蓝宝石玻璃;这三种玻璃材质的力学性能有优势,玻璃的外表面(即用于采集的视角所朝向的方向,亦即图15中的上方)有双层镀膜:AR镀膜和AF 镀膜。AR镀膜可以降低它的反射率,增加透过率。透过率最大可达到99%以上,反射率可控制到1%以下。AF镀膜是在真空受热的情况下把吸附在载体里面的有效成分蒸发到玻璃或薄膜表面形成疏水疏油的纳米级膜层,可有效减少指纹和各种污渍的附着,提供易清洁的表面涂层。因此镜头防护玻璃741和补光灯防护玻璃742具有良好的化学稳定性,电绝缘性,力学强度、卓越的光洁度和表面抗划伤性能,而玻璃外表面的AF镀膜可因为荷叶原理,使其具有较强的疏水性,抗油污等的功能,可有效减少指纹和各种污渍的附着,提供易清洁的表面涂层。此外,隔离装置730的材料选表面在红外补光灯721的光照条件下,视频图像里呈哑黑不反光的经过表面处理后的金属材料,经过表面处理后的金属材料具备防腐蚀,耐高温、寿命长等物理特性优势。更优选的,所述镜头模组711的焦距大于所述镜头模组711与所述透射防护层740之距离与所述透射防护层740 之厚度的和,亦即镜头模组711的焦点不在透射防护层740内,而在透射防护层740与被监控的弓网区域之间。这样可有效抗中度泥尘污染。
优选的,所述双目视频同步采集设备700还包括一紫外传感器和/或一红外成像装置,所述紫外传感器用于检测燃弧,所述红外成像装置用于检测温度。在双目视频同步采集设备700内,为紫外传感器和红外成像装置留有接口和安装位置。扩展增加的紫外传感器可实现燃弧的燃弧率、燃弧时间和燃弧强度的检测,红外成像装置则可实现接触网和受电弓的温度检测,可根据需求,选择紫外传感器和红外成像装置之一,或者两者一同安装。
接着,请参考图2至图4,对所述弓网状态的检测方法进行进一步的说明。
步骤一100和步骤二200均通过所述双目视频同步采集设备700得以实现,通过双目视频同步采集设备700的双镜头模组711,可获取目标区域的原始图像 (包括同步获取的第一图像和第二图像)。并且,在双目视频同步采集设备700 可对该原始图像进行预处理,将第一图像和第二图像对准。
步骤三300用于找寻并获取原始图像上的匹配点,优选通过极线约束的方法对所述原始图像进行实时在线校准和畸变的校正,以使第一图像和第二图像实现水平对准,以便减少匹配搜索范围。进而,将第一图像和第二图像的水平对准后,获取所述第一图像上与所述第二图像相匹配的对应点。
接着,请参考图4,优选的,在步骤四400之后,所述弓网状态的检测方法还包括:
步骤410,获取二维直线模型:在所述第一图像和所述第二图像中,分别通过霍夫变换将所述对应点变换得到一直线模型;
步骤420,将二维直线模型配对,以得到三维直线模型:将所述第一图像和所述第二图像中的所述直线模型进行基于双目立体匹配的直线配对,根据匹配后的深度信息删除配对错误的直线;
步骤430,将直线模型与预定数据进行匹配:将配对成功的所述直线模型与预定数据进行匹配,删除与预定数据不匹配的直线模型;而后,根据所述与预定数据相匹配的直线的深度信息,创建所述接触线的虚拟三维模型。这里,步骤 430中所述的直线模型,为步骤420中所配对得到的三维直线模型,亦即可认为是三维的接触线的模型;
在柔性接触网检测过程中,由于柔性接触网段在室外运营,因此外界天气、光线、背景的变化都对接触网的检测带来不少挑战,尤其柔性接触网附近始终会有特征相似的导电线存在,并且车辆在运行过程中画面中会不时出现其他干扰导电线。针对该技术难点,本实施例采用双目立体视觉测量方法瞬时获取三维场景信息,对接触网及周边干扰导电线进行三维重建,得到接触网及周边导电线的深度信息并通过判断对应线的深度信息,将干扰电缆和导线剔除,如此可获取我们最终所需检测的接触网的信息并进行相关测量。
优选的,步骤430,将直线模型与预定数据进行匹配的步骤中,所述预定数据包括配对成功的直线相对于地平面的平行状态,且所述将配对成功的直线与预定数据进行匹配的步骤包括:将配对成功的直线与地平面进行比较;若配对成功的直线相对于地平面不平行,则删除该直线。需理解,所述平行状态,包括所述直线相对于地平面平行与不平行两种状态,而所述直线相对于地平面平行,并非限定所述直线与地平面绝对平行,而应广义理解为近似与地平面平行。具体的,由于地面非平整如一,且接触线的设置有高低差,两者无法实现绝对平行,故而当所述直线的延伸方向和延伸趋势大致与地平面平行时,即可认为所述直线相对于地平面平行;反之,则认为所述直线相对于地平面不平行。更具体的,所述将配对成功的直线与地面平行进行比较的步骤包括:
步骤431,计算地平面的法向量;
步骤432,计算直线模型与所述法向量的夹角θ;
步骤433,判断直线模型与地面是否近似平行,若所述夹角θ在设定的第一阈值范围外,则确定所述直线模型相对于地平面不平行,即删除所述直线模型 (步骤436)。
由于接触线一般是按“之”字形沿着轨道上空架设的,其基本与地面保持近似平行,根据这个特性,若在步骤420中所配对得到的三维直线模型于地面不平行,则可认为是干扰电缆导线而将其剔除。其中,第一阈值范围可根据具体的接触线的架设形式而选定。
优选的,所述预定数据还包括配对成功的直线相对于地平面的高度,且所述将配对成功的直线与预定数据进行匹配的步骤还包括:
步骤434,计算配对成功的直线相对于地平面的高度;
步骤435,判断直线模型相对于地平面的高度是否在设定的第二阈值范围内,若所述直线模型相对于地平面的高度在设定的第二阈值范围外,则删除所述直线模型。
由于接触线与地面之间的高度具有固定的范围,根据这个特性,若三维直线模型相对地面的高度超过设定的第二阈值范围,则亦可认为是干扰电缆导线而将其剔除。其中,第二阈值范围可根据具体的接触线的架设高度而选定。
需理解,在一些实施例中,步骤434和步骤435并非必须跟随在步骤431~步骤433之后,也可以是步骤430不包括步骤431~步骤433而仅包括步骤434 和步骤435,亦即将直线模型与预定数据进行匹配的步骤,可以只通过判断直线模型的高度,来判断直线模型是否为所需的接触线的模型。
更优选的,在获取与预定数据匹配成功的直线之后,所述弓网状态的检测方法还包括:
步骤440,对直线模型进行检测跟踪:针对连续多帧的所述原始图像,检测跟踪与预定数据匹配成功的直线,并删除位置偏离的直线;
步骤450,对直线模型的位置进行预测:针对连续多帧的所述原始图像,所述检测跟踪与预定数据匹配成功的所述直线之后,所述检测方法还包括:预测下一帧的所述原始图像中的所述直线的预定位置,删除与所述预定位置不匹配的直线。
步骤440中,通过采用目标跟踪技术,可对接触线的模型进行检测跟踪。由于接触线一般是按“之”字形沿着轨道上空连续架设的,因此,对连续多帧的原始图像中所采集到的接触线也应当是连续的,若一直线模型位置出现于远离接触线连续轨迹的偏离位置时,则该直线模型亦可判断为是干扰导线而将其剔除。
进一步的,步骤450采用目标预测技术,对步骤440所跟踪的接触线进行位置预测,由于接触线一般是按“之”字形沿着轨道上空架设的,其有基本的走向规律,即来回在一定的范围内摆动。因此,在对连续多帧的原始图像中所采集到的接触线,应当是符合其固有的走向规律的。根据步骤440所采集到的连续的接触线的位置,可预测下一帧原始图像中接触线的大致的预定位置。如此,在对下一帧原始图像采集后,若得到的直线模型与所述预定位置不匹配,则可认为该直线模型是干扰导线而将其剔除。
采用步骤440的目标跟踪技术和步骤450的目标预测技术,可以进一步提高接触线的判断准确度和鲁棒性,能有效地对干扰导线等加以剔除。
优选的,步骤五500包括但不限于以下方法:
设第一图像中接触线Lleft的端点坐标分别为:P1_left(u1_left,v1_left)、P2_left(u2_left, v2_left);
第二图像中接触线Lright的端点坐标分别为:P1_right(u1_right,v1_right)、 P2_right(u2_right,v2_right)。
则匹配后的三维接触线L3D的两个端点的坐标分别为:P1_3D(x1_3D,y1_3D, z1_3D)、P2_3D(x2_3D,y2_3D,z2_3D);其中:
其中,(u0,v0)为第一图像的中心坐标值,ax和ay为第一图像所对应的镜头模组711之内参的归一化焦距,T为双目视频同步采集设备700中两组镜头模组 711之间的基线长度。其中镜头模组711主要的内参包括图像X轴和Y轴方向的焦距fx、fy;以及主点坐标u0、v0,其代表图像的中心像素坐标和图像原点坐标之间相差的横向和纵向像素数;由fx、fy可得到归一化焦距ax和ay
请参考图5,图中左侧为根据步骤五500所创建的接触线及受电弓的虚拟三维模型的实时图像(连续工作时,该虚拟三维模型可形成实时视频流711),图中右侧为该虚拟三维模型所对应的一部分的几何参数,包括接触线的导高值、拉出值以及受电弓水平方向之两端点的坐标值等,同样的,连续工作时,可连续输出几何参数随时间(帧)的监控图。
优选的,步骤六600包括但不限于以下方法:
步骤610:对检测得到的三维接触线模型取平均,拟合成一条三维线Lm
步骤620:拟合一个三维线Lm所在的平面α,且该平面α与地面垂直;
步骤630:计算平面α与受电弓的交点P;
步骤640:计算交点P到地面的距离d1,该距离d1即为导高值;
步骤650:计算交点P到受电弓中心的距离d2,该距离d2即为拉出值。
图6至图8示出了一些通过本实施例的方法,输出拉出值和导高值的示意图,其中横坐标为图像的帧(Frame),优选的视频采集帧率为60帧/秒,纵坐标单位为毫米,其为拉出值(图7)或导高值(图6),图8则同时输出了拉出值和导高值。具体的拉出值与导高值的定义为本领域技术人员所熟知,此处不再赘述。
在步骤六600中,根据所述虚拟三维模型获得所述弓网的状态,具体的,可根据所述拉出值或导高值是否处于一预设阈值范围内,来对弓网的状态进行判断,当所述拉出值和导高值在预设阈值范围内时,可认为弓网处于正常状态,而若拉出值和导高值超出预设阈值范围时,即可判断弓网的状态为故障状态。进一步的,还可根据所述虚拟三维模型中,受电弓的完整度和变形度,弓网区域内是否有超过阈值范围的异物入侵等,对弓网的状态作进一步的判断,例如当受电弓的羊角异常或缺损时,即可判断弓网的状态为故障状态。
综上,在本发明提供的弓网状态的检测方法中,由双目视频同步采集设备获取所述接触线与所述受电弓之相交区域的第一图像和第二图像,进而将第一图像和第二图像对准,进行立体匹配,获取匹配的对应点,通过计算所述对应点的视差,获得视差信息和视差图,而后计算得到深度信息并进行三维重建,进而获得所述弓网的状态。与现有技术相比,弓网状态的检测仅采用双目视频同步采集设备,可不安装其它补偿传感器,如激光雷达等,即可实现准确获得弓网的状态,装置结构简单,成本低且效果好。
本发明提供的弓网状态的检测装置包括:双目视频同步采集设备、车载服务器、计算模块、以及在线校准模块;由双目视频同步采集设备获取所述接触线与所述受电弓之相交区域的第一图像和第二图像,进而车载服务器将第一图像和第二图像对准,进行立体匹配,获取匹配的对应点,通过计算所述对应点的视差,获得视差信息和视差图,而后计算得到深度信息,所述计算模块通过多个所述对应点的深度信息,计算得到所述弓网之几何参数,进而所述车载服务器通过所述弓网之几何参数,获得所述弓网的状态。如此,弓网状态的检测仅采用双目视频同步采集设备,可不安装其它补偿传感器,如激光雷达等,即可实现准确获得弓网的状态,装置结构简单,成本低且效果好。另外,所述在线校准模块用于发现所述双目视频同步采集设备的内部参数和/或外部参数发生的变化,并根据变化后的内部参数和/或外部参数计算并修正所述原始图像或所述弓网之几何参数的计算过程,可使得对弓网的检测结果更准确。此外,通过本发明提供的弓网状态的检测装置可实现连续且不间断地对弓网状态进行自动检测,能有效降低工作人员劳动强度,提高工作效率。
上述描述仅是对本发明较佳实施例的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (13)

1.一种弓网状态的检测方法,所述弓网包括接触线与受电弓,其特征在于,所述检测方法包括:
获取所述接触线与所述受电弓之相交区域的原始图像,所述原始图像至少包括视角相对且同步采集的第一图像和第二图像;
针对所述第一图像与所述第二图像,进行立体匹配,并获得所述原始图像中多个对应点的视差信息;
根据多个所述对应点的视差信息,获得多个所述对应点的深度信息;
根据多个所述对应点的深度信息进行三维重建,创建所述接触线与所述受电弓之相交区域的虚拟三维模型;
根据所述接触线与所述受电弓之相交区域的虚拟三维模型,获取所述弓网的状态。
2.根据权利要求1所述的弓网状态的检测方法,其特征在于,获取所述接触网与所述受电弓之相交区域的原始图像之后,所述检测方法还包括:对所述原始图像进行实时在线校准和畸变校正。
3.根据权利要求2所述的弓网状态的检测方法,其特征在于,所述对所述原始图像进行实时在线校准和畸变校正的步骤包括:通过检测特征点的方法计算得到一实时校准参数,以及,基于所述实时校准参数通过极线约束的方法,使所述第一图像和所述第二图像水平对准。
4.根据权利要求3所述的弓网状态的检测方法,其特征在于,所述第一图像和所述第二图像水平对准之后,获取水平对准的所述第一图像与所述第二图像上多个相匹配点以作为多个所述对应点。
5.根据权利要求3所述的弓网状态的检测方法,其特征在于,每个所述对应点的视差信息的获取步骤包括:
计算每个所述对应点在所述第一图像中的水平坐标值与其在所述第二图像中的水平坐标值的差值;
根据所述差值,获得所述对应点的所述视差信息。
6.根据权利要求1所述的弓网状态的检测方法,其特征在于,所述根据多个所述对应点的深度信息进行三维重建,创建所述接触线与所述受电弓之相交区域的虚拟三维模型的步骤包括:
在所述第一图像和所述第二图像中,分别通过霍夫变换将多个所述对应点变换为一直线;
将所述第一图像和所述第二图像中的直线进行基于双目立体匹配的直线配对,根据匹配后的深度信息删除配对错误的直线;
将配对成功的直线与预定数据进行匹配,删除与预定数据不匹配的直线;
根据所述与预定数据相匹配的直线的深度信息,创建所述接触线的虚拟三维模型。
7.根据权利要求6所述的弓网状态的检测方法,其特征在于,所述预定数据包括配对成功的直线相对于地平面的平行状态,且所述将配对成功的直线与预定数据进行匹配的步骤包括:将配对成功的直线与地平面进行比较;若配对成功的直线相对于地平面不平行,则删除该直线。
8.根据权利要求7所述的弓网状态的检测方法,其特征在于,所述将配对成功的直线与地平面进行比较的步骤包括:
计算配对成功的直线与地平面之法向量的夹角;
若所述夹角在预设的第一阈值范围外,则确定配对成功的直线相对于地平面不平行,即删除该直线。
9.根据权利要求7所述的弓网状态的检测方法,其特征在于,所述预定数据还包括配对成功的直线相对于地平面的高度,且所述将配对成功的直线与预定数据进行匹配的步骤还包括:
计算配对成功的直线相对于地平面的高度,
若该高度在预设的第二阈值范围外,则删除该直线。
10.根据权利要求6所述的弓网状态的检测方法,其特征在于,在获取与预定数据匹配成功的直线之后,所述检测方法还包括:针对连续多帧的所述原始图像,检测跟踪与预定数据匹配成功的直线,并删除位置偏离的直线。
11.根据权利要求10所述的弓网状态的检测方法,其特征在于,所述针对连续多帧的所述原始图像,检测跟踪与预定数据匹配成功的所述直线之后,所述检测方法还包括:预测下一帧的所述原始图像中的所述直线的预定位置,删除与所述预定位置不匹配的直线。
12.根据权利要求1所述的弓网状态的检测方法,其特征在于,所述根据所述接触线与所述受电弓之相交区域的虚拟三维模型,获取所述弓网的状态的具体步骤包括:
计算多个所述对应点的深度信息,得到所述弓网的几何参数;
根据所述弓网的几何参数与所述虚拟三维模型,获取所述弓网的状态。
13.根据权利要求12所述的弓网状态的检测方法,其特征在于,所述弓网的几何参数包括:所述接触线的导高值、所述接触线的拉出值、一预设跨距内所述接触线的高低差、所述接触线的导线坡度、所述受电弓的完整度、所述受电弓的变形度以及所述弓网的异物侵入度中的任一项或多项的组合。
CN201910021366.XA 2019-01-09 2019-01-09 弓网状态的检测方法 Active CN109785377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910021366.XA CN109785377B (zh) 2019-01-09 2019-01-09 弓网状态的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910021366.XA CN109785377B (zh) 2019-01-09 2019-01-09 弓网状态的检测方法

Publications (2)

Publication Number Publication Date
CN109785377A true CN109785377A (zh) 2019-05-21
CN109785377B CN109785377B (zh) 2023-05-26

Family

ID=66500092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910021366.XA Active CN109785377B (zh) 2019-01-09 2019-01-09 弓网状态的检测方法

Country Status (1)

Country Link
CN (1) CN109785377B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706329A (zh) * 2019-09-06 2020-01-17 深圳亚联发展科技股份有限公司 一种三维场景重构方法和装置
CN111521271A (zh) * 2020-04-28 2020-08-11 株洲中车时代电气股份有限公司 一种基于红外图像的弓网检测方法、装置及系统
CN112082993A (zh) * 2020-08-04 2020-12-15 上海交通大学 一种接触网硬点在线检测系统及检测方法
CN112729126A (zh) * 2020-12-30 2021-04-30 重庆瑞莱尔博自动化设备有限公司 基于激光视觉的接触线磨耗无线测量仪及方法
CN112881437A (zh) * 2021-01-13 2021-06-01 华东交通大学 一种接触网探伤检测系统
CN112985263A (zh) * 2021-02-09 2021-06-18 中国科学院上海微系统与信息技术研究所 一种弓网几何参数检测方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567729A (zh) * 2014-12-31 2015-04-29 苏州华兴致远电子科技有限公司 受电弓运行状态监测方法及装置
CN105674880A (zh) * 2016-01-25 2016-06-15 成都国铁电气设备有限公司 基于双目原理的接触网几何参数测量方法及系统
CN107578397A (zh) * 2017-07-25 2018-01-12 西南交通大学 一种新型非接触式接触线磨损检测方法
EP3295158A1 (en) * 2015-05-12 2018-03-21 CAMLIN ITALY S.r.l. System and method for the video inspection of a pantograph along an overhead contact line

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104567729A (zh) * 2014-12-31 2015-04-29 苏州华兴致远电子科技有限公司 受电弓运行状态监测方法及装置
EP3295158A1 (en) * 2015-05-12 2018-03-21 CAMLIN ITALY S.r.l. System and method for the video inspection of a pantograph along an overhead contact line
CN105674880A (zh) * 2016-01-25 2016-06-15 成都国铁电气设备有限公司 基于双目原理的接触网几何参数测量方法及系统
CN107578397A (zh) * 2017-07-25 2018-01-12 西南交通大学 一种新型非接触式接触线磨损检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
印祯民等: "弓网检测系统在全自动无人驾驶地铁中的应用", 《城市轨道交通研究》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706329A (zh) * 2019-09-06 2020-01-17 深圳亚联发展科技股份有限公司 一种三维场景重构方法和装置
CN111521271A (zh) * 2020-04-28 2020-08-11 株洲中车时代电气股份有限公司 一种基于红外图像的弓网检测方法、装置及系统
CN112082993A (zh) * 2020-08-04 2020-12-15 上海交通大学 一种接触网硬点在线检测系统及检测方法
CN112082993B (zh) * 2020-08-04 2021-12-10 上海交通大学 一种接触网硬点在线检测系统及检测方法
CN112729126A (zh) * 2020-12-30 2021-04-30 重庆瑞莱尔博自动化设备有限公司 基于激光视觉的接触线磨耗无线测量仪及方法
CN112881437A (zh) * 2021-01-13 2021-06-01 华东交通大学 一种接触网探伤检测系统
CN112881437B (zh) * 2021-01-13 2021-11-26 华东交通大学 一种接触网探伤检测系统
CN112985263A (zh) * 2021-02-09 2021-06-18 中国科学院上海微系统与信息技术研究所 一种弓网几何参数检测方法、装置及设备

Also Published As

Publication number Publication date
CN109785377B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109765241A (zh) 弓网状态的监测装置
CN109785377A (zh) 弓网状态的检测方法
CN111368706A (zh) 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN109377726B (zh) 一种基于车联网的高速公路团雾精确警示、诱导系统及方法
CN105674880B (zh) 基于双目原理的接触网几何参数测量方法及系统
CN102590882B (zh) 机场道面异物监测系统
CN110161043A (zh) 一种地铁隧道结构综合检测车
CN108491758A (zh) 一种轨道检测方法及机器人
CN109000729A (zh) 车载接触网运行状态检测系统
CN111339905B (zh) 基于深度学习及多视角的cim井盖状态视觉检测系统
CN106023076B (zh) 全景图的拼接方法和检测高速铁路的防护栏的缺损状态的方法
CN109163889A (zh) 一种前视摄像头adas算法的测试装置及方法
CN110097591A (zh) 弓网状态的检测方法
CN106097627B (zh) 输电线路舞动智能视频在线监测系统
CN114638909A (zh) 基于激光slam和视觉融合的变电站语义地图构建方法
CN112985311B (zh) 一种车载便携轻量化智能巡检方法与系统
CN205890910U (zh) 可见光与红外光结合的轨道异物侵限探测装置
CN109143001A (zh) 受电弓检测系统
CN105516661B (zh) 鱼眼相机与ptz相机相结合的主从目标监控方法
CN103149603B (zh) 一种基于视频的道路气象检测方法
CN116310678A (zh) 固态激光雷达与热成像视觉融合的火源识别及定位方法
CN114898061A (zh) 一种基于飞走双模视觉信息的输电走廊快速重建方法
Capece et al. PANTOBOT-3D: An automatic vision-based inspection system for locomotive pantographs
CN115808129B (zh) 一种机器视觉识别发电机母线位移和形变的方法
CN113743286A (zh) 一种多源信号融合的目标监测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant