CN113989462A - 一种基于增强现实的铁路信号室内设备维护系统 - Google Patents

Abstract

本发明公开了一种基于增强现实的铁路信号室内设备维护系统，包括：视频采集模块，用于采集现实场景的视频图像，并传递给计算单元；计算模块，用于在现实场景的视频图像中跟踪识别待维修机器的图样，利用跟踪识别到的图样计算三维虚拟物体模型与视频采集单元之间的坐标变换矩阵，按照坐标变换矩阵在视平面上绘制相应的三维虚拟物体模型，再将所述三维虚拟物体模型叠加至图样上并与现实场景的视频图像融合，输出增强现实图像；显示模块，用于呈现增强现实图像。上述方案为铁路电务维护人员提供一种身临其境的虚实结合的维护环境和更加直观灵活的操作方式，对于铁路信号电务设备的智能化运维有着重要的意义。

Description

一种基于增强现实的铁路信号室内设备维护系统

技术领域

本发明涉及铁路信号设备维护技术领域，尤其涉及一种基于增强现实的铁路信号室内设备维护系统。

背景技术

随着中国高速铁路的快速发展和智能铁路建设的推进，铁路智能化体系和相关技术逐步得到应用。铁路信号设备维护在数据自动采集、数据融合挖掘、智能分析决策及支撑业务应用方面取得了重大突破。维护模式逐步从早期的故障维修向基于时间的维护(TBM)和基于状态的维护(CBM)以及故障预测与健康管理(PHM)的智能运维模式发展，维护需求也从单设备向多系统多专业融合，逐步覆盖从维护人员、作业计划、设备管理等全方位的信息。

铁路信号设备作为生命攸关的安全苛求系统，其设备维护的质量直接关系到列车的运行安全和效率。铁路信号产品类型主要包括中心设备、车站设备、轨旁设备和车载设备，但由于设备类型多、型号多，设备信息格式和内容没有统一标准，统计的信息处理流程不完善，造成设备基础信息的不完整；现场对维护人员的理论知识和专业技能要求高，维护水平直接影响维护效果；维护人员大多只能通过翻阅相应的纸质文挡、查看对应的电子手册进行维护，同时环境因素对维护人员的影响很大，使得操作效率低下，导致维护调试过程中容易出现差错；加之维护天窗时间短，导致维护难度大。

伴随着产业革命和技术革命的不断兴起，以新基建为代表的云计算、5G通信、人机共融、AI等技术在各行各业广泛应用，依托现代技术进行设备维护已成为发展的必然趋势，通过应用现代技术来提高设备维护技术和维护管理水平。增强现实(Augmented Reality，简称AR)就是一种综合利用多种技术的组合技术，是通过计算机将虚拟对象添加到真实世界中，使虚拟对象和真实环境在人的视野空间中融为一体，增强人们对真实环境的体验、感知和认知，其目标是虚实互动，虚实一体。基于增强现实技术的设备智能维护技术可以通过对场景的感知和目标的识别跟踪完成对维护场景的智能化认知，从而将丰富多源的数据主动推送给维护人员，不仅可以提升维护的效率，还可以提升维护人员的流程作业质量，但是，目前还没有将增强现实技术应用在铁路信号设备维护中的成熟方案。

发明内容

本发明的目的是提供一种基于增强现实的铁路信号室内设备维护系统，为铁路电务维护人员提供一种身临其境的虚实结合的维护环境和更加直观灵活的操作方式，对于铁路信号电务设备的智能化运维有着重要的意义。

本发明的目的是通过以下技术方案实现的：

一种基于增强现实的铁路信号室内设备维护系统，包括：

视频采集模块，用于采集现实场景的视频图像，并传递给计算单元；

计算模块，用于在现实场景的视频图像中跟踪识别待维修机器的图样，利用跟踪识别到的图样计算三维虚拟物体模型与视频采集单元之间的坐标变换矩阵，按照坐标变换矩阵在视平面上绘制相应的三维虚拟物体模型，再将所述三维虚拟物体模型叠加至图样上并与现实场景的视频图像融合，输出增强现实图像；

显示模块，用于呈现增强现实图像。

由上述本发明提供的技术方案可以看出，基于增强现实在铁路信号室内设备维护工作的应用可显著改善设备的维护效率和质量，缩短产品维护性设计时间，降低因维护事前决策不当造成的行车中断和设备损坏，提供更加逼真的维护模型实现快速维护，对设备的故障进行分析和维护预处理，模拟安装调试过程，在验收测试、故障诊断、远程指导、应急处置、自动化辅助培训和维护方面将极大简化现场维护的难度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于增强现实的铁路信号室内设备维护系统的框图；

图2为本发明实施例提供的一种基于增强现实的铁路信号室内设备维护系统的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

首先对本文中可能使用的术语进行如下说明：

术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。

下面对本发明所提供的一种基于增强现实的铁路信号室内设备维护系统进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。

本发明实施例提供的一种基于增强现实的铁路信号室内设备维护系统，主要包括：

视频采集模块，用于采集现实场景的视频图像，并传递给计算单元；

计算模块，用于在现实场景的视频图像中跟踪识别待维修机器的图样，利用跟踪识别到的图样计算三维虚拟物体模型与视频采集单元之间的坐标变换矩阵，按照坐标变换矩阵在视平面上绘制相应的三维虚拟物体模型，再将所述三维虚拟物体模型叠加至图样上并与现实场景的视频图像融合，输出增强现实图像；

显示模块，用于呈现增强现实图像。

如图1所示，为系统的功能框图。视频采集模块可以为摄像头，用于完成视频采集的工作，显示模块主要负责增强现实图像的显示功能，视频采集模块与显示模块可以一同集成在增强现实头戴显示器上；计算模块主要负责图像识别、配准与叠加的处理工作。系统通过识别算法识别到物体上的固定特征标识，对识别到的特征标识进行图像处理，计算出摄像头与标识之间的位置姿态数据，用此数据来渲染虚拟物体，并成像显示在显示模块，实现了虚拟物体与真实物体结合的效果。要实现上面描述的功能和满足相关的性能要求，系统的实现需要包含如下四个基本步骤：①获取真实场景信息；②对真实场景和摄像机位置信息进行标定；③生成虚拟景物，并进行虚实配准；④合并视频或直接显示。

本发明实施例中，从采集的图像中识别出所要叠加虚拟信息的目标物体，计算出目标物体距离用户的距离和方位，以便准确叠加虚拟信息于目标物体上；本实施例中采用基于视觉的Marker跟踪技术，首先根据摄像机采集的现实场景视频图像，通过操作系统提供的任务管理模块分配内存、将采集到的图像信息存储到存储器的视频缓存区；根据维修对象本身特点选定机器的图样(Marker)作为人工标记，并存储进数据库中，通过图像处理技术跟踪识别图像中的Marker，达到跟踪用户视线变化的目的，确定摄像机的位置信息和现实场景中的Marker信息；利用这些信息来计算虚拟物体坐标到摄像机视平面的坐标变换，然后按照坐标变换矩阵在视平面上绘制虚拟物体，并将所绘制的虚拟物体与现实场景的视频融合，实现虚实配准，并获得增强现实图像，最后将增强现实图像显示在增强现实头戴显示器；具体的：利用惯性器件采集加速度、角速度数据，经过卡尔曼滤波与DMP处理后完成姿态解算用于后续视图变换；根据的摄像机内、外参数确定坐标系之间的转换关系，获得坐标变换矩阵，再使用惯性数据(惯性器件采集的加速度、角速度数据)补偿视觉数据之后，完成配准工作，实现图像的追踪处理；根据配准结果，完成辅助维修过程中所需的三维虚拟模型的绘制并将三维虚拟模型导入进视屏流中，实现虚拟物体与真实场景的叠加；再将增强过的图像信息调入显示缓存区中并输出，实现对现实场景图像的实时增强显示。

本领域技术人员可以理解，在图形学中，虚拟物体的成像需要三项外部参数：M模型变换(虚拟物体的姿态、位置、缩放、拉伸等等变换)；V视图变换(图形学中虚拟摄像机的姿态位置)；P投影变换(虚拟物体成像到显示平面的投影)；上述marker识别、计算相关坐标转换关系以及在视平面上绘制虚拟物体部分属于M和V；图像配准与融合部分属于P。

为了更加清晰地展现出本发明所提供的技术方案，下面以具体实施例对本发明实施例所提供的一种基于增强现实的铁路信号室内设备维护系统进行详细描述。

此部分介绍中，为了便于理解，先针对相关原理进行介绍，再针对本发明相关技术方案进行介绍。

一、原理介绍。

基于增强现实技术在铁路信号室内设备维护中的应用研究，针对维护的可视化需求、三维虚拟信息和真实设备的信息融合需求、不同追踪标记和设备状态下维护虚拟信息的更新和实时展示需求，提出对信号室内设备的自然特征识别、三维虚拟图形渲染、虚拟信息管理、虚实融合、高精位姿跟踪的技术方案，使维护人员可以实现维修对象的高精三维跟踪注册，快速获得自然、高效的可视化效果和虚拟信息的更新和实时展示。

1、增强现实技术在铁路信号设备维护中的可视化应用。

增强现实技术需要将叠加的虚拟信息准确地显示在用户眼前，使计算机生成的虚拟信息和用户周围的现实环境融为一体，使用户从感官效果上确信虚拟信息是其周围环境的组成部分。要达到虚实融合，使用户完全沉浸于增强现实环境中，主要完成以下三个的功能：

(1)真实场景与虚拟信息的精确匹配。

虚拟信息在增强图像中的放置要求准确。通过虚拟信息与现实场景的匹配可实现虚拟信息在增强图像中的指定位置进行放置，而较大的匹配误差将破坏用户对周围环境的正确感知，改变用户的动作协调性，如果配准误差达到厘米级，人眼就能明显的感觉到，因此真实场景与虚拟信息的匹配精度要求至少在毫米级。

(2)虚拟物体的逼真性。

增强现实环境中的虚拟物体要有一定的逼真度。逼真度主要是指虚拟物体在真实场景中随用户视角的变化而作相应变化。深度信息是用户感知虚拟物体的重要途径。如果没有深度信息，用户对增强场景的真实性将产生质疑。虚拟物体的构造主要通过软件实现，基于OpenGL对系统的硬件的依赖性不大，而且在硬件上无法实现的情况下，也可以通过软件实现，方案中采用OpenGL来实现虚拟物体的构造。

(3)增强场景的刷新率。

增强现实图像的显示要相当流畅，从用户视觉感受的角度看，增强场景的刷新频率以用户感觉不到图像的跳动为依据。一般认为，基本没有跳动感的图像系统必须满足每秒15帧以上的绘制频率。在系统的采集方面，方案采用具有30帧/秒的摄像机对现实场景进行采集，在系统的图形图像处理方面，采用显卡配置较高和计算速度较快的计算机，使增强场景的刷新率至少达到15帧/秒。

2、基于预设三维虚拟信息和真实设备的信息融合技术。

虚拟信息和真实设备的信息融合技术包括自动设备真实设备、调用三维虚拟模型和三维虚拟模型动画。

(1)自动识别真实设备。

真实设备自动识别是三维虚拟信息与真实设备融合所面临的首要技术问题，主要涉及待处理影像与真实设备影像之间的特征匹配与跟踪技术。目前常用的图像特征包括点特征、线特征与面特征等。其中，对点特征检测和提取的研究最为成熟和深入，因此该类检测算法被广泛应用于增强现实技术领域。

从特征点的工作方式理解，特征点检测与提取算法通过对原始图像的分析，将具有特殊意义的一类点构成关键点集合，并以此作为原始图像的描述。这一抽象过程既有效保留了原始图像中的必要信息，也减少了后续图像处理的运算代价。一方面，特征点的精度、数量与分布情况，能够体现检测算法的稳定性；另一方面，特征检测算法的耗时则体现了算法的实时性。应用于维护，特征检测算法应同时具备良好的稳定性和实时性。通过实验的方式，对现有特征检测算法进行评估，对比不同算法在不同情况下的性能，针对不同类型的维护对象选择具体系统构建过程中的适用算法。

(2)调用对应三维虚拟模型。

真实物体三维虚拟模型的构建是增强现实维修的基础。将真实物体在相应的三维虚拟世界中重构，并根据系统需求保存部分物理属性。基于三维扫描技术和计算机图形学，建立对象物体的三维虚拟模型，确定其空间位置和几何元素的属性，并在虚拟环境中遵循一定的运动和动力学规律。

维修过程中，在自动识别真实设备后，通过特征点的分布能够同时估计得到真实设备相对于增强现实设备的位置与姿态(坐标变换矩阵)，其属于无基站定位定向方案(SLAM)。将预先构建的三维虚拟模型在增强现实系统中实时投影到相应位置，维修人员便可以通过增强现实设备获得维修定位。构建真实场景下待维修实体的三维虚拟模型，并将其叠加显示在真实物体上，通过测试人员的直观体验，对三维虚拟模型构建及显示算法的性能进行优化。

(3)三维虚拟模型动画。

在基于本发明上述方案的基础上，基于通用的动画模型，使用建模软件可以编辑制作相应的三维虚拟模型动画。

通常意义上的维修，是涵盖了各个维修模块参与到维修实践活动的时序性过程。这一时序过程可由分散在维修时间序列上的各个离散的维修状态所描述，既包含系统中各模块之间的结构组织发生的变化状态，也包含这些变化带来的维修对象机构组织的变化状态，以及过程中数据信息状态的更新。

基于增强现实技术构建的虚实结构场景中，维修过程也可以通过在其全过程时间线上离散分布的各维修状态进行描述，如系统各部件安装配合、维修工具使用的时机节点、维修活动中各模块结构组成信息的状态及相应变化情况。增强现实系统以三维虚拟模型动画的形式参与到相应维修支持行为，实现维修状态的更新变化，进而使维修支持过程更加高效、连续、直观。通过三维虚拟模型动画重现一段或多段典型的维修过程，对整个维修过程中所涉及维修动作进行跟踪识别，并将三维虚拟模型动画与真实物体叠加，达到辅助、引导维修操作的目的，并评估其辅助效果。

3、基于人工标记的识别与位姿状态估计。

在基于视觉的环境感知和运动估计中，完全依赖于自然场景特征的方法对环境条件依赖较大，光照和环境纹理要求丰富，而且视觉估计固有单目尺度和双目深度误差问题需要其他感知方式予以补偿。人工标记(Marker)由于其形状(常见的有方形、圆形、六边形)和色调(主要是黑白)，便于使用数字图像处理技术快速识别它的四个角和编码，并且存在固有的共面约束关系。使用人工标记来标注三维空间的方法已经存在广泛的应用，方案选用人工标记作为增强现实技术应用于设备维护的切入点。一旦摄像机观测到人工标记就可以立即准确地得到增强现实装备的位姿(即坐标变换矩阵)，进而呈现出特定的设备标准信息和维修指南。

人工标识识别主要有四个关键环节：图像分割、边缘提取、编码提取和角点定位。图像分割采用局部适应法将标识的图样区域的黑色边框与图像的其他内容分离出来，用窗口平均灰度值与设定阈值比较来实现图像二值化；边缘提取使用经典提取算法并对过短、间断和非四边形的边缘进行剔除；编码提取时首先使用单应性矩阵将边缘提取获得的四边形投影变换到正视平面，然后将二值化的栅格值编码与字典编码对比，从而获得确定编号；角点定位处理中则将识别人工标识的边缘拟合成四条直线，直线的交点即为四个角点的位置。获知空间四个三维的角点和它们对应投影点的像素坐标，即可通过求解四对点的PnP问题得到增强现实眼镜相对待修设备的位姿状态，为进一步信息增强显示提供重要的位姿数据。使用五个非共面的标识地图和两个标识阵列来实现结构位姿的快速恢复，实时地获得准确地估计结果，并将特定的信息标注显示在所构建的三维视场空间。

二、基于增强现实的铁路信号室内设备维护系统方案。

下面主要从增强现实近眼显示系统、软硬件实现方案、辅助信息，以及开发平台支撑五个方面进行介绍。

1、增强现实近眼显示系统。

增强现实是将真实世界信息和虚拟世界信息无缝融合的新技术，将原本在现实世界的空间范围中比较难以进行体验的实体信息实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。增强现实近眼显示将会是增强现实技术最主要的显示手段。根据对于真实物理世界信息的处理方法可以将增强现实头戴显示器分为光学透视和视频透视式头盔显示器，其中光学透视式头盔显示器将是未来的主流方向，方案将采用大视场(对角线视场不小于45°)光学透视式增强现实近眼呈现方式。

目前，光学透视式增强现实近眼呈现技术的主流方案包括自由曲面棱镜、全息波导与阵列(几何)波导等方案，波导型增强现实显示方案能够实现装备的轻量化设计，但是受光学衍射原理和工艺水平限制，此类光学元件量产难度较大，而且视场角较小。方案采用自由曲面棱镜与微型OLED高亮度显示屏构建增强现实头盔显示系统，实现虚拟信息在人眼前的可视化呈现。

2、增强现实系统硬件组成。

增强现实系统设计过程中考虑装配人员的穿戴舒适性，以及便携、高性能、精准性等要求，开发和选择增强现实头戴显示器与B556便携式计算单元构成原型系统。其中，B556便携式计算单元也即前文所述的计算单元，主要进行图像识别、配准与融合工作。

各部分硬件参数如下：

增强现实头戴显示器以复杂室内环境为主要应用场景，实现AR光学模组、SLAM模组、眼动交互模组、手势交互模组、语音交互模组、轻量机械架构、高效数据交互等关键技术，将多模块多传感器信号进行融合与智能算法嵌入，形成具备“基本维护需求”与“应急需求指导”的舒适化智能AR显示器，可实现单机智能与多机信息共享、高效交流的生态模式。增强现实头戴显示器基于BB+OLED光学显示技术，设备内置CPU核心板、外接板、SLAM板、显示板、WIFI模块、IMU、眼动模块、语音模块、环境光感知传感器、佩戴传感器以及混合现实智能交互系统等，是集多种功能与技术为一体的智能AR显示器。增强现实头戴显示器的视觉感知系统(视频采集模块)主要包括5枚摄像头，分别是1枚RGB摄像头、4枚环境感知鱼眼摄像头。

3、增强现实智能维护系统软件架构。

系统的软件架构部署在所述计算模块中，主要包括：数据层、模型层、平台层、应用层以及界面层；其中：

1)数据层，用于存储数据供系统调用，存储的数据包括：三维虚拟模型、工作人员、设备的基本信息以及存放地点。数据层包括数据调用机制、数据结构等内容，各类数据在这里按系统的要求存储、修改、调用、读取，是实现系统各模块的功能的基础。此处，工作人员可以指使用者和其他使用者的数据，类似于社交软件中的用户和好友，存放地点是指设备的位置属性或者在仓库中的位置属性。

2)模型层，用于将数据在模型层进行有序的组织，组成系统要求的模型，在系统中组织平面动画指导、文本信息、三维虚拟模型。此处，组织平面动画指导、文本信息类似于维修教程和维修手册。

3)平台层，用于对系统的数据库和系统的各模块进行统一调度与管理，以完成各模块本身的任务。平台层是数据层与应用层之间的桥梁，包括设备查询平台和过程指导平台(属于维修系统中的部分)。

4)应用层，是基于嵌入式平台和增强现实技术的设备辅助维修系统具体模块和功能的应用，也即维修系统的终端应用，使用者真正使用到的APP。

5)界面层，实现系统和用户之间的交互。

图2展示了系统的主要工作流程，包括：1)执行建立窗口、读取摄像机的内部参数标记的信息等任务，即初始化操作。2)开始通过视频采集模块找到真实环境里的图像的相关信息，并且进行辨识。3)如果捕捉到的图像信息中没有能判断出的标识显示，则返回到上一步中去重新进行真实环境里的视频信息捕捉，否则就继续进行之后要完成的任务，即计算出标记和摄像机的矩阵变换。4)依据所判断出标记(Marker)的编号信息(与设备一一对应)，开始准确的在标记上叠加构造出来的虚拟信息；系统进行融合处理图像后，会在显示模块上显示出增强之后的图像信息，给现场技术人员提供维修指导。5)在完成上述步骤之后，系统继续不断重复地去执行以上工作；直至用户选择关闭系统，系统结束工作。

4、铁路信号室内设备增强辅助信息。

增强现实智能维修的原型是通过场景感知与部件的识别跟踪，为维护人员提供精准丰富的增强辅助信息。根据维修任务和增强现实辅助要求，系统设计以下方面的功能：

1)IETM电子技术手册的获取解析功能(属于数据层)。

支持对IETM交互式电子手册读取与编辑，解析XML、DDN、SNS等数据模块的内容，以规范化格式展示和存储，增加对维修辅助信息的编辑功能，包括对准备工作、收尾工作、操作步骤、命令说明等维修保障全过程的信息编辑。

2)三维虚拟模型的轻量化与渲染(构造三维虚拟物体)。

支持不同装配模型三维虚拟模型格式的导入，并进行模型轻量化处理，通过数据接口将三维虚拟模型无损失读取，采用OSG三维渲染引擎对三维虚拟模型进行光照材质等真实性渲染，在虚拟空间中导入处理后的三维虚拟模型进行全方位的投影采集和融合标注，流程化生成目标特征数据库。

3)目标识别与跟踪功能。

通过迁移学习调整SSD算法网络参数，训练目标数据库生成目标实时识别模型，通过融合映射指导三维点云配准，利用改进的KLD粒子滤波算法进行三维位姿的跟踪。

本领域技术人员可以理解，SSD算法属于Marker识别算法中的一种，三维点云配准主要是为了Marker识别，后续的三维位姿跟踪主要是针对增强现实头戴式显示器(也表示使用者头部姿态)的姿态求解。

4)增强信息的编辑制作功能(属于数据层)。

包含三维虚拟模型的高亮显示、三维装配动画的制作、空间爆炸图的生成、CGM图的制作以及各种视音频的导入，融合各部分装配工艺指导信息，集成于AR数据包中以便增强信息的渲染与显示。

5、开发平台支撑。

本发明实施例中，所述软件架构基于Windows操作系统(具体为Windows 10操作系统)开发，选用OSG开源三维图形渲染引擎处理三维虚拟模型，采用C++语言作为编程开发语言。增强现实头戴显示器基于HoloLens头戴式系统的高性能三维图形渲染和图像处理引HelmetSceneGraph(HSG)开发，此外软件还需结合PCL(Point Cloud Library)开源点云库、Tensorflow深度学习库等开发平台。具体来说：

1)OpenSenseGraph(OSG)是一款高性能、可跨平台的交互式图形处理程序，适用于飞行器仿真、高性能游戏、虚拟现实等科学计算显示的可视化图形应用实例，可以将开发人员从底层图形的调用中解放，并且支持绘制进程的定制。

2)HelmetSceneGraph(HSG)是针对头盔端显示系统封装的渲染引擎，该增强现实渲染引擎可实现对DirectX的封装，完全由C++和DirectX开发库编写而成。HSG建立了一个面向对象的框架和场景图组织、渲染机制，提供了许多工具包可以更加迅捷地进行工业级应用程序的开发。

3)Point Cloud Library(PCL)点云库是专用于处理点云数据的大型跨平台开源C++编程库，其内部包含了大量关于点云的通用计算和高效处理的数据结构，可以实现点云的获取与滤波、特征估计、表面重构、曲面重建、模型拼合以及可视化显示等等，并且PCL可以在Linux、MacOS、Windows和Android等多平台编译与配置。

4)TensorFlow是由Google开发的一个端到端的开源机器学习平台，其灵活的架构和可移植性使得可以在多个平台展开计算。无论是台式计算机的CPU、GPU、服务器或是移动设备等等，该算法库因为涉及了大量的数学运算而被广泛使用。

本发明实施例上述方案主要获得如下有益效果：

1)提出的设备三维结构恢复与重建技术以及虚实环境的实时跟踪注册技术方案，也即前文介绍计算模块时所涉及的技术方案，具有较高的配准精度，系统配准误差可实现毫米级别；对现有特征检测算法进行评估，对比不同算法在不同情况下的性能，采用的特征点检测算法保证系统具备良好的稳定性和实时性。

2)增强现实技术在铁路信号室内设备的应用，将使得现场维护人员更加方便、直观、实时地获取精准的设备维护信息，提升运维效率；可以强化现场的环境感知能力，及时感知设备运行状态和故障信息以及应急处置信息，提高安全管理水平；可便于实现现场环境远程再现，快速与相关人员对接，便于远程指导和远程协作维护，提升维护质量；可实现第一视角的维修全过程记录，与维修计划流程及资产数据等自动关联，在提高维护效率的同时自动实现全程可追溯；可最大化利用现有的培训资源，通过框架虚实结合的表现方式整合资源，提高维护人员的技能和适应能力。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于增强现实的铁路信号室内设备维护系统，其特征在于，包括：

视频采集模块，用于采集现实场景的视频图像，并传递给计算单元；

计算模块，用于在现实场景的视频图像中跟踪识别待维修机器的图样，利用跟踪识别到的图样计算三维虚拟物体模型与视频采集单元之间的坐标变换矩阵，按照坐标变换矩阵在视平面上绘制相应的三维虚拟物体模型，再将所述三维虚拟物体模型叠加至图样上并与现实场景的视频图像融合，输出增强现实图像；

显示模块，用于呈现增强现实图像。

2.根据权利要求1所述的一种基于增强现实的铁路信号室内设备维护系统，其特征在于，所述在现实场景的视频图像中跟踪识别待维修机器的图样，利用跟踪识别到的图样计算三维虚拟物体模型与视频采集单元之间的坐标变换矩阵包括：

根据维修对象本身特点选定机器的图样作为人工标记并存储进数据库中，通过图像处理技术跟踪识别现实场景的视频图像中的图样，结合视频采集模块的位置信息与跟踪识别到的图样信息，估计待维修机器与视频采集单元之间的坐标变换矩阵。

3.根据权利要求1或2所述的一种基于增强现实的铁路信号室内设备维护系统，其特征在于，所述人工标记的形状包括：方形、圆形与六边形，色调包括：黑白色；

人工标记识别包括：图像分割、边缘提取、编码提取和角点定位；其中：图像分割采用局部适应法将标识的黑色边框分离出来，并使用窗口平均灰度值与设定阈值比较来实现图像二值化；边缘提取使用提取算法实现；编码提取时使用单应性矩阵将四边形投影变换到正视平面，然后将二值化的栅格值编码与字典编码对比，获得待维修机器的编号信息；角点定位中则将提取的边缘拟合成四条直线，直线的交点即为四个角点的位置；识别人工标记后，能够得到四个角点和它们对应投影点的像素坐标通过求解四对点的PnP问题得到视频采集模块相对待修设备的坐标变换矩阵。

4.根据权利要求1所述的一种基于增强现实的铁路信号室内设备维护系统，其特征在于，所述计算模块中部署了系统的软件架构，包括：数据层、模型层、平台层、应用层以及界面层；其中：

所述数据层，用于存储数据供系统调用，存储的数据包括：三维虚拟模型、工作人员、设备的基本信息以及存放地点；

所述模型层，用于将数据在模型层进行有序的组织，组成系统要求的模型；

所述平台层，用于对系统的数据库和系统的各模块进行统一调度与管理，完成各模块本身的任务；

所述应用层，为系统的终端应用；

所述界面层，实现系统和用户之间的交互。

5.根据权利要求1或2所述的一种基于增强现实的铁路信号室内设备维护系统，其特征在于，该方法还包括：在输出增强现实图像的基础上，基于通用的动画模型，使用建模软件编辑制作相应的三维虚拟模型动画。

6.根据权利要求1所述的一种基于增强现实的铁路信号室内设备维护系统，其特征在于，所述视频采集模块与显示模块集成在增强现实头戴显示器上。

Images